历史文献在其积累过程中，由于社会的与自然的原因会出现散失的情况。早在春秋末年，孔子就发出了“文献不足征”的感叹，他说：“夏礼，吾能言之，杞不足征也；殷礼，吾能言之，宋不足征也。文献不足故也。足，则吾能征之矣。”[8]孔子说的“文献”包括历史记载和当时贤者；因为这两方面的“不足”，他无法用杞和宋来证明他对夏礼、殷礼的认识。孔子在另一个地方又说过：“吾犹及史之阙文也。”[9]“文献不足”和“史之阙文”，或许就反映了历史文献散失的情况。
当历史文献积累愈来愈多的时候，这种散失的情况有时是很惊人的。隋朝初年，牛弘在上书请开献书之路时讲到，自孔子至南北朝，书籍有五次厄运：秦的焚书，使“先王坟籍，扫地皆尽”，“此则书之一厄也”。“及王莽之末，长安兵起，宫室图书，并从焚烬，此则书之二厄也”。东汉末年，献帝移都，“吏民扰乱，图书缣帛，皆取为帷囊。所收而西，裁七十余乘，属西京大乱，一时燔**。此则书之三厄也”。西晋末年，“刘、石凭陵，京华覆灭，朝章国典，从而失坠。此则书之四厄也”。南北朝时，江表图书，尽萃于后梁，及北周灭后梁，后梁萧绎“悉焚之于（郢之）外城，所收十才一二。此则书之五厄也”。[10]牛弘主要是从社会方面的原因，总结了图书散失的严重情况。正如牛弘所指出的，图书在每遭到一次厄运之后，总是会引发人们对图书进行搜集、整理的热情。
历史文献的整理，也还有其他一些原因。如人们在转抄、刊刻文献的过程中往往会出现讹误、脱漏，不同抄本和刻本的流传造成的歧异，由于时代的久远后人对前人撰述的费解，也有后人对历史文献的臆改造成的错误，还有后人假托前人之名而作伪的著作，等等。所有这些，都促使人们为社会的需要而不断开展对历史文献的整理。孔子是中国历史上整理历史文献的第一人。司马迁记其事曰：