新中国开展义务教育是在原解放区教育的基础上展开的。中华人民共和国成立以前，我国基本上存在着两种性质不同的教育：一种是中国共产党领导下的解放区的人民教育；一种是国民党统治区的教育。解放区的教育是在中国共产党领导下的新民主主义教育。到1949年中华人民共和国成立，解放区的教育事业随着根据地面积的不断扩大而扩大。几十年的教育实践中，形成了新民主主义教育的方针政策，为新中国教育建设奠定了政策基础。
新中国成立后，基于解放区原有教育基础和普及教育的经验，普及小学教育开始在全国广泛开展。1950年下半年小学招生人数达1086.2万人。1951年3月，教育部召开了第一次全国初等教育及师范教育会议。会议提出，1952—1957年争取全国平均有80%的学龄儿童入学，从1952年开始，争取10年内基本上普及小学教育，并提出5年内培养百万名小学教师的规划。这就是新中国第一个普及小学教育的计划。
《1956年到1967年全国农业发展纲要》提出了新中国成立后第二个普及小学教育的计划，它提出“从1956年开始，按照各地情况，分别在7年或者12年内普及小学义务教育”。1956年9月，刘少奇在中国共产党第八次全国代表大会的工作报告中指出，在财政力量许可的范围内，逐步扩大小学教育，以求12年内分区分期地普及小学义务教育。1949年至1957年，这一时期的普及小学教育有了较大发展。1949年，全国有小学34.68万所，在校生2439.1万人，到1957年，小学增长到54.73万所，在校学生达到6428.3万人。
尽管普及小学教育有了较大发展，但仔细分析，这一时期普及小学教育的计划都存在着忽视中国国情和急于求成的问题。
首先，教育经费投入不足。普及教育是需要人力、物力、财力保障的，特别是要在短时期内实现这一目标，所需物资保障更多、更大。新中国成立后，尽管经济恢复且发展速度很快，但因基础太薄，难以为教育提供足够的财力支持；同时，当时国家正处于大规模经济建设时期，其战略重点是优先发展耗资巨大的重工业，而将其他方面，特别是文教卫生等放到次要位置，逐步形成资金安排时“一工交，二财贸，剩下一点给文教”的状态。显而易见，在这种形势下，国家不可能为普及教育提供必要的物质保证。