义务教育是一个近代概念，最早的名称颇为不一，有的称之为“强迫教育”，有的谓其为“普及教育”，也有人叫它“免费教育”等。之所以关于义务教育的称谓有这么多，原因就是对英语“Compulsory Education”的翻译有所不同，中国沿用日本的翻译方法，称之为义务教育。
义务教育的具体指向也有时代性。民国时期的义务教育仅指初等小学阶段，学制4年，只有强迫教育的含义，不包括免费的内容。从1949年到1978年，义务教育主要指小学教育，学制5—6年。改革开放以后，随着经济的迅速发展，我国将义务教育确立为小学6年及初中3年。在《中华人民共和国义务教育法》的指引下，我国义务教育的普及率逐年提高，并稳步巩固义务教育普及率。义务教育发展的水平和质量，成为衡量全体国民整体素质和现代社会文明程度的基本标志，也成为我国实现从人口大国提升为人才强国宏伟目标的根本标志。
40年来，我国的教育改革是逐步深化的。从1977年到1985年，重点是解放思想、实事求是，拨乱反正、正本清源，揭露和批判“四人帮”的罪行和谬论，平反冤假错案，解除知识分子和广大教师的政治包袱和思想束缚，树立尊重知识、尊重人才、重视教育、尊敬教师的政策导向和社会风尚，明确了教育优先发展的战略地位和发展方向，理顺教育管理体制，为全面推进改革开放奠定思想理论基础，落实制度保证。主要标志是“全国科学大会”“全国教育工作会议”的召开和《中共中央关于教育体制改革的决定》的发表及邓小平的一系列重要谈话，特别是1983年为景山学校题词：“教育要面向现代化、面向世界，面向未来”，最集中地表明了中国现代教育的特征、目标和方向，成为整个教育领域改革开放的指导性纲领。这一阶段偏重于解决教育的宏观问题，创造教育改革开放的条件。