义务教育的根本特征之一就是强制性，实施义务教育，仅仅依靠社会宣传和教育管理上的一些措施远远不够，还必须依靠教育立法来推行义务教育。诸多国家实施义务教育的成功经验表明，通过立法程序，把国家关于实施义务教育的方针政策、制度措施、实现目标等用法律的形式固定下来，使之成为整个国家的意志和整个社会遵循的准则，进而得到有效的实施，是实施义务教育的根本保障。从英、美、德、日、法等发达国家的发展来看，他们都是一开始就重视制定教育法令，并且不断加以补充修改，随时提出新的要求，以保证义务教育的实施。
改革开放以来，我国制定了相关法律，用来保障义务教育的实施。1980年12月，党中央和国务院颁布《关于普及小学教育若干问题的决定》，明确指出，“我们的社会主义现代化建设，不仅要建设高度的物质文明，还要建设高度的精神文明。没有文化教育事业的充分发展，就不可能有完全的社会主义。”而“小学教育是整个教育的基础，要提高教育质量，提高全民族的科学文化水平，必须从小学抓起”。鉴于这样的认识，普及小学教育的任务被确定下来：“在80年代，全国应基本实现普及小学教育的历史任务，有条件的地区还可以进而普及初中教育。”“经济比较发达、教育基础较好的地区，应在1985年前普及小学教育，其他地区一般应在1990年前基本普及。”1982年通过的《中华人民共和国宪法》规定“国家举办各种学校、普及初等义务教育”，这是新中国首次以法律的形式规定了义务教育的普及任务。但是，当时仍没有一部专门的义务教育法。1983年，教育部发布《关于普及初等教育基本要求的暂行规定》，明确了普及初等教育的基本指标：学龄儿童入学率达到95%；在校学生的年巩固率达到97%；毕业班学生的毕业率，城市达到95%，较发达地区的农村达到90%，其他地区达到80%；12至15周岁少年儿童中初等教育的普及率达到95%。这些指标的公布充分表明了改革开放后党和政府普及义务教育的决心，也为后来义务教育法的制定提供了理论依据。