义务教育在中国的政府文件中，最早见于1902年的《钦定学堂章程》，又叫《壬寅学制》。其中有云：“儿童自六岁起受蒙学四年，十岁入寻常小学堂修业三年；俟各处学堂一律办齐后，无论何色人等，皆应受此七年教育，然后听其任为各项事业。”由此可以看出，《壬寅学制》中的确是有劝行“义务教育”的文字，此学制是清政府在学制上公布的第一个文件，具有绝对权威性。但是，《壬寅学制》虽然是我国颁布的第一个学制，但是其并未具体实施。1904年，清政府颁布实施《癸卯学制》，其中也有强制推行义务教育的规定，明令“除废疾、有事故外，不入学者罪其家长”。这是中国第一个实施的学制，义务教育也由此兴办。
义务教育在清代实施的具体时段为1904年至1911年。其间，中央至地方虽然进行了多方努力，但因清政府腐败的政治及薄弱的经济基础，义务教育在这段时间虽然取得了一定的成绩，但总体来说基础薄弱，难以实现当时许多人所提倡的教育救国理念。
1904年后，学部及一些地方督抚提出并实施了一些推广义务教育的保证措施，将义务教育制度进一步法令化、规范化。例如，1905年署理两江总督周馥、盛京将军赵尔巽奏设简易识字学堂，希望义务教育阶段的识字教育能收到良好的效果。同年直隶、湖北、湖南、甘肃等省为解决义务教育师资奇缺的问题，设立了优级师范、速成师范等。1906年1月，学部通电各省设半日学堂，这是专收贫寒子弟的学校，不收取学费，亦不拘年龄。半日学堂为普及教育，方便儿童就学的重要教学组织形式。4月，学部通电各省速将省城师范名额尽力扩充，至少设一年卒业之初级简易科生500人，以养成小学教习。7月23日，学部通行第一次审定初等小学暂用书目。这一时期，大约8年时间，清政府的义务教育取得了一定的成就。