我国高等教育自学考试制度酝酿于1978年，当年，教育部颁布《关于业余高等教育的考核办法》，提出“建立定期的考核制度，自学的人们可以到国家指定的高等学校或其他单位参加考核，证明已经达到国家规定的大学毕业水平的，由高等学校发给证书，各单位使用时应按同等毕业生对待，用其所学”。1979年，教育部出台《自学考核办法》，提出自学考试制度的概念与实施办法，意味着高等教育自学考试制度的萌芽。1981年，国务院批转教育部《关于〈高等教育自学考试试行办法〉的报告》，高等教育自学考试制度正式建立。《高等教育自学考试试行办法》对考试对象、报考手续、考试办法、组织领导、毕业生的使用和待遇等做出了原则性规定，并决定在北京、上海、天津试行。
1983年，国务院批准成立全国高等教育自学考试指导委员会，规定了全国高等教育自学考试指导委员会任务、人员组成等。同时，全国高等教育自学考试指导委员会全体会议通过了《关于设立专业委员会的意见》和《关于制定专业考试计划的意见》。此外，1986年，国家教委转发全国考委《关于开考本科阶段自学考试有关问题的几点意见》。高等教育自学考试制度的建设，进一步满足了当时人们的学习需求，1981年高等教育自学考试报考人数为4 000人，而到了1986年，全国高等教育自学考试报考者共计300万人。在高等教育自学考试相关政策制度的推动下，相关实践逐步推进，办学体系基本形成，到1986年全国30个省、直辖市、自治区先后建立了省一级的高等教育自学考试委员会。
为进一步推动高等教育自学考试发展，1988年，国务院颁发《高等教育自学考试暂行条例》，以国家最高行政立法的形式确立了高等教育自学考试制度，对高等教育自学考试的性质、任务、考试机构、开考专业、考试办法、考籍管理、社会助学、毕业生使用与待遇、考试经费、奖惩等都做出了明确的规定。1989年，国家教委发出《关于在军队举办自学考试的批复》，同意成立中国人民解放军自学考试委员会，负责全军的高等和中等教育自学考试工作。1995年，国家教委印发《关于高等教育自学考试社会助学工作的意见》，推动自学考试社会助学工作的健康发展。1999年1月1日，《中华人民共和国高等教育法》开始施行，其中第二十一条明确规定：“国家实行高等教育自学考试制度，经考试合格的，发给相应的学历证书或者其他学业证书”，以法律的形式确立了高等教育自学考试制度，以及它在我国高等教育基本制度中的重要地位。