研究生教育与学位制度的建立是联系在一起的。学位源于中世纪的大学，早于研究生教育。当时大学毕业就可以获得一个学位——硕士或博士，它表明一种职业资格，而且硕士和博士没有本质的区别。到15世纪末，硕士和博士在等级上才出现区分，博士学位授予高级学科（神学、法学、医学）的学生，硕士学位则授予低级学科（文科）的学生。到18世纪初，博士学位才授予传统自然科学和人文科学知识的文科学生，取名为哲学博士（Ph. D），并要求注重纯学理的科学研究及学术探究。
现代意义的学位制度产生于19世纪初，1810年普鲁士教育大臣威廉·冯·洪堡创立柏林大学，把科学研究引入传统大学，实行教学与科研统一的原则。大学任务的改变，导致了研究生教育重心的转移，即要获得博士学位，不仅要学习大学的课程，而且要从事科学研究，并完成对科学发展有所贡献的学术论文。柏林大学的改革对世界各国的高等教育起了巨大的影响。
美国研究生教育开始于19世纪20年代。当时美国哈佛学院进行改革，为已经取得学士学位并愿意继续学习的毕业生开设课程。它可称为美国研究生教育的开端。1847年，耶鲁学院开设博士研究生课程，新建哲学与人文科学系，给获得学士学位的人“讲授从未讲授过的高级人文科学和自然科学以及自然科学在人文科学中的应用之类问题”。同时，还仿照德国大学，建立了应用化学研究所。1861年该系授予第一个哲学博士学位。[2]密执安大学则于1858年开设硕士研究生课程。1876年约翰斯·霍普金斯大学的成立，标志着美国研究生教育制度的确立和完善。霍普金斯大学校长吉尔曼和全体教师几乎全部曾留学于德国，受德国大学的影响甚深。大学一成立就宣布实施研究生教育是它的最重要的使命，该校只设研究生院，不招收大学本科生，是美国历史上第一所以研究生为主的大学。之后，哈佛、耶鲁、康乃尔大学也都效仿霍普金斯大学成立专门的研究生院。