几乎所有的研究生招生机构都要求申请人提供推荐信[24,87,88]。推荐信在研究生选拔过程中之所以重要,主要有三方面的原因[89]。首先,也是最主要的原因是推荐信提供了申请人过去的绩效和表现,而研究发现过去的绩效和表现是未来成功良好的预测变量[90]。其次,推荐信可以提供录取过程中通过其他评估方法无法获得的信息,从而具有相对于其他方法的增益效度[91]。最后,作为推荐人的导师或其授课教师往往有机会观察申请人的典型表现而不仅仅是其最优表现;研究表明,测量最优表现的方法可能并不能准确预测申请人在未来情境中的典型表现[92]。
(一)传统推荐信的预测效度
尽管推荐信在研究生选拔过程中应用广泛,但是,传统推荐信的预测效度并不理想。研究表明,推荐信的内容往往与未来绩效的相关性很低[93]。Reilly等[94]对10个推荐信效度研究(总样本量为5718个)结果的元分析表明,推荐信和总体效标之间的平均相关为0.14。Berman[95]的研究考查了推荐信等录取变量对临床心理学专业研究生的学业成绩和职业能力的预测作用,结果表明,推荐信并不能有效预测上述效标。Zeleznik等[88]研究了推荐信的推荐程度与研究生绩效之间的关系,该研究收集了236名医学院研究生的本科GPA、推荐人对申请人的推荐程度以及研究生阶段的学业绩效指标(包括研究生GPA、全国医学委员会测验成绩等),结果表明,尽管推荐程度与上述研究生学业绩效指标之间存在微弱相关,但在多元回归分析中推荐程度对于研究生学业绩效的预测并无显著贡献;该研究质疑了研究生选拔中以推荐人对申请人的推荐程度作为录取决策依据的意义,并提出应该对传统推荐信的形式和方法进行改进以提高其预测效度。Vannelli等[96]的元分析发现,推荐信与教师对研究生的评价之间的相关系数为0.25,与研究生GPA之间的相关系数为0.14,与研究生的研究成果之间的相关系数为0.10。