计算机化自适应测验(CAT)是一种适应被试能力水平的测验(Chang & Ying,2007)。CAT根据被试已经作答题目上的表现,从题库中序贯选择适合被试潜在能力水平的题目给被试作答。避免能力高的被试作答太多容易的题目;能力低的被试作答太多难的题目。相对于纸笔或非自适应的机考,CAT具有很好的优势:第一,被试只需作答更少(一半)的题目,测试时间更短,就可以获得纸笔测验同样的精度;第二,在计算机自动评分技术的支持下,可以即时报告学生分数,并提供关于学生能力、知识和技能等丰富的诊断信息,有助于辅助教学;第三,多媒体技术甚至虚拟化技术让题型新颖,使测验情景更具真实性,能够测量纸笔测验难以测量的多个方面的能力;第四,建立在客观测量理论基础之上,结合最新的项目选择算法或试卷实时生成技术,使测验的质量和安全性更高。
在我国,计算机化自适应测验也运用到了军队入伍考试中,通过自适应考试淘汰一部分有心理缺陷的人,每年淘汰一个师左右的人员。承接此科研任务的中国人民解放军第四军医大学,获得了全军重大技术贡献奖,在2010年1月14日完成的“中国军人医学与心理选拔研究”成果,荣获国家科技进步一等奖。测评是建立在相应的测量理论、方法和技术之上,才能保证测评结果的客观性、全面性与有效性。
CAT必须以现代测量理论之项目反应理论为基础。与经典测量理论相比,项目反应理论具有以下优点(戴海琦,2010;丁树良,罗芬,涂冬波,等,2012;漆书青,戴海琦,丁树良,2002):项目反应理论深入测验的微观领域,将被试特质水平与被试在项目上的行为关联起来并将其参数化、模型化,这是自适应测评客观化和量化的前提;IRT模型项目参数的估计独立于被试样本,这是为自适应测评建立大型题库的重要理论依据;项目难度参数与能力参数是定义在同一个量表上的,这一特点为自适应测评奠定了基础;Fisher局部信息量和相对熵(Kullback-Leibler,KL)全局信息量,可以度量被试能力点估计测量误差和区间信息量,这是自适应测评构建选题算法的理论基础。