计算机化自适应测验的开发是一项庞大复杂的工程,它至少涉及以下五个基本过程:准备阶段、题库建设、CAT算法确定、信度与效度验证以及正式使用与题库维护更新等(图2-3-1)。
图2-3-1 CAT开发流程
一、准备阶段
为了更好地开发CAT系统,相关的先期准备与调研工作显得十分必要。
(一)技术团队准备
良好的技术团队是保障CAT开发工作顺利开展的前提条件。CAT开发的技术团队应包括:心理与教育测量专家、题目内容领域专家以及计算机专家等。心理与教育测量学家主要负责测量模型(IRT模型)的开发或选用、等值设计与组卷、参数估计与等值算法、CAT算法等;题目内容领域专家主要负责CAT拟测量的潜在特质及其结构、试题开发、测量结果的解释等;计算机专家负责数据库开发、CAT测试系统开发、题库的维护等。因此,开发一个CAT系统前,应保证具有以上相关技术团队。
(二)实验性预分析:可行性分析及IRT模型的选用
在CAT开发前,应对要开发的CAT的具体领域进行调查与实验性预分析,从而判断该CAT的可行性以及为具体IRT模型的选用提供基础。例如,要开发大学生英语能力的CAT系统,那么应先对现有大学英语能力测验数据进行相关分析,如测验维度分析、项目相依性分析、项目质量分析、计分方式分析、项目功能差异分析(DIF)、信度分析以及模型-资料拟合检验分析等,从而判断是否适合采用IRT模型来指导CAT开发?如果适合,那么结合实际情况,应具体采用哪种IRT模型(如单维模型VS多维模型、二级评分模型VS多级评分模型、题组反应模型VS项目反应模型、计时模型VS非计时模型等)。
二、题库建设
大型题库是CAT的基础,也是CAT开发的难点所在。CAT的题库不是简单地将试题拼凑在一块(这个称为“题集”或“题堆”)。CAT对题库的要求较高,它应具备以下特征: