计算机化多阶段自适应测验(MST)并不是一个全新的概念。早在CAT出现之前,就已经有了非计算机形式的MST(Mead,2006)。但是这种MST却因CAT的出现而暗淡失色。如今在使用CAT的过程中,暴露出越来越多的问题。比如,在CAT中测验组卷有时无法达到最佳状态,因此必须放弃一些复杂的内容要求。软件设计的漏洞和缺陷也会导致不理想的组卷结果。此外,还有一些考试内容要求难以量化。而MST组卷的特殊性,能够有效解决这些问题,因此又出现在人们的视野里。
一、什么是MST
什么是MST?MST是预先构建好题目集合,以集合作为单元进行管理和评分,这些集合被称为模块(Module)或题组(Testlet)(Luecht & Nungester,1998;Wainer & Kiely,1987)。这些模块是较短的线性测验,并提供一定比例的测验信息量,以此减小测量误差。模块中的题目可围绕一个或几个共同题干(如文章和图表),也可彼此互不关联。
MST的自适应点出现在题目集合水平上,是基于被试的累积表现选择下一个模块的。这使它的自适应点少于CAT,但又多于传统纸笔测验。MST结合了纸笔测验的元素和CAT的自适应特性,综合了两者的优点,克服了许多缺点,是两者的妥协者。MST测验形式已经被运用到大型评价考试中,如美国的注册会计师统一考试和研究生入学考试。
下面用一个简单的三阶段MST来示例多阶段测验过程(图4-1-1)。MST通常从一个较短的阶段一测验或路由测验(Routing Test)开始,该测验用来估计被试的能力初值,为之后的能力估计和题目选择做准备。此阶段的题目难度应该足够广,才能适合各种能力的被试。当被试做完阶段一的题目后,初步估计出被试的当前能力,然后为其选择随后阶段中与之能力匹配的模块。当被试的能力被估计为较低时,给其分配模块1(容易)的题目;当被试能力被估计为中等时,给其分配模块2(中等)的题目;以此类推给其分配模块3(困难)的题目(Hendrickson,2007)。阶段二测验中每个模块的难度划分更为精细,可对被试进行更精确的区分。阶段二测验结束后,估计出较精确的能力值,再根据这个能力值为被试选择阶段三的模块。