首页 计算机化自适应测验:理论与方法

第二节 可修改答案的计算机化自适应测验设计与方法

字体:16+-

一、基于测试设计视角的RCAT

针对RCAT的两个缺陷:一是被试使用“作弊”策略,二是测验效率的下降,有研究者从测验设计的角度入手针对性地提出了一些解决方案。为了防止被试使用“作弊”策略,研究者提出通过控制被试修改作答的方式来控制。另外,Waddell和Blankenship(1994)研究发现在一次测验中被试修改的题目数只占总题量的很少部分(平均只有5.1%)。因此,如果只允许被试修改一定数量的题目,一定程度上可以提高RCAT测验的效率。目前有关RCAT的测验设计主要包括:Stocking的限制被试修改机会的设计;优化的Stocking设计;题目口袋设计;区块题目袋方法;重新安排题目顺序的设计。接下来分别从测验设计的基本思想、优缺点以及它们之间的关系进行阐述。

(一)Stocking的限制被试修改机会的设计

1.限制被试修改机会的三种设计方案

Stocking(1997)提出了三种RCAT设计。

设计一:允许被试修改固定数量的题目。在作答前主试会告知被试作答完所有题目后,可以返回检查并修改固定数量的题目。

设计二:允许被试修改单独限时题目单元内的答案。在测验过程中将题目按照先后顺序划分为固定长度的题目单元。题目单元长度根据实际需要而规定。并以题目单元的形式呈现给被试作答,被试可以在单元内对题目进行检查并修改,计算机根据被试当前单元的作答来选择下一个单元,提交答案后的单元不允许再次返回修改。

设计三:只允许被试修改单独限时属于共同刺激物(表格、图画、阅读材料等)组成的题目单元,题目单元的长度随着测验内容的变化而变化,因此每个被试作答的题目单元的内容和长度是因人而异的。

2.三种设计方案的比较与评价

为了验证这三种设计在对抗Wainer策略中是否有效,Stocking(1997)通过模拟和真实的数据研究,发现在设计一中当只允许修改2个题目时(定长28题),能力估计精度和传统CAT很接近。但是随着可修改题目数的增加,由Wainer策略导致的误差也会随之增加,换句话说设计一并不能有效对抗Wainer策略。