首页 计算机化自适应测验:理论与方法

第一节 可修改答案的计算机化自适应测验简介

字体:16+-

一、RCAT优势分析

计算机化自适应测验(CAT)研究始于20世纪七八十年代,并在过去的20年得到了快速的发展。现在,美国的许多大型考试,如学术能力测验(SAT)、托福等大型测验已经实行了计算机化自适应测验。CAT 大致可以分为两类,一类是以项目反应理论为基础的传统CAT,另一类是以认知诊断为基础的CD-CAT。相对于传统纸笔测验,CAT 的目的在于为每个被试建构一个最优测验,可以给出难易程度与被试能力水平相匹配的题目,既保证估计精确度的同时又能节省答题数。

然而,伴随着CAT的快速发展,CAT本身的一些弊端也逐渐暴露了出来。例如,从被试的角度出发,CAT较之纸笔测验的一个主要的区别就是:不允许被试修改答案。对于习惯了测验中可以修改答案的被试来说,不允许修改答案的CAT(简称传统CAT)是一个难以接受的测验形式。

可修改答案CAT(RCAT)的优点显而易见,首先,从被试的角度出发,允许修改答案的测验形式更符合他们的测验习惯。Stocking(1997)指出在传统的纸笔测验中考生可以任意修改答案,不允许修改答案无疑剥夺了考生犯错的权利。Vispoel,Henderickson和Bleiler(2000)调查发现有85%的被试表示希望在测验中拥有修改答案的机会,如果是高风险的测验这一比例会更高。尽管在测验中被试修改的题量是很有限的,但是提供可修改的机会本身就会减少被试的考试焦虑,人在高度的紧张焦虑状态中犯错的机会往往也更大。Olea,Revuelta,Ximénez和Abad(2000)比较了两组参加CAT的被试前后焦虑水平的变化,实验发现参加RCAT后被试平均焦虑水平下降了0.91。参加传统CAT后,被试平均焦虑水平上升了0.51。而且参加RCAT一组被试的答对比例显著高于另外一组。

其次,从主试的角度出发,检查并修改题目后的CAT更能够反映被试真实的能力水平(Steven & Wise,1999)。陈平和丁树良(2008)指出不允许被试修改答案将会增加测验的误差。例如,一些高水平的被试答错了本来完全有能力答对的题目,由于没有修改答案的机会他们的能力会被低估;相反,如果某个被试没有能力答对某个题目但却猜对了,又不允许修改,他的能力会被高估。最后从人类认知的角度来看,因为人类总是经过反复的观察和实践,才能最终认识到事物的本质,所以允许修改答案的测验更符合人类认识事物的习惯。