与UCAT一样,MCAT的终止规则一般有两种:一种是定长(Fixed Length),即当被试完成了事先规定的m题(如m=25)则结束测试;另一种是不定长(Variable Length),即当被试的测量误差(或测量信度)达到了事先规定的要求则结束测试,这种规则的特点是被试的测量误差(或测量信度)相近,但每个被试使用的题量不等。
一、定长MCAT中测验长度的确定方法
定长MCAT中,测验长度的确定,需要满足:这种测验长度下,不同能力的被试测量的精度(或误差)在一个可接受的合理范围内(如整体测验误差要小于0.20),但不必要求所有被试的测量误差都一样或相近。那么如何来确定这种测验长度?通常做法是,预先调查题库中项目难度及区分度的分布情况,并根据已建好的MCAT题库中的实有项目参数,通过Monte Carlo 方法模拟不同能力被试在MCAT上的作答,并考查其在MCAT不同测验长度下的测量误差,同时根据大多被试可接受的测验长度等因素,共同确定相应的测验长度。
二、不定长MCAT终止规则
(一)基于项目信息量的终止规则
IRT中用信息量来反映测量的误差,因此UCAT一般是通过固定信息量的取舍来实现不定长测试。但在MIRT中,由于信息矩阵不再是一个标量,因而需要对信息矩阵作一步处理。
Wang,Chang(2013)和Wang(2014)分别提出给后验期望KL距离和能力后验分布连续熵设定一个上限e1和e2(该上限即为测量精度),则一旦它们低于上界值时意味着能力的后验概率分布集中于一定区域,即能力估计的方差低于某一给定值。于是,在此基础上构建了K-规则和CEM-规则。
(二)基于能力估计误差的终止规则
1.D-规则和E-规则
E-规则表示为
λj,min表示Fisher信息矩阵的最小特征值。