最早的选题算法是基于洛德提出的最大信息量选题方法,测验效率高,但项目曝光率极高。1985年,Sympson和Hetter第一个提出用条件概率方法来解决项目过度曝光问题,其基本思想是在项目选择和最终分配之间加设一个曝光控制参数(Exposure Control Parameters),用来决定项目最终施测的概率。条件概率方法可有效控制过度曝光的项目,但并不能有效提高不太使用项目的使用率,后来有研究提出了一系列的改进方法,如按区分度a分层选题策略(Chang & Ying,1999)和综合区分度a和难度b分层的选题策略(Chang,Qian & Ying,2001)。还有吸取a分层思想的动态分层方法。下面简要介绍条件概率方法、a分层方法和动态a分层方法。
一、条件概率方法
条件概率法(Sympson & Hetter,1985),它是一种利用条件概率对项目曝光率进行控制的方法,其基本思想就是在项目选择和最终分配之间,设置两个概率和阈值来进行动态控制项目曝光。这两个概率分别是P(S)和P(A|S),其中P(S)表示采用某种选题策略时某个项目被选择的概率;P(A|S)表示被选题策略选中的项目被分配给被试的概率。P(A|S)被称为曝光控制参数,这是因为:P(S)往往由选题算法、题库和施测对象的分布所决定,基本上是不变的;由条件概率计算公式,可计算某一个项目被分配给被试的概率为P(A)=P(S)P(A|S),如果某一项目已经被选题策略选中,那么要不要分配这个项目给被试则取决于P(A|S)。
P(A|S)往往通过模拟实验动态进行调整。如在既定的题库下,按照一定的选题算法和施测对象分布(如能力分布为正态分布),多轮模拟CAT施测过程,动态调整P(A|S),直到项目的最大曝光率不超过某一个预设值R为止。具体来说,在每次模拟研究结束时,可得到各个项目被选题策略选中的概率P(S),各个项目被分配给被试作答的概率P(A)。对于那些较少被选中的项目,即P(S)≤r,在下一轮模拟过程中,这些项目的曝光控制参数P(A|S)可以设置为1,仍可保证P(A)=P(A|S)P(S)≤r,以增加这些项目的曝光率;对于那些频繁被选中的项目,即P(S)>r,可以将曝光控制参数P(A|S)设置为r/P(S)。直到所有项目的曝光率P(A)不超过某一个预设值R为止,整个模拟过程终止,并将最终得到的曝光控制参数P(A|S)用于类似模拟情景的真实测验情景。