一、试测题选题法
试测题选题法决定了如何将不同的考生和测试题搭配起来。目前文献中存在的试测题选题法可归为三大类:随机选题法、以考生能力值为中心的选题法、以试测题参数值为中心的选题法。
(一)随机选题法
随机选题法的定义是:在正式的CAT过程中,当一位考生前进到某个预先指定的试测题嵌入题目位置时,计算机随机从试测题库中抽取出一道测试题呈现给考生。这个选题法是最容易执行的,并且生成的样本最具多样性和对总体的代表性。当考生总体能力值呈正态分布时,这种选题法也将会为每道试测题生成一个大致呈正态分布的样本。
然而一个潜在的问题是,在CAT中试题的难度理论上一般会呈现逐渐升高或降低的平稳轨迹,而一道随机选出的测试题可能会在周围平稳过渡的题目之中表现出明显不同的难度,而这个情况有可能会给考生带来不必要的困惑或焦虑感(Kingsbury,2009),或者也可能会使考生察觉到这是一道不计入总分的试测题,于是不努力作答,从而影响到作答数据的质量。
(二)以考生能力值为中心的选题法
以考生能力值为中心的选题法的定义为:在正式的CAT过程中,当一位考生前进到某个预先指定的试测题嵌入题目位置时,计算机采用与正式CAT的选题法相同的方法选取试测题(Chen,Xin,Wang & Chang,2010;Kingsbury,2009)。由于正式CAT的选题法大多以优化考生能力值估计为目标,所以在这里我们将这种用同一方法选取试测题的设计称为以考生能力值为中心的选题法。然而正是因为这种选题以优化考生能力值估计为目标,所以它的缺点也在于,它并不是为优化试测题参数估计而设计的。
Kingbury(2009)讨论了在1PL模型下的用此选题法的在线标定设计。这种选题法在1PL模型下是比较合理的,因为根据1PL模型的特点,CAT最常用的最大信息量选题法,将通过选取其难度参数值最接近被试能力估计值的题目来优化考生能力值估计。而用这种方法选择测试题,也会达到将题目难度参数值与考生能力估计值相搭配的效果,从而优化试测题参数标定的效率。