一、认知诊断考试的在线标定
与单维二级评分模型下的在线标定相比,对于CD-CAT情境下的在线标定的研究还比较稀少。套用认知诊断模型的考试,与套用单维IRT模型的考试相比,二者的不同是,后者只给出一个总体能力水平估计值,而前者则可以提供每位考生在不同被考量方面(Attribute,又常翻译为属性)的掌握情况(二项结果:掌握或未掌握)。与多维度IRT模型相比,二者都可以给出多个考量方面的测量结果,但多维度IRT给出的结果是各维度上的连续分数,而认知诊断模型给出的是二项结果。正因如此,多维度IRT的参数估计程序复杂,需要的考试题目较多,而认知诊断模型的参数估计程序简单,可以从非常短的考试中较准确地分析出结果。而把CAT技术应用在认知诊断考试中,更进一步缩短了考试的长度,使得CD-CAT成为信息化课堂内对短期学习内容得力的快速诊断工具。
Chen等人(2012)开创性地讨论了DINA模型题目参数(失误参数s和猜测参数g)的在线标定算法。文章重点提出了由Stocking-A,OEM,MEM三种方法衍生出的CD-Method A,CD-OEM和CD-MEM三种参数估计法。在其他的设计因素方面,他们使用了随机选题法和以考生能力值为中心的试测题选题法,将试测题随机嵌入全卷中,而他们并没有使用任何试测终止规则。他们的模拟研究发现,当题目中的真实猜测度参数和失误参数都较小时,CD-Method A对题目参数的估计比CD-OEM和CD-MEM更精准;当真实猜测度参数和失误参数都较大时,CD-Method A不如CD-OEM和CD-MEM精准。
上述研究假定Q矩阵是已知的,而Chen,Liu和Ying(2015)提出了将Q矩阵和题目参数一起在线标定的算法。具体来说,他们的算法分为两步,第一步先为每一种可能的Q矩阵算出使似然值最大化的题目参数,第二步再比较不同Q矩阵生成的最大似然值,找到使这个最大似然值最大化的Q矩阵。