本节主要介绍具有CD-CAT技术在二级英语听力理解中的应用(Liu,You,Wang,Ding & Chang,2013),主要介绍题库建设、选题策略、参数估计、真实题库下模拟实验和真实测试效度验证等。
一、题库建设
一个成功的具有认识诊断功能的自适应测试,需要一个优质、大型的题库。建设一个题库需要做一系列工作。对于基于二级英语认知诊断的题库建设大约分以下几步来完成:第一,所有的试题命制基于课程标准,体现课程标准的基本理念和要求,注重考查学生对核心知识、技能的理解和掌握;第二,由学科专家确定测试考查的属性,界定属性,甚至给出属性层次结构,再由测量专家根据属性层次结构给出命题蓝图;第三,学科专家由命题蓝图命制试题,并给定每个项目属性,得到测验Q阵;第四,选取代表性学生样本进行预测;第五,数据分析和整理,进行参数估计、等值、模型拟合检验,甚至Q阵修正等;第六,题目入库。
对于二级英语测试,学科专家给出8个属性,分别是:A1~A8共8个属性,见表10-2-1。共编制了352道试题,其中包括听力对话、短文听力、语法词汇题和阅读理解题,题型均为选择题。共编制13份试卷,收集到38722个有效被试数据。采用3PLM和DINA模型进行参数估计,并进行了参数等值,从而得到统一在同一量表上的题库参数。
表10-2-1 二级英语听力属性
为验证专家指出的Q阵的结构效度(Construct Validity),本文采用属性对难度(3PLM的难度)的回归方法(Yang & Embretson,2007),或者说是属性对难度的预测或解释能力(决定系数R2=0.455,仅列出一份试卷的分析结果,其他试卷结果类似)。表10-2-2列出了线性回归模型的标准化和非标准化回归系数,除了A1,A4和A7,其他属性均显著。除了A1,其他属性的斜率参数都较大,表明属性预测难度的权重较大。从以上实验结果来看,一般来说,项目属性能够较好地预测项目难度。