(一)研究目的
《量表》是在借鉴国际权威的托幼机构教育质量评价工具(如ECERS-R、CLASS等)的质量概念和框架结构的基础上,基于中国情境为测量中国托幼机构教育质量而研发的班级观察评价工具。在其被我国的学前教育研究者和实践者大规模应用之前,对该工具的测量学特性进行系统性评估是当务之急。作为整个研究项目的一部分,本研究致力于《量表》测量学特性的拓展性研究。具体说来,本研究试图在多元概化理论(MGT)框架下检验《量表》的测量信度。
(二)概念框架
多元概化理论包括了评分者间信度、内部一致性信度、组内相关等信度方法,并提供了全面统一的框架,[17]特别是针对复杂的测量情境。
1.相对决断与绝对决断
经典测验理论关注常模参照性分数的解释,也就是说,信度是关于分数相对排名的一致性,而不是实际分数的一致性。在多元概化理论的框架下,这种解释被称为“相对决断”。标准参照的分数解释是关于个体相对排名和实际得分的一致性,因此多元概化理论称其为“绝对决断”。这两种类型的概化(信度)系数相当于这两种类型的决断:相对决断概化系数ρ2和绝对决断概化系数φ [18]。我们通常对评分者间信度系数熟悉,它是一个“相对决断”的信度估计。但是在使用量表时,不仅要关注评分的相对一致性,也应该关注实际评分的一致性,因为这些分数代表托幼机构的质量差异。因此,最恰当的信度系数应该是“绝对决断”的概化系数φ。
2.制订最优化测评方案
传统的信度方法通常是进行事后检验,也就是测量信度依据事实基础进行计算。但是在制订最优化的测评方案上,多元概化理论可以充分发挥作用。多元概化理论包括两个阶段:G研究和D研究。G研究充当先行的研究用来提供信息(如不同来源的方差成分)并规划未来测量研究。在D研究中,来自G研究的信息被用于规划最佳测评方案的信息,这样可以实现最好的信度并平衡其他因素(如成本和效果)。这种便利性和预测能力在传统信度估计方法中一般无法实现。[19]