——基于多元概化理论与项目反应理论的分析
本章概要
研究背景：《量表》第一版是借鉴国际知名评价工具（如ECERS-R、CLASS）的概念框架，在大量本土化实证研究的基础上，为中国托幼机构教育质量的测量而研发的班级观察评价工具。但如何控制评价误差来源、减小测评误差、提高测量信度，是提高托幼机构质量评价科学性、权威性迫切需要解决的问题。基于现代测量理论的多元概化理论和项目反应理论超越了传统测量理论的局限，能够为《量表》的测量学特性分析提供新的技术和视角。
研究一：基于多元概化理论的分析
研究目的：研究者试图在多元概化理论（MGT）框架下，检验《量表》的测量信度，并探索最佳测评方案。
研究设计与方法：选取浙江省6个地市91所幼儿园的176个幼儿园班级，采用《量表》对其进行了空间与设施、保育、课程计划与实施、集体教学、游戏活动、语言推理、人际互动、家长与教师8个维度的质量评价。采用mGENOVA软件，基于多元概化理论分析数据，进行G研究（绝对决断的概化信度研究）和D研究（最优化测评方案决策研究）。
研究结果：G研究结果显示：（1）不同的子量表在“测量目标”上的方差分量不同；相对而言，样本班级在空间与设施质量上差异最大，在语言推理质量上差异最小。（2）子量表之间的相关系数最低为0.65，这表明《量表》的8个质量维度之间密切相关，在此基础上构成了一个复杂的量表。D研究结果显示：（1）在原测量情境下（两位评分员一个班级），在总量表及8个子量表上均表现出优秀的测量信度水平。（2）在评分员数量变化情境下，一位评分员与两位评分员之间的信度水平增幅最大，多于两位评分员的情境中信度增幅减缓并出现“边际效益递减”效应。