对于一个测量工具而言，可靠的信度是其科学性与有效性的重要基础。目前，托幼机构教育质量评价的信度指标常常采用经典测验理论（CTT）中的克隆巴赫α系数进行分析与报告。[1][2]在《量表》的初步效度验证研究中，研究者计算了克隆巴赫α系数和Kappa系数作为《量表》的内部一致性和评分者间一致性信度的证据。[3]但是，托幼机构教育质量评价是一种主观评价活动，通常采用评分员班级观察的方法进行测评（如EOERS、ECCOM量表）。[4]评分员、评价情境（如几个评分员评价一个班级等）、评价工具等都将是评价误差的重要来源。[5]如何控制评价误差来源、减小测评误差、提高测量信度，是提高托幼机构质量评价科学性、权威性迫切需要解决的问题。
运用经典测验理论（CTT）中的克隆巴赫α系数无法分解评价中各种误差的来源，难以考察测量情境关系变化所引起的误差相对变化，而且没有一个综合统一的评价指标对多维度的评价活动进行信度分析。正因如此，当实践中面对多个评分员进行多维度测评活动时，运用多元概化理论（Multivariate Generalizability Theory，MGT）将可以进行更深入、精确的分析。[6]
概化理论运用实验设计的思想，采用方差分析的统计分析技术，分析测评中的各种变异来源，并进行分解、估计与控制。近几十年来，概化理论应实践需要从单变量概化理论发展到多元概化理论。[7]单变量概化理论主要用于针对单个维度的测评和分析，多元概化理论主要用于同时对多维度的测评工作。尤其是面对现实中多维度的复杂测量与评价情境，多元概化理论对其测评误差来源的分析与估计，对提高测量与评价的精度，改进测量与评价的质量具有重要的意义。
虽然GT对各误差源的方差分量进行了估计，用概化系数作为评价测评结果信度的指标，并为进一步测评方案的设计提供了信息，但是GT并没有改良CTT的项目参数系统，它更多的是从整个测验的宏观结构及其与外部测验条件的关系上做了深入的计量分析。[8]有关CTT 存在的诸如测评结果对样本的依赖性问题等，同是随机抽样理论的GT并没有从根本上解决。项目反应理论（Item Response Theory，IRT）克服了以上不足之处，为解决这些问题提供了新的思路和方法。近来，托幼机构教育质量评价的IRT研究渐成国外相关研究的热点和前沿。这些研究主要采用分步评分模型、等级反应模型和逻辑斯蒂克模型对评价班级的质量、项目的属性（如区分度和难度）以及记分系统等展开IRT分析。[9]托幼机构教育质量评价常常是多人参与的多维评价活动，评分员是影响评价准确性的重要原因之一。虽然评分员的严格培训是减少评价误差的重要手段，但是评分员偏差依然存在。[10]忽略评分员偏差的相关分析是不妥当的，其结果也是不准确的。