首页 中国托幼机构教育质量评价研究

三、基于项目反应理论多侧面Rasch模型的分析[28]

字体:16+-

(一)研究目的

本研究采用多侧面Rasch模型,对28位评分员在运用《量表》进行托幼机构教育质量评价中的评分员偏差进行了分析,一来为培训评分员、修订项目、提高测评的科学性提供佐证;二来为使用项目反应理论(IRT)探讨托幼机构教育质量评价的测量学属性(psychometric property)拓展思路。

(二)概念框架

经典Rasch模型考虑被评价对象和评价项目两个变量对测评结果的影响。[29]多侧面Rasch模型[30]认为除这两个影响因素外,还受评分员等测评情景变量的影响。多侧面Rasch模型将这些影响因素或变量称为测量侧面。多侧面Rasch模型的一般表达式为:

Pnijk是受评者n在项目i上被评委j评定为k等的概率;

Bn是受评者n的能力参数(n=1,2,…,N);

Di是项目i的难度参数(i=1,2,…,L);

Cj是评委j的宽严程度(j=1,2,…,J);

Fk是分部评分模型(Partial Credit Model)中被试得分从k-1到k的等级难度,每个项目均有K级评分(k=1,2,…,K)。

多侧面Rasch模型提供每个测量侧面的参数估计值,估计标准误和fit值等。fit值用于描述实际测评值与模型估计值差异的统计量。具体而言,fit统计量包括infit和outfit,它们的计算公式分别为:

Z2ni表示受评者n在项目i上的标准化残差的平方;Wni为权重,其大小为项目i的方差;infit考虑了项目方差,受极端值影响小;fit值范围为(0,+∞)。如果多名评分员对受评者测评结果相差很大或是过于一致性,fit值都会呈现这种差异。实际测评时,不同评分员对同一受评者的评价意见不可能完全一致,总是会有一定的差异。MFRM认为只要这个差异在某个正常范围内即可。实际工作中,fit值具体采用哪个取值范围通常根据测评目的和需要来确定。