阅读理解测试的信度研究:来自概化分析的视角

摘要

阅读理解测试通常为多个题目共用一个语篇材料,属于典型的题组题型,传统的基于单题的信度估计方法将会高估测试的信度.研究采用概化理论模型,通过比较传统(a)信度系数以及不同的概化理论测量设计模型,探讨不同方法对阅读理解测量精度估计的差别;同时,通过改变语篇和题目的数量来观察概化系数和可靠性指数等指标的变化,为改进考试设计和命题提供参考信息.结果表明,忽略语篇的单变量概化设计以及基于题目的a系数会在概化系数上高估0.0404,将语篇作为多变量的交叉设计会在概化系数上高估0.0480,基于语篇的(a)系数与单变量嵌套设计的概化系数一致.另外,增加阅读理解中的语篇量或题目量都可以提高测量的精度,但增加语篇量在提高阅读理解测试的测量精度上更为高效.