基于Rasch模型的课程标准参照性测试任务效度研究

摘要

本研究采用Rasch模型针对基于课程标准开发的测试任务开展效度研究,以验证测试任务设计的有效性和评分方案制定的可靠性。测试成绩的单维度Rasch模型分析结果显示,测试任务拟合度符合预期,测试任务难度总体覆盖考生能力水平,残差数据符合单维性检验。由此可见,测试成绩反映拟测构念要素,测试任务信度较高,且具有较好的代表性,考生作答情况符合模型预期,测试任务整体设计有效。构答任务评分数据的多层面Rasch模型分析结果显示,评分员严厉度、考生能力和测试任务难度显示出较为理想的拟合;评分员一致性多面Rasch模型分析结果显示,评分员间严厉度差异显著低于考生能力跨度,4位评分员的加权均方拟合值和均方拟合值均在合理范围之间。由此可见,评分员使用评分方案的一致性较高,评分方案整体制定可靠。本研究旨在为基于课程标准研发高质量测试任务提供参考,并为Rasch模型在测试任务效度研究中的应用提供操作范式。