关于Angoff方法中考生作答数据反馈作用的实验研究

摘要

标准设定是教育测量领域的研究热点,是标准参照测验实施环节中不可或缺的重要组成部分.Angoff方法是当前国内外标准设定研究中应用最为广泛的方法,包括对专家组的选择与培训、专家判断与评分、向专家提供反馈数据并推动讨论、收集效度证据等环节.其中,在是否提供考生题目作答数据反馈给专家组环节上,国内外学者存在着较大分歧.本研究以大规模学业测验为背景,采用实验研究组间设计的方式,将专家分为五组,在反馈数据环节给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的虚假数据,同时采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定过程中如何参考使用题目作答数据.结果表明,在制定合格线和优秀线时,无论反馈数据是否真实,专家组均修改了相应的结果判断,且在判断过程中整合了反馈数据.该研究对Angoff方法的数据反馈环节设置具有一定的借鉴意义。