允许检查并修改答案的CAT研究

摘要

过去的十年里，计算机化白适应测验(CAT)已经取代纸笔测验(P&P)成为许多大规模标准化测验的考试形式。目前，许多CAT测验的研究与应用存在着局限性，因为大多数的CAT不允许被试检查并修改答案。对被试来说，不允许返回检查并修改答案会给他们带来测验压力并影响其表现；对CAT考试机构来说，不允许被试检查并修改答案主要是担心：被试在检查修改阶段通过使用Wainer策略获得正偏的能力估计值，影响测验的公平性、公正性和准确性。如果能够提供这样一种解决方案，既允许被试检查并修改答案，又能够对付Wainer策略，其意义是不言而喻的。目前关于这方面的研究，国内刊物未见报导，国外研究也不多。相关研究存在的问题是，研究者仅仅记录修改后的答案并仅根据该记录评分，而对修改前的作答信息不予考虑。本文在对允许检查并修改答案的CAT进行研究的基础上，提出新的评分方式(式中符号见本文用到的主要符号说明)：Vaj=Uaj×Beta+Ua，f+m×11一Beta)综合考虑修改前后的作答信息，并根据相应估计试图对付Wainer策略。 本文实验一采用MonteCarlo方法自编计算机程序模拟允许检查并修改答案的CAT，以考察不同的Beta值对能力估计的影响。研究结果表明：(1)相对于只考虑被试在自适应阶段的作答信息(Beta=1)或只考虑被试在检查修改阶段的作答信息(Beta=0)，综合考虑被试的两次作答信息能够产生更加精确的能力估计值，尤其以Beta=O．5时能力估计的修复能力最强；(2)大部分的被试进行了修改；只有少部分的答案被修改；在被修改的答案中，大部分的答案是由错误改为正确，少部分的答案是由正确改为错误。实验二通过模拟测验数据，在评价Wainer策略有效性的基础上，试图采用新的评分方式对付Wainer策略。模拟结果表明：(1)在新的评分方式下，WainerStrategyCAT产生的能力估计值与能力真值存在着非常大的偏差，而且偏差随能力真值的增加而增加，并不能有效地对付Wainer策略；(2)当Beta：0时，综合WainerStrategyCAT的EAP值和MLE值可以比较“粗糙”地对付Wainer策略。

目录

文摘

英文文摘

本文用到的主要符号说明

本文用到的主要术语说明

第一章引言

第二章允许检查并修改答案的CAT研究现状

第三章本文采用的评分方式

第四章实验与结论

第五章总结与展望

参考文献

致谢

个人简历

独创性声明及论文使用授权说明