CAT常用能力估计方法比较及其优化：能力综合估计方法开发

摘要

近年来，随着测量理论和计算机技术的发展，计算机化自适应测验(Computerized Adaptive Testing，CAT)受到人们越来越多的关注。能力估计技术在CAT中一直扮演重要角色，其估计的准确与否不仅影响选题策略的自适应，还会由此持续的影响CAT最关注的能力估计的准确性。 CAT的能力估计方法至今仍沿用IRT时代的几种主要方法，常见的包括MLE，MAP，EAP，WLE等。本文就CAT中能力估计方法的比较与开发开展了两项研究:研究一对四种常用CAT估计方法采用计算机蒙特卡洛模拟程序，分别从偏差，均方根误差，题库调用均匀性，测验效率等方面，进行了系统性的比较。研究二则是以研究一为基础，根据不同估计方法特点及优劣，开发了一种新的CAT能力估计方法——能力综合估计法，即强调在CAT能力估计的不同阶段，综合运用恰当的CAT能力综合估计方法，以期取长补短，发挥现有能力估计方法的优势，达到同时提高CAT能力估计的准确度及测验效率。研究结果表明: 1) MLE的偏差小但均方根误差大，曝光率相对其他方法更好，但测验效率最差，且对特殊作答模式无法给出有效的估计。 2) WLE的偏差最小，均方根误差多数情况下优于MLE，在a分层选题且b均匀时曝光率最好，且最大信息量选题时的测验效率最高。 3) MAP的偏差最大，均方根误差较小，曝光率在大多数条件下与WLE，EAP并无区别，且a分层选题策略下的测验效率最高。 4) EAP的偏差仅次于MAP，但均方根误差最小，测验效率略低于MAP。 5)本研究提出的前期和中期用EAP，后期用WLE的能力综合估计法可以有效提高EAP的偏差并基本维持EAP的均方根误差。 6)综合法主要可以在控制均方根误差的基础上有效改善EAP的偏差。对EAP偏差的改善率可达到30％～40％，而均方根误差仅相比EAP差了不到5％。 7)综合法在不同长度的测验中均能有效改善EAP的偏差，其中短测验中改善的效果更好。

目录

声明

摘要

引言

第一章 文献综述

1．1 CAT能力估计方法国内外研究综述与评价

1．1．1 极大似然估计(maximum likelihood estimation，MLE)

1．1．2 极大后验估计(Maximum a Posteriori，MAP)

1．1．3 期望后验估计(Expected a Posteriori，EAP)

1．1．4 加权似然估计(Weighted likelihood estimation，WLE)

1．2 CAT能力估计法比较研究现状

1．3 当前CAT能力估计存在的问题及新方法的提出

第二章 研究一：CAT常用能力估计方法比较

2．1 实验设计

2．1．1 研究条件设置

2．1．2 评价指标

2．1．3 数据模拟方法与能力估计方法设置

2．2 结果

2．2．1 偏差(bias)

2．2．2 均方根误差(Root Mean Square Error)

2．2．3 调用均匀性

2．2．4 测验效率

2．3 讨论

2．3．1 偏差

2．3．2 均方根误差

2．4 结论

第三章 研究二：CAT下能力参数综合估计方法开发

3．1 研究思路

3．2 研究二实验设计

3．3 结果

3．3．1 偏差和均方根误差

3．3．2 调用均匀性

3．4 讨论

3．5 结论

第四章 研究结论

4．1 CAT能力综合估计研究小结

4．2 不足与展望

参考文献

致谢

在读期间公开发表论文(著)及科研情况