单题作答人数和单人作答题数对群体IRT参数估计的影响

摘要

在实际工作中，为了确保能对被试某个心理特征水平进行准确估计，就必须保证所使用的试题是该特质领域的代表性样本，这需要较大的题量。这样一个问题在个体水平估计存在一定的矛盾，因为被试一次测试能够接受的题量却远远小于那个题量。因此不能单一地考虑试题样本代表性的问题，还要兼顾考虑到个体的实际情况。通常只能折衷让被试答完一个恰当题量的试题。而在群体水平的估计中，这个问题是可以克服的。群体水平评估是指针对由一定数量个人所组成的单位、团体和组织进行的评估。即在群体水平估计中，只需对群体水平做估计，不需要对个体水平做估计。因此，在群体水平估计时就可以采用矩阵抽样的方法，每个被试只需要完成试题中一部分，每题只由一部分的被试去完成。如此就能对群体水平做出比较好的估计。
　　 在实际工作中的一些大型测试，如PISA、PIRLS、NEAP，其中PISA中学生样本所做的阅读、数学和科学素养认知测试取自难度覆盖广泛的且具有Rasch测量题目参数的大型题库，测验有若干个试题册，每名学生样本只要求作答其中的一套，依据随机原则将每名学生样本分配到每套试题册。目前我国大型测试还没实现上述测验方法，现有的大规模测验主要在大题量试题的基础上完成个体水平估计，群体水平以个人水平的均值或百分比作为指标。针对这种情况，IRT方法提供了另一种估计途径，它先获得某群体在各题上的正确作答概率，然后利用正确作答概率估计群体水平，蔡艳(2010)就采用这种群体水平直接估计法。然该方法必须要探讨每人做多少题，每题多少人做才能达到对群体水平的准确估计。而以前的研究采用的每人答一题，每题10人答，且只有20道题，以上均与实际条件差距太大。因此本研究要单题作答人数和单人作答题数对群体水平估计的影响，共分为3个部分。研究结果如下:
　　 实验一旨在检验研究的基础设想的可行性。采用Monte Carlo模拟方法模拟出100个群体在30个项目上的完整作答矩阵，每个群体1000人。采用两参数logistic模型，群体能力服从标准正态分布，且项目参数均服从正态分布。模拟测验情境中单人作答题数有1题、3题、5题和10题等4个水平，单题作答人数有6人、9人、12人、15人、20人、25人和30人等7个水平，总共28个实验条件。采用矩阵抽样设计完成各种实验条件下各群体的被试抽样工作。每个实验条件重复15次。最后在CY_GIRT程序下完成的群体被试能力参数估计值和项目参数与其预设值做比较，其绝对差值和均方根越大则估计效果越差，绝对差值和均方误差越小则估计效果越好。数据表明单题作答人数在25人左右，单人作答5到10题较为适宜。不但能准确估计能力值，而且项目区分度和难度估计值的精确性和稳定性也均可接受。个体作答多题的效果优于个体只答一题的效果。
　　 实验二将模拟的项目数增加至120，模拟测验情境中单人作答题数进行变化，从10题，20题，30题，40题;单题作答人数进行变化，从5人，15人，25人，35人，总共16个实验条件。实验方法和过程与实验一相同。数据结果表明，单人作答20题和30题且单题有25和35人作答时，能力参数估计效果较好;单人作答题数越多，项目参数的估计效果越好。
　　 实验三的目的探讨每人做多少题，每题多少人做才能达到对群体水平的准确估计。模拟的项目数为120，模拟测验情境中单人作答题数从10题，15题，20题，25题，30题中变化;单题作答人数从20人，25人，30人，35人中变化。实验方法和过程与实验一相同。结果显示单题作答人数为30且单人作答题数为25，是最佳选择。

目录

声明

摘要

1 文献综述

1．1 群体水平估计的概念

1．1．1 群体水平估计的概念

1．1．2 群体IRT的由来与背景

1．1．3 我国教育评估现状

1．2 群体水平估计的方法

1．2．1 经典测量理论框架下的群体水平估计

1．2．2 IRT框架下的群体水平估计

1．3 群体水平项目反应理论的基本知识

1．4 关于群体水平估计研究的现状

2 问题提出与研究思路

2．1 问题的提出

2．2 研究目的

2．3 研究思路

2．4 研究的意义

3 实验一

3．1 研究目的

3．2 研究方法与过程

3．2．1 研究设计

3．2．2 研究基本过程

3．2．3 分析工具

3．3 数据结果与分析

3．3．1 对能力值的估计

3．3．2 对项目区分度和项目难度的估计

3．4 结果与讨论

4 实验二

4．1 研究目的

4．2 研究方法与过程

4．2．1 研究设计

4．2．2 研究基本过程

4．2．3 分析工具

4．3 研究结果与分析

4．3．1 对能力值的估计

4．3．2 对项目区分度和项目难度的估计

4．4 结果与讨论

5 实验三

5．1 研究目的

5．2 研究方法与过程

5．2．1 研究设计

5．2．2 研究基本过程

5．2．3 分析工具

5．3 研究结果与分析

5．3．1 对能力参数的估计

5．3．2 对项目区分度和项目难度的估计

5．4 结果与讨论

结论

参考文献

致谢

在读期间公开发表论文(著)及科研情况