基于多维项目反应理论在考试中的分析和应用

摘要

本文主要研究考生多维度能力的综合评价问题，在考试的基础上测量学生的多维能力。以多维项目反应理论为基础，考虑被试不同能力维度上的补偿性，即在某个题目上相同的得分概率，是可以由不同特质维度的相互补充得到，被试在各个维度上的非均衡发展，也能得到相同的分数，选用多维三参数补偿性模型作为人才评价的模型，将认知诊断理论中能力认知属性Q阵引入本模型中，将被试不可直接观察的能力认知情况与可观察的正确作答反应联系在一起，方便对被试的能力估计。
　　参数估计采用MCMC和MMLE/EM方法，并设计了三个不同样本（人少题少、人适中题适中、人多题多）两个水平下（3维和5维）的模拟试验。试验结果表明，两种方法下项目参数的估计精度均较高，在使用MCMC方法估计时项目参数的相对误差值在5％以内，能力参数的相对误差在5％～10％之间，估计精度及稳健性都优于MMLE/EM方法。但当样本较大时算法程序耗时较长，因此在实际应用中可采取先对样本总体进行项目参数估计，然后将估计值作为真值再来计算被试个体能力参数的办法来提高运算速度和估计精度。
　　基于以上讨论，选取高中数学测验数据作为研究对象进行实证分析。首先，根据各维度下区分度参数的估计值，采用项目整体区分度(MDSIC)作为衡量标准，评价试卷题目质量，为试题的编制和改良提供了理论依据。其次，在对考生能力的认知诊断分析时，不仅得到试卷内部不同能力维度的相关性，也能提供考生在多维度上的能力信息，比传统的UIRT模型提供的信息更为丰富。模型估计得到的能力值为负的表示考生所欠缺的能力，能力值越小表示考生在这项能力上表现越差。可以看出，不同考生的能力结构是不一样的，即使是具有相同得分的考生，其能力掌握情况也有较大差异。由此表明，本文采用的MIRT模型具有很好的应用前景，在今后的教学中可根据能力信息为每个考生制定测验诊断报告，从而有针对性的进行指导学习。

目录

声明

摘要

第一章 绪论

§1．1 问题背景和研究现状

§1．2 本文的主要工作

第二章 项目反应理论

§2．1 项目反应理论简述

§2．2 单维项目反应理论

§2．2．1 单维3PLM

§2．2．2 等级反应模型

§2．3 多维项目反应理论

§2．3．1 0-1记分多维双参数Logistic补偿模型

§2．3．2 0-1记分多维双参数Logistic非补偿模型

§2．3．3 多维等级反应模型

§2．3．4 多维随机系数多项Logistic模型

第三章 MIRT模型的参数估计

§3．1 MCMC算法

§3．1．1 MH抽样

§3．1．2 Gibbs抽样

§3．1．3 多维三参数模型的MCMC估计

§3．2 边际极大似然估计

§3．2．1 项目参数的估计

§3．2．2 能力参数的估计

第四章 MIRT参数估计模拟分析

§4．1 实验设计

§4．1．1 模拟样本设计

§4．1．2 模拟数据产生

§4．2 不同测验维度及样本容量下参数估计的精度

§4．2．1 MMLE／EM的参数估计分析

§4．2．2 MCMC方法的参数估计分析

§4．3 两种方法下参数估计的精度

§4．4 小结

第五章 实证分析

§5．1 数据来源

§5．2 传统方法下的测验结果

§5．3 多维项目反应模型的参数估计

§5．3．1 能力维度Q阵

§5．3．2 试卷质量分析

§5．3．3 被试能力分析

§5．4 小结

第六章 结论与讨论

§6．1 结论

§6．2 不足与展望

致谢

参考文献

附录