基于二阶段测验Q矩阵估计方法的开发与应用

摘要

认知诊断以微观认知角度对被试做出准确评估与反馈的优势在心理与教育测量领域中展现出巨大的发展潜力。但是，要利用这种优势就必须确保测验 Q矩阵的合理性。以往研究构建测验 Q矩阵主要依赖专家的经验，其缺点是专家的水平及意见统一与否会严重影响Q矩阵的正确性，而错误界定的Q矩阵会对模型参数估计和被试分类准确性带来严重影响。为克服该困难，国内外研究者相继开发出基于被试作答反应数据的Q矩阵估计方法，以数据驱动视角为专家界定测验Q矩阵提供参考。
　　本研究是在非线性惩罚估计法和贝叶斯法的优势与缺陷的基础上提出来的。非线性惩罚估计法的优势是不需要提前界定测验 Q矩阵，但该法存在目标函数估计方法选用不当和分界点过于绝对导致连续 Q矩阵离散过程中易出现误判的缺陷。相比非线性惩罚估计法，贝叶斯法能够有效估计测验 Q矩阵，但必须以 Q矩阵已知元素得到准确界定为前提。针对前者估计方法选用不当的缺陷，本研究采用 Quasi-Newton法对其进行改进，提出优化的非线性惩罚估计法；针对前者分界点过于绝对和后者前提严苛的缺陷，本研究提出通过改变分界点选取标准，实现既能满足贝叶斯法前提，又能解决非线性惩罚估计法缺陷的二阶段法。
　　为了验证本文开发的优化的非线性惩罚估计法和二阶段法的改进效果，本研究使用蒙特卡罗模拟系统比较了非线性惩罚估计法、优化的非线性惩罚估计法和二阶段法在被试人数、测验长度、属性数目和分界点选取标准等因素上的判准率。并采用实证研究范式，使用 Tatsuoka分数减法数据考察这些方法在实测数据中的表现。研究结果表明：
　　（1）无论是估计效率还是估计精度，优化的非线性惩罚估计法都要优于非线性惩罚估计法；相比非线性惩罚估计法和优化的非线性惩罚估计法，二阶段法能有效提升Q矩阵估计的准确性。
　　（2）随着属性数目增加，非线性惩罚估计法、优化的非线性惩罚估计法和二阶段法的估计准确性均有所下降。但三种方法的降幅不同，非线性惩罚估计法的降幅最大。
　　（3）优化的非线性惩罚估计法和二阶段法的估计准确性在测验长度上的变化趋势与非线性惩罚估计法相反。前者表现更好，而后者表现更差。
　　（4）0.7/0.3和0.6/0.4分界点下二阶段法表现较好。当被试人数较少时，二阶段法分界点取0.6/0.4较为适宜。
　　（5）Tatsuoka分数减法数据基本证实了模拟研究的结论。

目录

封面

声明

中文摘要

英文摘要

目录

前言

1 文献综述

1.1 Q矩阵非参数化估计法

1.2 Q矩阵参数化估计法

1.3 小结

2 问题提出

2.1 当前Q矩阵估计方法的不足

2.2 本文欲探讨的具体问题

2.3 本文的研究内容

2.4 本文的创新之处

3 二阶段法的开发思路

3.1 非线性惩罚估计法的优化

3.2 二阶段法的开发

4 研究一：二阶段法的效果验证

4.1 实验1：非线性惩罚估计法的优化

4.2 实验2：二阶段法有效性验证

5 研究二：二阶段法在实测数据中的应用

5.1 研究思路

5.2 数据来源

5.3 结果

5.4 小结与讨论

6 综合结论

6.1 研究结论

6.2 研究局限

6.3 未来展望

参考文献

附录

致谢

在读期间公开发表论文（著）及科研情况