多级聚类诊断法的开发及其在认知诊断评估中的应用

摘要

认知诊断评估(Cognitively Diagnostic Assessment，CDA)是在“No Child Left Behind”的教育改革推动下兴起的，它能在微观层面上深入探测学生认知结构或知识技能的优势与不足，给老师教学提供具有补救性的反馈信息。CDA能否实现对学生认知结构的精确诊断主要依赖于两点，一是具备一个好的诊断测验，二是选用一个适宜的诊断模型。目前常用的认知诊断模型多为参数模型，参数模型发展时间较长，研究较为活跃，但其参数估计过程复杂，耗时大，需要研究者具备大量的统计和计算机知识，因此限制了CDA的广泛应用。近几年来，研究者开始关注非参数方法在认知诊断分类中的应用。相对而言，非参数方法易于理解，诊断分类耗时小，不依赖样本容量等特点使其较适用于课堂测验等小型评估情境，因此能推动CDA运用到教育领域。
　　聚类分析诊断法作为一种非参数的认知诊断方法，只需测验Q阵就能实现对学生知识状态的诊断。然而，现有关于聚类分析诊断法的研究均是适用于0-1计分情境的，随着教育考试改革的推进，许多大型的考试和测评越发强调考察分析题、问答题、论述题一类的主观题。该类题目的计分方法不再是0-1计分，采用0-1计分模式的认知诊断方法对其进行分析，势必会减少题目作答中的信息提取，从而影响诊断和分类的效果。此外，现有研究并没有关注聚类分析诊断法分类准确率的影响因素。由此，本文在前人研究的基础上，结合考试改革实践的需求，开发出适合于多级计分情境的聚类分析诊断法，探讨了多种因素对该方法分类准确率和稳定性的影响，并同时考察了其在实证应用中的效用。
　　本论文包括5个研究，研究1基于属性总分的思想提出了多级计分聚类诊断法(GradeResponse Cluster Diagnosis Method，GRCDM)。研究2通过模拟研究去验证GRCDM的分类准确率和各种因素如何影响对该方法分类准确率，包括四个因素:属性个数（4个、7个、9个）、被试人数（100人、500人、2000人）、被试分布（均匀分布、正态分布）、属性层次结构（线型、收敛型、发散型、无结构型）;研究3基于不同属性层次结构探讨了不同Q矩阵误设（属性缺失、属性多余、属性缺失&多余）对该方法分类准确率的影响;研究4探讨了不同属性层次关系错误（层次关系颠倒、有层次变无层次、无层次变有层次、层次关系错乱）对该方法分类准确率的影响;研究5使用该方法分析了1240名小学五年级学生的数学应用题CDA测验结果，并与规则空间模型所得结果进行对比。得到以下结果:
　　(1)GRCDM具有很高的判准率，且不受限于属性个数。在70种实验条件下均具有较高的模式匹配率和边缘匹配率(PMR:96.08％; MMR:99.04％)，且随着属性个数的增加，分类准确率呈升高趋势。说明该方法具有较强的适用性，不受限于属性个数，弥补了参数诊断模型限定的CDA测验中属性个数不易过多的现状，更能吻合实践教学中属性个数较多的需求，以及能够满足当前测验改革的实践情境，实现对学生知识状态的准确分类与诊断。
　　(2)总体而言，GRCDM更适合松散型的层次结构。在多数实验条件下，发散型和无结构型的PMR和MMR均显著高于紧密型层次结构，且不易受到被试人数以及被试分布的影响，因此该方法不但有较好的稳健性，而且为松散型属性层次关系下的数据找到了既适用又简便的分类方法。
　　(3)该方法对被试人数的依赖小，即使在100人和500人的小样本中，也表现出较好的稳健性，可适用于小型测评和课堂评估，为日常教学中的CDA提供了实用的方法。
　　(4)在Q矩阵误设时，除了线型条件且Q矩阵产生较大错误（属性缺失&多余）外，其他条件下的PMR降幅均低于5％，在可接受的范围，说明GRCDM对线型结构时的Q矩阵误设的反应较灵敏，而对于其它结构则具有较好的稳健性。
　　(5)属性层次关系颠倒和错乱对该方法的分类准确率影响较大。除了“有层次关系的变为无层次关系”的MMR均值的平均降幅为.006，其它条件下降幅均较大。说明GRCDM对层次关系错乱比较敏感。无结构型时的基础属性一定不能错误界定，紧密型的属性逻辑关系的确定也需谨慎，在不能保证两属性间存在先决关系的前提下，尽量视其关系为独立。
　　(6)该方法在对数学应用题CDA测验结果进行分析时得到的属性难度与属性性质相符，同时不同类型的学校（好、中、差）在各属性上的掌握百分比也有显著差异，好学校更大比例的学生掌握属性。因此该方法在实践情境中表现出较好的内外部效度。

目录

摘要

1 文献综述

1．1 认知诊断评估的核心概念

1．1．1 认知诊断评估

1．1．2 认知诊断评估的理论基础

1．1．3 知识状态的定义

1．1．4 Q矩阵的定义及其在认知诊断评估中的重要性

1．1．5 R矩阵的定义及其在CDA测验编制中的重要性

1．2 认知诊断分类方法研究综述

1．2．1 常用认知诊断模型介绍

1．2．2 非参数认知诊断方法介绍

1．2．3 认知诊断分类正确性的影响因素

1．3 聚类分析方法在认知诊断中的应用

1．3．1 聚类分析的定义及方法介绍

1．3．2 距离测量方法介绍

1．3．3 K-means法简介

1．3．4 K-means法在认知诊断评估中的应用

1．4 考试改革的实践需求与多级计分诊断模型

2 问题提出与研究设计

2．1 问题提出

2．1．1 应充分发挥非参数方法的优势，扩展认知诊断评估的实践应用

2．1．2 非参数诊断法仅涉及0-1计分，需拓展至多级计分情境

2．1．3 聚类分析诊断法的影响因素及稳定性有待考证

2．2 研究意义

2．2．1 理论意义

2．2．2 实践意义

2．3 研究设计

3 研究一：多级计分的聚类诊断方法

3．1 0-1计分聚类诊断法介绍

3．1．1 属性总分和能力向量的计算

3．1．2 K-means中心初始值的选取

3．1．3 0-1计分聚类诊断法的步骤

3．2 0-1计分聚类诊断法的拓展：多级聚类诊断法(GRCDM)

3．2．1 理想反映模式的计算

3．2．2 属性总分和能力向量的计算方法

4 研究二：不同因素对GRCDM分类准确率的影响

4．1 研究目的

4．2 研究方法

4．2．1 研究设计

4．2．2 模拟观察反应模式

4．2．3 被试分类与诊断

4．2．4 评价指标

4．3 研究结果

4．3．1 GRCDM在各实验条件下的PMR和MMR均值

4．3．2 各因素主效应及其交互效应

4．4 讨论

4．4．1 GRCDM具有很高的分类准确率

4．4．2 随属性个数的增加GRCDM分类准确率升高

4．4．3 GRCDM较适用于松散型的属性层次结构

4．4．4 GRCDM对被试人数和被试分布依赖性较小

5 研究三：Q矩阵误设对GRCDM分类准确率的影响

5．1 研究目的

5．2 研究方法

5．3 研究结果

5．3．1 Q矩阵误设对PMR的整体影响

5．3．2 属性层次结构和误设类型对GRCDM判准率的影响

5．4 讨论

5．4．1 GRCDM具有较好的稳健性

5．4．2 Q矩阵误设对GRCDM分类准确率的影响受层次结构影响

6 研究四：属性层次关系错误对GRCDM分类准确率的影响

6．1 研究目的

6．2 研究方法

6．3 研究结果

6．3．1 层次关系错误导致的MMR均值降幅

6．3．2 单因素方差分析结果

6．4 讨论

6．4．1 GRCDM对属性层次关系错乱具有一定的敏感性

6．4．2 GRCDM对各层次结构下的层次关系错乱敏感度不一

7 研究五：实证研究

7．1 研究目的

7．2 数据来源

7．3 过程和方法

7．4 研究结果

7．4．1 GRCDM的分类结果

7．4．2 属性通过率与属性性质相匹配

7．4．3 属性通过率的学习类型差异

7．5 讨论

7．5．1 GRCDM在实证研究中具有较高的内部效度

7．5．2 GRCDM在实证研究中具有较高的外部效度

8 研究结论与展望

8．1 研究结论

8．2 研究展望

参考文献

附录

致谢

攻读学位期间取得的研究成果

声明