英语口语计算机辅助评分的监控设计及其评分效度和信度研究

摘要

计算机测评系统中评分方式有两种——计算机辅助评分和计算机自动化评分。通过调研和实验测量发现计算机辅助评分在实践应用中存在诸如评分趋中、快速评分等评分缺陷;效度和信度是考试和教育心理测量质量评价的基本要求，自动化评分虽然已经投入实践应用，但其效度、信度是否满足教育测量质量评价的基本要求需实验验证。
　　 本文首先调研分析国内外口语测评系统中评分缺陷，对作者所在单位和科大讯飞联合研发的大学英语视听说智能测试系统的评分缺陷做多维度预估，其次设计教育实验来验证预估并发现新的评分缺陷，同时对参与实验的师生进行访谈调研，依据实验所获得的有效数据与数据分析结果，从评分行为、评分方式和评分时间三个方面设计评分监控，从而提高计算机英语口语测试的效度和信度。再次对系统自动化评分和教育测量理论进行调研分析，设计英语口考试卷并完成实验，通过对实验数据的经典信度分析和经典校标效度分析，验证大学英语视听说智能测试系统实践应用的可行性。
　　 研究结果表明:(1)快速评分现象普遍，实验和师生访谈结果表明以录音时间上下浮动1/4，评分的平均时间和口语答题时间一致。(2)评分持续时间低于3小时，评分过程不存在疲劳评分。(3)拖动滚动条现象伴随大幅度拖动和反复性拖动行为，滚动条的拖动幅度在1/3总时间以内，拖动次数在3次以内。(4)访谈结果表明按比例抽取复评可提高评分效度和信度，两位老师评分的方式需要改进。(5)评分中有参考前题成绩评分、反复性修改成绩、先评分后听录音、不听录音直接评分现象，有多个小题的题型更容易出现该现象，评分量表也需要五分制和十分制两种模式。(6)计算机自动评分中，听力问答题、复述题以及由它们组成的整体信度分析结果均在0.70以上，表明评分者之间信度良好。以计算机辅助评分作校标，朗读题的效度良好，听力问答题和复述题尚不满足实践应用的标准。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究现状分析

1．3 研究内容

1．4 研究意义

1．5 研究方法

1．6 论文的逻辑结构

第2章 文献综述与理论分析

2．1 英语口语机考评分模式综述

2．1．1 计算机辅助评分模式概述

2．1．2 计算机自动评分模式概述

2．1．3 计算机辅助评分与计算机自动评分对比分析

2．2 影响计算机辅助评分的因素及其研究现状分析

2．2．1 影响评分结果的主要因素

2．2．2 评分者差异对评分结果的影响及对策

2．2．3 评分者效应中评分结果趋中现象及对策

2．3 自动化评分信度、效度测量方法的确定

2．3．1 教育测量理论概述

2．3．2 经典测量理论

2．4 本章小结

第3章 计算机辅助评分中评分监控的研究与设计

3．1 评分监控需求调研设计

3．1．1 评分时间分析

3．1．2 评分方式分析

3．1．3 评分行为分析

3．2 评分监控访谈调研与分析

3．2．1 访谈调研设计

3．2．2 访谈调研结果分析

3．2．3 本节小结

3．3 评分监控实验研究

3．3．1 研究材料

3．3．2 研究对象

3．3．3 研究方法

3．3．4 实验数据分析

3．3．5 本节小结

3．4 评分监控设计

3．4．1 总体架构

3．4．2 评分监控流程图

3．4．3 评分监控详细设计

3．5 本章小结

第4章 自动化评分信度、效度实证研究

4．1 自动化评分实验研究

4．1．1 测试用卷的制定

4．1．2 实施测试与数据收集

4．2 试卷质量分析

4．2．1 描述性数据分析

4．2．2 试卷难度分析

4．2．3 试卷区分度分析

4．2．4 试卷质量的信度分析

4．2．5 本节小结

4．3 自动化评分信度分析

4．3．1 分析数据的抽样选择方法

4．3．2 评分者内部一致性分析

4．3．3 评分者之间一致性分析

4．3．4 本节小结

4．4 自动化评分效度分析

4．4．1 自动化评分和计算机辅助评分相关性分析

4．4．2 生自动化评分和计算机辅助评分的差异性分析

4．4．3 本节小结

4．5 本章小结

第5章 总结与展望

5．1 本文主要工作与研究成果

5．2 后续工作与改进

参考文献

附录一：视听说智能测试系统评分监控需求学生访谈问卷

附录二：视听说智能测试系统评分监控需求教师访谈问卷

致谢

在读期间发表的学术论文与取得的研究成果