一种应用于中高考英语听说考试的评分技术

摘要

本发明公开了一种应用于中高考英语听说考试的评分技术，包括评分设置、评分管理、系统机评和人机双评；评分设置包括选择考试、答题数据查看、试卷设置、仲裁规则设置、评分员管理、评分员分组和标答抽样；评分管理包括标答进度、评分观测、评分仲裁和下载双评；系统机评包括ISE评分、ASR评分、任务列表、CC评分和机器学习观测；人机双评包括人机分配、人机进度、人机仲裁和数据导出。本发明与现有的技术相比的优点在于：可以提高效率、能够人机共评和方便使用。

说明书

技术领域

本发明涉及中高考英语听说考试的评分技术领域，具体是一种应用于中高考英语听说考试的评分技术。

背景技术

现有技术中中高考英语听说考试的评分技术是用过人工进行评分，人工进行评分存在以下几个缺点：

(1)现有技术中的评分都是通过人工进行评分，人工评分会降低效率，需要大量的教师进行评分，会浪费大量的时间；

(2)在进行评分的时候，每一个老师的评分准则不同，但是由于人工比较少，一个试卷只能通过一个老师进行评分，如果出现评分错误，不方便进行检查，会对学生造成不公平的待遇。

发明内容

本发明要解决的技术问题就是克服以上的技术缺陷，提供一种可以提高效率、能够人机共评和方便使用的应用于中高考英语听说考试的评分技术。

为了解决上述问题，本发明的技术方案为：

一种应用于中高考英语听说考试的评分技术，包括评分设置、评分管理、系统机评和人机双评；

评分设置包括选择考试、答题数据查看、试卷设置、仲裁规则设置、评分员管理、评分员分组和标答抽样；

评分管理包括标答进度、评分观测、评分仲裁和下载双评；

系统机评包括ISE评分、ASR评分、任务列表、CC评分和机器学习观测；

人机双评包括人机分配、人机进度、人机仲裁和数据导出。

进一步，选择考试：选择一场考试进行评分操作；

答题数据查看：可以查看一场考试所有的答题数据并支持多种形式的检索；

试卷设置：对试卷内各大题进行分部和归类；

仲裁规则设置：设置考试中各part的仲裁规则；

评分员管理：管理评分员账号信息；

评分员分组：为评分员设定分组；

标答抽样：设置抽样的人数。

进一步，标答进度：查看试卷标答库的组建进度，查看各评分员工作状况；

评分观测：对评分员的评分状态进行观测；

评分仲裁：对于超阈值的评分情况进行仲裁；

下载双评：对于超阈值的评分情况进行仲裁。

进一步，ISE评分：系统初评，评出朗读题准确度、流利度、完整度；

ASR评分：系统初评，生成主观题文本；

任务列表：查看评分任务详情；

CC评分：将考试数据推送给CC评分引擎；

机器学习观测：查看每个小题各维度的一致率和各个Part的仲裁率。

进一步，人机分配：将未组建标答库的数据进行人机双评；

人机进度：查看人机双评进度情况；

人机仲裁：人机双评部分超阈值仲裁；

数据导出：对人机双评结果进行导出。

进一步，当前考试会显示目前选择的试卷名字信息，点击重新选择考试可以重新选择试卷进行评分。

进一步，评分员管理中显示所有评分员的基本信息包括：“登录名”、“昵称”、“真实姓名”、“手机号”、“用户状态”、“职务级别”，可以对评分员做增删改或重置密码操作。

进一步，评分技术中一共牵涉到三个角色，评分主管、专家、评分员。

本发明与现有的技术相比的优点在于：

评分精准高效：评分环节采用自研识别引擎，服务于我国的英语教学和测试，可评测范围覆盖中考所有题型，全过程抽查和自动纠偏评分技术，计算机评分与专家评分的一致性度达到98％，完全符合考试评分要求。

流程规范合理：提升市级管理平台对考试计划管理的科学性，提高任务分配、执行的智能化程度，提高重要机密数据传输的安全性，增强权限管理的机密性，完善全过程的可追溯性，实现英语听说正式考试标准化与规范化；系统支持多用户并发运行；同时针对各级考试主管部门关注的数据进行多维度图表呈现，体现出各级考试主管部门对考试整体业务流程的全程监管。

考务精细规范：考务工作细致、繁杂,涉及的部门、环节众多,如何确保各环节工作的安全规范,确保各部门之间协调运转,是考务工作人员需要思考的。本方案考务相关环节经过数年实战经验总结，逐步修正优化，贴合人机对话特殊考场的环境特点，能有秩序高质量地组织中考级别的英语口语考试。

具体实施方式

本发明实施例中的技术方案进行清楚、完整地描述。

选择考试

选择一评/区考主模块【正考评分阅卷】；

点击【选择考试】选择需要进行评分的考试信息；

可以通过选择“考试名称”、“考试ID”、“考试状态”、“机评状态”再点击【查询】按钮对考试进行查询；

找到需要评分的试卷后，点击【选择】；

“当前考试”会显示目前选择的试卷名字信息，点击【重新选择考试】可以重新选择试卷进行评分；

答题数据查看

主界面下方显示考生作答具体数据信息包括：“考生id”、“小题id”、“题目”、“回答内容”、“单词数”、“回答音频”、“系统得分”、“AI得分”、“专家分”、“引擎1”、“引擎2”、“评分员1”、“评分员2”、“最终分”；

可以根据“试卷”、“题型”、“小题ID”、“考生ID”、“样本属性”、“回答内容”、“系统得分率”、“AI得分”、“专家分”、“引擎1”、“引擎2”、“评分员”、“最终分”对具体的作答结果进行查询；

试卷设置

在【试卷信息】菜单中选择【试卷设置】，对试卷内各大题进行分部和归类；

设置本场试卷的Part信息用于仲裁，设置的分Part内容需要与提供的标答数据完全一致，以上海高考为例，通常为两个Part，Part1累计11分包含朗读句子、朗读段落、情景提问、看图说话，Part2累计9分包含快速应答、简述与回答；

仲裁规则设置

在【学术操作】菜单中选择【仲裁规则设置】，设置本场考试各Part的仲裁规则；

以上海高考为例，通常为每个Part仲裁阈值为>＝2分；

评分员管理

在【学术操作】菜单中选择【评分员管理】，管理评分员账号信息；

显示所有评分员的基本信息包括：“登录名”、“昵称”、“真实姓名”、“手机号”、“用户状态”、“职务级别”，可以对评分员做增删改或重置密码操作；

填写基本信息添加评分员；

修改评分员基本信息；

删除评分员时弹出信息确认是否删除；

为评分员设定新的账号密码；

评分员分组

在【学术操作】菜单中选择【评分员分组】，为评分员设定分组；

点击【新建分组】创建一个新的分组；

填写组名完成创建；

可以查看所有的分组信息，可以编辑组名或删除组；

在“未分组人员”中选择需要添加分组的评分员，点击【<】将其加入分组；

在分组信息中可以查看组内人员信息，小组组长会在名字最后显示“(小组长)”提示并将名字置顶显示，点击【设为组长】可以将组员设定为组长；

在组内人员信息中选择需要移出分组的评分员，点击【>】将其移出分组；

标答抽样

在【一评操作】菜单中选择【标答抽样】，设置抽样的人数；

可以选择将系统得分率以5档划分或10档划分显示

根据每一档得分率的总样本数，设置“定标组”和“检验组”数量，并各自显示占比；

设置每一part的评分组和单样本人评覆盖次数；

设置完成后，可以选择指派或撤销；

评分管理

标答进度

在【一评操作】菜单中选择【标答进度】，能够查看到试卷标答库的组建进度，也可以查看各个评分员的工作状况；

根据“考试名称”和“试卷选择”查看具体的标答进度，显示每一part的“样本类别”、“总样本数”、“一评数量”、“二评数量”、“已出分”、“未仲裁”、“少人评”，显示百分比进度条并且可以查看每一part不同样本类别的详情，可以清空列表或重新分配，支持新增监控来同时查看多个评分任务的标答进度；

评分观测

在【一评操作】菜单中选择【评分观测】，能够查看各评分员的评分数量，查看评分速度过快或者过慢的评分员，查看需仲裁数量较高的评分员，进行个别沟通和指导；

根据“考试名称”、“选择试卷”、“选择类别”、“部分筛选”、“分组筛选”显示具体的评分观测详情，显示每个评分员的“评分员名”、“试卷总数”、“已出成绩数”、“有效平卷数”、“评分采用率”、“评卷速度(秒/份)”、仲裁量、“part”、“小组名”、“平均分”、“标准差”、“最后一次打分时间”；

评分仲裁

在【一评操作】菜单中选择【评分仲裁】，能够查看到需要仲裁的情况；

选择一场需要仲裁的考试；

系统自动推送需要仲裁的学生作答题目；

评分专家可以查看具体题目问题、图片、ASR，可以检查学生的具体作答音频和音频波形图；

根据评分标准，给作答进行打分；

打分完成后比对和之前的评分对比，确认无误后点击【提交】完成这一题的仲裁，系统自动推送下一个需要仲裁的题目，如果所有的仲裁任务都完成，系统会提示“当前无需仲裁的数据”；

下载双评

在【数据管理】菜单中选择【下载双评】，下载专家双评成绩单；

系统机评

ISE评分

在【评分操作】菜单中选择【TCISE】，评分数据进行初评，ISE负责将朗读题给出准确度、流利度、完整度三个分数；

ASR评分

在【评分操作】菜单中选择【TCASR】，评分数据进行初评，ASR负责将主观题生成ASR文本；

显示“新建任务成功”表示评分任务建立完成；

任务列表

在【评分操作】菜单中选择【任务列表】，查看发起的评分任务详情；

任务列表显示评分任务的“任务id”、“考试id”、“任务类型”、“任务名”、“启动时间”、“剩余时间”、“TPS”、“状态”、“数量”；

“状态”中显示当前评分任务的完成进度；

CC评分

在【评分操作】菜单中选择【CC评分】，可以查看本考试过程里的定标组音频数量，如果数量不符需要重新检查标答库的导入数据；

确认定标组数量无误后，点击【推送整体数据】，将本场考试过程所有数据推送给CC评分引擎；

推送完成后，会显示“已推送整体数据”，等待评分完成后，点击【获取CC评分结果】即可拉取分数，如果评分未完成，会弹出提示“任务未完成”；

点击【推送小题数据】可以进行单道小题的评分，适用于比如给单个小题丰富了参考答案，重新进行评分的情况。如果有需要丰富参考答案，先点击【获取参考答案】，评分引擎会返回一些不确定的答案，进行人工标注，填写在定标分字段中。参考答案维护好后，再次推送数据给评分引擎进行重新评分，评分完毕后需要重新获取评分结果；

机器学习观测

在【学术操作】菜单中选择【机器学习观测】，可以查看每个小题各维度的一致率和各个Part的仲裁率；

硬性指标为检验组条件下，专家分和引擎分数对比产生的人机仲裁率，这个数值越低越好，如果高于10％，那就说明可能存在问题，需要具体排查分析；

人机双评

人机分配

在【一评操作】菜单中选择【人机分配】，将未组建标答库的数据进行人机双评；

是否进行人机双评取决于教育局的需要，因为所有学生数据人工评分一次需要耗费很多人力物力。这一步的前提条件是已经完成了系统评分；

人机进度

在【一评操作】菜单中选择【人机进度】，查看人机双评进度情况；

选择需要查看的考试过程和试卷，能够查看到试卷全量数据人机双评的组建进度，也可以查看各个评分员的工作状况；

人机仲裁

在【一评操作】菜单中选择【人机仲裁】，能够查看到需要仲裁的情况；

选择需要查看的考试过程，这里显示仲裁的内容为人机双评需要仲裁的数据，人机仲裁比率如果过大，如超过15％，需要暂停相关评分员的工作，进行调整；

选择一场需要仲裁的考试；

系统自动推送需要仲裁的学生作答题目；

评分专家可以查看具体题目问题、图片、ASR，可以检查学生的具体作答音频和音频波形图；

根据评分标准，给作答进行打分；

打分完成后比对和之前的评分对比，确认无误后点击【提交】完成这一题的仲裁，系统自动推送下一个需要仲裁的题目，如果所有的仲裁任务都完成，系统会提示“当前无需仲裁的数据”。

数据导出

在【数据管理】菜单中选择【数据导出】，下载考生成绩单；

以上对本发明及其实施方式进行了描述，这种描述没有限制性。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。