人工智能背景下机器评分与人工评分的效度比较——以英语学习者故事复述评分为例

摘要

人工智能背景下,机器评分在口语测试领域中的应用得到了快速发展。基于R语言编写对英语学习者口头复述故事内容自动评分命令,进而比较机器(分析式)评分与人工(综合式和分析式)评分的效度,结果表明:人工评阅得分均值和机器评阅得分高度一致且无显著差异;人工分析式评阅得分均值和机器分析式评阅得分对学习者英语水平的解释力高于人工综合式评阅得分均值的解释力并具有共现效度;机器评分能够克服人工评分的主观性且节省人力和时间,可用于检验人工评分的信度;机器评分的局限性在于其准确性是建立在评分标准的完善和语音识别转录技术的优化基础之上的。