高考历史简答题自动评价方法研究

摘要

高考是全国范围内最重要的考试之一，试卷评阅质量是决定考生得分的关键环节。高考题目中的主观题包括简答题、论述题、作文题等多个类型，目前全部由人工阅卷评分。但该过程会受到多个因素的影响，例如阅卷人对所判科目的理解全面程度，答题人所列要点清晰程度、卷面整洁程度等，并且阅卷工作量巨大，将耗费一定的人力和时间。因此我们考虑使用自然语言处理方法初步探索用计算机阅卷的可能性。本题目实质上是研究简答题的学生答案与标准答案间的文本相似度和学生答案得分之间的联系，而文本间的匹配可以通过建立多种不同的模型来实现。本文主要从以下几个方面探索了学生答案和标准答案间的相似度：
　　第一，计算文本间的N-gram共现准确率、召回率等是基本思路。我们分析总结了BLEU和ROUGE所使用的N-gram共现计算方法，并将它们应用到了简答题自动评价问题中。我们使用了spearman秩相关系数在答案数据集上检验N-gram共现特征与数据得分之间的相关性。最后通过传统的机器学习方法——排序支持向量机(Ranking supporting vector machine)在这些特征上筛选得到能使模型排序效果最好的特征集合。
　　第二，认为仅靠N-gram共现特征是不够的。浅层语言学知识包括词法、句法和语义三个方面，其中词法和语义特征都是需要进一步探索的。文本是由许多不同的词组成，词性不同的词在句子中的重要程度也不同。显然，在学生答案与标准答案间共现的词中动词、名词可能会比其他词性成分重要。因此我们将计算基于词性的词汇共现特征。另外，我们还可以将名词进一步延伸为特定的历史学相关专有名词，也具有一定重要性。语义相似度上我们应用了信息检索中查询与文档间的相似度计算方法。
　　第三，深度学习已逐渐从最开始的计算词的分布表示逐渐发展到计算包含更多语义信息的短语、句子、文本等。词向量一个最基本的应用是计算两个词语的语义相似度。相应的，当我们根据一个完整的语料库训练出的模型得到的句子向量，也应能够给出两个句子的语义相似度。我们利用深度学习中神经网络的方法将学生答案和标准答案表示成包含丰富语义信息的句向量，并将向量间相似度作为学生答案和标准答案间的语义相似度。