基于文本分类技术的英语作文自动评分研究

摘要

在中国，每年举行两次的全国大学英语四、六级考试是一项规模宏大的标准化考试。考试阅卷工作量大，很难保证阅卷评分的准确性和客观性，随着参考人数的增多，这一问题日显突出。目前的自动化考试系统对客观题目均实现了自动判分，如选择题、填空题等，大大的减轻了考试的阅卷工作量。但对作文的自动评分仍有待研究。 本文通过对影响作文得分的因素、特征提取方法、文本分类等相关工作的研究，提出了一种利用文本分类技术对英语作文进行评分的研究方法。 首先，从《中国学习者英语语料库》中抽取同一主题的作文作为系统的语料，根据作文分值的不同，将作文划分到不同的类别，将对作文的评分问题转化为对作文的分类问题。然后，抽取作文的内容特征和语言学特征，将作文表示成向量空间模型。基于内容的特征主要包括了作文中的单词和短语两个方面，通过文档频率、信息增益和χ2统计方法，通过设置不同的阈值来提取相关特征；基于语言学的特征包括浅层文本特征(如：作文中单词的数量、句子的数目、单词的长度等)和复杂的语言学特征(如：句法结构特征、词性特征等)。然后，利用三种经典的分类器(朴素贝叶斯、K近邻、支持向量机)根据提取的特征分别对作文进行分类(评分)。最后，利用分类器融合技术对各分量分类器进行融合，根据分量分类器的输出结果，通过投票和基于栈的融合技术得出最终分类结果。实验表明，采用多分类器融合技术以后，系统的分类准确率有了一定的提高。同时，也证明了利用文本分类的方法对作文进行评分的可行性。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题背景

1.2课题研究意义

1.3课题的创新点

1.4课题研究目标及相关问题

1.5论文的组织结构

第二章相关工作及系统实现框架

2.1相关工作介绍

2.1.1国外自动作文评分研究

2.1.2国内自动作文评分研究

2.2系统实现框架

2.3本章小结

第三章作文的表示与评分特征提取

3.1作文类别的划分

3.2作文的表示

3.2.1基于内容特征的表示方法

3.2.2基于语言学特征的表示方法

3.3作文特征的提取

3.3.1文档频率(Document Frequency，DF)

3.3.2信息增益(Information Gain，IG)

3.3.3 X2统计(Chi Square Statistic，CHI)

3.4本章小结

第四章基于文本分类技术的自动作文评分

4.1文本分类技术介绍

4.1.1文本分类概述

4.1.2文本分类的研究现状

4.1.3文本分类的一般过程与框架

4.2朴素贝叶斯(Naive Bayes，NB)

4.2.1贝叶斯法则

4.2.2朴素贝叶斯分类器

4.2.3下溢与平滑处理

4.2.4性能评价标准

4.2.6实验结果与分析

4.3 K近邻(K-Nearest Neighbor，KNN)

4.3.1最近邻分类

4.3.2 K近邻分类方法

4.3.3 K近邻技术在作文评分中的应用

4.3.4实验结果与分析

4.4支持向量机(Support Vector Machine，SVM)

4.4.3统计学习理论

4.4.3支持向量机基本思想与优点

4.4.3支持向量机算法

4.4.4实验结果与分析

4.5三种分类器性能比较

4.6本章小结

第五章自动作文评分中的多分类器融合技术

5.1引言

5.2多分类器融合技术

5.2.1多分类器融合技术概述

5.2.2多分类器问题描述

5.3基于多分类器的融合技术的自动作文评分

5.3.1基于投票原则的方法

5.3.2基于栈的融合方法

5.4实验结果与分析

5.5本章小结

第六章总结与展望

6.1本文总结

6.2未来工作

参考文献

附录

攻读学位期间公开发表的论文

致谢