基于神经网络的中文词义消歧研究

摘要

词汇的歧义性是自然语言的固有特征，词义消歧作为自然语言处理的一个基础任务，其结果对信息检索、机器翻译和信息抽取等上层任务具有直接影响。通过大规模语料训练的词向量包含了丰富的语义和句法信息，将其加入词义消歧模型中，可以提高模型的准确率。随着神经网络的发展和计算机处理能力的提高，神经网络在许多自然语言处理任务中取得了重大进展，但基于神经网络的中文词义消歧研究相对较少，且已有的少数工作忽略了目标词的外部知识。故本文对于中文词义消歧任务，分别从统计机器学习方法和神经网络方法进行研究，具体工作如下： (1)提出了基于词向量的支持向量机(Support Vector Machine，SVM)中文词义消歧模型。使用词向量表示的上下文词特征和词性特征代替之前统计机器学习方法中的复杂特征，作为SVM分类器的输入特征。本文使用ngram2vec模型训练的中文词向量，在词向量训练时将字特征和ngram特征加入到上下文特征中。该模型在SemEval2007task5中文采样词词义消歧任务中宏平均准确率为80.44%，相对于该数据集中机器学习模型的最好结果，宏平均准确率提高2.56%;在郑州大学构建的汉语词义标注语料库中微平均准确率达到83.18%。 (2)提出了基于语言知识和神经网络的中文词义消歧模型。首先提出了基于双向长短时记忆网络(Bidirectional Long Short Term Memory，Bi-LSTM)的中文词义消歧模型，模型使用Bi-LSTM建模目标词上下文语义信息，通过softmax函数进行词义分类。然后提出了融合词典信息的中文词义消歧模型，将词典中的释义和例句作为外部知识添加到神经网络模型中，借助外部知识辅助词义判断。模型通过两个Bi-LSTM分别建模目标词的上下文信息和词典信息，使用注意力算法建模两者之间的语义关系，最后综合上下文信息和词典信息进行中文词义消歧。该模型在SemEval2007语料中宏平均准确率达到85.28%。

目录

声明

图表目录

1 引言

1.1 研究背景和意义

1.2 本文研究工作

(1) 基于词向量的SVM中文词义消歧研究

(2) 基于语言知识和神经网络的中文词义消歧研究

1.3 论文组织框架

2 相关工作

2.1基于知识库的词义消歧

2.2基于语料库的词义消歧

2.2.1 无监督的词义消歧方法

2.2.2 有监督的词义消歧方法

2.2.3 半监督的词义消歧方法

2.3 支持向量机

2.3.1线性可分支持向量机

2.3.2非线性支持向量机

2.4循环神经网络

2.4.1 RNN

2.4.2 LSTM和Bi-LSTM

2.5 本章小结

3 基于词向量的SVM中文词义消歧模型

3.1 预处理

3.2 特征向量提取

3.2.1 词向量

3.2.2上下文词特征

3.2.3词性特征

3.2.4特征向量

3.3分类

3.4 实验设置

3.4.1语料库

3.4.2预训练词向量

3.4.3工具和参数设置

3.5 实验结果及分析

3.5.1词向量对实验结果影响

3.5.2上下文窗口对实验结果影响

3.5.3核函数对实验结果影响

3.6 本章小结

4基于语言知识和神经网络的中文词义消歧模型

4.1 基于Bi-LSTM的词义消歧模型

4.2 融合词典信息的神经网络词义消歧模型

4.2.1上下文表示模块

4.2.2释义例句联合表示模块

4.2.3记忆模块

4.2.4打分模块

4.3实验设置

4.3.1语料库

4.3.2词典

4.3.3实验参数

4.4实验结果与分析

4.4.1释义和例句作用分析

4.4.2注意力计算轮次对结果的影响

4.4.3释义和例句联合表示方法对模型影响

4.5 本章小结

5总结和展望

5.1总结

5.2展望

参考文献

个人履历、在校期间发表的学术论文及参与项目

个人履历

在校期间发表的学术论文

参与项目

致谢