基于融合句法信息的序列-树型编码器的自然语言推理研究

摘要

随着互联网的快速发展，全球每天都会不断的产生大量的文本数据，这些文本数据存在多种多样的表现形式，这使计算机在处理这些自然语言数据造成了巨大的困难。本文研究的自然语言推理是自然语言处理领域相对基础的一项研究，是机器翻译，机器阅读，机器问答等算法的基础。过去几十年中，基于手工特征的自然语言推理研究占据了该领域的主流，但随着算力和人工智能算法的发展，深度学习算法开始被应用到自然语言处理的各个方向，其中也包括自然语言推理，因为深度学习的引入，使自然语言推理的水平大幅提高，也间接的推动了自然语言处理其他领域的发展。
　　本文提出了一种基于融合句法信息的序列-树型编码模型的自然语言推理方法。首先提出了词性分布式表达向量来表示文本中单词的词性信息，弥补了现有词向量缺少词性信息的不足，从而解决了具有多种词性的单词的向量表示，同时增加了词性信息，使词向量包含更多信息，有利于后续网络的特征学习。其次本文使用了顺序序列形式的Bi-LSTM网络对文本进行编码，该网络编码好的句向量含有单词的上下文关系。同时本文利用树型LSTM网络对文本的依存树进行编码，该网络编码的句向量则含有源文本中词与词的依赖关系，通过顺序序列的Bi-LSTM网络和树型LSTM网络两种不同形式结构的网络共同对前提和假设进行编码，最大程度的保留原文本的句法和词性信息，并通过本文提出的基于Sentence Fusion的句向量混合模型对前提和假设的句向量进行融合，完成蕴含关系的识别。本模型在斯坦福自然语言推理数据集上进行训练，并在测试集上取得了良好的表现。

目录

声明

致谢

摘要

插图

表格

缩写、符号清单、术语表

1 绪论

1．1 研究背景

1．2 研究现状

1．2．1 深度学习的研究现状

1．2．2 深度学习在自然语言处理领域的研究现状

1．2．3 基于传统方法的自然语言推理的研究现状

1．2．4 基于深度学习方法的自然语言推理的研究现状

1．3 本文主要工作

2 SNLI数据集介绍及相关技术介绍

2．1 SNLI数据集介绍

2．2 词的向量化模型

2．2．1 One-hot模型

2．2．2 词袋模型

2．2．3 词向量模型

2．3 深度学习相关技术

2．3．1 循环神经网络

2．3．2 长短期记忆网络

2．3．3 双向循环网络

2．3．4 Dropout机制

2．3．5 激活函数

2．3．6 优化器介绍

2．4 自然语言处理相关技术

2．4．1 词性标注

2．4．2 依存句法分析

2．5 本章小节

3 基于顺序序列的自然语言推理算法

3．1 基于Bi-LSTM的编码模型

3．1．1 词向量层

3．1．2 句向量编码层

3．1．3 混合层

3．1．4 分类层

3．1．5 实验结果

3．2 基于Sentence Fusion的编码模型

3．2．1 基于Sentence Fusion的编码模型

3．2．2 Sentence Fusion模块

3．2．3 实验结果与分析

3．3 融合词性信息的Sentence Fusion的编码模型

3．3．1 传统词向量编码的不足

3．3．2 词性信息的分布式向量表达

3．3．3 融合词性信息的Sentence Fusion的编码模型

3．3．4 实验结果分析

3．4 本章小节

4 基于树型结构的自然语言推理算法

4．1 树型LSTM网络

4．2 基于树型LSTM的编码模型

4．2．1 基于树型LSTM的编码模型的模型结构

4．2．2 实验结果与分析

4．3 基于融合句法信息的序列-树型编码模型

4．3．1 基于融合句法信息的序列-树型编码模型的模型结构

4．3．2 实验结果与分析

4．4 本章小节

5 总结与展望

5．1 本文工作总结

5．2 未来工作展望

参考文献

攻读硕士学位期间的主要成果