基于神经网络的自然语言语义表征方法研究

摘要

人工智能主要包含运算智能、感知智能、认知智能三个层次。自然语言理解是认知智能研究的重要领域，也被视为人工智能完备问题之一而受到广泛关注。自然语言通常以词语为基本单位，通过组合词语构成句子和篇章。计算机理解词语、句子、篇章离不开对自然语言的语义表征。现阶段，基于分布式语义假设的词向量技术在词语的语义表征上已经取得了成功。然而，对于句子、篇章的语义表征仍然面临着诸多挑战，如何在神经网络框架下将变长的句子、篇章表征成固定长度的低维稠密向量仍是当前语义表征研究的核心问题。自然语言推理和自动文本摘要是依赖句子、篇章级语义表征的典型自然语言理解任务。现阶段基于神经网络的自然语言推理方法在表征句子语义时，往往存在忽略语言固有的句法结构信息、缺乏对外部语义知识的运用等问题，而现阶段基于神经网络的概括式自动文本摘要方法主要针对短篇章的自动摘要，在表征篇章语义时没有考虑到处理长篇章可能出现的冗余性问题。
　　本文围绕基于神经网络的自然语言语义表征，在句子语义表征方法、自然语言推理方法、自动文本摘要方法等方面开展研究工作，具体包括:
　　首先，研究了基于通用池化的句子语义表征方法，提出了向量化的多头自注意力机制以获得固定长度的句子语义向量表征。该方法将已有的最大池化、均值池化、标量多头自注意力池化等作为特例，提升了句子语义表征能力。另外，通过引入惩罚项降低了不同头之间语义表征的冗余性，取得了在自然语言推理、作者侧写、情感分析三个任务上的性能提升。
　　其次，研究了结合句法结构与序列建模的句子语义表征与自然语言推理方法。针对现有基于神经网络的自然语言推理方法对于语言的序列特性与句法结构信息利用不足的问题，提出了增强型序列推理模型，并且进一步将句法结构信息融入到局部推理建模、推理组合两个模型组件中，提升了自然语言推理任务的性能。
　　再次，研究了融合外部语义知识的句子语义表征与自然语言推理方法。针对现有的神经网络自然语言推理方法过于依赖端到端训练、其语义表征模型缺乏对于外部语义知识的利用等问题，提出了一种融合外部语义知识的句子语义建模与推理方法。该方法在上述的增强型序列推理模型中的协同注意力计算、局部推理信息收集、推理组合三个组件上融合了外部语义知识，提高了原有模型在少训练样本情况下的泛化能力，取得了两个标准数据集上的自然语言推理性能提升。
　　最后，研究了考虑语义分散力机制的篇章语义表征与自动文本摘要方法。现有基于神经网络的自动文本摘要方法通常采用语句级的序列到序列模型，对于篇章全局的关注不足，这造成在处理长篇章时的摘要信息冗余问题。本文提出了基于循环神经网络的概括式文本摘要方法，该方法不仅利用了注意力机制来关注篇章的特定区域、内容，同时设计了分散力机制去遍历篇章的不同内容，从而更好地为摘要获取篇章的全局信息。该方法在没有利用任何人工特征的条件下，取得了中英文两个数据集上的性能提升。

目录

声明

摘要

第1章 绪论

1．1 国内外研究现状

1．1．1 自然语言语义表征技术现状

1．1．2 自然语言推理技术现状

1．1．3 自动文本摘要技术现状

1．2 本文主要内容及组织结构

1．2．1 主要内容

1．2．2 组织结构

第2章 基于通用池化的句子语义表征方法

2．1 概述

2．2 基于通用池化的句子语义表征方法

2．2．1 句子编码器

2．2．2 通用池化方法

2．2．3 顶层的分类器

2．3 实验设置

2．3．1 数据描述

2．3．2 训练细节

2．4 实验结果

2．4．1 实验结果概述

2．4．2 详细分析

2．5 本章小结

第3章 结合句法结构与序列建模的句子语义表征与自然语言推理方法

3．1 概述

3．2 结合句法结构与序列建模的自然语言推理方法

3．2．1 输人编码组件

3．2．2 局部推理建模组件

3．2．3 推理组合组件

3．2．4 混合推理模型

3．3 实验设置

3．3．1 实验数据

3．3．2 训练细节

3．4 实验结果

3．4．1 实验结果概述

3．4．2 消融分析实验

3．4．3 特例分析

3．5 本章小结

第4章 融合外部语义知识的句子语义表征与自然语言推理方法

4．1 概述

4．2 融合外部语义知识的自然语言推理方法

4．2．2 输入编码方法

4．2．4 知识增强的局部推理收集方法

4．2．5 知识增强的推理组合方法

4．3 实验设置

4．3．1 外部语义知识表征

4．3．2 自然语言推理数据集

4．3．3 训练细节

4．4 实验结果

4．4．1 实验结果概述

4．4．2 消融分析实验

4．4．3 推理类别分析

4．4．4 特例分析

4．5 本章小结

第5章 考虑语义分散力机制的篇章语义表征与自动文本摘要方法

5．1 概述

5．2 考虑语义分散力机制的自动文本摘要方法

5．2．1 基于门限循环单元的编码器和解码器

5．2．2 认知控制层

5．2．3 针对文本摘要的未知词替代技术

5．3 实验设置

5．3．1 数据

5．3．2 训练细节

5．4 实验结果

5．4．1 CNN数据集上的结果

5．4．2 LCSTS数据集上的结果

5．5 本章小结

第6章 总结

6．1 本文的主要贡献与创新点

6．2 后续的研究工作

参考文献

在读期间发表的学术论文与取得的研究成果

致谢