基于多级语义表示和混合注意力机制的机器阅读理解研究

摘要

机器阅读理解是语言处理的一个重要分支，目的是让机器理解文本的语义并推理相关结论。机器阅读理解的主要过程是通过输入给定的文章和问题，输出与问题相匹配的答案。相对于传统的问答系统，机器阅读理解不依赖于强大的知识库系统，而是从小范围的文章中寻找各个单元之间的关系。此类任务的数据集是从人类语言能力测试题的阅读理解这一类题型得到的。对此类任务的探索有助于机器更好地模拟人类的思考方式，是达到高级人工智能的重要一步。 目前已有的机器阅读理解方法在文本表示和推理机制上的两方面不足。现阶段的文本表示问题通常使用词向量来解决，传统的词向量不仅缺少对一词多义的区分，而且对于机器阅读理解任务，预训练的词向量往往会引入外部知识的关系。从目前的机器阅读理解答案推理模型来看，大多数基于单类型的注意力机制进行语义理解和答案推理，对于文本内部关系的深度挖掘还有一定的不足。我们基于机器阅读理解任务的两方面提出改进，分别是文本表示和推理答案两方面。基于一种多级语义表示模型，分别通过字符水平表示、词嵌入表示、特征工程表示以及上下文嵌入表示，使得文本表示能够适应机器阅读理解的特定任务。其次，实现了两种混合注意力机制模型去解决该类任务。其中一种基于双向自注意力和自注意力混合注意力机制的神经网络模型解决片段抽取式的机器阅读理解任务，另外实现了一种基于双重注意力和门注意力混合的注意力机制来解决填空式的机器阅读理解任务，再通过双向的神经网络编码得到问题和文档之间的交互，以此来增强模型的语义理解能力，来获取与问题高度匹配的答案。 我们在SQuAD、CNN\Daily Mail以及Children’s Book Test这三个现阶段比较著名的机器阅读理解数据集中进行了实验验证，验证了该模型的文本表示使得文章中的词语相似度更高，以及模型的语义推理提高了机器的文本理解能力，结果显示该模型预测结果远远超过每个数据集的基线水平，并在验证集中的结果优于Self-Attention和AOA等单个模型，并对模型和数据集的特点做了一些相关分析。

目录

第一个书签之前