基于层级注意力机制优化机器阅读理解能力的方法和系统

摘要

本发明公开了一种基于层级注意力机制优化机器阅读理解能力的方法，其利用多粒度的输入特征提取文本信息，然后使用注意力机制对提取的文本信息进行相互间的交互得到包含上下文信息的特征表示，最后根据相关问题使用新的特征表示得到答案。在特征输入阶段，不仅输入了简单的单词的常规向量表示，还输入了单词的预训练模型的词向量。同时，利用了知识图谱的方法，将外部知识库一一命名实体知识库NELL的词向量也进行输入。在信息交互阶段，使用了多种注意力机制。通过使用门控的段落到问题注意力机制得到问题感知的文本单词表示，再通过线性自匹配机制，使得问题感知的文本单词进一步感知每个文本单词前后的文本信息，进而产生答案。