基于注意力机制的双打分式机器阅读理解模型

摘要

由于现有的机器阅读理解模型对于文本信息的理解能力欠佳,模型的问题回答准确度也有待提升。为了提升相关模型对于文本的阅读理解能力,提出了一种双打分机制。先依据文章信息的自注意力权重判断文章中每个词语的重要程度,进而可以排除掉一些不重要的信息,并给予重要信息以更高的权重。随后再从问题的角度选取答案,计算文章中单词与问题的相关度,通过Softmax函数即可返回每个单词作为答案开头与结尾的概率,选取概率最高的单词,输出二者之间的内容,即可得到模型所认为的问题答案。在此方法中,模型是在排除了一些信息的前提下选择答案,这将会有着更高的效率。实验部分将采用SQuAD问答数据集来进行对比实验,在与BiDAF模型与DrQA模型的对比实验中,EM指数高出同类最好模型0.82。实验结果表明,采用该方法的模型相较于其他模型有着更高的准确率,该方法对于模型回答准确率的提升是成功的。