机器阅读理解方法、装置、电子设备及计算机存储介质

摘要

本发明涉及一种机器阅读理解方法、装置、设备和介质，其中，该机器阅读理解方法包括：接收问题和文章，将该问题通过编码层计算转换为问题向量，将该文章通过该编码层计算转换为文章向量，将该问题向量和该文章向量通过多重注意力层进行计算得到交互信息向量，其中，该多重注意力层包括训练好的自注意力模型和多个注意力匹配模型，将该文章通过训练好的BTM主题模型进行计算得到主题词语，将该主题词语进行编码得到主题特征向量，将该交互信息向量和该主题特征向量通过非线性输出层进行计算，得到与该问题相关的答案。通过本申请，解决了使用单一的单词匹配方法进行机器阅读理解存在答案的准确度低的问题，提高了机器阅读理解答案的准确度。

说明书

技术领域

本发明涉及自然语言处理领域，尤其涉及一种机器阅读理解方法、装置、电子设备及计算机存储介质。

背景技术

机器阅读理解是一种利用算法使计算机理解文章语义并回答相关问题的技术。在相关技术中，通过使用一种单词匹配方法，将问题与文章中的单词进行匹配，进而从文章中获得与问题相关的答案，但是这种单一的单词匹配方法，使得问题与文章中的单词之间的交互信息过于简单，导致获得的答案与问题并不相关，造成答案的准确度低。

针对相关技术中，使用单一的单词匹配方法进行机器阅读理解存在答案的准确度低的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种机器阅读理解方法、装置、电子设备和计算机存储介质，以至少解决相关技术中使用单一的单词匹配方法进行机器阅读理解存在答案的准确度低的问题。

第一方面，本申请实施例提供了一种机器阅读理解方法，所述方法包括：

接收问题和文章，将所述问题通过编码层计算转换为问题向量，将所述文章通过所述编码层计算转换为文章向量；

将所述问题向量和所述文章向量通过多重注意力层进行计算得到交互信息向量，其中，所述多重注意力层包括训练好的自注意力模型和多个注意力匹配模型；

将所述文章通过训练好的BTM主题模型进行计算得到主题词语，将所述主题词语进行编码得到主题特征向量；

将所述交互信息向量和所述主题特征向量通过非线性输出层进行计算，得到与所述问题相关的答案。

在其中一些实施例中，所述编码层包括BERT模型和预设的门控空洞卷积层，所述将所述问题通过编码层计算转换为问题向量包括：

将所述问题基于所述BERT模型进行学习得到所述问题中各单字的第一词向量，并由各所述单字的第一词向量组成第一中间向量；

将所述第一中间向量通过所述门控空洞卷积层进行计算，得到所述问题向量；

所述将所述文章通过所述编码层计算转换为文章向量包括：

将所述文章基于所述BERT模型进行学习得到所述文章中各单字的第二词向量，并由各所述单字的第二词向量组成第二中间向量；

将所述第二中间向量通过所述门控空洞卷积层进行计算，得到所述文章向量。

在其中一些实施例中，所述门控空洞卷积层包括多层依次相连的空洞卷积门控单元，每个所述空洞卷积门控单元用于对输入向量进行间隔采样得到输出向量，并将所述输出向量作为下一层空洞卷积门控单元的输入向量。

在其中一些实施例中，在多个所述注意力匹配模型包括点积注意力模型和基于Concat的注意力模型的情况下，所述将所述问题向量和所述文章向量通过多重注意力层进行计算得到交互信息向量包括：

将所述问题向量和所述文章向量通过训练好的点积注意力模型进行计算，得到第一向量和第二向量，其中，所述第一向量为所述问题关于所述文章的点积注意力向量，所述第二向量为所述文章关于所述问题的点积注意力向量；

将所述问题向量和所述文章向量通过训练好的基于Concat的注意力模型进行计算，得到第三向量和第四向量，其中，所述第三向量为所述问题关于所述文章的Concat注意力向量，所述第四向量为所述文章关于所述问题的Concat注意力向量；

将所述第一向量、所述第二向量、所述第三向量和所述第四向量进行合并得到合并向量；

将所述合并向量通过所述训练好的自注意力模型进行计算得到所述交互信息向量。

在其中一些实施例中，所述训练好的BTM主题模型通过下述方式获得：

获取文章语料训练集；

通过狄利克雷分布函数抽样出所述文章语料训练集上的主题分布；

通过所述狄利克雷分布函数抽样出多个主题下的词项分布；

从所述主题分布中抽取目标主题，并从所述目标主题中抽取词对，使所述词对服从所述目标主题下的词项分布。

在其中一些实施例中，所述将所述主题词语进行编码得到主题特征向量包括：

获取训练语料，将所述训练语料基于BERT模型进行学习得到所述训练语料中各单字的第三词向量，由各所述单字的第三词向量构成词向量库；

从所述词向量库中获得所述主题词语中各单字的第三词向量，由所述主题词语各单字的第三词向量构成所述主题特征向量。

在其中一些实施例中，所述非线性输出层包括预设的双曲正切函数，所述将所述交互信息向量和所述主题特征向量通过非线性输出层进行计算，得到与所述问题相关的答案包括：

根据所述交互信息向量和所述主题特征向量，通过所述双曲正切函数进行非线性映射，得到从所述文章中抽取出的所述答案。

第二方面，本申请实施例提供了一种机器阅读理解装置，所述装置包括：编码模块、多重注意力模块、主题获取模块和答案计算模块；

所述编码模块，用于接收问题和文章，将所述问题通过编码层计算转换为问题向量，将所述文章通过所述编码层计算转换为文章向量；

所述多重注意力模块，用于将所述问题向量和所述文章向量通过多重注意力层进行计算得到交互信息向量，其中，所述多重注意力层包括训练好的自注意力模型和多个注意力匹配模型；

所述主题获取模块，用于将所述文章通过训练好的BTM主题模型进行计算得到主题词语，将所述主题词语进行编码得到主题特征向量；

所述答案计算模块，用于将所述交互信息向量和所述主题特征向量通过非线性输出层进行计算，得到与所述问题相关的答案。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的机器阅读理解方法。

第四方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的机器阅读理解方法。

相比相关技术，本申请实施例提供的机器阅读理解方法，通过接收问题和文章，将该问题通过编码层计算转换为问题向量，将该文章通过该编码层计算转换为文章向量，将该问题向量和该文章向量通过多重注意力层进行计算得到交互信息向量，其中，该多重注意力层包括训练好的自注意力模型和多个注意力匹配模型，将该文章通过训练好的BTM主题模型进行计算得到主题词语，将该主题词语进行编码得到主题特征向量，将该交互信息向量和该主题特征向量通过非线性输出层进行计算，得到与该问题相关的答案，解决了使用单一的单词匹配方法进行机器阅读理解存在答案的准确度低的问题，提高了机器阅读理解答案的准确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的机器阅读理解方法的流程图；

图2是根据本申请实施例的空洞卷积门控单元的结构示意图；

图3是根据本申请实施例的获得交互信息向量的流程图；

图4是根据本申请优选实施例的机器阅读理解方法的流程示意图；

图5是根据本申请实施例的机器阅读理解装置的结构示意图；

图6是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不数量限制，可单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，可以存在三种关系，例如，“A和/或B”可以：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种机器阅读理解方法。图1是根据本申请实施例的机器阅读理解方法的流程图，如图1所示，该流程包括如下步骤：

S110、接收问题和文章，将问题通过编码层计算转换为问题向量，将文章通过编码层计算转换为文章向量。编码层用于对文章和问题分别进行底层处理，对文章和问题的文本进行数字化编码，将文章和问题转换为可以被计算机处理的信息单元。编码层对文章和问题中的每个单字、短语和句子的编码都建立在理解上下文的基础上，以保留原有语句在文章中的语义。在编码层中，首先对问题和文章分别进行分词得到各自文本中的多个单字，然后将各个单字转换为相应的词向量，再将各单字的词向量进一步编码以获得问题和文章的词语级向量表示。各单字向词向量的转换可以使用word2vec模型、GloVe(GlobalVectors for Word Representation)模型、ELMo(Embedding from Language Models)模型中的任一种模型。问题和文章的词语级向量表示可以使用BiGRU(Bi-directional GatedRNN，也称双向门控循环单元网络)进行双向编码。

S120、将问题向量和文章向量通过多重注意力层进行计算得到交互信息向量。多重注意力层包括训练好的自注意力模型和多个注意力匹配模型。由于文章和问题之间存在相关性，需要建立文章和问题之间的联系，以便根据文章和问题之间的交互信息从文章中获得与问题相关的答案。通过将文章和问题的语义结合在一起进行考量，可以借助于文章的语义分析加深对问题的理解，同时也借助于问题的语义分析加深对文章的理解，进而聚焦文章和问题的语义联系。而深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出对当前任务目标更关键的信息。该多重注意力层融合了多种注意力机制，通过使用多个注意力匹配模型可以增强句子中单词级别上的交互，可以使单词间的交互信息更加丰富。并且自注意力机制可以建立长距离的依赖关系，发现句子内部重要的单词特征，适用于建立长篇文章与问题间的关系。通过多重注意力层得到的交互信息向量可以包含问题与文章之间更丰富有效的交互信息。

S130、将文章通过训练好的BTM主题模型进行计算得到主题词语，将主题词语进行编码得到主题特征向量。BTM(Biterm Topic Model)主题模型在确定主题分布和词分布后相应地取两个词，即把一个文本分词后，将窗口长度内的任意两个词进行结对，这两个词就称为一对biterm，然后根据各对biterm属于各主题的概率得到文档中各个主题词语。BTM主题模型通过将整个文档必须同属于一个主题的约束放松到了窗口长度内的两个词同属于一个主题，可以有效地解决稀疏性的问题。主题词语反映了该文章的主题内容，使得主题特征向量包含了该文章的主题信息。

S140、将交互信息向量和主题特征向量通过非线性输出层进行计算，得到与问题相关的答案。通过将该文章的主题信息融入该文章和该问题之间的交互信息中，可以更好地指导从该文章中抽取与问题相关的答案。

通过上述步骤，通过融合多种注意力机制，使用多个注意力匹配模型来增强问题与文章中单词级别上的交互信息，增强了问题与文章的相关性，同时在该交互信息中融入该文章的主题信息，来指导从该文章中抽取答案，提高了该答案与问题的相关程度，解决了使用单一的单词匹配方法进行机器阅读理解存在答案的准确度低的问题。

在一些实施例中，编码层包括BERT模型和预设的门控空洞卷积层。将问题通过编码层计算转换为问题向量，具体包括：通过将问题基于BERT模型进行学习得到问题中各单字的第一词向量，并由各单字的第一词向量组成第一中间向量记为query：

BERT(Bidirectional Encoder Representations from Transformers)模型是一个用Transformer模型作为特征抽取器的深度双向预训练语言理解模型，本质上是通过在海量语料的基础上运行自监督学习方法为单词学习一个好的特征表示。Transformer模型是Google团队提出的一种NLP经典模型，Transformer模型因为使用自注意力机制，不采用循环神经网络的顺序结构，使得Transformer模型可以并行化训练，而且能够拥有全局信息。因此，基于BERT模型学习得到的第一中间向量可以有效表达问题中各单字间的语义，同样地，第二中间向量可以有效表达文章中各单字间的语义。而空洞卷积是卷积的一种变种，与普通卷积不同，空洞卷积可以跨越与空洞率相同的文本段对输入文本间隔采样，通过堆叠以指数级别增长的空洞率的空洞卷积，可以实现以较少的层覆盖到大多数的句子长度。通过BERT模型和门控空洞卷积层，提升了问题向量和文章向量的表征能力，有利于通过问题向量和文章向量获得更为准确的交互信息向量，进一步提高答案的准确度。

在一些实施例中，门控空洞卷积层包括多层依次相连的空洞卷积门控单元。图2是根据本申请实施例的空洞卷积门控单元的结构示意图，如图2所示，每个空洞卷积门控单元包括空洞卷积网络和残差网络。每个空洞卷积门控单元用于对输入向量进行间隔采样得到输出向量，并将输出向量作为下一层空洞卷积门控单元的输入向量。每个空洞卷积门控单元的操作可以用如下公式表示：

普通的卷积操作可以并行处理文本，显著缩短模型训练时长，但为对长距离依赖获得良好的效果，往往需要堆积多个卷积层，导致增加梯度消失的风险。而门控空洞卷积层在空洞卷积网络的基础上引入残差机制，使信息在多通道里传输，可以强化有效信息，消除无用信息，同时改善深层网络带来的梯度消失的问题。

在一些实施例中，图3是根据本申请实施例的获得交互信息向量的流程图，如图3所示，在多个注意力匹配模型包括点积注意力模型和基于Concat的注意力模型的情况下，将问题向量和文章向量通过多重注意力层进行计算得到交互信息向量包括如下步骤：

S310、将问题向量和文章向量通过训练好的点积注意力模型进行计算，得到第一向量和第二向量。第一向量为问题q关于文章d的点积注意力向量记为V

其中，

S320、将问题向量和文章向量通过训练好的基于Concat的注意力模型进行计算，得到第三向量和第四向量。第三向量为问题q关于文章d的Concat注意力向量记为V

其中，

S330、将第一向量、第二向量、第三向量和第四向量进行合并得到合并向量：V

S340、将合并向量通过训练好的自注意力模型进行计算得到交互信息向量。交互信息向量通过如下公式获得：

V

在一些实施例中，训练好的BTM主题模型通过如下步骤获得：获取文章语料训练集；通过狄利克雷分布函数抽样出文章语料训练集上的主题分布；通过狄利克雷分布函数抽样出多个主题下的词项分布；从主题分布中抽取目标主题，并从目标主题中抽取词对，使词对服从目标主题下的词项分布。

具体地，使用大规模的文章语料构建文章语料训练集，通过狄利克雷分布从参数β中抽样出一个主题下的词分布

在一些实施例中，将主题词语通过如下步骤进行编码，以获得主题特征向量：获取训练语料，将训练语料基于BERT模型进行学习得到训练语料中各单字的第三词向量，由各单字的第三词向量构成词向量库。从词向量库中获得主题词语中各单字的第三词向量，由主题词语各单字的第三词向量构成主题特征向量。基于BERT模型获得的主题特征向量可以有效表达主题词语中各单字间的语义，提升了主题特征向量的表征能力，将该主题特征向量融入交互信息向量中，可以进一步提高答案的准确性。

在一些实施例中，非线性输出层包括预设的双曲正切函数。将交互信息向量和主题特征向量通过非线性输出层进行计算，得到与问题相关的答案包括：根据交互信息向量和主题特征向量，通过双曲正切函数进行非线性映射，得到从文章中抽取出的答案。通过如下公式对答案进行预测：

g

下面通过优选实施例对本申请实施例进行描述和说明。

图4是根据本申请优选实施例的机器阅读理解方法的流程示意图。如图4所述，首先，需要对编码层、多重注意力层和非线性输出层中模型和函数的参数进行训练。训练过程包括如下步骤：基于大量客服问答语料，获得特定领域产品文档，对这些语料进行清洗和分词，然后使用BERT模型进行词向量的预训练，产生基于特定垂直领域的词向量。设定词向量学习模型训练的参数，该参数包括词向量的维度、批处理的参数、窗口的大小、初始学习率、词向量矩阵以及辅助向量矩阵等。针对包括训练集和开发集的大规模训练数据，分别对训练集中的训练问题和训练文章进行文本分词、编码，分别得到该训练问题的词语级向量表示以及该训练文章的词语级向量表示。分别对该训练问题和该训练文章中的每个单字的词语级向量表示进行空洞卷积计算，该训练问题的词语级向量表示和该训练文章的词语级向量表示分别通过门控空洞卷积层计算，可以得到训练问题向量和训练文章向量，该门控空洞卷积层包括多层依次相连的空洞卷积门控单元。然后将该训练问题向量和该训练文章向量输入点积注意力模型和基于Concat的注意力模型计算，得到训练问题关于训练文章的训练点积注意力向量V

然后将接收到的问题和文章输入参数已训练好的模型和函数，就能够从文章中抽取出问题的正确答案。预测过程包括如下步骤：将接收到的问题和文章分别通过编码层中的BERT模型和参数已训练好的门控空洞卷积层，转换为问题向量V

本申请实施例提供了一种机器阅读理解装置。图5是根据本申请实施例的机器阅读理解装置的结构示意图，如图5所示，该装置包括编码模块510、多重注意力模块520、主题获取模块530和答案计算模块540：编码模块510用于接收问题和文章，将该问题通过编码层计算转换为问题向量，将该文章通过该编码层计算转换为文章向量；多重注意力模块520用于将该问题向量和该文章向量通过多重注意力层进行计算得到交互信息向量，其中，该多重注意力层包括训练好的自注意力模型和多个注意力匹配模型；主题获取模块530用于将该文章通过训练好的BTM主题模型进行计算得到主题词语，将该主题词语进行编码得到主题特征向量；答案计算模块540用于将该交互信息向量和该主题特征向量通过非线性输出层进行计算，得到与该问题相关的答案。

关于机器阅读理解装置的具体限定可以参见上文中对于机器阅读理解方法的限定，在此不再赘述。上述机器阅读理解装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的机器阅读理解方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种机器阅读理解方法。

在一个实施例中，图6是根据本申请实施例的电子设备的内部结构示意图，如图6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器阅读理解方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。