首页> 中国专利> 基于多语言的阅读理解任务识别方法及装置

基于多语言的阅读理解任务识别方法及装置

摘要

本发明实施例提供一种基于多语言的阅读理解任务识别方法及装置,该方法包括:获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到。该方法能够同时支持迁移多语言和多任务数据集中的知识到目标语言中,实现目标语言无数据、少数据条件下的抽取式阅读理解任务,可以提高目标语言少数据以及富数据的抽取式阅读理解任务的准确度。

著录项

  • 公开/公告号CN112182151A

    专利类型发明专利

  • 公开/公告日2021-01-05

    原文格式PDF

  • 申请/专利权人 清华大学;

    申请/专利号CN202011012758.9

  • 发明设计人 许斌;吴高晨;李涓子;侯磊;

    申请日2020-09-23

  • 分类号G06F16/33(20190101);G06F16/332(20190101);G06F40/58(20200101);

  • 代理机构11002 北京路浩知识产权代理有限公司;

  • 代理人郭亮

  • 地址 100084 北京市海淀区双清路30号清华大学

  • 入库时间 2023-06-19 09:26:02

说明书

技术领域

本发明涉及自然语言处理技术领域,尤其涉及一种基于多语言的阅读理解任务识别方法及装置。

背景技术

阅读理解是评估和测试计算机系统理解人类语言能力而提出的一个问答研究任务,通过给计算机系统提供相关文本以及一系列相关的问题,要求计算机系统阅读理解文本从而回答这些问题。由于该任务是用来衡量计算机自然语言理解能力,因此具有重大的研究价值。同时,阅读理解技术可以广泛用于搜索引擎、开放域问答、知识图谱构建以及对话系统等领域,具备极强的实用价值。

由于大规模高质量人类标注训练集的存在,基于深度学习的自然语言处理方法的快速发展,如注意力机制、Transformer架构以及图神经网络等,以及一系列预训练语言模型的提出,使阅读理解任务取得了巨大的成功,近年来成为NLP领域非常热门的研究方向,特别是抽取式阅读理解问答任务。抽取式问答旨在通过阅读给定文本和问题,要求计算机系统从文本中抽取连续的文本片段作为答案,具有极大的研究价值和使用价值。

尽管抽取式阅读理解取得了巨大的进步,但是大规模高质量抽取式阅读理解数据集在除英语外的语言中非常缺乏,即使中文数据集也非常稀少,同时为每种语言构建足够数量的高质量训练集成本非常昂贵,甚至是不可能的,导致训练其它语言抽取式阅读理解系统面临着巨大的困难。

发明内容

本发明实施例提供一种基于多语言的阅读理解任务识别方法及装置,用以解决现有技术中的缺陷。

本发明实施例提供一种基于多语言的阅读理解任务识别方法,包括:获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练集数据。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,所述获取任一目标语言的阅读理解任务数据之前,还包括:将源语言的任务数据,翻译为多种目标语言,得到目标语言的任务数据;将源和目标语言的任务数据,分别进行编码,得到各语言的上下文嵌入表达向量;根据源语言表达向量与每一目标语言表达向量之间的自适应注意力矩阵,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵;以每一目标语言相对源语言的关联语义信息矩阵,进行融合后作为输入,以对应的源语言训练集数据的答案作为标签,对构建的多语言阅读理解模型进行训练。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,所述对构建的多语言阅读理解模型进行训练,包括:将所有关联语义信息矩阵融合后,输入多语言阅读理解模型的全连接层、经归一化层和残差层后,得到多语言融合表示矩阵;根据多语言融合表示矩阵、起始位置偏置参数、起始位置的权重矩阵、结束位置偏置参数和结束位置的权值矩阵,得到目标答案片段的起始位置和结束位置的概率分布;根据起始位置与结束位置概率乘积最大的起始位置和结束位置,以及源语言训练集数据中答案的起始位置和结束位置标签,计算损失熵并进行网络参数更新。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,所述根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵之前,还包括:根据源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵,以及源语言表达向量和目标语言表达向量之间的注意力矩阵,确定源语言和目标语言之间的自适应注意力矩阵。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,根据源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵,以及源语言表达向量和目标语言表达向量之间的注意力矩阵,确定源语言和目标语言之间的自适应注意力矩阵,包括:

其中,B

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,所述根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵,包括:

其中,R'

根据本发明一个实施例的基于多语言的阅读理解任务识别方法,若有带有结果标签的任一目标语言的训练集数据,则获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量之前,还包括:将相应目标语言的训练集数据中的任务数据,进行编码得到的任务数据的上下文嵌入表达向量作为模型输入,将目标语言的训练集数据中对应的答案作为标签,对所述多语言阅读理解模型进行训练。

本发明实施例还提供一种基于多语言的阅读理解任务识别装置,编码模块,用于获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;处理模块,用于将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练数据。

本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于多语言的阅读理解任务识别方法的步骤。

本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于多语言的阅读理解任务识别方法的步骤。

本发明实施例提供的基于多语言的阅读理解任务识别方法及装置,以源语言分别和每一目标语言的关联语义信息矩阵,融合后得到的特征向量作为输入,从而能够同时支持单语境和多语境建模来迁移不同语言的语义知识到目标语言中,能够同时支持迁移多语言和多任务数据集中的知识到目标语言中,实现目标语言无数据、少数据条件下的抽取式阅读理解任务。充分利用已有的多语言多数据集,通过迁移多语言以及多数据集中的语义知识,来解决目标语言没有数据集的抽取式阅读理解任务,可以进一步提高目标语言少数据以及富数据的抽取式阅读理解任务识别准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于多语言的阅读理解任务识别方法的流程示意图;

图2是本发明实施例提供的基于多语言的阅读理解任务识别装置的结构示意图;

图3是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面结合图1-图3描述本发明实施例的基于多语言的阅读理解任务识别方法及装置。图1是本发明实施例提供的基于多语言的阅读理解任务识别方法的流程示意图,如图1所示,本发明实施例提供一种基于多语言的阅读理解任务识别方法,包括:

101、获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量。

本发明实施例主要应用于目标抽取式阅读理解任务,源语言是有训练集数据的语言,即有任务数据和对应的答案。目标语言可以是没有训练集数据的语言。也就是说,本发明实施例可以对没有经训练集数据训练的目标语言,实现阅读理解任务。在101中,任务数据是以目标语言体现,通常为<文本段落,问题>。获取目标语言的阅读理解任务数据后,编码得到对应的嵌入表达向量。例如,经过Multi-BERT编码后获得目标语言的上下文向量表示。由于每个词是以多维向量表示的,任务数据对应的嵌入表达向量通常为矩阵形式,如100×1000维度。

102、将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案。

所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到。

具体地,预设的多语言阅读理解模型可基于现有的阅读理解模型构建,不同的是,训练数据和训练过程不同。

源语言是有训练集数据的,同时有对应的答案,如汉语,可以为<文本段落,问题,答案>。目标语言可以有多个,如选取的具有代表性的11种人类语言上,形成一个多语数据用于训练本发明提出的多语言阅读理解模型。11种语言可分别为各个语系的代表:阿拉伯语、孟加拉语、法语、日语、印度尼西亚语、斯瓦希里语、朝鲜语、俄语、泰卢固语、泰语、英语。

首先,确定源语言和每种目标语言的自适应注意力矩阵,如基于注意力机制实现。注意力机制用于衡量文本段落与问题之间的语义关系,以获得问题感知的段落表示以及段落感知的问题表示。也就是说源语言和每种目标语言的自适应注意力矩阵,表示源语言和目标语言任务数据之间的语义关系。根据自适应注意力矩阵,可得到源语言分别和每一目标语言的关联语义信息矩阵。例如,通过自适应注意力矩阵和源语言训练集数据的表达向量直接相乘得到。

其次,将所有语言的关联语义信息矩阵进行融合,融合方式可以为直接拼接,融合后得到多语言阅读理解模型的输入特征向量,结合源语言训练集数据中的答案作为标签,对多语言阅读理解模型进行训练。训练后的模型,融合了每一目标语言和源语言的语义关联关系。因此,将任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量后,输入预设的多语言阅读理解模型,可根据对应的语义关联关系,结合源语言训练集的任务数据和答案,得到目标语言的阅读理解任务数据对应的答案。答案的具体体现可以是,目标答案片段的起始位置和结束位置,和对应的标签一致。

本发明实施例的基于多语言的阅读理解任务识别方法,以源语言分别和每一目标语言的关联语义信息矩阵,融合后得到的特征向量作为输入,从而能够同时支持单语境和多语境建模来迁移不同语言的语义知识到目标语言中,能够同时支持迁移多语言和多任务数据集中的知识到目标语言中,实现目标语言无数据、少数据条件下的抽取式阅读理解任务。充分利用已有的多语言多数据集,通过迁移多语言以及多数据集中的语义知识,来解决目标语言没有数据集的抽取式阅读理解任务,可以进一步提高目标语言少数据以及富数据的抽取式阅读理解任务。

基于上述实施例的内容,作为一种可选实施例,获取目标语言的阅读理解任务数据之前,还包括:将源语言的任务数据,翻译为多种目标语言,得到目标语言的任务数据;将源和目标语言的任务数据,分别进行编码,得到各语言的上下文嵌入表达向量;根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵;以每一目标语言相对源语言的关联语义信息矩阵,进行融合后作为输入,以对应的源语言训练集数据的答案作为标签,对构建的多语言阅读理解模型进行训练。

通过神经机器翻译模型,如GNMT神经机器翻译模型,源语言训练集数据中的每个样本的任务数据,翻译到本实施例选取的具有代表性的11种人类语言上,形成多语数据用于训练本发明实施例提出的多语言阅读理解模型。

将已经存在抽取式阅读理解训练集数据所在的语言记为源语言(Source),需要解决的目标任务所在的语言成为目标语言(Target)。

可以看出,本发明实施例提出的多语言阅读理解模型也兼顾单语数据以及双语数据的训练,即同时支持单语数据训练、双语数据训练以及多语数据训练。构建的多语数据可以根据具体的目标任务灵活的有针对性的选择一定数量的语言,目标是迁移多语言多任务中包含的语义知识以解决或者提高目标任务的性能。

另外,针对源语言任务以及目标语言任务数据,均支持单语数据、双语数据以及多语数据的训练和微调。

经过Multi-BERT编码后获得各个代表语言下的上下文向量表示:Multi-BERT

其中,Pivot语言代表任何一种存在训练数据集的人类语言,可以是人类语言的任何一种,只要存在数据集即可,例如为中文。Select可以是选择的11种代表性语言种的目标语言的任意一种,如为英语。L1和L2分别表示Pivot以及Select语言下的输入的长度,h表示编码后向量的维度。

针对单语情况,只需编码Pivot语言的输入即可,双语只需编码Pivot以及Select语言的输入,即也兼顾了单语以及双语的编码。经过多语编码后可以获得各种语言的多语数据的向量表示。

在本发明实施例中,为了提高pivot语言中的B

对于multi-head attention机制来说,把B

为了结合序列内部注意力以及序列之间的注意力,可参考自适应注意力机制来更好的捕获序列中的语义信息。以此得到源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,即上述A

由于每个目标语言相对于源语言都能得到对应的关联语义信息矩阵,训练时将关联语义信息矩阵进行融合(如直接拼接),作为多语言阅读理解模型的输入,而源语言的任务数据对应的答案作为标签,对构建的多语言阅读理解模型进行训练。

至此,得到的模型不仅学习到了源语言中任务数据与答案的关联关系,同时学习到了源语言与每一种目标语言之间的关联语义信息。因此,对于任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量,便可通过预设的多语言阅读理解模型,得到对应的阅读理解任务的答案。

基于上述实施例的内容,作为一种可选实施例,将所有关联语义信息矩阵融合后,输入多语言阅读理解模型的全连接层、经归一化层和残差层后,得到多语言融合表示矩阵;根据多语言融合表示矩阵、起始位置偏置参数、起始位置的权重矩阵、结束位置偏置参数和结束位置的权值矩阵,得到目标答案片段的起始位置和结束位置的概率分布;根据起始位置与结束位置概率乘积最大的起始位置和结束位置,以及源语言训练集数据中答案的起始位置和结束位置标签,计算损失熵并进行网络参数更新。

通过多语建模捕获了每种语言的信息,接着将每个关联语义信息矩阵R'

R=WR'+b;

H

获得的多语言融合表示矩阵H

起始位置和结束位置概率分布分别为:

其中,S为计算起始位置概率分布的权重矩阵参数,E为计算结束位置概率分布的权重矩阵参数,b为偏置参数,均为可学习参数。

利用起始位置以及结束位置概率分布可以计算抽取式阅读理解任务的交叉熵损失,用于训练本发明提出的多语言跨任务抽取式阅读理解模型。例如,交叉熵损失函数为:

相应地,预测阶段,利用训练以及微调过的多语言阅读理解模型,计算文本段落中起始位置以及结束位置的概率分布,选取联合的乘积概率最大的片段作为目标语言目标任务的预测答案。

其中,m和n分别为目标答案片段起始位置编码和结束位置编号。(S

基于上述实施例的内容,作为一种可选实施例,所述根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵之前,还包括:根据源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵,以及源语言表达向量和目标语言表达向量之间的注意力矩阵,确定源语言和目标语言之间的自适应注意力矩阵。

源语言表达向量的注意力矩阵,可以为源语言表达向量乘以源语言表达向量矩阵的转置。源语言表达向量和目标语言表达向量之间的注意力矩阵,可以为源语言表达向量乘以目标语言表达向量的转置。

最终可以是源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵,以及源语言表达向量和目标语言表达向量之间的注意力矩阵,相乘后得到自适应注意力矩阵。

基于上述实施例的内容,作为一种可选实施例,根据源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵,以及源语言表达向量和目标语言表达向量之间的注意力矩阵,确定源语言和目标语言之间的自适应注意力矩阵,包括:

其中,B

首先,计算B

基于上述实施例的内容,作为一种可选实施例,所述根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵,结合每一源语言的表达向量,得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵,包括:

通过计算

其中,R'

通过上面的方式抽取到多语言中的任一种select语言的有用信息,相当于multi-head attention中每个头捕获了不同子空间的信息一样。我们通过多语建模捕获了每种语言的信息,接着将每个表示R'

基于上述实施例的内容,作为一种可选实施例,若有带有结果标签的任一目标语言的训练集数据,则获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量之前,还包括:将相应目标语言的训练集数据中的任务数据,进行编码得到的任务数据的上下文嵌入表达向量,作为模型输入,将训练集数据中的答案作为标签,对所述多语言阅读理解模型进行训练。

本发明实施例中,针对目标抽取式阅读理解任务,如果无训练数据,则直接利用训练过的多语言阅读理解模型,进行答案预测。如果目标语言有训练数据,则进行多语言中目标语言的微调。对于存在训练集数据的目标语言,进行训练微调可提高预测的准确度。

此外,针对多任务学习方式,可以逐个级联训练多语言阅读理解模型,实现多语言跨任务的学习和预测。

下面对本发明实施例提供的基于多语言的阅读理解任务识别装置进行描述,下文描述的基于多语言的阅读理解任务识别装置与上文描述的基于多语言的阅读理解任务识别方法可相互对应参照。

图2是本发明实施例提供的基于多语言的阅读理解任务识别装置的结构示意图,如图2所示,该基于多语言的阅读理解任务识别装置包括:编码模块201和处理模块202。其中,编码模块201用于获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;处理模块202用于将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练数据。

本发明实施例提供的装置实施例是为了实现上述各方法实施例的,具体流程和详细内容请参照上述方法实施例,此处不再赘述。

本发明实施例提供的基于多语言的阅读理解任务识别装置,以源语言分别和每一目标语言的关联语义信息矩阵,融合后得到的特征向量作为输入,从而能够同时支持单语境和多语境建模来迁移不同语言的语义知识到目标语言中,能够同时支持迁移多语言和多任务数据集中的知识到目标语言中,实现目标语言无数据、少数据条件下的抽取式阅读理解任务。充分利用已有的多语言多数据集,通过迁移多语言以及多数据集中的语义知识,来解决目标语言没有数据集的抽取式阅读理解任务,可以进一步提高目标语言少数据以及富数据的抽取式阅读理解任务识别准确度。

图3是本发明实施例提供的电子设备的结构示意图,如图3所示,该电子设备可以包括:处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令,以执行基于多语言的阅读理解任务识别方法,该方法包括:获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练集数据。

此外,上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的基于多语言的阅读理解任务识别方法,该方法包括:获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练集数据。

又一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的基于多语言的阅读理解任务识别方法,该方法包括:获取任一目标语言的阅读理解任务数据,编码得到上下文嵌入表达向量;将所述嵌入表达向量,输入预设的多语言阅读理解模型,根据所述多语言阅读理解模型的输出结果,确定阅读理解任务的答案;其中,所述多语言阅读理解模型,以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵,进行融合后得到的特征向量作为输入,以源语言任务数据的答案作为标签,进行训练后得到;所述关联语义信息矩阵,根据源语言和目标语言任务数据之间的自适应注意力矩阵得到,所述源语言任务数据为有结果标签的训练集数据。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号