神经机器翻译

摘要： 依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8~2.08个百分点的双语互译评估(BLEU)值的提升。

摘要： 覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导注意力机制,降低信息存储损失对注意力权重计算的影响.根据两种覆盖信息融合方式的不同,提出了两种多覆盖融合方法.利用序列到序列模型在中英翻译任务上进行了实验,结果表明,所提方法能够显著提升翻译性能,并改善源语言和目标语言的对齐质量.与只使用覆盖向量的模型相比,过度翻译和漏翻译问题的数量得到进一步减少.

摘要： 为了解决非英语母语学习者在语音识别中出现的语法错误问题,提出了基于神经机器翻译的语法错误检测语音识别中的语言模型。将构建的语言模型与传统的语言模型进行了比较,分析了该语言模型算法在语法错误检测中的性能。结果显示,由于神经机器翻译具有特定的内部结构,可以结合上下文信息进行语音识别,神经机器翻译模型可以更好地进行语法错误检测。通过比较不同语言模型结果,该方法比基于规则的方法有显著优势,神经机器翻译语言模型的精度、召回率、F值分别为0.54、0.52、0.53,证明了该模型具有较好的性能。

摘要： 针对互联网上日渐丰富的多语言文本和匮乏大规模标注平行语料库的问题,为了从多语言的信息源挖掘语言间的关联性与扩展知识图谱,提出了基于注意力迁移的跨语言关系提取方法。首先针对语言间的实际平行语料情况,分类进行跨语言平行语料映射,并针对缺乏种子词典的低资源语言对,提出神经网络翻译模型获取目标语言数据集并保存多语言间的对应注意力权重关系,然后利用BERT端对端的联合抽取模型抽取训练数据实体关系特征,反向迁移语言间注意力权重关系,最后利用反向迁移的注意力进行增强的关系抽取。实验表明,该模型的关系提取效果相比其他模型在准确率和回归上都有所提升,在缺乏双语词典情况下也表现出较好的性能。

摘要： 探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平行语料资源丰富的翻译任务,引入XLM-R可以很好地对源语言句子进行编码,从而提高翻译质量;对双语平行语料资源匮乏的翻译任务,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端的知识同时进行补充,提高翻译质量。

摘要： 医疗机器翻译对于跨境医疗、医疗文献翻译等应用具有重要价值。汉英神经机器翻译依靠深度学习强大的建模能力和大规模双语平行数据取得了长足的进步。神经机器翻译通常依赖于大规模的平行句对训练翻译模型。目前,汉英翻译数据主要以新闻、政策等领域数据为主,缺少医疗领域的数据,导致医疗领域的汉英机器翻译效果不佳。针对医疗垂直领域机器翻译训练数据不足的问题,该文提出利用复述生成技术对汉英医疗机器翻译数据进行增广,扩大汉英机器翻译的规模。通过多种主流的神经机器翻译模型的实验结果表明,通过复述生成对数据进行增广可以有效地提升机器翻译的性能,在RNNSearch,Transformer等多个主流模型上均取得了6个点以上的BLEU值提升,验证了复述增广方法对领域机器翻译的有效性。同时,基于MT5等大规模预训练语言模型可以进一步地提升机器翻译的性能。

摘要： 针对当前神经机器翻译在捕捉复杂句内小句间的语义和结构关系方面存在不足,导致复杂句长文本翻译的篇章连贯性不佳的问题,提出一种融合小句对齐知识的汉英神经机器翻译方法。首先提出手工和自动相结合的标注方案,构建大规模小句对齐的汉英平行语料库,为模型训练提供丰富的小句级别的汉英双语对齐知识;然后设计一种基于小句对齐学习的神经机器翻译模型,通过融合小句对齐知识,增强模型学习复杂句内小句间语义结构关系的能力。在WMT17,WMT18和WMT19汉英翻译任务中的实验表明,所提出的方法可以有效地提升神经机器翻译的性能。进一步的评测分析显示,所提方法能有效地提高汉英神经机器翻译在复杂句翻译上的篇章连贯性。

摘要： 在神经机器翻译过程中,低频词是影响翻译模型性能的一个关键因素。由于低频词在数据集中出现次数较少,训练经常难以获得准确的低频词表示,该问题在低资源翻译中的影响更为突出。该文提出了一种低频词表示增强的低资源神经机器翻译方法。该方法的核心思想是利用单语数据上下文信息来学习低频词的概率分布,并根据该分布重新计算低频词的词嵌入,然后在所得词嵌入的基础上重新训练Transformer模型,从而有效缓解低频词表示不准确问题。该文分别在汉越和汉蒙两个语言对四个方向上分别进行实验,实验结果表明,该文提出的方法相对于基线模型均有显著的性能提升。

摘要： 基于Transformer的神经机器翻译在高资源语言对上取得了巨大的成功,但是在资源稀缺的情况下模型翻译效果较差.针对旅游口语领域的俄汉低资源机器翻译,本文通过扩充领域内数据和多种微调方法改善目标领域翻译质量.首先利用多种语料过滤方法得到通用领域俄汉语料,然后在不同参数配置的Transformer模型上进行预训练,探索多种领域适应性微调方法,得到最优模型,最后在译码阶段采用模型平均和后处理生成翻译结果.实验结果表明,该方法可以有效提升低资源场景下的俄汉机器翻译效果.

摘要： 将预先定义的双语对融入神经机器翻译(NMT)中一直是一项有较大应用场景,但具有挑战性的任务。受限于NMT的非离散特性以及逐词解码策略,想要在NMT中显式地融入外部双语对往往需要在解码期间修改集束搜索算法,或者对模型进行复杂修改。该文提出并探索了一种简单的将预先指定双语对融入NMT的方法,包括:(1)对训练数据进行适当的预处理,以添加有关预定义的双语信息;(2)使用部分共享的词向量以及额外向量增强信号,帮助模型区分预先指定的双语对和其他翻译文本。在多个语种上的实验和分析表明,该方法可以极大提高预定义短语被成功翻译的概率,达到接近99%(中英的基准是73.8%)的效果。

摘要： 神经机器翻译(NMT)模型通常具有庞大的参数量,例如Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化且存储模型的资源需求也越高.本文提出了一种压缩方法用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型.本文提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递进式半知识蒸馏方法指运用过一次半知识蒸馏方法压缩以后,再把当前的半知识蒸馏压缩的模型作为新的教师模型,再次运用半知识蒸馏方法得到全压缩模型.在广泛使用的中英和日英数据集上进行实验,结果表明本文方法对NMT系统有积极影响.本文提出的方法的最佳性能明显优于基准模型2.16个BLEU值.与词级别和句子级别的传统知识蒸馏方法相比,本文提出的方法比词级别知识蒸馏方法优于1.15个BLEU值,并且高于句子级别的知识蒸馏方法0.32个BLEU值.

摘要： 在蒙汉神经机器翻译任务中,由于语料稀少使得数据稀疏问题严重,极大影响了模型的翻译效果.本文对子字粒度切分技术在蒙汉神经机器翻译模型中的应用进行了研究.通过BPE算法将切分粒度控制在字符和词之间的子字粒度大小,将低频词切分成相对高频的子字片段,来缓解数据稀疏问题,从而在有限的数据和硬件资源条件下,更高效的提升模型的鲁棒性.实验表明,在两种网络模型中使用子字粒度切分技术,BLEU值分别提升了4.81和2.96,且随着语料的扩大,训练周期缩短效果也越显著.实验证明了,子字粒度切分技术有助于提高蒙汉神经机器翻译效果.

摘要： 英文中单词有大小写之分,如果使用不规范,会降低语句的可读性,甚至造成语义上的根本变化.当前的机器翻译处理流程一般先翻译生成小写的英文译文,再采用独立的大小写恢复工具进行还原,这种方式步骤繁琐且没有考虑上下文信息.另一种方式是抽取包含大小写的词表,但这种方式扩大了词表,增加了模型参数.本文提出了一种在神经机器翻译训练中联合预测英语单词及其大小写属性的方法,在同一个解码器输出层分别预测单词及其大小写属性,预测大小写时充分考虑源端语料和目标端语料上下文信息.该方法不仅减小了词表的大小和模型参数,翻译译文的质量也得到提升.在WMT2017汉英新闻翻译任务测试集上,相比基线实验,提出的方法在大小写敏感和大小写不敏感两个评价指标上分别提高0.97BLEU和1.01BLEU,改善了神经机器翻译模型的性能.

摘要： 神经机器翻译自兴起以来,不断给机器翻译领域带来振奋人心的消息.但神经机器翻译没有显式地利用语言学知识对句子结构进行分析,因此对结构复杂的长句翻译效果不佳.本文基于分治法的思想,识别并抽取句子中的最长名词短语,保留特殊标识或核心词与其余部分组成句子框架.通过神经机器翻译系统分别翻译最长名词短语和句子框架,再将译文重新组合的方法,缓解了神经机器翻译对句子长度敏感的问题.实验结果表明,本文提出的方法获得的译文与基线系统相比,BLEU分值提升了0.89.

摘要： 神经机器翻译(NMT)为机器翻译系统提供了一种全新的方法,它与传统的统计机器翻译系统(SMT)相比,翻译结果具有更加流畅的优势.但是NMT系统也有着其自身的缺点:翻译精准度的问题,尤其是对未登录词的翻译.2016年,Rico Sennrich和Barry Haddow等人提出了Byte Pair Encoding(BPE)的方法,将原有的单词拆解成了更小单元的高频词进行翻译.现如今,这种方法已经被广泛用于各种开源的神经机器翻译系统中.本文主要针对BPE方法在中英神经机器翻译中的应用,分析BPE方法在多大程度上解决了未登录词翻译的问题.实验表明,与传统的NMT系统相比,BPE方法获得了1.02BLEU值的提升,对未登录词的翻译精准度达到了45％左右,与SMT系统翻译精准度相似.因此可以得出结论:BPE的方法是一种对NMT系统中未登录词问题的行之有效的解决方法.

摘要： 近年来,神经机器翻译(Neural machine translation,NMT)表现出极大的优越性,然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题.传统的注意力机制对源端的所有词语进行计算,而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的.在篇章级机器翻译中,采用传统的注意力机制建模篇章信息存在着信息冗余的问题.该文提出了一种联合注意力机制,结合“硬关注”和“软关注”的机制对篇章上下文的信息进行建模.关键思想是通过“硬关注”筛选出与翻译当前句子相关的源端历史词语,然后采用“软关注”的方法进一步抽取翻译中所需的上下文信息.实验表明,相比于基线系统,该方法能使翻译性能获得明显提升.

摘要： 集成学习是一种联合多个学习器进行协同决策的机器学习方法,应用在机器翻译任务的推断过程中可以有效整合多个模型预测的概率分布,达到提升翻译系统的准确性的目的.虽然该方法有效性已在机器翻译评测得到了广泛验证,但关于子模型的选择与融合的策略仍鲜有研究.该文主要针对机器翻译任务中的参数平均与模型融合两种集成学习方法进行了大量的实验,分别从模型与数据层面、多样性与模型数量层面对集成学习的策略进行了深入探索.最终实验结果在WMT中英新闻任务上,相比Transformer单模型有3.2个BLEU值的提升.

摘要： 本发明提供一种神经网络机器翻译模型训练方法、机器翻译方法和装置。所述神经网络机器翻译模型训练方法通过从训练视频中提取场景视觉图，再根据场景视觉图得到细腻度更高的视频特征向量序列，再将视频特征向量序列与第一文本特征向量序列进行对齐融合得到更准确的视频引导的第一文本特征向量序列，然后通过视频引导的第一文本特征向量序列和第二文本特征向量序列得到预测文本向量序列，最后根据预测文本向量序列与标准文本特征向量序列的比对结果，对所述神经网络机器翻译模型的模型参数进行迭代调整，直到满足收敛条件，完成所述神经网络机器翻译模型的训练，能够提升训练得到的神经网络机器翻译模型对视频引导的机器翻译的精度。

摘要： 机器翻译系统包含：译文候选生成部，将第1语言的输入文分别分配给用于生成第2语言译文的多个机器翻译装置，并从各机器翻译装置，接受对于输入文的第2语言的译文；译文改良部，以译文候选生成部接受的多个第2语言的各译文为起点，按照以规定的评价方式改进评价那样改良译文；和结束判定部，在译文改良部改良的译文中，将满足规定的条件译文作为对输入文的译文进行选择；译文改良部包含：译文变形部，对输入的译文进行规定的变形；译文评价部，对变形的译文进行评价；和重复控制部，判断对变形后的译文得到的评价，相对于输入的译文得到的评价是否被改进，在确认没有改进之前，重复进行变形和评价，按照这样控制译文变形部和译文评价部。

摘要： 本发明提供一种神经网络机器翻译模型训练方法、机器翻译方法和装置。所述神经网络机器翻译模型训练方法通过从训练视频中提取场景视觉图，再根据场景视觉图得到细腻度更高的视频特征向量序列，再将视频特征向量序列与第一文本特征向量序列进行对齐融合得到更准确的视频引导的第一文本特征向量序列，然后通过视频引导的第一文本特征向量序列和第二文本特征向量序列得到预测文本向量序列，最后根据预测文本向量序列与标准文本特征向量序列的比对结果，对所述神经网络机器翻译模型的模型参数进行迭代调整，直到满足收敛条件，完成所述神经网络机器翻译模型的训练，能够提升训练得到的神经网络机器翻译模型对视频引导的机器翻译的精度。

摘要： 本发明提供一种神经网络机器翻译模型的训练方法。所述方法包括如下步骤：获取训练样本集，训练样本集包括训练视频、与训练视频对应的源语言文本向量及与源语言文本向量对应的目标语言文本向量；从训练视频中提取多个动作概念特征向量及多个目标概念标签；将多个动作概念特征向量及源语言文本向量输入到神经网络机器翻译模型中，得到预测文本向量及正译预测概念标签；将多个动作概念特征向量及回译输入向量输入到神经网络机器翻译模型中，得到回译文本向量及回译预测概念标签；根据各个向量及标签之间的比较结果，对神经网络机器翻译模型的模型参数进行迭代调整，直到满足收敛条件，能够提升机器翻译的精度。

摘要： 本申请实施例提供了一种机器翻译模型的生成方法、机器翻译方法和装置；所述方法包括：接收第一语种数据；采用已有的原始机器翻译模型，将所述第一语种数据翻译为匹配的第二语种数据；接收针对所述第二语种的修正数据；采用所述第一语种数据以及所述第二语种的修正数据，针对已有的原始机器翻译模型重新训练，生成个性化机器翻译模型。本申请实施例可以实现将需要翻译的第一语种数据和与第一语种数据对应的第二语种的修正数据训练原始机器翻译模型，得到个性化机器翻译模型，提高个性化机器翻译模型的翻译质量。

摘要： 本申请公开了一种机器翻译模型的训练方法、机器翻译方法、装置及设备，属于计算机技术领域，该方法包括：获取训练样本集，训练样本集包括训练样本及该训练样本对应的标准翻译文本；将训练样本及训练样本对应的标准翻译文本输入机器翻译模型中，获取机器翻译模型在反向传播过程中产生的梯度向量；基于梯度向量和多个噪音词为训练样本生成对抗样本；基于训练样本和对抗样本对机器翻译模型进行对抗训练，得到目标机器翻译模型。该训练方法生成的对抗样本对机器翻译模型攻击性较大，并且增加了训练数据的多样性，由此提高了机器翻译模型的鲁棒性，进而提高了机器翻译模型的翻译性能，使得通过机器翻译模型得到的翻译结果更加准确。

摘要： 本申请公开了神经机器翻译方法以及神经机器翻译装置。该神经机器翻译方法，包括：获取待翻译的源语句以及作为源语句的候选译文的目标语句，以形成原始训练语料，计算源语句中包含的每个单词的翻译熵；判断每个单词的翻译熵是否大于预定阈值；根据判断结果，将翻译熵大于预定阈值的单词确定为易漏翻的单词；将易漏翻的单词的候选译文替换为预先设定的字符，以形成新目标语句；根据源语句与新目标语句形成新训练语料；基于原始训练语料和新训练语料来对神经机器翻译模型进行参数训练，以及利用经参数训练的神经机器翻译模型执行机器翻译。

摘要： 本发明涉及神经机器翻译模型训练方法、神经机器翻译方法及装置。该神经机器翻译方法包括：识别待翻译的源语句中的命名实体；用与命名实体的类别对应的标签替换所识别的命名实体，获得中间源语句；通过神经机器翻译模型翻译中间源语句，获得带有标签的中间目标语句；从预置的命名实体词典和/或命名实体库查找命名实体的译文；以及用查找到的译文替换中间目标语句中相应的标签，获得与待翻译的源语句对应的目标语句。本发明解决了在机器翻译的过程中，低频的命名实体被错翻译或漏翻译的问题。

摘要： 本发明公开了一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法，具体包括以下步骤：S1、NMT分类器继承标准的基于注意力的NMT后在规则词表上估计单词的预测概率；S2、SMT分类器计算由辅助SMT模型生成的SMT建议的概率；S3、将SMT建议整合到NMT中；本发明涉及神经机器翻译技术领域。该基于融合统计机器翻译模型的蒙汉神经机器翻译方法，通过将统计机器翻译模型合并到神经机器翻译框架中，以利用统计机器翻译和神经机器翻译模型的优点来实现更好的翻译，SMT分类器和门控函数在NMT结构中以端到端方式联合训练，此外，为了更好地缓解测试阶段的UNK问题，通过联合考虑NMT模型的注意概率和SMT模型的覆盖率信息，选择合适的SMT建议来代替目标UNK单词。

摘要： 本发明涉及属于机器翻译领域，提供了跨语际语言翻译的神经机器翻译模型构建及其翻译方法，适用于各类跨语际语言翻译。在训练时，基于训练子集的源语言语料进行编码，构建融合其上下文依赖关系的文本向量，然后计算得其文本表征；然后，针对该子集逐词进行解码，在每一步，首先融合历次译文文本和源文本获得混合表征，然后基于此进行焦点位置计算，获取当前焦点位置的翻译候选词；通过不同子集，在达到一定的步数后，根据候选词和真值的误差进行迭代训练。翻译方法，同样逐词进行翻译，在每一个翻译步，生成当前步基于焦点位置的翻译候选表示，并利用启发式搜索算法，选择其中全局概率值最大的候选文本作为当前步输出的译文文本，直至翻译完成。