基于最长名词短语处理的汉蒙神经网络机器翻译模型

摘要

近年来，深度学习方法的研究成为热点，神经网络机器翻译成为机器翻译研究的重要方向。汉蒙机器翻译也因此取得了极大地进步。然而，汉蒙翻译由于双语语料稀缺带来的数据稀疏问题严重，利用神经网络方法提升汉蒙机器翻译的效果变得非常困难。本文在汉蒙翻译中应用子字粒度来缓解数据稀疏问题，提高翻译质量。另外，神经网络机器翻译仍然存在随着句子长度的增加，翻译效果明显下降的问题。本文根据句法分析对汉蒙双语进行名词短语的抽取，缩短句子长度，以及利用改进的自注意力机制来缓解抽取操作带来的语义损失问题，提升长句的翻译质量。主要工作如下： 1．汉蒙翻译任务中双语子字切分粒度的研究。在汉蒙神经机器翻译任务中，由于语料缺乏使得数据稀疏问题严重，极大影响了模型的翻译效果。子字粒度切分是通过BPE算法将切分粒度控制在字符和词之间的子字粒度大小，将低频词切分成相对高频的子字片段，来缓解数据稀疏问题，从而在有限的数据和硬件资源条件下，更高效地提升模型的鲁棒性。 2．基于最长名词短语分治策略的翻译模型的实现。目前机器翻译模型对于长句的翻译效果不理想，而汉语和蒙古语属于不同的语言形态类型，句法结构差异较大，简单的根据标点符号将长句切分成短句无法实现。本文通过对汉文进行句法分析，根据句法成分获取汉文的最长名词短语；再根据汉蒙双语的对齐结果，获取蒙古文对应的最长名词短语，形成名词短语句对；最终通过将长句切分成名词短语和主干句，实现句子长度的缩短，最终有效地提升了汉蒙翻译的翻译效果。 3．利用改进的自注意力机制优化模型。自然语言的复杂性使得在抽取最长名词短语时，会产生较大的误差；将完整的句子切分成多个部分，必然会损失部分句子中的语义信息。这两点会直接影响最终的翻译质量。本文利用自注意力机制，在切分片段中融入全局特征，来减小切分误差并补充全局特征，从而提高最终的翻译质量。 本文对汉蒙神经网络机器翻译进行研究，通过应用双语子字粒度切分技术，有效的缓解数据稀疏问题，在多种模型上都得到了显著地提升；通过抽取最长名词短语的方法，将平均句子长度从16个字缩短到10个字左右，利用模型翻译短句效果好的优势，提升了模型对于长句的翻译效果；通过修改自注意力机制的计算，缓解名词短语抽取带来的语义损失，修改的Transformer模型较原始模型的BLEU值提升了0.88。

目录

声明

第一章 引言

1.1 研究背景及意义

1.2 基于神经网络的汉蒙机器翻译相关研究现状

1.3 论文的主要内容

1.4 论文组织结构

第二章 汉蒙神经网络机器翻译模型

2.1 基于循环神经网络的汉蒙机器翻译模型

2.2 基于卷积神经网络的汉蒙机器翻译模型

2.3 基于注意力机制的汉蒙Transformer翻译模型

2.4 本章小结

第三章 子字粒度切分在汉蒙神经机器翻译中的应用

3.1 子字粒度切分

3.2 汉蒙子字粒度切分应用

3.3 实验结果与分析

3.4 本章小结

第四章 基于最长名词短语分治策略的神经机器翻译模型

4.1 最长名词短语与分治策略

4.2抽取-翻译-重组

4.3实验结果与分析

4.4本章小结

第五章 利用自注意力机制对翻译模型的优化

5.1 抽取名词带来的误差传递和语义损失

5.2 自注意力机制

5.3 利用改进的自注意力机制优化模型

5.4 实验结果与分析

5.5 本章小结

第六章 总结与展望

6.1 工作总结

6.2 研究展望

参考文献

致谢

攻读硕士期间发表的学术论文