融合语义概念的神经机器翻译集外词处理方法研究

摘要

机器翻译是利用计算机技术实现源语言到目标语言的转换，是自然语言处理研究领域中最具挑战性的综合性前沿课题之一，有十分重要的研究和应用价值。
　　端到端神经机器翻译是近几年来流行的一种机器翻译方法。不同于统计机器翻译的模块化结构，神经机器翻译通过建立一个可以同时学习和调整所有参数的神经网络，实现端到端的神经机器翻译模型。目前，尽管神经机器翻译已经占据机器翻译的主导地位，但仍有许多问题亟待解决，其中，由于词表规模受限所导致的集外词问题尤其重要。因此，如何有效处理神经机器翻译中的集外词，改善翻译性能，是目前研究的一个难点和热点。集外词不仅影响模型获得源语言句子的语义完整性，而且在语义和结构层面给目标语言生成带来不利影响。而传统的基于词向量相似度的集外词处理方法存在难以处理低频词和多义词、以及对生语料适应性差等问题。另一方面，如何在神经机器翻译中融合语义词典等外部知识库，提高翻译精度，也成为一项具有挑战意义的研究任务。
　　为了解决上述问题，本文创新性地以在神经机器翻译中融合外部知识库为切入点，将语义概念应用于集外词处理中。本文的主要创新点和贡献如下:
　　1.在神经机器翻译中引入了外部语义词典，尝试以语义概念解决集外词问题，利用外部人工知识库提升集外词替换的准确度，不仅能够改善集外词的翻译，同时提高了存在集外词情况下整个译文的质量。
　　2.提出了一种融合单语语义概念的集外词处理方法。在翻译解码阶段利用WordNet的语义概念和单语语言模型对集外词进行替换，改善翻译效果。实验表明提高了翻译质量。
　　3.提出了一种融合双语语义概念的集外词处理方法。在模型训练阶段利用HowNet的语义概念和双语语言模型对训练语料的集外词对进行替换，提高翻译模型的参数质量;在翻译解码阶段利用HowNet的语义概念和单语语言模型对集外词进行替换，改善翻译效果。实验表明提高了翻译质量。
　　本文成功地在神经机器翻译中引入了外部语义词典中的语义概念以解决集外词问题，英汉翻译方向的实验结果表明，我们提出的集外词处理方法不仅能够显著提升神经机器翻译的翻译效果，与传统的集外词处理方法相比也有一定优势。

目录

声明

致谢

摘要

1．1 研究背景及意义

1．2 研究现状

1．3 论文研究内容

2．1 机器翻译概述

2．2 统计机器翻译

2．2．1 翻译模型

2．2．2 语言模型

2．3 深度学习与机器翻译

2．4 本章小结

3．1 系统框架

3．1．1 循环神经网络

3．1．2 编码器解码器模型

3．1．3 记忆单元

3．1．4 注意力机制

3．1．5 集束搜索

3．2 集外词问题及相关技术方法

3．2．1 集外词问题

3．2．2 集外词问题研究现状

3．2．3 集外词定位法

3．2．4 集外词替换法

3．2．5 集外词子词单元法

3．3 译文评价方法

3．3．1 BLEU评价指标

3．3．2 NIST评价指标

3．4 本章小结

4 融合语义概念的NMT集外词处理方法

4．1 问题分析及解决思路

4．1．1 问题分析

4．1．2 解决思路

4．2 词语对齐

4．3 融合单语语义概念的集外词处理方法

4．3．1 WordNet

4．3．2 系统框架

4．3．3 集外词替换处理

4．3．4 集外词恢复处理

4．4 融合双语语义概念的集外词处理方法

4．4．1 HowNet

4．4．2 系统框架

4．4．3 相似度模型

4．4．4 集外词替换处理

4．4．5 集外词恢复处理

4．5 本章小结

5 实验与分析

5．1 融合WordNet的集外词处理方法实验

5．1．1 实验数据

5．1．2 实验设置

5．1．3 实验评价方法

5．1．4 预备实验

5．1．5 对比实验及主要实验结果

5．1．6 结果细节比较分析

5．2 融合HowNet的集外词处理方法实验

5．2．1 实验数据

5．2．2 实验设置

5．2．3 实验评价方法

5．2．4 对比实验及主要实验结果

5．2．5 结果细节比较分析

5．3 本章小结

6．1 总结

6．2 展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集