基于多分支树的学术论文神经机器翻译研究

摘要

基于计算机技术快速发展，特别是近些年来图像处理单元（GPU）的投入使用，神经网络已经不再像刚被提出时那样遥不可及。神经机器翻译(NMT)就是将神经网络应用到传统的机器翻译领域来，利用神经网络的特性实现机器自主学习翻译规则，代替人类执行语言翻译任务。在深度学习技术浪潮的冲击之下，机器翻译的研究者们开始思考以新的角度来推进以前尚未解决的问题。本研究课题就是在这样的背景下，尝试使用多分支的树形深度学习网络来研究学术论文的机器翻译问题。本课题的研究是一次探索尝试过程，希望能对后期其他的研究以启发。 通过对传统神经机器翻译网络的研究，以及对树形深度学习网络的应用分析。本研究意在构建一个结合传统神经网络和树形深度学习网络的多分支树形神经机器翻译机网络(MbTbNMT)，通过对神经网络的重新建模来捕捉学术论文语句中的语法、语义信息。 首先，本文在最开始对传统的神经机器翻译和树形深度学习网络进行了介绍，介绍主要以树形长短期记忆网络（Tree-LSTM）为重点，详细说明了它的原理和构建过程。针对需要的用到的算法只作了简单的介绍。 然后,详细介绍了所研究的MbTbNMT模型实现方法,通过对LSTM编码器的隐状态节点进行树形建模，使得上级节点含有更多子节点信息。结合Attention机制使模型能够提取到学术论文的语法信息。 接下来，介绍了一种新的基于网络爬虫的训练语料构建方法。本研究在Tensorflow深度学习平台上搭建并实现，利用新的训练语料对搭建模型进行训练。检测该模型对学术论文语料的翻译性能，实验结果表明其翻译性能有所提升。训练时，为了加快收敛过程，采用了随机梯度下降（SGD）对模型进行了优化。 最后，同一语料上对比分析了MbTbNMT与两种经典机器翻译模型的翻译结果。相比于经典模型，MbTbNMT不仅能更多地提取到学术论文语法信息，而且系统困惑度更低，更好地实现了学术论文的机器翻译。

目录

第一个书签之前