自然语言处理KN模型在机器翻译优化中的应用

摘要

21世纪是互联网十分发达的新时代，电脑和网络在人们日常生活、学习和工作中发挥的作用越来越强大。人与人之间的语言交流有时也会通过电脑和互联网的形式表现出来。因此，人们对于电脑模拟人脑进行语言学习的渴望也与未来越强烈。人们希望电脑能够同人一样对语言和文字进行处理、判断和预测，因此关于自然语言模型的研究就逐步发展了起来。
　　在诸多语言模型中KN平滑模型不仅考虑到了历史对于语言概率估计的影响，也应用了插值技术，同时通过全面定义的折扣函数，解决了统计语言模型中常见的数据稀疏问题，更精确的估计了句子或是文章的概率，在实际生活中有很广泛的应用。本文就应用了经典的修正后的KN模型进行了两个实验。一个针对英语，进行了机器翻译的优化和筛选；另一个针对德语，探寻了语言模型更广泛的应用。
　　本文首先介绍了机器翻译的相关概念，简单阐述了机器翻译的几种方法。然后又提出了自然语言模型，为解决基于统计的语言模型中出现的数据稀疏问题，本文列举了几种平滑模型，其中以Kneser-Ney模型为主。在本文的实验部分，英语的训练和测试语料库来源于联合国的会议记录并由作者根据实验需要进行了修改和完善，其中包含例如对一句话的四到五种翻译。作为翻译标准的句子来源于联合国会议记录英文版，其他各翻译版本来源于互联网上广泛存在的翻译网站，即机器翻译。除此之外，还包含了一些人工翻译。通过设计程序，使用KN模型，对各翻译结果智能排序，选择最佳版本，即最符合训练语料库语境的版本，通过比较验证了KN模型的可行性。德语部分的实验流程与英语大致相同，但语料库的选择，无论是训练语料库还是测试语料库都与之前的实验有所不同。通过进行多组大量的实验，来测试模型的稳定性。接下来，本文还对实验模型的应用前景进行了大量分析和举证。

目录

中文摘要

英文摘要

目录

0 绪论

0.1 引言

0.2课题背景与来源

0.3 机器翻译

0.4 本论文的主要工作及章节安排

1自然语言模型的基本理论

1.1自然语言模型概论

1.2 常见平滑方法

1.3 语言模型的评价参数及方法

1.4 本章小结

2 Kneser-Ney 模型

2.1 Kneser-Ney基本模型介绍

2.2 修正后的Kneser-Ney平滑

2.3 本章小结

3 基于KN模型的机器翻译优化

3.1 实验描述

3.2 实验过程

3.3 实验结果分析及对比

3.4 实验应用前景讨论

3.5 本章小结

4 总结与展望

4.1 总结

4.2 展望

参考文献

致谢

个人简历