一种基于状态转移的N元语言模型快速查询方法

摘要

融合基于海量语料的语言模型是提高统计机器翻译系统性能的有效手段。随着模型规模的不断增加，如何实现语言模型的快速查询成为影响系统性能的关键。本文根据N元语言模型查询具有的上下文相关特性，提出—种基于状态转移的语言模型快速查询方法。该方法通过构造Trie树索引保存查询状态，有效避免了语言模型的重复查询。实验结果表明，该方法在严格控制语言模型规模的基础上，能够显著提高统计机器翻译系统的解码效率。