基于测试集的机器翻译系统显著性检验方法

摘要

近年来，基于统计的机器翻译技术快速发展，如何准确快速的评价机器翻译系统之间的性能差异是一个研究的热点问题。通常，基于统计的机器翻译方法利用定义好的自动评价标准，在标准的测试集上计算系统的得分（如BLEU 值、NIST值等），然后根据得分的相对大小来确定系统之间的差异大小。研究发现这种仅依靠得分大小来判断系统差异的方法并不完全可靠，尤其是在系统得分差异较小的情况下，需要进一步利用显著性检验来度量系统之间的差异是否具有显著性，即推断系统之间的差异是由于随机波动引起的，还是系统间真实的性能差异引起的。显著性检验常用来判断系统之间的性能差异是否来源于系统的性能改善而不是随机误差.用于机器翻译系统的显著性检验通常以句子作为基本的抽样单位,忽略了抽样样本之间的独立性假设,而且用于机器翻译系统的自动评价标准不能对句子进行准确评价,因此引入了额外的随机误差.本文详细分析了影响显著性检验的这一问题,在Clark 方法的基础上,提出了一种以测试集为基本单位的显著性检验方法.实验结果表明,该方法进一步消除了不同抽样方法对显著性检验的影响,获得更稳定的检验结果.