LORANGE:一种机器翻译评测自动元评价方法

摘要

本文提出一种LORANGE(Limited ORANGE)自动元评价方法,在语料资源受限的情况下,对目前主流的基于n元语法的BLEUS、ROUGE-L和ROUGE-S的性能进行评价.这种自动元评价方法弥补了传统人工元评价方法的主观性强、代价高昂、不稳定、评测周期长等缺点,有利于机器翻译系统的参数优化调整和缩短系统研发周期.在俄汉双语句对齐的数据集上,采用这种方法对BLEUS、ROUGE-L、ROUGE-S进行性能评估,实验结果显示,ROUGE-L性能最优,ROUGE-S次之,BLEUS性能最差;并且通过与人工元评价结果进行一致性检验,LORANGE自动元评价方法的有效性与可行性得以验证.