基于N-gram的句子相似度计算技术

摘要

在基于大规模双语语料库的机器翻译研究中,如何找到最有效的翻译参考一直以来都是人们的关注焦点,其核心技术就是参考例句的相似度计算。本文提出了一种基于HowNet词语相似度的N-gram相似度计算方法,在此基础之上,参考机器翻译自动评测中BLEU的评价公式,进一步提出了一种新的句子相似度计算方法。该方法结合了N-gram和语义相似度计算,可以有效应用到基于实例的机器翻译、辅助机器翻译和交互式机器翻译中。