一种基于字符包的Levenshtein句子匹配算法

摘要

cqvip:本文针对句子匹配问题提出了一种高效基于字符包的Levenshtein算法(CWLA),该算法倾向于找到与源句子形式上相似的句子。我们在双语句子数据集上进行了实验,实验结果表明在英汉数据集上CWLA能够在缩短71.9%时间的前提下将传统基于字符的Levenshtein算法(CLA)的平均BLEU4值提升14.5%;在俄汉数据集上,时间缩短了76.4%,平均BLEU4值提升了12.5%。由于字符包充分利用了单词内部字符的内聚性,使得CWLA能够以较小的时间代价获取较高的匹配性能。