应用于WMD的相似语义检索加速算法

摘要

为了提高Word Mover's Distance(WMD)算法在大量样本数据中的语义相似性检索响应速度,结合KNN-Search的算法思想,提出了一种应用于WMD的相似语义检索加速算法.通过引入参考点对数据集进行线下预排序,并利用参考点与输入的WMD距离关系划定线上检索样本的范围,以避免在整个样本集中逐句计算与输入句的WMD距离,优化了检索策略;同时设计了两个可调参数以折中算法的效率和精度.实验结果表明,该算法可在保证一定精度的前提下,大幅提高线上检索的响应速度,增强WMD在工业应用上的实用性.