Pass-Join-K: Similarity Join Method Based on Multi-Match Partition

摘要

相似性连接是数据清理工作的基本模型,获得了大量数据库工作者的关注。研究了基于编辑距离的相似性连接问题,即在两个字符串集合中寻找编辑距离小于一个阈值的字符串对,并在PASS-JOIn算法的基础上,提出了一个新的PASS-JOIn-k算法。PASS-JOIn-k算法在长短字符串上都有很好的表现。该算法的主要思想是利用PASS-JOIn算法的划分原理,以多次匹配的方式,达到更加严格地选取候选配对的目的。实验结果显示,PASS-JOIn-k算法减少了候选对的数量,在实际数据集上相比元算法在运行时间上有2~5倍的提升。