一种基于MapReduce的度量空间相似连接处理方法

摘要

本发明公开了一种基于MapReduce的度量空间相似连接处理方法。本发明基于MapReduce分布式计算框架，设计高效的度量空间相似连接处理方法，对重复冗余的数据进行检测和删除。本发明先在Map阶段对给定的数据集进行划分，而后在Reduce阶段进行相似性计算以得到重复数据结果，进而进行删除。在Map阶段，本发明对数据集进行采样；根据样本数据获得高质量的支枢点；将整个度量空间中的数据集通过支枢点映射到向量空间；最后利用基于KD树的划分技术，对数据集进行尽可能均匀的划分。在Reduce阶段，本发明利用区域过滤和平面扫描法技术，实现对数据进行带有效剪枝的相似度计算，得到相似连接处理的结果。本发明极大地提高了相似连接处理效率，提供了最佳的性能。