基于EMD距离的数据流分布式相似性连接方法

摘要

分布式并行计算是提高数据流相似性连接处理效率的有效手段，EMD距离能更准确地量化直方图元组之间的相似性却具有高达三次方的计算复杂度，阻碍了其在数据流相似性连接中的应用，为此，本发明公开了基于EMD距离的数据流分布式相似性连接方法，基于开源的数据流分布式并行计算框架Apache Storm，在数据分发时采用基于数据局部性的数据流划分策略维护了连接计算节点上的数据局部性，并基于该数据局部性增强了连接算法对不相似直方图元组对间EMD计算的过滤性能，提高了各个连接计算节点的执行效率；同时基于连接计算节点的代价模型，采用基于反馈的负载均衡策略，有效提升系统对数据流的整体处理性能和系统可扩展性，比现有技术在处理吞吐率上最高提升了50％。