基于Map-Reduce的高维数据相似性连接方法和装置

摘要

本发明提出了一种基于Map‑Reduce的高维数据相似性连接方法和装置。根据本发明，采用分段累积近似方法，对多个d维数据向量中的每一个数据向量进行降维处理，转换为d′维数据向量；采用符号化累积近似方法，将每一个d′维数据向量转换为d′维符号向量；两两计算符号向量‑数据向量列表中的每一对符号向量之间的符号间距离，保留符号间距离不大于预定阈值的符号对，按照每个d′维符号向量进行汇总，得到符号向量‑符号向量列表；以每个d′维符号向量作为键值，以符号向量‑数据向量列表和符号向量‑符号向量列表中的数据向量列表和符号向量列表作为数值，构建散列表；采用Map‑Reduce框架，对所构建的散列表进行处理，输出欧氏距离小于所述预定阈值的d维数据向量对。