一种基于位置敏感哈希的分布式索引方法

摘要

一种基于位置敏感哈希的分布式索引方法，首先利用聚类算法对海量数据集进行聚类，然后把聚类中心映射到不同计算节点上，再次将原始海量图片或视频特征数据映射到所属类对应的计算节点上，这样可以让每个节点处理一个类，最后利用基于p-稳定分布的位置敏感哈希方法建立不同节点上的数据索引。为了减少不同计算节点上搜索结果的合并时间和提高搜索结果的质量，本发明提供了两种方法来选择最近m个类以供后续详细搜索。本发明提供了一种自动将海量数据映射到不同计算节点的向导，此外，本发明还有效地减少了位置敏感哈希搜索阶段的详细比较次数，使得海量数据的搜索更加的准确高效。