Hadoop环境下多维索引结构OBF-Index的实现方法

摘要

本发明公开了一种Hadoop环境下多维索引结构OBF‑Index的实现方法，对数据集进行划分得到数据分片，对每个数据分片分别创建一个OBF索引对象并序列化为OBF索引文件进行存储，构建得到OBF‑Index；在需要使用数据集时，首先设置需要使用的数据集合A，然后分别读取每个数据分片的OBF索引文件并反序列化得到OBF索引对象，利用OBF索引对象查询数据集合A中的数据是否存在于该数据分片中，如果是，则将该数据分片传递给相应的Mapper，否则不作任何操作。本发明设计了一种多维索引结构OBF‑Index，可以高效地实现创建和查询，且能有效降低假阳率。