面向批量处理的大数据检索过滤模型研究

摘要

大数据作为新的战略资源,在信息领域发挥着重要作用.大数据的检索规模往往达到十亿甚至百亿级,导致传统的查询机制效率低下成为常态.因此,提高大数据的查询效率、降低查询负担成为大数据研究的重要方面.为此提出了一种面向批量处理的大数据检索过滤模型IMFM,介绍了其核心思想及工作原理,论证了IMFM对于多维查询的支持,并给出了IMFM的部署策略.在大数据索引结构中的适当位置部署该模型,在检索请求通过节点时对检索请求进行快速过滤,避免无关请求对节点下方索引结构的操作,从而降低检索对性能的消耗.实验证明,在大数据批量处理环境下,该模型可以有效缩短大数据一维和多维查询的路径长度,提高检索效率,大幅减轻大数据存储和处理平台的负担.