基于MapReduce的海量文本数据的并行查询技术研究

摘要

对海量文本数据的查询检索,目前并没有高效方便的方法,传统方法一般是将其导入到数据库中再结合SQL语言进行处理,费时费力.本文基于MapReduce架构,给出了直接基于海量文本数据的并行查询检索算法,使用集群系统,通过多节点多任务并行处理,来实现高效的查询检索,并利用开源的Hadoop框架,对该算法进行了实现.