基于hadoop平台海量数据的快速查询与实现

摘要

随着互联网技术的发展,人类产生的数据量正在呈指数级增长,Hadoop作为大数据领域的常用工具,在现代生活中发挥着至关重要的作用。Hive是基于Hadoop的一个数据仓库工具,在做查询统计分析时最终翻译成Hadoop平台上的MapReduce程序运行,当数据量不断增大时,就会使得查询效率[5]下降。该文就此提出了一种Hive与Spark结合的方案,将Hive的查询作为Spark的任务提交到Spark集群上进行计算,利用Spark的特性提高Hive查询性能。该研究首先理论阐述了Hive与Spark各自的工作机制,然后介绍HiveSpark原理,最后通过做实验,对实验结果进行对比,分析,从而验证HiveSpark提高了查询效率,对大规模数据处理具有一定参考意义。