基于Hadoop的地质云计算平台搭建与应用

摘要

地质数据采集方式的多样性导致了数据规模的不断增长，已经达到了“地质大数据”的5“V”特点，数据管理和分析处理的复杂程度不断增加，使得对海量地质数据进行高效运维和数据挖掘的难度不断增大，迫切需要新的技术手段来实现地质数据的智能化服务和挖掘地质数据的潜在价值。分布式存储和云计算提供了一种解决上述问题的新思路。Hadoop大数据处理技术得到了国内外研究者们越多越多的关注，成为海量数据存储、计算、挖掘技术的研究热点。
　　本文旨在基于搭建虚拟化地质云平台，实现积累的地质数据能够共享和互操作。深入研究和探索Hadoop集群中的HDFS分布式文件系统、MapReduce并行编程框架、Hbase列式存储数据库等组件，结合全国地质矿产潜力评价数据，将Hadoop技术应用于地质大数据分析研究中。本文的主要工作如下：
　　（1）通过对云计算和大数据的研究，阐述了其概念、关键技术等内容并提出了地质云平台的体系结构，重点阐述了开源云计算和存储框架Hadoop，尤其是分布式文件系统HDFS、并行计算框架MapReduce和列式存储Hbase。
　　（2）通过对海量地质数据整合、共享和查询检索的需求分析，利用分布式存储技术和虚拟化技术设计、搭建了Master/Slave架构的云数据计算与存储集群平台。利用Hadoop系统中的HDFS和MapReduce，为我们设计海量地质数据存储架构提供了有力的技术支撑，最终实现在高并发、高负载的集群环境中对地质数据进行高效访问。
　　（3）从Hadoop集群的云存储出发，解决了小文件在HDFS里合并存储的优化，使用MapReduce算法使合并过程效率更高。同时通过整体考虑各个负载因素，采用信息熵算法确定权重值，经过多轮负载均衡，提高系统应对高并发情况，优化文件读写，系统效率有了极大提高。
　　（4）研究了架构在虚拟云平台上的HBase数据库，根据矿产潜力评价数据的表特点设计rowkey，提高了地质大数据存储管理、查询检索的效率。通过与Oracle关系数据库的数据入库、数据检索对比实验，验证了HBase在处理海量地质数据方面的优越性。

目录

声明

第1章 绪论

1.1 课题研究背景及意义

1.2 研究现状与发展趋势

1.3 论文研究内容

1.4 论文组织安排

1.5 本章小结

第2章 云计算和大数据平台架构Hadoop

2.1 云计算

2.2 大数据平台架构Hadoop

2.3 本章小结

第3章 面向虚拟化的地质云计算平台设计

3.1 建设思路与关键问题

3.2 地质云计算平台技术框架

3.3 虚拟化应用设计与实现

3.4 Hadoop集群环境搭建

3.5 本章小结

第4章 基于Hadoop的地质数据云存储和计算模型

4.1 云存储设计与实现

4.2 基于HDFS的地质数据云存储

4.3 负载平衡

4.4 实验分析

4.5 本章小结

第5章 基于Hbase的地质大数据查询检索应用

5.1 系统运行环境

5.2 基于Hbase的地质数据存储检索

5.3 本章小结

第6章 结论与展望

6.1 本文工作与创新

6.2 展望

参考文献

附录A 配置Hadoop的代码

附录B 攻读学位期间取得的学术成果

致谢