基于Hadoop的地理空间大数据存储与查询技术

摘要

当今社会随着地理信息技术的迅猛发展，地理空间数据量急速增长，传统的存储和处理方式已经难以满足需求。如何高效的存储和处理海量地理空间数据，正逐渐成为各大IT企业和知名学术机构的研究重点。在此背景下，针对地理空间数据结构复杂、数据量大、空间特征突出和存储与处理复杂等特点，本文设计并实现了基于Hadoop的地理空间大数据存储与查询技术。
　　本研究主要内容包括：⑴针对矢量空间数据的结构特点和NoSQL数据库HBase的存储检索特性，设计了一种新的适合矢量空间数据存储和处理的HBase表模式，对于HBase表中的行键和列族均进行了特殊设计以适应矢量空间数据的存储和查询需求。⑵提出了多种数据导入算法，包括两种单机导入算法和两种基于MapReduce的导入算法，可适应多种应用场景下的导入需求。默认支持对Shapefile文件的导入，并可轻易扩展实现对其他矢量空间数据格式的支持。⑶设计了可加快矢量空间数据查询速度的R树索引存储模型，该模型基于HDFS实现，包含两级索引结构。与此同时为了加快查询速度，设计并实现了多种优化策略。⑷通过对R树索引的深入分析，提出了基于MapReduce的数据采样算法和 R树索引创建算法，并且针对R树索引的存储进行了优化以加快查询速度。⑸在深入研究HBase协处理器的基础上，提出了基于R树索引和HBase数据库的区域查询、K近邻查询和空间连接查询算法，并分别设计了对应的批量查询优化算法。

目录

声明

插图索引

表格索引

缩略语对照表

第一章 绪论

1.1研究背景和意义

1.2国内外研究现状

1.3论文主要工作

1.4论文章节安排

第二章 相关技术概述

2.1开源分布式计算平台Hadoop概述

2.2地理空间大数据相关知识概述

2.3开源地理空间数据处理工具包GeoTools概述

2.4本章小结

第三章 地理空间大数据存储与查询技术设计

3.1系统架构设计

3.2地理空间大数据存储系统设计

3.3地理空间大数据查询引擎设计

3.4本章小结

第四章 地理空间大数据存储系统实现

4.1 HBase表模式设计

4.2数据导入服务实现

4.3 R树索引存储模型的实现

4.4 R树索引创建服务的实现

4.5地理空间大数据存储系统测试与分析

4.6本章小结

第五章 地理空间大数据查询引擎实现

5.1区域查询的实现

5.2 K近邻查询的实现

5.3空间连接查询的实现

5.4客户端调用接口

5.5地理空间大数据查询引擎测试与分析

5.6本章小结

第六章 总结与展望

参考文献

致谢

作者简介