基于云计算的大规模无人机遥感数据处理的优化研究

摘要

无人机遥感技术已大量应用于资源调查、环境监测等领域，在具体应用中涉及到大量遥感图像的分析和处理。目前，对这些数据的存储、使用均存在一定困难，将云计算技术和GIS技术应用于遥感图像处理，为遥感图像的存储与管理提供了新的思路。本文结合Hadoop云计算架构和GIS技术，以无人机遥感图像作为数据源，设计了从瓦片数据的生成到瓦片数据存入HBase再到数据查询的过程。
　　首先，本文详细分析了云计算在GIS方面的应用，包括二者的特点分析、两种技术结合后的优势以及技术难点。
　　其次，本文介绍了相关理论与技术，包括Hadoop架构原理、瓦片数据定义、云计算技术和瓦片技术结合的优势以及瓦片金字塔的概念和原理，为具体研究和实现做了技术准备。
　　然后，本文基于Hadoop云计算架构，设计了瓦片数据的产生、存储以及查询的过程。该过程分为数据处理阶段、存储阶段和查询阶段。数据处理阶段使用MapReduce并行计算模型以并行的方式生成瓦片，该阶段本文根据集群计算能力和需要生成的瓦片数据总量提出了改进的任务分配方式，充分利用集群资源提高了瓦片生成效率;存储阶段在HBase中以Hilbert编码作为索引方式构建了瓦片金字塔存储模型，利用Hilbert曲线的特性提高了存储与索引的效率;查询阶段，本文针对Hilbert空间填充曲线在查询区域的分段特性，提出了基于多线程的改进查询算法，相较于传统的查询方式，提高了查询效率。
　　最后，本文搭建了Hadoop集群，在集群上进行了一系列的实验，实验表明本文提出的基于改进的任务分配策略的并行瓦片生成方法、基于Hilbert曲线和瓦片金字塔模型的瓦片存储方法以及改进的查询方法相较于其他方法具有更高的效率。

目录

声明

摘要

符号说明

1．1 研究背景与意义

1．2 国内外研究现状与水平

1．2．1 GIS研究现状

1．2．2 云计算研究现状

1．2．3 基于云计算的数据存储发展

1．3 云计算在GIS上的应用

1．3．1 云计算与GIS的结合特点

1．3．2 关键技术及难点

1．4 论文主要工作与组织结构

第2章 云计算与地图瓦片的相关理论与技术

2．1 Hadoop云计算平台

2．1．1 Hadoop分布式文件系统HDFS

2．1．2 分布式计算模型MapReduce

2．1．3 分布式非关系型数据库HBase

2．2 瓦片数据及瓦片金字塔

2．3 本章小结

第3章 基于Hilbert的瓦片数据存储与索引

3．1 Hilbert曲线及Hilbert编码

3．1．1 Hilbert曲线

3．1．2 Hilbert编码

3．2 生成瓦片的方法

3．2．1 经纬度与瓦片坐标的具体转换

3．2．2 现阶段瓦片生成方法

3．2．3 提高瓦片生成效率的方法的提出

3．3 基于云计算的瓦片数据处理与存储

3．3．1 Hilbert编码和瓦片数据的结合

3．3．2 具体措施

3．3．3 改进后方法的优点

3．4 本章小结

第4章 基于Hilbert的HBase查询方法

4．1 信息索引技术

4．1．1 信息检索技术介绍

4．1．2 Nosql数据库发展现状

4．1．3 海量数据检索

4．2 改进的瓦片数据查询方法

4．2．1 改进的瓦片数据查询方法的提出

4．2．2 改进查询方法的分段阶段

4．2．3 改进查询方法的多线程阶段

4．3 本章小结

5．1 实验目的

5．2 实验环境

5．3 实验结果与分析

5．3．1 瓦片生成效率实验

5．3．2 改进的查询方法实验

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读学位期间发表学术论文和参加科研情况