Hadoop在PSInSAR遥感数据并行处理中的研究及应用

摘要

随着各种类型遥感仪器的空间分辨率、频谱分辨率的不断提高，监测地面沉降的遥感影像数据量会随着时间的积累而急剧增长。传统的PSInSAR处理遥感数据系统一般都采用单机式的Shell和Matlab脚本串行处理，面对海量数据处理时由于受到单机CPU运算速度、磁盘容量等资源的限制，存在加载缓慢、处理时间较长，甚至不能处理等严重问题。因此，有必要对PSInSAR系统进行改造，提高其运行速度和存储容量，以满足用户对该系统的性能需求。
　　目前，业界通常采用提高单机硬件性能的方法来改善PSInSAR遥感数据处理的效率，此方法存在低效、成本高、扩展不灵活等问题，只能满足一时之需，无法满足日益增长的海量数据需要。
　　本文工作在对现有PSInSAR遥感影像数据系统进行分析的基础上，采用Hadoop技术对系统架构进行了并行化改造，通过架构的优化提高系统的处理速度;研究了PSInSAR系统中可并行处理的Shell和Matlab脚本，结合MapReduce将其中的串行脚本进行了并行化改造;同时新增了分布式影像数据存储管理模块，提高了系统的读写性能;在对Hadoop源码分析以及在大量作业运行的基础上，分析获取了Hadoop平台运行作业的配置参数，对整个系统改造进行了优化设计。最终，通过单机版和集群版系统的对比试验，验证了本次系统改造的有效性和实用性，能够显著提高系统的性能。

目录

声明

摘要

第一章 绪论

1．1 研究背景及研究意义

1．2 国内外研究现状

1．2．1 Hadoop简介及国内外研究的现状

1．2．2 PSInSAR国内外研究现状

1．2．3 PSInSAR与Hadoop结合的可行性分析

1．3 论文研究内容

1．4 论文组织结构

第二章 相关技术概述

2．1 分布式存储技术——HDFS技术分析

2．1．1 HDFS的总体介绍

2．1．2 HDFS的架构

2．1．3 HDFS 2．0的工作原理

2．1．4 HDFS存储文件方案与单机存储对比分析

2．1．5 HDFS分布式文件系统相比单机存储的优点

2．2 分布式计算技术——MapReduce技术分析

2．2．1 MapReduce的总体介绍

2．2．2 MapReduce的架构

2．2．3 MapReduce的编程模型

2．2．4 MapReduce的优点

2．3 本章小结

第三章 需求分析

3．1 PSInSAR已有系统的介绍

3．2 系统架构上的缺陷

3．2．1 架构改造的需求

3．3 模块内部的缺陷

3．3．1 精配准业务流程

3．3．2 PS点分析业务流程

3．3．3 影像数据存储管理

3．4 本章小结

第四章 总体设计

4．1 PSInSAR系统架构改造方案

4．2 模块改造方案

4．2．1 精配准并行处理解决方案

4．2．2 PS点分析并行处理解决方案

4．2．3 影像数据存储管理解决方案

4．3 本章小结

第五章 详细设计与实现

5．1 系统架构改造详细实现

5．2 精配准改造实现

5．2．1 辅影像到主影像的配准并行化实现

5．2．2 辅影像到辅影像的配准并行化实现

5．3 PS点分析改造实现

5．3．1 PS点分析流程并行化改造思想

5．3．2 PS点分析类图及具体实现

5．4 影像数据存储实现

5．4．1 传统构建影像金字塔方法及步骤

5．4．2 MapReduce并行构建影像金字塔

5．4．3 影像金宇塔的MapReduce并行构建描述

5．4．4 瓦片数据存储编码描述

5．4．5 瓦片并行化存储方法

5．4．6 瓦片存储处理流程

5．5 系统集成的优化设计

5．5．1 输入翰出属性类的优化

5．5．2 MapReduce属性类的优化

5．6 本章小结

第六章 实验设计与结果分析

6．1 实验环境的配置

6．1．1 Hadoop集群硬件环境配置

6．1．2 Hadoop集群免密码登录配置

6．1．3 Hadoop 2．0环境配置

6．2 实验设计

6．3 实验结果分析

6．3．1 精配准处理时间对比

6．3．2 PS点分析处理实验分析

6．3．3 影像数据存储实验分析

6．4 本章小结

第七章 总结与展望

7．1 总结

7．2 展望

致谢

参考文献

缩略词表