基于分布式系统的遥感数据存储技术研究

摘要

随着我国遥感事业的飞速发展，遥感数据正呈现指数型的增长趋势。林业行业中，遥感数据的利用率逐年增高，海量遥感数据的有效存储和管理已经成为当前面临的重大挑战之一。传统的基于单节点的集中式存储模式存在着容量小、扩展性差的缺点，已经难以满足遥感数据的存储要求。分布式存储解决了集中式存储的诸多缺点，但现有的分布式存储方案并未针对遥感数据进行优化，仍然存在着数据格式支持单一、存储空间浪费、索引速度慢等问题。本文针对这些问题，研究了遥感元数据和影像数据分布式存储的关键技术，提出并实现了适应于遥感数据存储的分布式存储模型，并基于这一模型实现了面向应用的遥感数据存储框架。实验表明新的存储模型可以有效适应遥感数据的存储要求，提高存储和访问效率。本文的主要工作有:
　　(1)遥感元数据存储和访问模型。本文对不同标准来源的元数据进行了数据治理，提出了基于属性分类的元数据集概念，实现了元数据集属性的有效覆盖。针对海量元数据存储面临的存储结构复杂问题，设计并实现了基于HBase的元数据分布式存储模型，实现了海量遥感元数据的分布式存储。考虑到遥感数据访问热点的不均匀特征，提出了将元数据访问频率看作访问密度进行基于密度的聚类，实现对于元数据表征的影像数据的不同策略存储的思想。基于这一思想，改进DBSCAN的数据划分与融合方法，并通过Spark实现了并行化的DBSCAN算法。本文将该算法应用于元数据访问模型，使其可以有效反应元数据的访问频率特征。
　　(2)遥感影像数据分布式存储优化。本文对影像数据的存储、索引和入库进行了全面的分析。在元数据访问模型的基础上，将元数据访问模型表征的影像数据分为高频数据、低频数据和灰数据。在HDFS上，对高频数据使用三副本冗余存储策略。针对瓦片数据的小文件特征，实现了Mapfile存储方式。对于低频数据引入MSR编码，实现了基于MSR编码的单副本冗余存储策略。对灰数据利用SEC编码实现了零副本存储。优化的HDFS存储模型避免的存储空间的不必要冗余，在保证数据安全的前提下实现存储空间的高效利用。针对影像数据索引效率低、访问不便的问题，在Peano编码的基础上实现了基于地理坐标的Peano索引，利用Spark实现了影像数据的并行化索引。针对分布式文件系统的数据管理，实现了影像数据的HBase存储模型，并利用MapReduce实现了并行化入库，提高入库效率。
　　(3)面向应用的遥感数据存储框架。本文在实现分布式存储模型的基础上，实现了面向应用的遥感数据存储框架，初步支持了现有平台无修改的数据访问。利用GDAL实现了分布式存储的数据读取接口，设计了面向SuperMap的HDFS/MongoDB双向数据转换接口，满足分布式存储模型的工程化运用需求。

目录

摘要

1 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 遥感数据存储国内外研究现状

1．2．2 分布式文件系统国内外研究现状

1．2．3 非关系型数据库国内外研究现状

1．3 论文研究内容

1．4 论文组织结构

2 相关技术概述

2．1 聚类算法

2．1．1 K-Means

2．1．2 BIRCH

2．1．3 DBSCAN

2．2 分布式存储

2．2．1 HDFS

2．2．2 HBase数据库

2．3 分布式计算框架

2．3．1 MapReduce编程模型

2．3．2 Spark大数据处理平台

2．4 本章小结

3 遥感元数据存储和访问模型

3．1 遥感元数据存储模型实现

3．1．1 基于属性分类的元数据集实现

3．1．2 基于HBase的元数据存储模型

3．2 基于密度聚类的元数据访问模型实现

3．2．1 DBSCAN-PSM算法实现

3．2．2 数据访问模型

3．2．3 基于密度聚类的访问模型实现

3．3 本章小结

4 遥感影像数据的分布式存储优化

4．1 HDFS存储模型的优化和实现

4．1．1 不同访问热点的数据存储策略

4．1．2 三副本冗余策略的优化和实现

4．1．3 MSR再生码和单副本冗余策略的设计和实现

4．1．4 SEC编码策略的设计和实现

4．2 基于地理坐标的数据索引

4．2．1 曲线空间索引

4．2．2 基于地理坐标的索引实现

4．2．3 并行化索引的实现

4．3 HBase存储模型和并行化入库实现

4．3．1 HBase存储模型实现

4．3．2 并行化入库方法的实现

4．4 面向应用的遥感数据存储框架

4．4．1 存储框架层次化结构

4．4．2 基于GDAL的遥感数据访问应用程序接口

4．4．3 SuperMap兼容性支持

4．5 本章小结

5 实验结果与实验分析

5．1 实验准备

5．1．1 实验环境

5．1．2 实验数据集

5．2 元数据治理效果验证

5．2．1 元数据集属性覆盖度

5．2．2 元数据压缩量验证

5．3 基于密度聚类的访问模型验证

5．3．1 聚类算法效率验证

5．3．2 基于密度聚类的访问模型有效性验证

5．4 HDFS优化策略验证

5．5 并行化索引效率验证

5．6 并行化入库效率验证

5．7 本章小结

结论

参考文献

攻读学位期间发表的学术论文

致谢

声明