基于HDFS的影像数据金字塔构建及存储技术研究

摘要

当今遥感影像数据在林业资源的管理与预测等方面扮演着越来越重要的角色，在数据量不断膨胀的背景下，如何有效地对遥感数据进行管理是当前最需要解决的问题。但是在林业资源数据中，不仅仅只有遥感数据，森林资源调查数据也是林业数据中重要的数据源，通过将两种资源进行整合，实现数据的综合利用也是未来发展的趋势。通过研究分布式技术与领域分析技术的原理及方法，对于解决遥感数据管理技术上的问题以及平台的搭建有着十分重要的意义。
　　本文主要研究影像金字塔的并行构建技术以及林业综合数据管理的关键技术。其中影像金字塔的并行构建方面，首先对四叉树编码进行了介绍，并且对遥感影像数据采用线性四又树编码进行处理。经过编码后，通过对传统影像金字塔并行构建时的缺点进行分析，设计了一种分布式构建予金字塔的策略。在此基础上结合MapReduce并行处理模型对金字塔的构建算法进行设计，最终实现金字塔的并行构建。
　　林业综合数据管理方面，对其分别在应用层、中间层与底层结构上进行了分析。其中应用层方面通过领域分析技术对平台的搭建进行了解释说明，从而实现最大化的软件复用;中间层结构上，论文基于Hbase数据库提出采用peano空间填充型曲线进行数据索引，通过这种索引方式能够保证基于四叉树编码的数据实现物理地址相邻，提高检索效率。并且对分布式文件系统底层存储结构进行纠删码优化，通过此优化能够有效地利用存储空间。最终进行数据存储的过程中通过建立基于Hbase的存储模型，以实现MapReduce下数据的快速存储，从而实现林业综合数据管理的设计。

目录

摘要

1 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 影像数据处理国内外研究现状

1．2．2 遥感影像数据管理及文件存储系统研究现状

1．3 论文研究内容

1．4 论文组织结构

2 金字塔模型及HDFS技术概述

2．1 引言

2．2 金字塔模型

2．2．1 金字塔生成技术

2．2．2 重采样方法

2．3 HDFS

2．3．1 分布式文件系统的特性

2．3．2 MapReduce

2．3．3 Hbase

2．4 纠删码

2．5 本章小结

3 遥感影像金字塔的并行构建方法研究

3．1 引言

3．2 四叉树编码

3．2．1 非线性四叉树编码

3．2．2 线性四叉树编码

3．2．3 两种编码方式的比较

3．3 影像金字塔的并行构建方法

3．3．1 DGPGA算法

3．3．2 基于MapReduce的算法总体分配流程

3．3．3 算法具体实现

3．4 本章小结

4 林业综合数据存储研究

4．1 林业综合数据管理建模

4．1．1 上下文分析

4．1．2 领域建模

4．1．3 软件架构建模

4．2 基于peano算法的空间索引

4．3 影像数据存储模型建立

4．3．1 HDFS影像数据文件系统优化

4．3．2 Hbase分布式数据库存储优化

4．4 影像数据并行存储

4．5 本章小结

5 实验结果与分析

5．1 实验设置以及数据准备

5．1．1 实验环境

5．1．2 实验数据来源

5．2 实验验证

5．2．1 影像金字塔的并行构建

5．2．2 影像数据存储速率验证

5．2．3 林业信息综合平台管理

5．3 本章小结

结论

参考文献

攻读学位期间发表的学术论文

致谢

声明