基于Spark的高光谱图像分布式并行分类

摘要

高光谱遥感图像有光谱波段多、光谱分辨率高、成像范围大的特点，包含丰富的空间信息和光谱信息，在地理地貌分析方面有着明显的优势。高光谱遥感图像分类技术是遥感信息解释的重要手段之一，在资源勘探和环境监测等领域有着广泛应用。随着高光谱遥感仪的探测技术的不断提升，高光谱遥感图像的数据量越来越大，如何高效地对海量高光谱图像进行分类处理成为遥感处理领域的一个重要课题。传统的单机计算平台不足以支撑海量高光谱数据的处理要求。而云计算技术具备分布式存储和并行计算的特点，能够有效地解决海量高光谱遥感图像在单机运行环境中的计算瓶颈问题。Spark是一个基于内存的分布式的数据处理框架，是最重要的云计算处理平台之一。Spark的弹性分布式数据集(RDD)拥有丰富的运算算子，并且支持中间任务结果缓存到内存，因此适合于解决海量数据的复杂迭代计算问题。本文基于Spark平台研究了高光谱图像分类算法的分布式并行计算原理，提出了两种高光谱图像分布式并行分类方法。主要工作如下: （一）研究了基于空间相关性约束稀疏表示的高光谱图像分类方法(SCSRC)，并在此基础了提出了Spark平台上的基于空间相关性约束稀疏表示的高光谱图像分布式并行分类算法(DP-SCSRC)，解决了SCSRC算法在海量数据处理上的性能瓶颈问题。首先，空间相邻的高光谱图像像素点被按照分区规则储存在RDD中的相同分区上;其次，在同一个RDD中创建多个变量的联合存储矩阵保证任务执行的本地性，减少了跨节点的数据传输。在真实高光谱图像数据集上的实验结果表明，在保证分类精度的情况下，DP-SCSRC的计算加速比高，并且对海量数据计算具有可扩展性。 （二）研究了基于卷积神经网络(CNN)的高光谱图像分类算法，在此基础上提出了面向TensorFlowOnSpark平台的基于空谱联合卷积神经网络的高光谱图像分布式并行分类算法（SS-CNN）。利用残差网络层组合特征的作用，将输入层的光谱信息和经过邻域卷积之后得到的空间特征组合起来，充分利用空谱联合特征提升模型的分类精度。该方法设计的网络结构充分利用了高光谱图像的空谱信息，在较少训练样本的情况下，也能取得较高分类精度。并且使用较浅的网络结构就能有效提取空谱联合特征用于高精度分类。实验结果表明，本文所提出的SS-CNN方法，分布式计算速度快，分类精度高。

目录

声明

摘要

1绪论

1．1选题的背景和研究意义

1．2研究现状

1．2．1高光谱遥感图像分类研究现状

1．2．2 Hadoop／Spark云计算应用研究现状

1．3论文主要研究内容

1．4论文的组织结构

2相关技术基础

2．1云计算及Spark的云计算关键技术

2．1．1 Spark生态圈

2．1．2弹性分布式数据集(RDD)

2．1．3 Spark的集群运行原理

2．1．4 Spark的任务执行原理

2．2稀疏表示分类模型

2．2．1稀疏表示分类模型的重构

2．2．2稀疏表示分类模型的分类

2．3卷积神经网络分类模型

2．3．1卷积神经网络模型

2．3．2训练过程

2．3．3随机优化方法

2．4本文实验平台

3基于空间相关性约束稀疏表示的高光谱图像分布式并行分类

3．1引言

3．2．1 SCSRC模型

3．2．2 SCSRC串行算法步骤

3．3迭代矩阵的分布式存储运算优化

3．3．1高光谱数据分区策略

3．3．2联合存储矩阵(JDM)

3．3．3联合存储矩阵的运算

3．4基于空间相关性约束稀疏表示的高光谱图像分布式并行分类算法

3．5实验结果与分析

3．5．1基于分类精度的评价标准

3．5．2基于分布式计算性能的评价标准

3．5．3 Indian Pines数据集实验

3．5．4 Indian Pines Test Site 3数据集实验

3．6本章小结

4基于卷积神经网络的高光谱图像分布式并行分类

4．2 TensorFlowonSpark分布式深度学习平台

4．2．1 TensorFlow

4．2．2 TensorFlowOnSpark

4．3基于空谱联合卷积神经网络的高光谱图像分布式分类模型

4．3．1设计思路

4．3．2基于空谱联合卷积神经网络的分类模型结构

4．3．3基于空谱联合卷积神经网络的高光谱图像分布式并行分类算法

4．4实验结果与分析

4．4．1实验数据选取

4．4．2实验参数设置

4．4．3实验结果分析

4．5本章小结

5总结与展望

5．1研究总结

5．2研究展望

致谢

参考文献

附录