基于深度融合残差网的多光谱图像分类方法

摘要

本发明公开了一种基于深度融合残差网的高光谱图像分类方法，克服了现有技术人为选择多种弱分类器和集成方法设计的复杂耗时、计算过程繁琐并且半监督训练方式导致的分类结果存在同物异谱及异物同谱现象的缺点。本发明实现的步骤是：(1)输入多光谱图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵；(4)获取数据集；(5)搭建深度融合残差网；(6)训练深度融合残差网；(7)对测试数据集进行分类。本发明具有完备学习多光谱图像特征，过程更加简洁明了，使得分类效果更精确的优点，可用于高光谱图像的分类。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及多光谱图像分类技术领域中的一种基于深度融合残差网多光谱图像分类方法。本发明可用于将多光谱图像中包括水域、田地、地物目标等的地物进行分类。

背景技术

多光谱图像是遥感图像的一种，它是指物体对多个波段电磁波的反射和透射所成的图像，包括可见光、红外线、紫外线、毫米波、X射线、γ射线反射或透射像。多光谱图像分类作为多光谱图像的基础研究，一直是多光谱图像重要的信息获取手段，它的主要目标是根据待测地物的空间几何信息与光谱信息将图像中的每个像素划分为不同的类别。多光谱图像的传统分类方法有很多，但是大多数方法需要针根据图像本身的特点进行人为的设计提取特征信息，比如支持向量机、决策树、最小距离分类、最大似然分类、波谱角分类、混合距离法分类等。而近些年来，深度学习中的卷积神经网络，在图像处理领域表现出强大的特征表征能力，降低了人为设计提取特征的不确定性，减少了工作量。

李星等人在其发表的论文“基于集成学习的多光谱遥感图像分类研究”(北方民族大学学报,2016)中提出了一种基于集成学习的多光谱地物分类方法。该方法采用集成学习针对多光谱遥感图像进行分类，选取多分类ECOC框架与二分类算法LogitAdaBoost算法结合的方式将二分类算法扩展成为多分类算法，并将LBPV方法应用在多光谱遥感图像提取上，提取了图像的LBP纹理特征和VAR对比度特征，描述了图像的空间特征。该方法基于集成学习对多光谱遥感图像分类，虽然能得到较好的分类结果。但是，该方法仍然存在的不足之处是，该方法需要选取多种弱分类器来进行集成学习，弱分类器的选取和集成方法的设计依靠人为经验，而且多种分类器的训练复杂并且耗时。

河南理工大学在其申请的专利文献“一种基于信息熵的半监督高光谱遥感影像分类方法”(专利申请号：201410668553.4，公开号:104376335A)中提出了一种基于信息熵的半监督高光谱遥感影像分类方法。该方法针对高光谱数据的特点，在选取较少有标记的训练标签的基础上，通过多分类logistic算法，预测出初级分类结果，然后通过renyi熵来衡量影像的能量，选取包含信息量最大的像元补充到训练样本中，再进行预测分类，最终实现高光谱遥感影像分类。该方法虽然用多分类logistic算法，预测出初级分类结果，再对各组数据通过renyi熵来衡量影像的能量，选取包含信息量最大的像元补充到训练样本中，得到最后的分类结果。该方法存在的不足之处是，该方法计算过程繁琐，而且使用半监督聚类方法，导致分类结果存在同物异谱及异物同谱现象，影响分类准确率。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于深度融合残差网的多光谱图像分类方法，本发明利用深度融合残差网提取特征并且将两个卫星提取的特征向量融合，以提高分类准确率。

为实现上述目的，本发明的具体步骤如下：

(1)输入多光谱图像：

输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段图像，第二幅多光谱图像包含9个波段图像；

(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；

(3)获得多光谱图像矩阵：

(3a)将第一幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W₁ⁱ×H₁ⁱ×C₁的五个第一幅多光谱图像矩阵，其中，W₁ⁱ表示第一幅多光谱图像中每个波段图像的宽度，H₁ⁱ表示第一幅多光谱图像中每个波段图像的高度，C₁表示第一幅多光谱图像的波段数，C₁＝10，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；

(3b)将第二幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W₂ⁱ×H₂ⁱ×C₂的五个第二幅多光谱图像矩阵，其中，W₂ⁱ表示第二幅多光谱图像中每个波段图像的宽度，H₂ⁱ表示第二幅多光谱图像中每个波段图像的高度，C₂表示第二幅多光谱图像的波段数，C₂＝9，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；

(4)获取数据集：

(4a)对前四个地物目标每个地物目标的第一幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D₁；

(4b)对前四个地物目标每个地物目标的第二幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D₂；

(4c)对第五个地物目标的第一幅多光谱图像矩阵进行滑窗取块操作，将所有的图像块组成测试数据集T₁；

(4d)对第五个地物目标的第二幅多光谱图像矩阵进行滑窗取块操作,将所有的图像块组成测试数据集T₂；

(5)搭建深度融合残差网：

(5a)搭建31层深度残差网；

(5b)构建深度融合残差网的特征融合层；

(5d)在特征融合层之后连接多分类Softmax层，得到深度融合残差网；

(6)训练深度融合残差网：

(6a)将训练数据集D₁输入到深度残差网进行有监督训练；

(6b)将训练数据集D₂输入到深度残差网进行有监督训练；

(6c)融合两次训练所得网络中的特征向量，得到训练好的深度融合残差网；

(7)对测试数据集进行分类：

(7a)将测试数据集T₁输入到训练好的深度融合残差网中，提取特征向量C₁；

(7b)将测试数据集T₂输入到训练好的深度融合残差网中，提取特征向量C₂；

(7c)将特征向量C₁与特征向量C₂融合，输入到深度融合残差网中的多分类Softmax层，得到最终分类结果，并计算分类准确率。

本发明与现有的技术相比具有以下优点：

第一，由于本发明搭建了深度融合残差网，利用该模型中的深度残差网络提取多光谱图像的特征，是一种自学习的特征提取方法，而且可以完备的提取多光谱图像的特征，特征提取方法没有针对性，可以用于各种多光谱图像的特征提取，克服了现有技术人为选择多种弱分类器和集成方法的设计的复杂耗时的缺点，使得本发明具有普适性的优点。

第二，由于本发明通过训练深度融合残差网，分别对融合残差网中的不同网络进行有监督训练学习不同卫星所拍摄图像的的特征信息，再进行特征向量融合，这样的特征学习步骤简单，克服了现有技术计算过程繁琐并且半监督训练方式导致得分类结果存在同物异谱及异物同谱现象的缺点，使得本发明具有可以提取到多方向、多光谱、多时相的多种高层特征信息。

附图说明

图1为本发明的流程图；

图2为本发明中对待分类图像的人工标记图；

图3为用本发明对待分类图像的分类结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，对本发明的实现的步骤详细描述如下。

步骤1，输入多光谱图像。

输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段的图像，第二幅多光谱图像包含9个波段的图像。

步骤2，对每一幅多光谱图像的每个波段的图像去地物目标归一化处理。

用五个地物目标的第一幅多光谱图像中，每个波段的图像中的每个像素值，除以五个地物目标各时相该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像分别归一化后的图像。

用五个地物目标的第二幅多光谱图中，每个波段的图像的每个像素值，除以五个地物目标该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个波段图像归一化后的图像。

步骤3，获得多光谱图像矩阵。

将第一幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W₁ⁱ×H₁ⁱ×C₁的五个第一幅多光谱图像矩阵，其中，W₁ⁱ表示第一幅多光谱图像中每个波段图像的宽度，H₁ⁱ表示第一幅多光谱图像中每个波段图像的高度，C₁表示第一幅多光谱图像的波段数，C₁＝10，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；

将第二幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W₂ⁱ×H₂ⁱ×C₂的五个第二幅多光谱图像矩阵，其中，W₂ⁱ表示第二幅多光谱图像中每个波段图像的宽度，H₂ⁱ表示第二幅多光谱图像中每个波段图像的高度，C₂表示第二幅多光谱图像的波段数，C₂＝9，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；

步骤4，获取数据集。

从前四个地物目标的第一幅多光谱图像矩阵中选取有类标的像素，用24×24像素大小的滑窗将多光谱图像矩阵的有类标像素分割为10通道的图像像素块,从图像像素块中随机选取50％的像素块，作为训练数据集D₁。

从前四个地物目标的第二幅多光谱图像矩阵中选取有类标的像素，用24×24像素大小的滑窗将多光谱图像矩阵的有类标像素分割为9通道的图像像素块,从图像像素块中随机选取50％的像素块，作为训练数据集D₂。

从第五个地物目标的第一幅多光谱图像中选取有类标的像素，用24×24像素大小的滑窗将多光谱图像矩阵的有类标像素分割为10通道的图像像素块，作为测试数据集T₁。

从第五个地物目标的第二幅多光谱图像矩阵中选取有类标的像素，用24×24像素大小的滑窗将多光谱图像矩阵的有类标像素分割为9通道的图像像素块，作为测试数据集T₂。

步骤5，搭建深度融合残差网。

搭建31层深度残差网。

第一层为输入层，输入的是一个大小为24×24×10的三维向量，同时设置特征映射图数目为3。

第二层为卷积层，是将输入层的向量投影得到的一个卷积表征层，设置特征映射图数目为64。

第三到十一层为第一个残差块9层，设置特征映射图数目为64。

第十二到十四层为第二个残差块3层，设置特征映射图数目为128，进行快捷连接。

第十五到二十层为第三个残差块6层，设置特征映射图数目为128。

第二十一到二十三层为第四个残差块3层，设置特征映射图数目为256。

第二十四到二十九层为第五个残差块6层，设置特征映射图数目为256。

第三十层为归一化层，设置为批量归一化方式。

第三十一层池化层，设置特征映射图数目为256。

将五个地物目标多光谱图像的第一幅多光谱图像矩阵，输入到深度残差网中提取第一个特征图，对第一个特征图进行向量化处理，得到第一个特征向量。

将五个地物目标多光谱图像的第二幅多光谱图像矩阵，输入到深度残差网中提取第二个特征图，对第二个特征图进行向量化处理，得到第二个特征向量。

融合两个特征向量，组成深度融合残差网的特征融合层。

在特征融合层之后连接多分类Softmax层，得到深度融合残差网。

步骤6，训练深度融合残差网。

将训练数据集D₁输入深度残差网进行有监督训练。

将训练数据集D₂输入深度残差网进行有监督训练。

将两次训练所得网络中的特征向量融合，得到训练好的深度融合残差网。

所述将两次训练所得网络中的特征向量融合，得到训练好的深度融合残差网步骤如下：

第1步，将训练数据集D₁输入到训练好的第一通道深度残差网中，对训练数据集D₁进行特征提取，得到特征S₁。

第2步，将训练数据集D₂输入到训练好的第二通道深度残差网中，对训练数据集D₂进行特征提取，得到特征S₂。

第3步，将特征S₁与特征S₂特征融合后输入到多分类Softmax层，进行有监督进行训练，得到训练好的深度融合残差网。

步骤7，对测试数据集进行分类。

将测试数据集T₁输入到训练好的深度融合残差网中，提取特征向量C₁。

将测试数据集T₂输入到训练好的深度融合残差网中，提取特征向量C₂。

将特征向量C₁与特征向量C₂融合，输入到深度融合残差网中的多分类Softmax层，得到最终分类结果，并计算分类准确率。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

本发明的仿真是在惠普Z840、内存8GB的硬件环境和TensorFlow的软件环境下进行的。

2.仿真内容：

本发明的仿真实验是将卫星sentinel_2和卫星landsat_8分别拍摄成像的柏林berlin，香港hong_kong，圣保罗sao_paulo5，罗马rome四个地区的多光谱图像数据，作为训练数据集训练深度融合残差网，将巴黎paris地区的多光谱图像数据作为测试数据集，进行17类地物分类。

图2为巴黎paris地区的真实地物标记图，地物类别包括密集型高层建筑、密集型中层建筑、密集型低层建筑、开放式高层建筑、开放式中层建筑、开放式低层建筑、大型低层建筑、稀疏分布的建筑、重工业区、茂密的森林、零散树木、灌木丛和矮树、低矮的植被、裸露的岩石、裸露的土壤和沙土、水。

本发明的仿真实验1是使用本发明的方法，首先融合卫星landsat_8拍摄成像的巴黎paris地区的多光谱图像和卫星sentinel_2拍摄成像的巴黎paris地区的多光谱图像，然后对融合后的多光谱图像进行分类，结果如图3所示，三种仿真方法得到的分类准确率对比结果如表1。

本发明的仿真实验2和仿真实验3是使用现有技术的深度残差网分类方法，分别对卫星landsat_8拍摄成像的巴黎paris地区的多光谱图像和卫星sentinel_2拍摄成像的巴黎paris地区的多光谱图像进行分类。

3.仿真结果分析：

图3是利用本发明的方法对巴黎paris地区的多光谱图像进行分类得到的结果图。对图3本发明得到的分类结果图与图2中的真实地物标记图进行对比，可以看出，采用本发明的方法得到的分类结果相较现有技术准确率较高。

本发明的仿真实验2和仿真实验3的结果如表1，从表1可见，本发明将两个卫星拍摄得到的多光谱图像数据输入深度融合残差网提取特征，相较单通道网络处理单个卫星拍摄的多光谱图像数据输入到单通道网络中，相较于现有技术分类准确率提高，分类结果更优。

表1采用现有技术在仿真中得到的分类准确率对比表

方法准确率本发明的方法51.12％单通道深度残差网(landsat_8数据)44.82％单通道深度残差网(sentinel_2数据)45.63％

从表1可见，针对两个卫星数据的多光谱数据，本发明的将两种数据分别输入不同通道提取特征，相比现有技术的单通道网络，分类准确率提高。

综上所述，本发明引入深度融合残差网，结合特征融和，提取了图像的多时相、多谱段、多方向等高层特征，提高了图像的特征表征能力，使得模型学习到了更为丰富的多光谱图像特征，相比现有技术得到更优的分类准确率。