一种基于深度学习的GF2遥感影像密集目标识别方法和系统

摘要

本发明公开了一种基于深度学习的GF2遥感影像密集目标识别方法，包括以下步骤：获取遥感影像数据并分别处理为灰度图、RGB彩色图、多光谱图像，将所述灰度图、RGB彩色图、多光谱图像匹配和校准整合为固定通道数的输入图像；将整合后的输入图像依次进行数据增强、预处理，并将预处理后的输入图像进行标签格式转换，得到统一格式的标签文件；将预处理后的输入图像和标签文件输入预设的神经网络进行训练，得到神经网络模型；将待识别遥感影像进行裁剪处理后输入至所述训练得到的神经网络模型并输出检测结果；将检测结果进行目标检测点的筛选，将筛选的目标检测点进行坐标匹配，将匹配后的检测点重新绘制在遥感图像中，输出检测识别结果。本发明提高了密集目标检测的精度。

说明书

技术领域

本发明涉及遥感图像处理技术领域，更具体的，涉及一种基于深度学习的GF2遥感影像密集目标识别方法和系统。

背景技术

以计算机去识别遥感图像中的目标，其核心是计算机通过卷积神经网络对图像进行特征提取的过程，从而训练出对应于特定目标的检测网络结构，基于遥感影像下的多种类多尺度目标检测与识别是地理勘测、军事侦察和精准打击等领域的一项关键技术，如何提高目标检测的精度，也一直是遥感应用领域的研究热点和难点，并且有着重要的军事和民用价值。目前，基于大数据的高分影像目标检测是遥感图像处理领域的重要研究方向，传统的目标检测识别方法难以适应海量数据，其所依赖的特征表达是通过人工设计的，这样非常耗时，并且强烈依赖于专业知识和数据本身的特征，而且很难从海量的数据中学习出一个有效的分类器以充分挖掘数据之间的关联。。

因此需要开发一种基于深度学习的GF2遥感影像密集目标识别方法。

发明内容

为了解决上述现有技术中遥感图像多目标识别精度差的缺陷，本发明提出了一种基于深度学习的GF2遥感影像密集目标识别方法、系统和可读存储介质。

为了解决上述的技术问题，本发明第一方面公开了一种基于深度学习的GF2遥感影像密集目标识别方法，包括：

获取遥感影像数据，将遥感影像数据分别处理为灰度图、RGB彩色图、多光谱图像，将所述灰度图、RGB彩色图、多光谱图像匹配和校准整合为固定通道数的输入图像；

将整合后的输入图像依次进行数据增强、预处理，并将预处理后的输入图像进行标签格式转换，得到统一格式的标签文件；

将预处理后的输入图像和标签文件输入预设的神经网络进行训练，得到神经网络模型；

将待识别遥感影像进行裁剪处理后输入至所述训练得到的神经网络模型进行检测并输出检测结果；

将检测结果利用IOU交并比算法进行目标检测点的筛选，将筛选的目标检测点进行坐标匹配，将匹配后的检测点重新绘制在遥感图像中，输出检测识别结果。

本方案中，所述灰度图为单通道图像，RGB彩色图为3通道图像，多光谱图像为16通道图像，所述固定通道数为20通道。

本方案中，所述对整合后图像的预处理具体包括：降噪处理、阴影处理、薄云处理、几何纠正。

本方案中，所述预设的神经网络为网络参数修改后的神经网络，所述网络参数使得神经网络输出特征的步长为8。

本方案中，所述将预处理后的输入图像和标签文件输入预设的神经网络进行训练；还包括将预设的不同尺度的遥感图像输入所述训练得到的神经网络模型分别进行检测训练。

本方案中，所述裁剪处理具体为待识别的遥感图像裁剪成设定尺寸的图像。

本方案中，所述IOU交并比算法具体过程为：

利用检测框像素点的坐标判断被切分的目标在裁剪后图像的方位；

当找到检测目标所在的边界框位置后，匹配相邻的裁剪图像，并在匹配的相邻裁剪图像中与边界框筛选匹配的坐标点；

将筛选的坐标点与检测框像素点分别映射到一维坐标，根据一维坐标预设的IOU值，判断筛选的坐标点所在边框与检测框是否匹配；

将所有匹配的一维坐标点重新绘制在遥感图像中，得到目标的检测识别结果。

本方案中，所述利用检测框像素点的坐标判断被切分的目标在裁剪后图像的方位，具体为：

其中，x,y表示检测框像素点的坐标，hight、width表示检测框的高和宽。

本发明第二方面提供了一种基于深度学习的GF2遥感影像密集目标识别系统，，该系统包括：存储器、处理器，所述存储器中包括基于深度学习的GF2遥感影像密集目标识别方法程序，所述基于深度学习的GF2遥感影像密集目标识别方法程序被所述处理器执行时实现如下步骤：

获取遥感影像数据，将遥感影像数据分别处理为灰度图、RGB彩色图、多光谱图像，将所述灰度图、RGB彩色图、多光谱图像匹配和校准整合为固定通道数的输入图像；

将整合后的输入图像依次进行数据增强、预处理，并将预处理后的输入图像进行标签格式转换，得到统一格式的标签文件；

将预处理后的输入图像和标签文件分别输入预设的神经网络进行训练，得到神经网络模型；；

将待识别遥感影像进行裁剪处理后输入至所述训练得到的神经网络模型进行检测并输出检测结果；

将检测结果利用IOU交并比算法进行目标检测点的筛选，将筛选的目标检测点进行坐标匹配，将匹配后的检测点重新绘制在遥感图像中，输出检测识别结果。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于深度学习的GF2遥感影像密集目标识别方法程序，所述基于深度学习的GF2遥感影像密集目标识别方法程序被处理器执行时，实现如上述任一项所述的一种基于深度学习的GF2遥感影像密集目标识别方法的步骤。

本发明公开了一种基于深度学习的GF2遥感影像密集目标识别方法、系统和可读存储介质，通过对多光谱遥感图像进行通道整合后作为神经网络的输入图像，对神经网络结构进行修改，检测时采用检测框冗余算法克服单目标重复框的冗余问题，提高了多光谱遥感影像密集目标检测精度。

附图说明

图1示出了本发明一种基于深度学习的GF2遥感影像密集目标识别方法流程图。

图2示出了本发明一种基于深度学习的GF2遥感影像密集目标识别系统框图；

图3为IOU交并比算法映射到坐表简化示意图。

图4示出了未进行冗余框消除的效果图；

图5示出了冗余框消除的效果图。

具体实施方法

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

名词解释：

IOU交并比算法：消除冗余框算法。

图1示出了本发明一种基于深度学习的GF2遥感影像密集目标识别方法流程图。

如图1所示，本发明实施例第一方面提供了一种基于深度学习的GF2遥感影像密集目标识别方法，针对现有的基于遥感图像密集目标检测识别的精度低的缺陷，能够对遥感图像中密集目标实现准确的检测，适用于国内外多光谱遥感图像数据，易于推广使用，具体包括：

S102获取遥感影像数据，将遥感影像数据分别处理为灰度图、RGB彩色图、多光谱图像，将所述灰度图、RGB彩色图、多光谱图像匹配和校准整合为固定通道数的输入图像；

本方案中，所述多光谱图像为16通道多光谱图像，灰度图为单通道、RGB彩色图为3通道、所述固定通道数为20通道。

需要说明的是，在获得了单通道灰度图、3通道的RGB彩色图、16通道的多光谱图像后将其匹配和校准整合为20通道的输入图像。

进一步地，在本发明中采用高斯金字塔进行信息整合，多波段的图像融合是通过将图像分解为不同频率的图像的叠加(类似于傅里叶变换)，在不同的频率上，使用不同的权重来进行融合，在低频部分应该使用波长较宽的加权信号(例如高斯核函数中sigma比较大)，在高频部分应该使用较窄的加权信号(例如高斯核函数的sigma比较小)。

高斯金字塔具体过程为：

计算输入图像的高斯金字塔，将图像金字塔从级数G0到Gn的过程叫reduce，而reduce过程分两步组成，分别是高斯模糊和偶数行采样，公式表示如下：

其中W(m,n)＝W(m)*W(n)是高卷积核。

将处于同一级的拉普拉斯金字塔进行融合，在拼接缝两侧运用线性融合，将高层的拉普拉斯金字塔依次扩展到相同的分辨率，将相同金字塔层数的图像叠加，这就将单通道灰度图、3通道RGB全色图、16通道多光谱融合成20个波段。

S104将整合后的输入图像依次进行数据增强、预处理，并将预处理后的输入图像进行标签格式转换，得到统一格式的标签文件；

需要说明的是通过将输入图像的标签转化成统一的格式，便于神经网络的处理。所述图像数据增强是指利用各种数学方法和变换算法提高图像中的对象与非对象的对比度与图像清晰度；其中在数据增强后的预处理包括有：降噪、阴影处理、薄云处理、几何纠正。

S106将预处理后的输入图像和标签文件输入预设的神经网络进行训练，得到神经网络模型；；

本方案中，所述预设的神经网络为网络参数修改后的神经网络，所述网络参数使得神经网络输出特征的步长为8。

需要说明的是，如果神经网络的输出特征的步长设置为32，那么输入图像中的32*32区域在最后输出特征中等价于一个点，假如一个目标在输入图像中的像素区域小于32*32，那么就难以检测出来，修改步长等于8后，有利于检测出大小在32*32到8*8之间的目标。

需要说明的是，因为待检测目标的尺度差异较大，比如检测目标为油罐时，油罐尺寸也是不同的，因此采用不同尺度的输入图像对检测模型进行训练，例如采用256*256和416*416不同尺度图像进行分别处理，不同尺度的输入图像得到不同的检测结果，然后进行融合输出。

需要说明是，在对神经网络进行训练时，当对单目标进行检测时，调节检测类别参数num_classes＝1，使检测目标为1类，在网络参数中momentum为DeepLearning中的动量参数，这个值影响梯度下降到最优值的速度，如果动量算法总是观测到梯度g，那么他会在方向-g上不停的加速，直到达到最终速度，其中步长公式如下：

其中动量的超参为

需要说明的是，神经网络训练时，在epoch＝200时(即整个数据集被轮巡的次数)，loss函数值不下降时，降低学习率从1e-3降低至1e-4，学习率公式如下：

α＝1/(1+decay

其中a

将待识别遥感影像进行裁剪处理后输入值至所述训练得到的神经网络模型进行检测并输出检测结果；

本方案中，所述裁剪处理具体为待识别的遥感图像裁剪成设定尺寸的图像。

需要说明的是，由于遥感图像数据量较大，包括数十公里的遥感信息，因此，需要对输入的遥感影像进行裁剪，将影像裁剪成设定大小；

将输入的遥感影像进行滑块式的裁剪，将影像裁剪成指定大小，根据神经网络输入要求，input_shape＝416*416，因此将剪裁的crop参数设置成416，将遥感图像裁剪成多个416*416的小图，从而提高了对小目标识别效果。

需要说明的是，裁剪中有待检测目标被切分成两部分，这就使单目标存在重复检测框，有冗余情况，针对这样问题本发明提出筛选检测点的IOU交并比算法

S110将检测结果利用IOU交并比算法(消除冗余框算法)进行目标检测点的筛选，将筛选的目标检测点进行坐标匹配，将匹配后的检测点重新绘制在遥感图像中，输出检测识别结果。

本方案中，所述IOU交并比算法具体过程为：

首先要判断被切分成两半的检测目标，被切分的检测目标所在的检测框在裁剪图像的边缘，根据检测框的素点坐标像来判断被切分的目标在裁剪图像的边界的哪一侧，即判断被切分的目标在裁剪后图像的方位。

当找到检测目标所在的边界框位置后，匹配相邻的裁剪图像，并在匹配的相邻裁剪图像中与边界框筛选匹配的坐标点；

将筛选的坐标点与检测框像素点分别映射到一维坐标，根据一维坐标预设的IOU值，判断筛选的坐标点所在边框与检测框是否匹配；例如将边界集合A为[x

将所有匹配的一维坐标点重新绘制在遥感图像中，得到目标的检测识别结果。通过IOU算法避免了单目标存在重复检测框。

图3所示为IOU算法映射到坐表简化示意图。

本方案中，所述利用检测框像素点的坐标判断被切分的目标在裁剪后图像的方位，具体为：

其中，x,y表示检测框像素点的坐标，hight、width表示检测框的高和宽。

图2示出了一种基于深度学习的GF2遥感影像密集目标识别系统框图。

本发明第二方面提供了一种基于深度学习的GF2遥感影像密集目标识别系统，该系统包括：存储器21、处理器22，所述存储器中包括基于深度学习的GF2遥感影像密集目标识别方法程序，所述基于深度学习的GF2遥感影像密集目标识别方法程序被所述处理器执行时实现如下步骤：

S102获取遥感影像数据，将遥感影像数据分别处理为灰度图、RGB彩色图、多光谱图像，将所述灰度图、RGB彩色图、多光谱图像匹配和校准整合为固定通道数的输入图像；

本方案中，所述多光谱图像为16通道多光谱图像，灰度图为单通道、RGB彩色图为3通道、所述固定通道数为20通道。

需要说明的是，在获得了单通道灰度图、3通道的RGB彩色图、16通道的多光谱图像后将其匹配和校准整合为20通道的输入图像。

进一步地，在本发明中采用高斯金字塔进行信息整合，多波段的图像融合是通过将图像分解为不同频率的图像的叠加(类似于傅里叶变换)，在不同的频率上，使用不同的权重来进行融合，在低频部分应该使用波长较宽的加权信号(例如高斯核函数中sigma比较大)，在高频部分应该使用较窄的加权信号(例如高斯核函数的sigma比较小)。

高斯金字塔具体过程为：

计算输入图像的高斯金字塔，将图像金字塔从级数G0到Gn的过程叫reduce，而reduce过程分两步组成，分别是高斯模糊和偶数行采样，公式表示如下：

其中W(m,n)＝W(m)*W(n)是高卷积核。

将处于同一级的拉普拉斯金字塔进行融合，在拼接缝两侧运用线性融合，将高层的拉普拉斯金字塔依次扩展到相同的分辨率，将相同金字塔层数的图像叠加，这就将单通道灰度图、3通道RGB全色图、16通道多光谱融合成20个波段。

S104将整合后的输入图像依次进行数据增强、预处理，并将预处理后的输入图像进行标签格式转换，得到统一格式的标签文件；

需要说明的是通过将输入图像的标签转化成统一的格式，便于神经网络的处理。其中所述图像数据增强是指利用各种数学方法和变换算法提高图像中的对象与非对象的对比度与图像清晰度；其中在数据增强后的预处理包括有：降噪、阴影处理、薄云处理、几何纠正。

S106将预处理后的输入图像和标签文件输入预设的神经网络进行训练，得到神经网络模型；

本方案中，所述预设的神经网络为网络参数修改后的神经网络，所述网络参数使得神经网络输出特征的步长为8。

需要说明的是，如果神经网络的输出特征的步长设置为32，那么输入图像中的32*32区域在最后输出特征中等价于一个点，假如一个目标在输入图像中的像素区域小于32*32，那么就难以检测出来，修改步长等于8后，有利于检测出大小在32*32到8*8之间的目标。

需要说明的是，因为待检测目标的尺度差异较大，比如检测目标为油罐时，油罐尺寸也是不同的，因此采用不同尺度的输入图像对检测模型进行训练，例如采用256*256和416*416不同尺度图像进行分别处理，不同尺度的输入图像得到不同的检测结果，然后进行融合输出。

需要说明是，在对神经网络进行训练时，当对单目标进行检测时，调节检测类别参数num_classes＝1，使检测目标为1类，在网络参数中momentum为DeepLearning中的动量参数，这个值影响梯度下降到最优值的速度，如果动量算法总是观测到梯度g，那么他会在方向-g上不停的加速，直到达到最终速度，其中步长公式如下：

其中动量的超参为

需要说明的是，神经网络训练时，在epoch＝200时(即整个数据集被轮巡次数)，loss函数值不下降时，降低学习率从1e-3降低至1e-4，学习率公式如下：

α＝1/(1+decay

其中a

将待识别遥感影像进行裁剪处理后输入至所述训练得到的神经网络模型进行检测并输出检测结果；

本方案中，所述裁剪处理具体为待识别的遥感图像裁剪成设定尺寸的图像。

需要说明的是，由于遥感图像数据量较大，包括数十公里的遥感信息，因此，需要对输入的遥感影像进行裁剪，将影像裁剪成设定大小；

将输入的遥感影像进行滑块式的裁剪，将影像裁剪成指定大小，根据神经网络输入要求，input_shape＝416*416，因此将剪裁的crop参数设置成416，将遥感图像裁剪成多个416*416的小图，从而提高了对小目标识别效果。

需要说明的是，裁剪中有待检测目标被切分成两部分，这就使单目标存在重复检测框，有冗余情况，针对这样问题本发明提出筛选检测点的IOU算法

S110将检测结果利用IOU算法进行目标检测点的筛选，将筛选的目标检测点进行坐标匹配，将匹配后的检测点重新绘制在遥感图像中，输出检测识别结果。

本方案中，所述IOU交并比算法具体过程为：

首先要判断被切分成两半的检测目标，被切分的检测目标所在的检测框在裁剪图像的边缘，根据检测框的素点坐标像来判断被切分的目标在裁剪图像的边界的哪一侧，即判断被切分的目标在裁剪后图像的方位。

当找到检测目标所在的边界框位置后，匹配相邻的裁剪图像，并在匹配的相邻裁剪图像中与边界框筛选匹配的坐标点；

将筛选的坐标点与检测框像素点分别映射到一维坐标，根据一维坐标预设的IOU值，判断筛选的坐标点所在边框与检测框是否匹配；例如将边界集合A为[x

将所有匹配的一维坐标点重新绘制在遥感图像中，得到目标的检测识别结果。通过IOU算法避免了单目标存在重复检测框。

如图3所示为IOU交并比算法映射到坐表简化示意图。

本方案中，所述利用检测框像素点的坐标判断被切分的目标在裁剪后图像的方位，具体为：

其中，x,y表示检测框像素点的坐标，hight、width表示检测框的高和宽。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于深度学习的GF2遥感影像密集目标识别方法程序，所述基于深度学习的GF2遥感影像密集目标识别方法程序被处理器执行时，实现如上述任一项所述的一种基于深度学习的GF2遥感影像密集目标识别方法的步骤。

如图4所示为未进行冗余框消除的效果图，图5所示为冗余框消除的效果图。

本发明公开了一种基于深度学习的GF2遥感影像密集目标识别方法、系统和可读存储介质，通过对多光谱遥感图像进行通道整合后作为神经网络的输入图像，对神经网络结构进行修改，检测时采用检测框冗余算法克服单目标重复框的冗余问题，提高了多光谱遥感影像密集目标检测精度。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。