基于多层级特征选择卷积神经网络的遥感目标检测方法

摘要

本发明公开了一种基于多层级特征选择卷积神经网络的遥感目标检测方法，该方法首先搭建卷积神经网络模型，并对搭建的卷积神经网络结构参数进行设定和训练参数初始化；再对训练图像进行预处理和标签格式转化，然后预处理和标签格式转化的训练图像进行数据增强；进行卷积神经网络模型训练，得到网络权重和偏置；将测试图像输入训练好的神经网络模型，得到定位和分类结果。由于基于水平框的目标识别对紧密排列的旋转物体无法正确定位，同时按目标尺寸大小进行特征分类的方式过于简单而存在问题，通过本发明公开的多层级特征选择卷积神经网络的方法可以实现任意方向物体的识别以及分类，并大大提高准确率。

说明书

技术领域

本发明属于计算机视觉遥感检测领域，涉及一种基于多层级特征选择卷积神经网络的遥感目标检测方法。

背景技术

经过三十多年的发展，现代遥感技术涵盖了遥感(Remote Sense,RS)、地理信息系统(Geology Information System,GIS)、全球定位系统(Global Positioning System,GPS)等空间信息技术，逐渐深入到国民经济、社会生活和国家安全的各个方面，遥感技术的发展与应用水平已成为综合国力评价的重要标志之一。为了尽可能获取更丰富的遥感信息，遥感图像的空间分辨率一般都比较高，尺寸较大，准确地从大量的遥感图像中获取有价值的目标信息是一项费时费力的工作，因此如何从海量的遥感信息中自动提取有价值的目标信息具有重要的研究意义与应用价值。

传统目标检测算法主要依赖于待检测物体的纹理、边缘等底层特征，为了满足不同应用任务中的目标检测需求，研究人员设计了用于提取目标局部纹理或边缘等特征的描述，并在此基础上实现了能够检测不同目标的检测器。但是由于遥感目标具有非常复杂的局部特征信息，且部分目标与背景的纹理特征具有较高的相似度，导致基于传统底层特征描述子的目标检测器在处理遥感目标检测任务时鲁棒性较差，检测结果无法令人满意。

随着卷积神经网络的提出，目标检测技术也因此取得了重大的突破，尤其在文字检测、航空影像、安保领域等应用发展迅速。当前主流的检测器根据输出形式的不同，可以分为水平框和旋转框检测。水平框检测一般以(x,y，w，h)为标注方式，(x，y)是水平框中心点的坐标，w和h分别代表水平框的宽和高。但是水平框很难准确定位任意方向排列的物体，尤其是在航空影像中，由于视角的原因，遥感图像中的视角基本都是高空俯视，目标的方向都是不确定的，可以呈现不同的方向。当这些物体像车和船之类紧密排列时，水平框更会包裹住许多背景噪声，这个时候就需要任意方向的目标检测来输出旋转框，来更好地定位物体。

随着卷积神经网络的不断发展，深度学习算法的迭代更新，网络模型的结构也在不断地调整与优化，尤其是在特征提取和特征选择方面的方法会有更大的改进空间。

发明内容

发明目的：针对上述现有方法存在的问题和不足，本发明旨在提供一种基于多层级特征选择卷积神经网络的遥感目标检测方法，通过该方法可以利用多层级特征选择卷积神经网络模型实现对遥感图像进行任意方向的目标检测，并且有效提高对目标的定位和分类能力。

技术方案：为实现上述发明目的，本发明采用技术方案如下：一种基于多层级特征选择卷积神经网络的遥感目标检测方法，该方法包括以下步骤：

(1)搭建卷积神经网络模型，并对搭建的卷积神经网络结构参数进行设定和训练参数初始化；

(2)对训练图像进行预处理和标签格式转化，然后预处理和标签格式转化的训练图像进行数据增强；

(3)用步骤(2)中得到的数据进行卷积神经网络模型训练，得到网络权重和偏置；

(4)将测试图像输入步骤(3)中训练好的神经网络模型，得到定位和分类结果。

其中，在步骤(1)中，所述搭建卷积神经网络模型的结构如下：

第一部分为骨干网络模块，输入图像经过自下而上的ResNet50网络以及自上而下的特征金字塔组成的骨干网络提取到特征；

第二部分为路径聚合模块，骨干网络横向连接了一个自下而上的路径聚合分支，从而得到新的特征图；

第三部分为特征选择模块，新的特征图经过目标候选网络(RPN)得出不同尺度的目标候选区域(proposals)，并将候选区域与groundtruth(真值)映射到不同层级的特征图中，分别计算IoU-loss的大小，选取最小loss的层级进行后续的RoIAlign(区域特征对齐)；

最后的输出层利用proposals从特征图中提取特征送入后续全连接和softmax网络作回归和分类。

其中，在步骤(1)中，所述网络结构参数设定和训练参数初始化如下：

(3.1)骨干网络中卷积层的步长设置为1，最大池化层步长设置为2，输出通道数为256；

(3.2)卷积层的权重初始化为均值为0、标准差为0.1的截断正态分布噪声，网络中的所有偏置初始化为常量0.1；

(3.3)训练的batch size大小设置为2，即每次把2张图片送入卷积神经网络中，总步长为80000，初始学习率设置为0.0025,56000次迭代后将学习率调整为2.5×e

其中，在步骤(2)中，对训练图像进行预处理和标签格式转化如下：

(2.1)将图像尺寸归一化成1024*1024的大小；

(2.2)对图像对应的标签进行转化，统一转化为训练要求的coco格式；

(2.3)将标注形式为(x1,y1,x2,y2,x3,y3,x4,y4)的顶点坐标转化为(x，y,w,h,α

其中，在步骤(2)中，所述对训练图像进行数据增强方法如下：采用对训练图像进行随机翻转和旋转进行图像增强。

其中，在步骤(3)中，模型训练时的损失函数将会由分类与回归损失两部分组成，其中回归损失L

其中，α

有益效果：本发明与现有的遥感检测方法相比，有以下有益效果：

1、本发明利用多层级特征提取卷积神经网络模型进行遥感图像的目标检测，能够实现对多类别、多方向的密集物体进行分类和定位，具有很高的识别准确率和良好的实时性效果；

2、本发明通过对图像进行随机翻转和旋转的方法图像增强方法，提高了卷积神经网络模型的泛化能力，提高了检测的准确率。

3、本发明通过增加路径聚合模块、特征识别模块和loss函数的改进，优化了传统网络的结构，对检测和识别有更好的效果。

附图说明

图1是本发明的基于多层级特征选择卷积神经网络的遥感目标检测方法流程图；

图2是本发明采用的卷积神经网络结构图；

图3是本发明特征选择模块结构示意图；

具体实施方式

下面结合附图和实施例对本发明做进一步的说明：

本发明的一种基于多层级特征选择卷积神经网络的遥感目标检测方法，其流程图如图1所示，该方法的步骤为：

(1)搭建卷积神经网络模型

图2展示的是本发明采用的卷积神经网络结构图，首先针对遥感图像，本发明搭建的卷积神经网络结构如下：

第一部分为骨干网络模块，输入图像经过自下而上的ResNet50网络以及横向连接的自上而下的特征金字塔组成的骨干网络提取特征。根据特征图的大小，可以将其分为5个阶段：stage1，stage2，stage3，stage4和stage5。其中stage2到stage5各自的最后一层输出conv2，conv3，conv4和conv5分别定义为{C

第二部分为路径聚合模块，骨干网络横向连接了一个自下而上的路径聚合分支，浅层的高分辨率特征图N

第三部分为特征选择模块，新的特征图经过目标候选网络(RPN)得出不同尺度的目标候选区域(proposals)，要解决的问题是如何将不同尺度的ROI分配到对应的特征层。一种最直观的分配策略就是根据ROI的大小将其映射到不同分辨率的特征图中。假设有尺度为w,h的ROI，将其映射到层级k为：

最后的输出层利用proposals从特征图中提取proposal feature送入后续全连接和softmax网络作回归和分类。

(2)训练数据获取

在遥感图像用于模型训练之前，首先需要对数据集进行预处理，数据预处理的方法包括以下步骤：

(2.1)将图像尺寸归一化成1024*1024的大小；

(2.2)对图像对应的标签进行转化，统一转化为训练要求的coco格式；

(2.3)将标注形式为(x1,y1,x2,y2,x3,y3,x4,y4)的顶点坐标转化为(x,y,w,h,α

(3)网络结构参数设定和训练参数初始化，本发明中网络结构参数的设定和训练参数初始化如下：

(3.1)骨干网络中卷积层的步长设置为1，最大池化层步长设置为2，输出通道数为256，网络中多尺度特征{P

(3.2)卷积层的权重初始化为均值为0、标准差为0.1的截断正态分布噪声，网络中的所有偏置初始化为常量0.1；

(3.3)训练的batch size大小设置为2，即每次训练把2张图片送入卷积神经网络中，然后计算整个batch所有样本的平均损失。训练总步长为80000，选用随机梯度下降算法进行模型优化，初始学习率设置为0.0025，56000次迭代后将学习率调整为2.5×e

(4)图像增强

由于遥感数据种类多，类与类之间数量不平衡，尤其是目标的多方向性需要更多的训练样本，因此，需要对训练数据进行随机翻折和旋转，同时获得更大量的训练数据，以避免由于训练数据过少而造成的过拟合，并提高模型的泛化能力。

(5)模型训练

将步骤(2)中得到的训练数据输入网络进行训练，保存得到的网络权重和偏置。

(6)预测分类结果

将待检测的遥感图像经过步骤(2)中所述的预处理过程后输入模型，该模型将输出该图像属于各类目标的概率以及目标的最终坐标，最终选取最大概率类别，从而完成定位和分类。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。