基于类激活图的半监督遥感影像目标检测和分割方法

摘要

本发明请求保护一种基于类激活图的半监督遥感影像目标检测和分割方法。首先利用给定的遥感影像标注数据生成分类标注数据集，训练一个全局平均池化GAP(Global Average Pooling)的分类卷积神经网络模型，并利用特征图的权重叠加的原理，构造出能生成类激活图CAM(Class Activation Mapping)的卷积神经网络模型；然后，经过数据增强分别以类激活图和真实标注作为训练目标，对目标检测和分割模型进行半监督训练；接着，使用具有真实标注的测试集对目标检测和分割模型进行验证，得到检测和分割精度较高的模型；最后，在仅使用少量标注数据训练的情况下，该方法具有良好遥感影像目标检测和分割效果。

说明书

技术领域

本发明属于图像目标检测和分割技术领域，特别是基于类激活图的半监督遥感影像目标检测和分割方法。

背景技术

卷积神经网络(CNNs)作为一种深度学习的模型架构，已成为图像处理和计算机视觉领域最为有效的方法。权值共享和局部感受野这两大特点减少了权值的数量，使得模型的运算复杂度下降；对图像的特征的平移不变性也使其具有良好的特征提取能力和高度的稳定性。

当前已有大量研究利用卷积神经网络进行目标检测和图像分割方法探索，自2014年R.Girshick等人提出基于候选区域的R-CNN深度学习模型起，产生了一批经典的目标检测和分割模型，如SSD、Mask R-CNN、YOLO和YOLACT等，这些模型的发展趋势大致上是，网络层数的不断加深以获得更好的特征提取能力，图像尺度不断增多以覆盖更广范围的特征。但模型越来越复杂也随之带来网络难以收敛、参数增长快、计算速度慢等问题，其中最显著的问题是随着模型复杂度的增加，虽然表示能力提升了，但模型训练所需的数据量也大大增加，导致数据标注的人工成本也大幅增加。因此，利用弱标注信息或者部分标注信息来进行训练的弱监督、半监督训练方法应运而生。

对一个深层的卷积神经网络而言，多次卷积和池化以后，它的最后一层卷积层包含了最丰富的空间和语义信息，通过使用全局平均池化GAP(Global Average Pooling)替代全连接层，从而使卷积网络的定位能力能延续到网络的最后一层。然后，计算每个类别权重与自己对应的特征图的加权和就得到了该类的类激活图CAM(Class ActivationMapping)。而类激活图CAM本身就已经具有了一定的目标检测和分割效果，再结合部分标注数据就能够实现半监督训练。

对于遥感影像的目标检测和分割，由于数据量非常大，导致数据标注的人工成本也大幅提升，现有数据集通常只进行了相对容易的目标框的标注，而像素级别的分割标注则少之又少。

因此，需要一种基于类激活图的半监督遥感影像目标检测和分割方法，进行模型训练。就能够在只使用部分数据标注的情况下，训练得到具有较好遥感影像目标检测和分割结果的模型，实现遥感影像的检测和分割，同时大大降低数据标注的人工成本。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于类激活图的半监督遥感影像目标检测和分割方法。本发明的技术方案如下：

一种基于类激活图的半监督遥感影像目标检测和分割方法，其包括以下步骤：

步骤1：给定原始遥感影像以及原始遥感影像所对应的标注标签，利用已有的遥感影像标注数据，生成分类标注数据并进行数据增强；

步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型；

步骤3：使用步骤2中训练好的卷积神经网络模型，通过计算每个类别权重与该类对应的特征图的加权和，构造出可以为每个类别产生类激活图CAM的卷积神经网络模型；

步骤4：对原始遥感影像及其对应的标注标签进行缩放、旋转等数据增强，生成可以输入到目标检测和分割模型的训练集和测试集；

步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；

步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练；

步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态；

步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。

进一步的，所述步骤1：利用给定的遥感影像标注数据，生成分类标注数据并进行数据增强，具体为：从每张具有标注的图像中分割出每个实例的图像，据此生成不同类别的分类标注图像数据集，并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法，丰富分类的训练集和测试集。

进一步的，所述步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型，具体为：

在最后一个卷积层之后，使用全局平均池化GAP替代全连接层，构造出分类卷积神经网络模型，以最小化预测值与标注之间的损失函数为优化目标，直至模型收敛，保存测试集分类准确率最好模型的权重，使用SGD优化算法来更新模型的权重，其中交叉熵函数为：

其中c为分类类别，p为该类别的真实标签值，q为该类别的预测值。

进一步的，所述步骤3：从步骤2训练好的分类卷积神经网络模型中，提取出全局平均池化层GAP之后的权重及其对应的特征图，利用特征图权重叠加的原理，获得类激活图，具体表达式为：

其中c为分类类别，i为全局平均池化层的各个通道，n为所有通道数，

进一步的，所述步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；具体为：

采用全卷积网络FCN(Fully Convolutional Networks)的深度卷积神经网络YOLACT作为目标检测和分割模型，将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中，并利用后者输出的类激活图作为训练目标，对目标检测和分割模型进行无监督训练：以最小化预测值与类激活图之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):

其中box

分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：

其中l

进一步的，所述步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练；具体为：

将经过数据增强的有标注数据同时输入到目标检测和分割模型，使用步骤4中的训练集真实标注作为训练目标，对模型进行监督训练：以最小化预测值与真实标签之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):

其中box

分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：

其中y为步骤4中训练集的真实标注像素值，

进一步的，所述步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态。

进一步的，所述步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型；具体为：

根据在步骤4中的测试集上的检测和分割精度指标：交并比IoU(Intersectionover Union)和各类别平均精确度AP(average precision)的平均值mAP(mean averageprecision)，从步骤7的训练迭代中得到，在仅使用部分数据标注训练的情况下，具有良好检测和分割精度的目标检测和分割模型。将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。

本发明的优点及有益效果如下：

本发明的创新主要是权利要求中步骤3-6的组合：通过将分类网络最后一个卷积层之后的全连接层替换为全局平均池化GAP(Global Average Pooling)，并据此生成类激活图CAM(Class Activation Mapping)，然后采用全卷积网络FCN(Fully ConvolutionalNetworks)的深度卷积神经网络YOLACT作为目标检测和分割模型，分别以类激活图和真实标注作为训练目标，对目标检测和分割模型进行半监督训练。最终在仅使用少量数据标注的情况下，训练得到具有较好遥感影像目标检测和分割结果的模型，能够直接对输入的遥感影像进行目标检测和分割，大大降低数据标注的人工成本。

由于遥感影像数据集通常只提供目标检测框的标注，现有遥感影像的研究和技术大多也停留在提高遥感影像目标检测的精度；本发明结合类激活图和半监督训练，进一步提出对遥感影像同时进行目标检测和分割的方法。

与此同时，本发明也为那些难以标注的数据进行弱监督、半监督训练提供了一种新的思路，降低满足其模型训练的人工标注成本。

附图说明

图1是本发明提供优选实施例基于类激活图的半监督遥感影像目标检测和分割方法流程图。

图2为基于类激活图的半监督遥感影像目标检测和分割半监督训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图所示，本实施例提供的基于类激活图的半监督遥感影像目标检测和分割方法，包括以下步骤：

步骤1：利用实施例的数据集中具有标注的图像中分割出每个实例的图像，据此生成不同类别的分类标注图像数据集，并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法，进一步丰富分类的训练集和测试集。

步骤2：构造一个采用全局平均池化GAP的分类卷积神经网络模型，实施例中使用SGD优化算法更新权重，学习率设置为1e-04，以最小化预测值与分类标注之间的损失函数为优化目标，直至模型收敛，保存测试集分类准确率最好模型的权重。以最小化损失函数为目标，使用SGD优化算法来更新模型的权重。交叉熵函数表达式为：

其中c为分类类别，p为该类别的真实标签值，q为该类别的预测值。

步骤3：从步骤2训练好的分类卷积神经网络模型中，提取出全局平均池化层GAP之后的权重及其对应的特征图，利用特征图权重叠加的原理，获得类激活图，具体表达式为：

其中c为分类类别，i为全局平均池化层的各个通道，n为所有通道数，

步骤4：对实施例的数据集中具有标注的图像及其标注进行相应的缩放、旋转、裁剪等数据增强方法，作为监督训练的训练集和检验训练指标的测试集。

步骤5：采用深度卷积神经网络YOLACT作为目标检测和分割模型，将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中，并利用后者输出的类激活图作为训练目标，对目标检测和分割模型进行无监督训练：以最小化预测值与类激活图之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):

其中box

分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：

其中l

步骤6：将经过数据增强的有标注数据同时输入到目标检测和分割模型，使用步骤4中的训练集真实标注作为训练目标，对模型进行监督训练：以最小化预测值与真实标签之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):

其中box

分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：

其中y为步骤4中训练集的真实标注像素值，

步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态；

步骤8：根据在步骤4中的测试集上的检测和分割精度指标：交并比IoU(Intersection over Union)和各类别平均精确度AP(average precision)的平均值mAP(mean average precision)，从步骤7的训练迭代中得到，在仅使用部分数据标注训练的情况下，具有良好检测和分割精度的目标检测和分割模型。最后，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。

上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。