一种基于动态卷积的遥感图像舰船目标细粒度分类方法

摘要

本发明公开了一种基于动态卷积的遥感图像舰船目标细粒度分类方法，将采集特征图输入到注意力模块中，注意力模块生成K个归一化注意力权重参数；对采集特征图卷积处理中，平行卷积核模块中用K个平行卷积代替单独卷积，注意力权重参数与K个平行卷积的卷积核进行结合形成动态卷积层，最后连接到分类网络中进行分类，本发明通过动态卷积层与分类网络的结合，将注意力机制融入动态卷积中，多核集成并且添加了经过前面注意力模块计算归一化的注意力权重参数以非线性的方式融合，提高了模型的特征学习能力进而提高舰船目标细粒度分类的准确率。

说明书

技术领域

本发明属于数字图像处理领域，更具体的说是涉及一种基于动态卷积的遥感图像舰船目标细粒度分类方法。

背景技术

遥感图像海上舰船目标的分类技术一直是遥感图像处理领域的基础研究，在港口实时监控、海上军事舰船目标检测和精细识别方面具有重要的意义。由于公开的大部分有关遥感图像舰船目标研究主要集中舰船目标的检测和后续进行背景和舰船目标的二分类，少部分的文献专门对舰船目标多分类任务进行了研究，但是分类的类别数量也十分有限，近年来，深度学习技术的快速发展，细粒度分类相关的技术受到了越来越多的关注，细粒度分类技术可以舰船目标进行更精细化的分类。

目前图像细粒度分类主要的注意力机制都是和特征图通道层面进行操作，也就是将注意力机制与传统的卷积进行融合，传统卷积相当于是静态卷积其可以用公式表示，y＝g(W

因此，为了解决遥感图像舰船目标细粒度分类准确率低的问题，提出了一种基于动态卷积的遥感图像舰船目标细粒度分类技术。

发明内容

有鉴于此，本发明提供了一种基于动态卷积的遥感图像舰船目标细粒度分类方法，通过的动态卷积层使注意力函数对输入图像产生依赖，具有更强特征提取能力进而提高了分类准确率。

为了实现上述目的，本发明采用如下技术方案：

一种基于动态卷积的遥感图像舰船目标细粒度分类方法，将采集特征图输入到注意力模块中，注意力模块生成K个归一化注意力权重参数；

对采集特征图卷积处理中，平行卷积核模块中用K个平行卷积代替单独卷积，注意力权重参数与K个平行卷积的卷积核进行结合形成动态卷积层，最后连接到分类网络中进行分类。

进一步，所述注意力模块建模方法如下，

S1：采集动态输入的特征图，通过池化操作捕捉特征图信息得到池化特征图，池化特征图维度为1×1×c，c为通道数；

S2：池化特征图进入第一全连接层进行降维，得到第一特征图；

S3：通过ReLU函数对降维后的第一特征图引入非线性因素，克服梯度消失问题，得到第二特征图；

S4：第二特征图进入第二全连接层进行升维，维度升至1×1×c得到第三特征图，即可以表示为元素个数为c的一维向量；

S5：利用softmax函数对一维向量进行归一化，得到K个注意力权重。

进一步，所述S1中的池化操作为对输入的特征图分别进行平均池化和最大池化，两种池化下的池化特征图平行运行，在所述步骤S5中将平均池化下的第三特征图和最大池化下的第三特征图分别对应一个一维向量，两个一维向量对应相加后通过softmax函数归一化，得到K个注意力权重参数。

进一步，所述平行卷积核模块为动态输入的特征图对应的K个平行卷积核，所述K个平行卷积核与K个注意力权重对应相乘后相加得到新卷积核，所述新的卷积核以卷积的方式结合到分类网络中。

进一步，所述动态卷积层采用Block结构设计，方便嵌入到各种分类网络中进行分类。

进一步，所述分类网络为VGG或ResNet。

本发明的技术效果：

本发明采用的基于动态卷积的舰船目标细粒度分类算法，首先将注意力机制融合到卷积层层面上进行操作，动态卷积根据输入特征图集成多个平行的卷积核构成一个动态卷积层，利用原本就是这个卷积层会随着输入的改变而变化，多核集成并且添加了经过前面注意力模块计算归一化的注意力权重参数以非线性的方式融合，这样提高了模型的特征学习能力；另外结合最大池化和平均池化的注意力获取方式可以更有效的发挥注意力机制在卷积层上的作用，结合相应的分类网络，本发明提高舰船目标细粒度分类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明动态卷积网络示意图；

图2为本发明动态卷积原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，图2一种基于动态卷积的遥感图像舰船目标细粒度分类方法，将采集特征图输入到注意力模块中，注意力模块生成K个归一化注意力权重参数；

对采集特征图卷积处理中，平行卷积核模块中用K个平行卷积代替单独卷积，注意力权重参数与K个平行卷积的卷积核进行结合形成动态卷积层，最后连接到分类网络中进行分类。

其中，与传统的卷积方式不的是，传统的卷积相当于是一种静态的卷积方式，动态卷积相当于将不同的权重加到平行的卷积核上，其动态卷积模型表达式为，

公式中

为了进一步优化上述技术方案，注意力模块建模方法如下，

S1：采集动态输入的特征图x，通过池化操作捕捉特征图信息得到池化特征图，池化特征图维度为1×1×c，c为通道数；

S2：池化特征图进入第一全连接层进行降维，得到第一特征图；

S3：通过ReLU函数对降维后的第一特征图引入非线性因素，克服梯度消失问题，得到第二特征图；

S4：第二特征图进入第二全连接层进行升维，维度升至1×1×c得到第三特征图，即可以表示为元素个数为c的一维向量；

S5：利用softmax函数对一维向量进行归一化，得到K个注意力权重。

为了进一步优化上述技术方案，步骤S1中的池化操作为对输入的特征图分别进行平均池化和最大池化，两种池化下的池化特征图平行运行，在步骤S5中将平均池化下的第三特征图和最大池化下的第三特征图分别对应一个一维向量，两个一维向量对应相加后通过softmax函数归一化，得到K个注意力权重参数。

其中，采用最大池化和平均池化两种方式来压缩获取全局空间信息，通过最大池化更好的保留了纹理信息，通过平均池化更好的保留了背景信息，两种池化下的特征图处理平行进行，通过两个全连接层形成映射，两个全连接层分别具有降维和升维作用，能够减少参数的开销，在一定程度上简化运算，同时两个全连接层之间通过ReLU函数引入非线性因素，克服梯度消失问题，加快训练速度，由于输入的特征图是动态变化的，因此需要进行softmax归一化处理，生成K个和为1的权重参数π(x)，即如下公式：

为了进一步优化上述技术方案，平行卷积核模块为动态输入的特征图对应的K个平行卷积核，所述K个平行卷积核与K个注意力权重对应相乘后相加得到新卷积核，所述新卷积核以卷积的方式通过BN层和激活函数结合到分类网络中。

为了进一步优化上述技术方案，动态卷积层采用Block结构设计，方便嵌入到各种分类网络中进行分类。

为了进一步优化上述技术方案，分类网络为VGG或ResNet。

为了进一步优化上述技术方案，本发明网络的训练和测试采用遥感图像舰船目标数据集，其中，DC-ResNet18代表结合动态卷积的ResNet18网络模型，以此类推，实验结果如下表所示：

表1结合动态卷积实验结果

其中对比了ResNet网络结构中添加动态卷积层后的舰船目标细粒度分类结构准确率，根据表格数据可以看出，参数量的增加并未在很大程度上带来计算量的增加，最终的准确率都有一定的提升，且均突破了90％。

本发明采用将注意力结合到卷积层的动态卷积机制，应用到舰船遥感图像细粒度分类领域，能够进一步提高图像细粒度分类的准确率；本发明方法采用的动态卷积机制相比于直接将注意力应用于卷积层的注意力机制上减少了运算量，提高了细粒度分类精度；和普通的动态卷积机制相比，结合了最大池化和平均池化两种方式来获取特征图的空间信息，能够更好的进行细粒度特征提取。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。