一种基于深度学习的SAR图像舰船目标检测方法

摘要

本发明提供一种基于深度学习的SAR图像舰船目标检测方法，该方法首先采用了随机数据增强算法，通过一系列针对SAR图像特性提出的数据增强操作，可以增强图像特征、去除相干斑等噪声影响，同时扩充了训练样本，提高模型泛化能力和鲁棒性；此外，本发明提出的CenterNet目标检测模型是一个轻量级且快速的检测模型，通过预测目标关键点信息及检测框属性(宽、高和偏移量)以得出目标的位置，摒弃了以往检测模型基于生成密集锚框的思想，从而具有速度快和内存使用低等优势。本发明不仅适用于舰船图像，还适用于各类SAR图像进行数据增强。同时，提出的目标检测模型具有轻量快速的优点，有利于实现终端部署。

说明书

技术领域

本发明涉及雷达技术领域，更具体地，涉及一种基于深度学习的SAR图像舰船目标检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率成像雷达,具有全天候、全天时、不受天气影响等成像特点，可有效地识别伪装和穿透掩盖物，能够宏观、长期、动态、实时地对陆地和海洋进行观测。其中，舰船图像检测是SAR图像解译技术关键问题之一，在各个领域有着广泛的应用前景。在军事领域，实现对特定军事目标的检测有利于实时获取海上军事情报和战略部署预警；在民用领域，对舰船目标的准确识别有助于海上交通管控、海洋资源开采、海洋环境监控等应用。因此，对舰船目标检测展开研究具有十分重大的意义。

然而，传统的SAR图像检测方法依赖于人工设计特征且易受复杂背景干扰，存在识别精度不高、识别效率低且泛化能力差等特点。基于深度学习的方法借助理其自主学习参数和自动提取特征的能力，摆脱了对人工设计特征和建模的依赖性，相较于传统方法具有抗干扰性强、系统结构稳定、适应性强及检测精度高等优点，特别是在场景复杂多变、目标姿态不一的SAR舰船目标检测领域中具有巨大的发展潜力。

针对SAR图像目标检测领域，近年来已有基于深度卷积神经网络的Faster R-CNN，YOLO,RetinaNet等算法应用于SAR舰船目标检测，并且在SAR图像舰船目标检测场景取得了优异的表现。然而，现有的研究方法存在以下弊端：(1)需要一个较为复杂的骨干网络用于特征提取，导致模型参数量庞大；(2)现有大多方法都是基于生成密集锚框进行检测的，对于目标稀疏的SAR图像，需要额外的后处理以去除大量重叠锚框，导致模型推理耗时长，实时性较差；(3)使用的数据集规模较小、背景较为单一，训练的模型对于复杂场景适应性较差。因此，对于SAR图像舰船目标检测场景，如何提出一个更轻量、检测速度更快、实时性更强的模型正是一个亟待解决的技术问题。

发明内容

本发明提供一种轻量、检测速度快、实时性强的基于深度学习的SAR图像舰船目标检测方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度学习的SAR图像舰船目标检测方法，包括以下步骤：

S1：SAR图像数据增强；

S2：利用步骤S1得到的数据进行目标检测模型CenterNet训练；

S3：通过步骤S2训练好的模型进行目标检测模型CenterNet预测。

进一步地，所述步骤S1的具体过程包括对SAR图像数据进行随机翻转、随机小角度旋转、随机小尺度平移、随机高斯加噪和缩放。

进一步地，对SAR图像数据进行随机翻转包括水平翻转和垂直翻转：

水平翻转：

垂直翻转：

其中，SAR图像I像素点原始坐标为(X,Y)，图像I的宽和高分别为W和H，变换后图像J的坐标为(X’,Y’)。

进一步地，对SAR图像数据进行随机小角度旋转的过程是：

其中，θ为旋转角度，赋值为逆时针[1-5°]之间的小角度以保持旋转不变性。

进一步地，对SAR图像数据进行随机小尺度平移的过程是：

其中，δ

进一步地，对SAR图像数据进行随机高斯加噪的过程是：

J＝I+N(0，1)×K

其中，N(0，1)为均值为0，方差为1的高斯噪声，K为噪声尺度，取值为随机范围[-10,10]之间。

进一步地，对SAR图像数据进行缩放和填充的过程是：

1)、将输入图像利用双线性插值法随机缩放至给定的尺度大小，尺度大小为[500,600,800,1000]；

2)、对图像进行0值填充操作，使其最终输入图像大小一致。

进一步地，所述步骤S2的具体过程是：

S21：通过残差网络进行图像高阶特征提取，得到一个尺寸小、多通道数的图像；

S22：将步骤S21得到的图像输入反卷积网络进行上采样得到相较于输入图像分辨率较低的特征图，高和宽分别为[W/4，H/4]，其中4为采样步长；

S23：将步骤S22得到的图像分别输入三个子网络得到三个输出；三个子网络分别是：中心预测网络、宽高回归网络和偏移校正网络；

S24：将中心预测网络输出结合焦点损失(Focal Loss)，宽高回归网络和偏移校正网络结合L1损失进行梯度反向传播以更新模型。

进一步地，中心预测网络输出大小为[W/4，H/4，C]，C为舰船类别数目，该子网络的输出经过Sigmoid激活函数后映射至0到1的范围内，表示某点是某个类别中心点的概率；

宽高回归网络输出大小为[W/4,H/4,2]，识别每个位置对应的检测框的宽和高；

偏移校正网络输出大小为[W/4,H/4,2]，该子网络输出用于校正从输入图像进行下采样产生的离散化误差。

进一步地，所述步骤S3的过程是：

S31：对输入图像提取特征图，然后得到三个子网络的输出，对于中心预测网络，利用二维最大池化选取每个3X3区域大小的图像中最大值点，去除其余目标点干扰；

S32：对整张图像选取最大的100个峰值点作为备选目标点集合；

S33：与宽高回归网络输出结合，获取各个峰值点对应的检测框的宽高，生成检测框和中心点置信度；

S34：结合偏移校正网络对检测框位置进行校正，并筛除峰值点小于0.3的点对应的检测框，得到最终的预测结果。

与现有技术相比，本发明技术方案的有益效果是：

本发明首先采用了随机数据增强算法，通过一系列针对SAR图像特性提出的数据增强操作，可以增强图像特征、去除相干斑等噪声影响，同时扩充了训练样本，提高模型泛化能力和鲁棒性；此外，本发明提出的CenterNet目标检测模型是一个轻量级且快速的检测模型，通过预测目标关键点信息及检测框属性(宽、高和偏移量)以得出目标的位置，摒弃了以往检测模型基于生成密集锚框的思想，从而具有速度快和内存使用低等优势。本发明提出的数据增强算法结合了SAR图像的特性，不仅适用于舰船图像，还适用于各类SAR图像进行数据增强。同时，提出的目标检测模型具有轻量快速的优点，有利于实现终端部署。

附图说明

图1为本发明面向SAR图像的随机数据增强算法流程示意图；

图2为本发明中提出的CenterNet检测模型框架图；

图3(a)为CenterNet训练流程图；

图3(b)为CenterNet推理框架流程图；

图4本发明使用的数据增强算法结果；

图5本发明对SAR图像舰船目标检测结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

一种基于深度学习的SAR图像舰船目标检测方法，该方法包括以下步骤：

设输入的SAR舰船图像I的宽和高分别为W和H，通道数为1，舰船类别为C。

第一步，SAR图像数据增强：

设SAR图像I像素点原始坐标为(X,Y)，变换后图像J的坐标为(X’,Y’)，随机因子为p，该数据增强算法主要包括如下五种操作：

(1)随机翻转(Flip)

随机翻转包括水平翻转和垂直翻转。

水平翻转：

垂直翻转：

(2)随机小角度旋转(Rotate)

其中，θ为旋转角度，赋值为逆时针[1-5°]之间的小角度以保持旋转不变性。

(3)随机小尺度平移(Translation)

其中，δ

(4)随机高斯噪声(Noise)

J＝I+N(0,1)×K

其中，N(0,1)为均值为0，方差为1的高斯噪声，K为噪声尺度，取值为随机范围[-10,10]之间。

(5)缩放(Resize)

由于SAR图像一般目标较小，采用放大操作能够使得目标更加明显。将输入图像利用双线性插值法随机缩放至给定的尺度大小，尺度大小为[500,600,800,1000]。

由于经过缩放操作，最终输出的图像具有不同大小的尺度，不能满足后续检测模型进行下采样图像大小需要是采样倍数的整数，因此需要对图像进行0值填充操作，使其最终输入图像大小一致。

此外，对于每种操作还引入一个Null选项，表示对不进行该种变换。对于第一步数据增强步骤，可以有两种不同的增强方式。第一种，将输入图像分别经过Flip，Rotate，Translation，Noise，Resize五种增强操作得到五倍的输入样本；第二种，由于上述五种增强操作相对独立，可以将其结合成一个操作管道P，其中P＝[F,Rot,T,N，Re]分别代表Flip，Rotate，Translation，Noise和Resize五种操作，通过将输入图像先后经过五种变换得到一张新的变换后的图像。

第二步，目标检测模型CenterNet训练。设输入图像宽和高分别为W和H，全卷积网络由残差网络与反卷积网络组成。首先通过残差网络进行图像高阶特征提取，得到一个尺寸较小，通道数较多的图像；然后将其输入反卷积网络进行上采样得到相较于输入图像分辨率较低的特征图，高和宽分别为[W/4，H/4]，其中4为采样步长(stride)；然后将特征图输入三个子网络得到三个输出：I)中心预测网络，输出大小为[W/4，H/4，C]，C为舰船类别数目，该输出经过Sigmoid激活函数后映射至0到1的范围内，表示某点是某个类别中心点的概率。II)宽高回归网络，输出大小为[W/4，H/4，2]，分别知识每个位置对应的检测框的宽和高。III)偏移校正网络，输出大小为[W/4，H/4，2]，该输出用于校正从输入图像进行下采样产生的离散化误差，通过对目标中心点进行预测后，需要将采样后分辨率较低的图像恢复到原始图像大小，由于原始图像坐标为整数，而输出的预测为浮点数，恢复过程中会产生4倍的误差，因此需要该局部偏移量进行校正。最后，将中心预测网络输出结合Focal Loss损失，宽高回归网络和偏移校正网络结合L1损失进行梯度反向传播以更新模型。

第三步，目标检测模型CenterNet预测。利用第二步训练好的检测模型对SAR图像进行目标检测，类似于训练步骤，首先需要对输入图像提取特征图，然后得到三个子网络输出；对于中心预测网络，利用二维最大池化选取每个3X3大小的图像中最大值点，去除其余目标点干扰；然后对整张图像选取最大的100个峰值点作为备选目标点集合；接着与宽高回归网络输出结合，获取各个峰值点对应的检测框的宽高，生成检测框和中心点置信度；最后，结合偏移校正网络对检测框位置进行校正，得到检测框，并筛除峰值点小于一定阈值(如0.3)的点对应的检测框，得到最终的预测结果。

如图1所示，本发明的数据增强方法流程可以分为两种不同的操作：第一种，分别对输入图像进行各种不同的变换得到不同的增强样本，最后填充至固定大小；第二种，先后对输入图像进行不同变换得到新的增强样本，最后填充至固定大小。两种不同的数据增强操作可以获得不同的增强结果。

如图2所示，输入图像经过一个编码器-解码器结构的全卷积网络进行下采样，其中该全卷积网络由残差网络和反卷积网络组成。最后输出三个子网络进行训练或预测。

图3为本发明CenterNet的训练和推理流程。对于训练流程，将输入图像经过全卷积网络得到的三个输出分别与真实样本标签做Focal Loss损失和L1损失进行梯度反向传播进行训练直至模型收敛；对于推理过程，不同之处在于需要对预测的中心预测网络进行最大池化操作提取3X3范围内的最大峰值点，然后选取top-k(k＝100)个点作为目标备选集，结合宽高回归网络生成检测框，加入偏移校正网络进行检测框校正，最终筛选掉中心峰值点较低的检测框，得到推理预测结果。

图4为本发明使用的数据增强算法得到的结果。如图4所示，分别对其进行水平翻转(图4b)，逆时针小角度5°旋转(图4c)，放大两倍(图4d)，水平移位10个像素(图4e)，增加10倍的高斯噪声(图4f)。

通过对比实验，对本发明提供的目标检测方法进行了验证，理论分析和对比实验结果证明了本发明的有效性。

在对比实验中，数据集包含43,819张图像及对应标注，对比实验以80％作为训练集，20％作为测试集。

表1为本发明对不同目标检测模型对比结果表，对比指标为mAP及FPS。其中，mAP为平均准确度，FPS为每秒检测图像张数；Faster R-CNN与RetinaNet为常用的基于检测框的目标检测模型。本发明基于中心点检测方法，能够取得较好的目标检测效果同时有较快的推理速度；相较于其他方法，由于使用的是生成密集检测框加非极大抑制后处理进行去重的思路，其对于SAR图像中舰船目标稀疏的场景表现稍差，并且推理速度较慢。结果表明，本发明具有在取得高效的检测效果的同时亦具有较快的推理速度，是一种适用于实时目标检测方法。

表1目标检测结果对比

图5为本发明对SAR舰船图像进行目标检测的结果。对于背景较为复杂的图像，本发明提出的方法能够很好的检测目标；此外，对于目标较多的场景，本发明也能够也能够准确地检测出每个舰船目标。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。