基于高分辨率网络的SAR图像目标识别方法、装置和存储介质

摘要

本发明公开了一种基于高分辨率网络的SAR图像目标识别方法、计算机装置和存储介质，包括依次执行多个处理阶段，在各处理阶段内使用高分辨率网络的子网并行进行卷积处理以及分辨率特征变换，对最后一次处理阶段中各子网输出的卷积结果进行融合处理，根据融合处理的结果进行目标分类识别等步骤。本发明通过在每个处理阶段最后对各子网的卷积处理结果进行分辨率特征变换，能够充分利用多个分辨率的信息，使每一个子网都能重复接受其他并行子网的信息，可以学习到更强的语义信息和获得更大的感受野以及高分辨率的特征，能够掌握全局信息和局部细节，能够准确地识别出SAR图像中的目标。本发明广泛应用于图像识别技术领域。

说明书

技术领域

本发明涉及图像识别技术领域，尤其是一种基于高分辨率网络的SAR图像目标识别方法、计算机装置和存储介质。

背景技术

合成孔径雷达(Synthetic Aperture Radar，，SAR)具有全天侯工作，分辨率高，可有效地识别伪装和穿透遮挡物等特点。因此，其被广泛的用于地形观察、气候变化研究、海洋资源利用、军事侦察等领域，具有很高的军用价值与民用价值。使用合成孔径雷达所拍摄的图像可以称为SAR图像。SAR图像一般由星载或机载雷达，沿航行轨迹垂直发射在窄波束短脉冲，照射地面一个窄条带，短脉集中目标后，一部分能量返回雷达天线，形成回波，不同距离的目标反射回波进入雷达接收机中，按时间先后次序分开记录。回波强度大小变化形成了目标图像，不同距离的目标反射回波在雷达接收机中按时间先后次序分开，并且记录该回波线，完成该窄条带地形图像。紧接着发送下一个脉冲，由于飞行器又向前飞行一段距离，故可以得到稍有不同的另一窄条带图像。如此往复，便可形成一幅较为完整的地面条带图像，其中，与斜距或地距的比例为距离向比例尺，与飞行器同步移动的比例为方位向比例尺。

图1是一幅SAR图像，由此可见SAR图像具有一定的复杂性，人工判读时要求判读人员具有雷达知识以及地质、林业、水力、工业和军事目标方面的专业知识，因此对SAR图像的人工判读效率较低。而SAR图像独特的成像方式容易存在相干斑、结构缺失、几何畸变、阴影现象，导致SAR图像在视觉特性上与光学图像有着明显的差异，表现为“所见非所知”的特点。此外SAR图像对观测参数敏感、获取样本困难，这使得对SAR目标稳健特征描述和分类识别更加困难。除了图像本身特点外，目标本身多样性与背景多样性，比如说目标有装载与没有装载的情况，或者目标在不同背景下成像的情况。这些多样性都对SAR传统的识别方法提出了巨大的挑战。总之，现有的对SAR图像的目标识别技术中，人工识别技术效率低、出错率高，而计算机自动识别技术则难以兼顾SAR图像的目标轮廓信息和局部特征信息。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种基于高分辨率网络的SAR图像目标识别方法、装置和存储介质。

一方面，本发明实施例包括基于高分辨率网络的SAR图像目标识别方法，包括：

获取SAR图像；

获取高分辨率网络，所述高分辨率网络包括多个子网，各所述子网具有不同的分辨率；

依次执行多个处理阶段，每个所述处理阶段内均有若干个所述子网并行进行卷积处理；在第一个所述处理阶段内，所述子网对所述SAR图像进行卷积处理；在除了第一个所述处理阶段的其他所述处理阶段内，所述子网对分辨率特征变换结果进行卷积处理，所述分辨率特征变换结果是通过获取上一个所述处理阶段各所述子网的卷积处理结果，将各所述卷积处理结果的分辨率特征变换至与本次所述处理阶段内所述子网相适应后获得的；

对最后一次所述处理阶段中各所述子网输出的卷积结果进行融合处理；

根据所述融合处理的结果进行目标分类识别。

进一步地，各所述处理阶段依次增加使用具有更低分辨率的所述子网并行进行卷积处理。

进一步地，所述将各所述卷积处理结果的分辨率特征变换至与本次所述处理阶段内所述子网相适应，包括：

当所述卷积处理结果的分辨率特征高于所述子网的分辨率，对所述卷积处理结果进行步长为2的3×3卷积处理。

进一步地，所述将各所述卷积处理结果的分辨率特征变换至与本次所述处理阶段内所述子网相适应，还包括：

当所述卷积处理结果的分辨率特征低于所述子网的分辨率，对所述卷积处理结果依次进行1×1的卷积匹配通道数处理以及最近邻差插值。

进一步地，所述将各所述卷积处理结果的分辨率特征变换至与本次所述处理阶段内所述子网相适应，还包括：

当所述卷积处理结果的分辨率特征等于所述子网的分辨率，对所述卷积处理结果进行恒等映射。

进一步地，所述对最后一次所述处理阶段中各所述子网输出的卷积结果进行融合处理，包括：

对最后一次所述处理阶段中各所述子网输出的卷积结果进行通道数翻倍处理后，进行元素加操作；

对所述元素加操作的结果依次进行通道数翻倍处理和全局平均池化处理。

进一步地，所述高分辨率网络经过预训练，所述预训练以遥感图像作为训练集，所述预训练使用FocalLoss损失函数。

进一步地，所述预训练中所使用的学习率随着所述预训练的进程进行而增大。

另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的基于高分辨率网络的SAR图像目标识别方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于高分辨率网络的SAR图像目标识别方法。

本发明的有益效果是：实施例中的基于高分辨率网络的SAR图像目标识别方法，通过在每个处理阶段最后对各子网的卷积处理结果进行分辨率特征变换，能够充分利用多个分辨率的信息，使每一个子网都能重复接受其他并行子网的信息，从高分辨率到低分辨率的过程可以学习到更强的语义信息和获得更大的感受野，从低分辨率到高分辨率的过程可学习到高分辨率的特征，既保证可以掌握全局信息的同时，还能从低分辨率中学习到特征图的局部细节，能够准确地通过SAR图像中的灰度、纹理、形状、边缘等信息识别出目标。

附图说明

图1为一幅SAR图像；

图2为实施例中所使用的高分辨率网络的原理图；

图3为实施例中依次执行多个处理阶段的原理图；

图4为实施例中对卷积结果进行融合处理的原理图；

图5为实施例中所使用的MSTAR数据集的示意图；

图6为实施例中经过预训练的高分辨网络的测试集loss曲线示意图；

图7为实施例中经过预训练的高分辨网络的测试集准确率曲线示意图。

具体实施方式

本实施例中，基于高分辨率网络的SAR图像目标识别方法包括以下步骤：

S1.获取SAR图像；

S2.获取高分辨率网络，高分辨率网络包括多个子网，各子网具有不同的分辨率；

S3.依次执行多个处理阶段，每个处理阶段内均有若干个子网并行进行卷积处理；在第一个处理阶段内，子网对SAR图像进行卷积处理；在除了第一个处理阶段的其他处理阶段内，子网对分辨率特征变换结果进行卷积处理，分辨率特征变换结果是通过获取上一个处理阶段各子网的卷积处理结果，将各卷积处理结果的分辨率特征变换至与本次处理阶段内子网相适应后获得的；

S4.对最后一次处理阶段中各子网输出的卷积结果进行融合处理；

S5.根据融合处理的结果进行目标分类识别。

步骤S1中，可以获取合成孔径雷达实时拍摄所得的SAR图像，也可以读取之前拍摄并存储、之前拍摄并经过处理后再存储的SAR图像。

步骤S3中所使用的高分辨率网络的原理如图2所示。高分辨率网络使用并行多分辨率子网，在网络过程中始终保持高分辨率的特征，在每一个阶段结束时进行高分辨率与低分辨率特征之间的信息交换。

步骤S3的原理如图3所示，依次执行处理阶段1、处理阶段2、处理阶段3、处理阶段4等多个处理阶段。在最初的处理阶段1中仅使用分辨率最高的那个子网进行卷积处理，后面的处理阶段依次逐步增加使用具有更低分辨率的子网并行进行卷积处理，每个处理阶段中的各个不同分辨率的子网并行连接，同一处理阶段中不同子网并行进行卷积处理，即同一处理阶段中一个子网的卷积处理不会影响其他子网的卷积处理。例如，处理阶段2中除了使用分辨率最高的那个子网进行卷积处理，还并行地使用分辨率第二高的那个子网进行卷积处理；处理阶段3中除了使用分辨率最高和第二高的两个子网进行卷积处理，还并行地使用分辨率第三高的那个子网进行卷积处理。

参照图3，在处理阶段1内，分辨率最高的那个子网对输入的SAR图像进行卷积处理。由于在后续的处理阶段2内将使用分辨率最高以及分辨率第二高的子网，因此对本阶段中子网的卷积处理结果进行分辨率特征变换，从而使卷积处理结果的分辨率特征与处理阶段2中所使用的子网的分辨率相适应，也就是要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率最高的子网、分辨率第二高的子网适应。

具体地，当要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率最高的子网适应，由于分辨率特征不变，仅需对卷积处理结果进行恒等映射，从而获得相应的分辨率特征变换结果；当要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率第二高的子网适应，由于分辨率特征降低，对卷积处理结果进行步长为2的3×3卷积处理，从而获得相应的分辨率特征变换结果。

参照图3，在处理阶段2内，第一行的子网表示分辨率最高的那个子网，第二行的子网表示分辨率第二高的那个子网，这两个子网并行地对输入的SAR图像进行卷积处理。由于在后续的处理阶段3内将使用分辨率最高、第二高以及第三高的子网，因此对本阶段中子网的卷积处理结果进行分辨率特征变换，从而使卷积处理结果的分辨率特征与处理阶段3中所使用的子网的分辨率相适应，也就是要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率最高的子网、第二高和第三高的子网适应。

具体地，当要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率最高的子网适应，由于分辨率特征不变，仅需对卷积处理结果进行恒等映射，从而获得相应的分辨率特征变换结果；当要将分辨率最高的子网的卷积处理结果的分辨率特征变换至与分辨率第二高、第三高的子网适应，由于分辨率特征降低，对卷积处理结果进行步长为2的3×3卷积处理，从而获得相应的分辨率特征变换结果；当要将分辨率第二高的子网的卷积处理结果的分辨率特征变换至与分辨率最高的子网适应，由于分辨率特征提高，对卷积处理结果依次进行1×1的卷积匹配通道数处理以及最近邻差插值，从而获得相应的分辨率特征变换结果；当要将分辨率第二高的子网的卷积处理结果的分辨率特征变换至与分辨率第二高的子网适应，由于分辨率特征不变，仅需对卷积处理结果进行恒等映射，从而获得相应的分辨率特征变换结果；当要将分辨率第二高的子网的卷积处理结果的分辨率特征变换至与分辨率第三高的子网适应，由于分辨率特征降低，对卷积处理结果进行步长为2的3×3卷积处理，从而获得相应的分辨率特征变换结果。

参照图3，处理阶段4中将使用分辨率最高、第二高、第三高和第四高的子网并行进行卷积处理，因此对处理阶段3中三个分辨率不同的子网的卷积处理结果进行分辨率特征变换处理，其具体包括分辨率不变、分辨率提高和分辨率降低等情况，原理与处理阶段1、处理阶段2等类似，例如：当要将分辨率第三高的子网的卷积处理结果的分辨率特征变换至与分辨率最高、第二高的子网适应，由于分辨率特征提高，对卷积处理结果依次进行1×1的卷积匹配通道数处理以及最近邻差插值，从而获得相应的分辨率特征变换结果；当要将分辨率第三高的子网的卷积处理结果的分辨率特征变换至与分辨率第三高的子网适应，由于分辨率特征不变，仅需对卷积处理结果进行恒等映射，从而获得相应的分辨率特征变换结果；当要将分辨率第三高的子网的卷积处理结果的分辨率特征变换至与分辨率第四高的子网适应，由于分辨率特征降低，对卷积处理结果进行步长为2的3×3卷积处理，从而获得相应的分辨率特征变换结果。在处理阶段4中，每个子网都对处理阶段3中所有子网的卷积处理结果对应的分辨率特征变换结果进行卷积处理。例如，处理阶段3中分辨率最高的子网的卷积处理结果进行分辨率降低处理后所得的分辨率特征变换结果、处理阶段3中分辨率第二高的子网的卷积处理结果进行恒等映射处理后所得的分辨率特征变换结果、处理阶段3中分辨率第三高的子网的卷积处理结果进行分辨率提高处理后所得的分辨率特征变换结果，在处理阶段4中供分辨率第二高的子网进行卷积处理。

参照图3的最右侧，如果还需要执行处理阶段5等后续的处理阶段，则仍参照前面各处理阶段的原理，对处理阶段4内各子网的卷积处理结果进行分辨率特征变换处理，所获得的分辨率特征变换结果成为处理阶段5中各子网的卷积处理对象。

本实施例中，处理阶段4是最后一个处理阶段。步骤S4的原理如图4所示，图4中的第一行、第二行、第三行、第四行最左端分别是处理阶段4中分辨率最高、第二高、第三高、第四高的子网输出的卷积结果，图4右侧表示对这些卷积结果进行融合处理的过程。具体地，对最后一次处理阶段即处理阶段4中各子网输出的卷积结果进行通道数翻倍处理后，进行元素加操作，对元素加操作的结果依次进行通道数翻倍处理和全局平均池化处理，所得结果就是对处理阶段4中分辨率最高、第二高、第三高、第四高的子网输出的卷积结果进行融合处理的结果。

最后，执行步骤S5，使用分类器对步骤S4所获得的融合处理的结果进行目标分类识别，从而识别出SAR图像中所包含的船只、车辆、飞机等目标。

步骤S1-S5的原理在于：通过在步骤S3中每个处理阶段最后对各子网的卷积处理结果进行分辨率特征变换，下一处理阶段中的子网接收上一处理阶段中各种不同分辨率的子网的卷积处理结果对应的分辨率特征变换进行进一步的卷积处理，实现了跨并行子网引入交换单元，可以在多个分辨率并行的子网中，充分利用多个分辨率的信息，使每一个子网都能重复接受其他并行子网的信息，从高分辨率到低分辨率的过程可以学习到更强的语义信息和获得更大的感受野，从低分辨率到高分辨率的过程可学习到高分辨率的特征，既保证可以掌握全局信息的同时，还能从低分辨率中学习到特征图的局部细节。

本实施例中，可以在执行步骤S2之后、执行步骤S3之前对高分辨率网络进行预训练。预训练采用迁移学习的方法，即使用遥感图像作为训练集对高分辨率网络进行预训练，在执行步骤S3时使用高分辨率网络对SAR图像进行处理。遥感图像能作为传统光学图像与SAR图像的过渡，既能使高分辨率网络在预训练过程中学习到SAR图像的特点，又容易取得较大的样本规模，从而使得训练后的高分辨率网络具有较强的泛化能力。

本实施例中，对高分辨率网络的预训练使用FocalLoss损失函数，FocalLoss损失函数的形式如式(1)和式(2)所示。

在交叉熵损失函数中，如式(1)，对于简单易分类的样本和难分类，样本训练都是一视同仁的，如果简单样本数量多，那么就可能忽视困难样本的训练。故在大量简单样本迭代过程中，训练会比较缓慢甚至可能无法达到最优。Focal Loss损失函数是在交叉熵损失函数上做的一个改进。他主要是针对类间不平衡的一种损失函数，对于难分类的样本提高了训练的权重，他的公式如下，多了两个参数，分别是α和γ。参数α用来平衡正负样本本身的比例不均，相当于给难分类的样本提高了权重，但是无法解决简单与困难样本的问题，实际上该参数对简单与困难样本训练的影响不大。参数γ则是根据真实标签对应的输出概率来决定此次预测损失函数的权重。假设y是简单样本，如果y大的话，(1-y)

Focal Loss损失函数推广至多分类问题上，仅需将预测值经过Softmax函数。此时多分类中α参数是没有效果的，因为每个样本都乘以了同样的权重，但是由于影响不大，可以忽略不计，如式(2)。

综上，通过在训练中使用FocalLoss损失层面向困难样本训练，能够提高难分类样本的训练权重，使困难样本更容易的参与到高分辨网络训练中，高分辨网络更容易学习到困难样本的特征，从而更好识别难分类的目标。

对步骤S1-S5进行仿真实验，仿真实验中使用MSTAR数据集对高分辨网络进行训练和测试。MSTAR数据集是由美国国防部先进研究项目局(Defense Advanced ResearchProjects Agency，DARPA)和空军研究实验室(Air Force Research Laboratory，AFRL)支持的项目，作为运动和静止目标获取与识别(Moving and Stationary TargetAcquisition and Recognition，MSTAR)项目的一部分。本次实验使用的公开数据集如图5所示，包括十类不同的地面军事车辆(装甲车：BMP-2，BRDM-2，BTR-60，BTR-70；坦克：T-62，T-72；火箭发射车：2S1；防空单元：ZSU-234；军用卡车：ZIL-131；推土机：D7)，方位向和距离向的分辨率都是0.3m，方位角为0-360度，训练集俯仰角为17度，测试集俯仰角为15度。本次主要使用标准操作条件(Standard Operating Conditions，SOC)下的数据集进行实验，即测试集SAR图像与训练集SAR图像中目标外形配置与型号相同，仅是成像俯仰角与方位角不同。MSTAR数据集SOC实验条件下的混淆矩阵如表1所示。

表1

本次实验还采用了ResNet中提到的学习率预热方法，使用Warm-up的方法。由于刚开始训练的模型权重与训练目标仍有差异，若开始以较大的学习率进行训练，可能会导致训练不稳定。

学习率预热即是在刚开始训练时，先使用较小的学习率，训练几代，等模型稳定后再修改为预先设定的学习率进行训练。该方法为Constant warmup，但从一个很小的学习率突然变为较大的学习率也可能会导致训练误差突然增大。Gradual warmup针对该问题做出了一定的改进，即一开始以小学习率开始，每轮训练结束后增大一点，直到最初设置的较大初始学习率。

本次实验初始学习率为0.05，每100轮训练衰减10倍，权重衰减(Weight decay)设置为0.0001。优化器上选择随机梯度下降法，momentum设置为0.9。损失函数上采用Focal损失函数，使网络可以注重训练较难分类数据。训练代数为1000代。

在MSTAR十类数据集上，能达到的平均识别率为99.68％。在五类飞机仿真数据集上，能达到的平均识别率为99.61％，其测试集loss曲线与准确率曲线可见图6和图7，可见一开始由于在一个相似的源域进行训练，测试集的loss较小与准确率较高，当经过学习率Warm-up后，loss会变大，准确率也会下降。但是很快就能收敛到最佳。经过预训练后所得的高分辨网络的测试集loss曲线如图6所示，测试集准确率曲线如图7所示，满足使用条件。

可以通过编写执行本实施例中的基于高分辨率网络的SAR图像目标识别方法的计算机程序，将该计算机程序写入至计算机装置或者存储介质中，当计算机程序被读取出来运行时，执行本实施例中的基于高分辨率网络的SAR图像目标识别方法。

本发明采用了高分辨率网络对SAR图像目标进行识别分类，针对SAR图像与光学图像的差异以及具有标注的SAR图像数据量较少特点，使用迁移学习与数据增强的方法拓展了训练的数据。同时由于SAR图像的目标识别分类是利用目标的灰度、纹理、形状、边缘等信息，所以使用高分辨率网络对SAR图像特征进行学习，既能保证掌握目标的整体形状的信息，又能观察到目标局部细节。本发明提出的高分辨率网络识别分类方法适用于常见的SAR图像目标识别，例如船只识别，车辆识别，飞机识别等，可以有效地对真实场景中的SAR图像目标进行识别，并测试其鲁棒性。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。