基于改进原型网络的小样本SAR图像目标识别方法

摘要

本发明属于雷达图像处理技术领域，尤其涉及一种基于改进原型网络的小样本SAR图像目标识别方法，可用于小样本条件下的SAR自动目标识别；包括步骤：获取训练样本集和待识别小样本SAR图像集；构建深度卷积‑双向长短时原型神经网络，即改进原型网络；采用训练支撑集和训练查询集对所述深度卷积‑双向长短时原型神经网络进行训练；获取小样本SAR图像的目标识别结果。本发明通过构建新的网络结构，解决了传统识别方法中每类待识别目标都需要数百个甚至更多训练样本的问题，实现了用每类中少量的带标签样本有效分类识别目标。

说明书

技术领域

本发明涉及雷达图像处理技术领域，尤其涉及一种基于改进原型网络的小样本SAR图像目标识别方法，是一种SAR自动目标识别方法，可用于小样本条件下的SAR自动目标识别。

背景技术

合成孔径雷达(SAR)是在距离向和方位向都具有高分辨率的成像雷达。由于其具备全天时、全天候、远距离工作的能力，已广泛应用于战场侦察、灾情预报和海洋观测等领域。自动目标识别(ATR)是基于计算机系统，从传感器获取数据，提取特征并自动得到目标类别的算法。与光学成像不同，单极化SAR图像用灰度表示目标散射的强度，同时，由于背景杂波和有限分辨率的影响，造成图像的边缘模糊和较强的各向异性，增加了SAR图像有效特征提取和目标识别的困难。

SAR图像目标识别的主流方法有三种，即模板匹配、目标建模和机器学习。这些方法需要预先设计专用模板、目标模型或分类器，具有较高的复杂性且泛化性能较差。

随着深度学习的发展，由于其强大的自动特征提取和表示能力，在SARATR中获得广泛关注，许多基于深度学习的SARATR方法已经被提出，例如自编码器、循环神经网络和脉冲耦合神经网络等。但是基于深度学习模型的SARATR算法为了保证有效的特征提取和目标识别，通常需要大量的训练样本。然而，在实际情况下，SAR的图像获取较为困难，而且成本较高。在军事侦察等情况下，甚至只能获取一些目标的少量SAR图像，从而导致现有的SARATR算法失效。因此，研究如何在只有少量SAR图像的情况下有效地提取特征和识别目标在雷达图像处理技术领域具有重要意义。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于改进原型网络的小样本SAR图像目标识别方法，解决了传统识别方法中每类待识别目标都需要数百个甚至更多训练样本的问题，实现了用每类中少量的带标签样本有效分类识别目标。

为了达到上述目的，本发明采用以下技术方案予以实现。

(一)基于改进原型网络的小样本SAR图像目标识别方法，包括以下步骤：

步骤1，获取训练样本集和待识别小样本SAR图像集；从训练样本集中按类别选取C×m幅SAR图像作为训练支撑集，剩余的

其中，待识别小样本SAR图像集中的目标类别与训练样本集中的目标类别不同；C为待训练的目标总类别数，m为训练支撑集中每个目标类别的SAR图像数目，

步骤2，构建深度卷积-双向长短时原型神经网络，即改进原型网络；

步骤3，采用训练支撑集和训练查询集对所述深度卷积-双向长短时原型神经网络进行训练，得到训练好的深度卷积-双向长短时原型神经网络；

步骤4，对带标签的支撑集和待识别的查询集中的每幅SAR图像进行变换合成处理，得到带标签的支撑集和待识别的查询集对应的图像序列，将所有图像序列顺序输入训练好的深度卷积-双向长短时原型神经网络，得到待识别的查询集内的目标类别。

(二)一种深度卷积-双向长短时原型神经网络，包括依次连接的深度卷积-双向长短时神经网络、原型模块和基于欧几里得距离的分类器；所述深度卷积-双向长短时神经网络包含深度卷积神经网络和双向长短时神经网络；所述深度卷积神经网络包含依次连接的多个卷积模块和全连接层；每个卷积模块包含依次连接的卷积层、ReLU激活层、批规范化层和最大池化层。

(三)一种深度卷积-双向长短时原型神经网络的训练方法，包括以下步骤：

步骤1，获取训练样本集和测试样本集；从训练样本集中按类别选取C×m幅SAR图像作为训练支撑集，剩余的

其中，C为待训练的目标总类别数，m为训练支撑集中每个目标类别的SAR图像数目，

步骤2，采用训练支撑集和训练查询集对所述深度卷积-双向长短时原型神经网络进行训练，得到训练好的深度卷积-双向长短时原型神经网络；具体步骤为：

2a)设置最大迭代次数为T，T≥1000，初始化迭代次数t＝0；

2b)将训练支撑集和训练查询集中的每个训练样本分别进行变换合成处理，得到每个训练样本对应的图像序列；

2c)将每个训练样本对应的图像序列作为所述深度卷积-双向长短时原型神经网络的输入，输出对应的预测类别；

2d)根据预测类别与对应标签，计算当前迭代次数的交叉熵损失函数，并通过随机梯度下降算法，对所述深度卷积-双向长短时原型神经网络的网络参数进行更新，得到更新后的神经网络；

2e)判断t＝T是否成立，若是，则步骤2d)更新后的神经网络即为训练好的深度卷积-双向长短时原型神经网络，否则，令t＝t+1，返回执行步骤2c)；

步骤3，对测试支撑集和测试查询集中的每个样本进行变换合成处理，得到测试支撑集和测试查询集中每个样本对应的图像序列，将所有图像序列顺序输入训练好的深度卷积-双向长短时原型神经网络，得到测试查询集内的预测目标类别。

与现有技术相比，本发明的有益效果为：

(1)本发明设计了一种新的网络结构，即深度卷积-双向长短时原型神经网络，该网络具有自动特征提取和特征融合的能力，与现有技术相比，可以将SAR图像映射成对方位角不敏感的嵌入向量，有效地降低了嵌入向量对单个样本方位角变化的敏感性，提高识别性能。

(2)本发明采用深度卷积-双向长短时原型神经网络，在目标分类问题中只需要少量训练样本就能获得和传统SAR ATR方法接近的识别正确率，而其他算法在每一类中都需要数百个训练样本，在SAR图像样本有限的情况下，有效地提高了识别精度。

附图说明

下面结合附图和具体实施例对本发明作进一步详细说明。

图1为本发明的实现流程图；

图2为本发明实施例采用的深度卷积-双向长短时原型神经网络结构图；

图3为本发明实施例的改进原型网络的训练和测试实现框架；

图4为本发明实施例采用的深度卷积-双向长短时神经网络结构图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

实施例1

参考图1，本发明提供的一种基于改进原型网络的小样本SAR图像目标识别方法，包括以下步骤：

步骤1，获取训练样本集和待识别小样本SAR图像集；从训练样本集中按类别选取C×m幅SAR图像作为训练支撑集，剩余的

其中，待识别小样本SAR图像集中的目标类别与训练样本集中的目标类别不同；两者的目标类别数目相同，C为待训练的目标总类别数，m为训练支撑集中每个目标类别的SAR图像数目，

本实施例中，训练样本从MSTAR数据集中选取，待识别小样本SAR图像集为在不同俯仰角下观测到的SAR图像；具体包括以下步骤：

步骤1a)选取雷达在17°俯仰角下观测到的M类SAR图像作为训练样本集D

步骤1b)从训练样本集D

步骤2，构建深度卷积-双向长短时原型神经网络，即改进原型网络；

构建包括多个卷积层、多个ReLU激活层、多个批规范化层、多个最大池化层、一个全连接层、一个BiLSTM层、原型模块和基于欧几里得距离的分类器的深度卷积-双向长短时原型神经网络A；

本实施例中构建包含八个卷积层、八个ReLU激活层、八个批规范化层、四个最大池化层、一个全连接层、一个BiLSTM层、原型模块和基于欧几里得距离的分类器的深度卷积-双向长短时原型神经网络A，如图2所示，具体结构为：第一卷积层→第一ReLU激活层→第一批规范化层→第二卷积层→第二ReLU激活层→第二批规范化层→第一最大池化层→第三卷积层→第三ReLU激活层→第三批规范化层→第四卷积层→第四ReLU激活层→第四批规范化层→第二最大池化层→第五卷积层→第五ReLU激活层→第五批规范化层→第六卷积层→第六ReLU激活层→第六批规范化层→第三最大池化层→第七卷积层→第七ReLU激活层→第七批规范化层→第八卷积层→第八ReLU激活层→第八批规范化层→第四最大池化层→全连接层→BiLSTM层→原型模块→基于欧几里得距离的分类器。

八个卷积层的卷积核的大小均为3×3，步长均为1，其中第一卷积层和第二卷积层的卷积核个数为16，第三卷积层和第四卷积层的卷积核个数为32，第五卷积层、第六卷积层、第七卷积层和第八卷积层的卷积核个数为64；四个最大池化层的大小均为2×2，滑动步长均为2；全连接层包含128个节点，使用dropout避免过拟合；BiLSTM层包含256个节点和4个时间步。

步骤3，采用训练支撑集和训练查询集对所述深度卷积-双向长短时原型神经网络进行训练，得到训练好的深度卷积-双向长短时原型神经网络；

如图3所示，训练的具体步骤为：

3a)设置最大迭代次数为T，T≥1000，初始化迭代次数t＝0；

3b)将训练支撑集S

3c)将每个训练样本对应的图像序列作为所述深度卷积-双向长短时原型神经网络A的输入，输出对应的预测类别；具体步骤为：

首先，将训练支撑集S

其中，θ表示深度卷积-双向长短时原型神经网络A的权值参数，R

其中，训练支撑集S

其次，通过训练支撑集S

其中，

最后，计算训练查询集Q

其中，

3d)根据预测类别与对应标签，计算当前迭代次数的交叉熵损失函数，并通过随机梯度下降算法，对所述深度卷积-双向长短时原型神经网络A的网络参数进行更新，得到更新后的神经网络；

具体地，采用交叉熵损失函数L(θ)，并通过随机梯度下降算法，对深度卷积-双向长短时原型神经网络A中卷积层的权值参数、最大池化层的权值参数、全连接层的连接系数以及BiLSTM层的权值参数进行更新，得到训练后的深度卷积-双向长短时原型神经网络A

其中，θ表示深度卷积-双向长短时原型神经网络A的权值参数，x

3e)判断t＝T是否成立，若是，则步骤3d)更新后的神经网络即为训练好的深度卷积-双向长短时原型神经网络A′，否则，令t＝t+1，返回执行步骤3c)。

步骤4，对带标签的支撑集和待识别的查询集中的每幅SAR图像进行变换合成处理，得到带标签的支撑集和待识别的查询集对应的图像序列，将所有图像序列顺序输入训练好的深度卷积-双向长短时原型神经网络，得到待识别的查询集内的目标类别。

4a)将待识别小样本SAR图像集或测试样本集T

4b)通过带标签的支撑集或测试支撑集S

4c)计算待识别的查询集或测试查询集Q

其中，

实施例2

参考图2，一种深度卷积-双向长短时原型神经网络，包括依次连接的深度卷积-双向长短时神经网络、原型模块和基于欧几里得距离的分类器；所述深度卷积-双向长短时神经网络包含深度卷积神经网络和双向长短时神经网络；所述深度卷积神经网络包含依次连接的多个卷积模块和全连接层；每个卷积模块包含依次连接的卷积层、ReLU激活层、批规范化层和最大池化层。

本实施例中也可以多个卷积层、ReLU激活层、批规范化层之后设置一个最大池化层。

如图2所示：本实施例中构建包含八个卷积层、八个ReLU激活层、八个批规范化层、四个最大池化层、一个全连接层、一个BiLSTM层、原型模块和基于欧几里得距离的分类器的深度卷积-双向长短时原型神经网络A，具体级联结构为：第一卷积层→第一ReLU激活层→第一批规范化层→第二卷积层→第二ReLU激活层→第二批规范化层→第一最大池化层→第三卷积层→第三ReLU激活层→第三批规范化层→第四卷积层→第四ReLU激活层→第四批规范化层→第二最大池化层→第五卷积层→第五ReLU激活层→第五批规范化层→第六卷积层→第六ReLU激活层→第六批规范化层→第三最大池化层→第七卷积层→第七ReLU激活层→第七批规范化层→第八卷积层→第八ReLU激活层→第八批规范化层→第四最大池化层→全连接层→BiLSTM层→原型模块→基于欧几里得距离的分类器。

八个卷积层的卷积核的大小均为3×3，步长均为1，其中第一卷积层和第二卷积层的卷积核个数为16，第三卷积层和第四卷积层的卷积核个数为32，第五卷积层、第六卷积层、第七卷积层和第八卷积层的卷积核个数为64；四个最大池化层的大小均为2×2，滑动步长均为2；全连接层包含128个节点，使用dropout避免过拟合；BiLSTM层包含256个节点和4个时间步。

实施例3

参考图3，一种深度卷积-双向长短时原型神经网络的训练方法，包括以下步骤：

步骤1，获取训练样本集和测试样本集；从训练样本集中按类别选取C×m幅SAR图像作为训练支撑集，剩余的

其中，C为待训练的目标总类别数，m为训练支撑集中每个目标类别的SAR图像数目，

步骤2，采用训练支撑集和训练查询集对所述深度卷积-双向长短时原型神经网络进行训练，得到训练好的深度卷积-双向长短时原型神经网络；具体步骤为：

2a)设置最大迭代次数为T，T≥1000，初始化迭代次数t＝0；

2b)将训练支撑集S

2c)将每个训练样本对应的图像序列作为所述深度卷积-双向长短时原型神经网络A的输入，输出对应的预测类别；如图3所示；

(1)将图像序列的每一帧依次输入深度卷积-双向长短时神经网络进行映射，即将输入的每幅SAR图像从原始空间映射到新的特征空间f

其中，θ表示深度卷积-双向长短时原型神经网络A的权值参数，R

其中，训练支撑集S

(2)通过训练支撑集S

其中，

(3)计算训练查询集Q

其中，

2d)根据预测类别与对应标签，计算当前迭代次数的交叉熵损失函数，并通过随机梯度下降算法，对所述深度卷积-双向长短时原型神经网络A的网络参数进行更新，得到更新后的神经网络；

具体地，采用交叉熵损失函数L(θ)，并通过随机梯度下降算法，对深度卷积-双向长短时原型神经网络A中卷积层的权值参数、最大池化层的权值参数、全连接层的连接系数以及BiLSTM层的权值参数进行更新，得到训练后的深度卷积-双向长短时原型神经网络A

其中，θ表示深度卷积-双向长短时原型神经网络A的权值参数，x

2e)判断t＝T是否成立，若是，则步骤2d)更新后的神经网络即为训练好的深度卷积-双向长短时原型神经网络A′，否则，令t＝t+1，返回执行步骤2c)；

步骤3，对测试支撑集和测试查询集中的每个样本进行变换合成处理，得到测试支撑集和测试查询集中每个样本对应的图像序列，将所有图像序列顺序输入训练好的深度卷积-双向长短时原型神经网络，得到测试查询集内的预测目标类别。

3a)将测试样本集T

3b)通过测试支撑集S

3c)计算测试查询集Q

其中，

仿真实验

本发明的效果可以通过以下具体实例进一步说明：

(1)实验条件

本发明的仿真实验的硬件平台为：GPU为NVIDIA GeForce RTX 2080Ti，20核，主频为2.2GHz，内存大小为128GB；显存大小为11GB。

本发明的仿真实验的软件平台为：操作系统为windows 10。

本发明的仿真实验的训练样本集选自MSTAR数据集中雷达在17°俯仰角下观测到的7类SAR图像，即BMP-2(TG1)、BTR-70(TG2)、T-72(TG3)、BTR-60(TG7)、D-7(TG8)、T-62(TG9)和ZIL-131(TG10)。

本发明的仿真实验的测试样本集选自MSTAR数据集中在15°、17°和30°俯仰角下观测到的3类SAR图像，即2S1(TG4)、BRDM-2(TG5)和ZSU-234(TG6)。

(2)仿真内容

为了验证有限样本情况下本发明的识别效果，通过挑选训练支撑集和测试支撑集中每个类别的SAR图像数量训练网络，并与原型网络方法进行对比仿真，结果如表1所示：

表1本发明所提方法和现有原型网络方法对比

例如，支撑集图像数量为1时，因为只做一次实验具有随机性和偶然性，不能准确反映模型的识别准确度，因此在每组实验中随机选取不同的支撑集重复1000次，对这1000次实验产生的实验结果，取平均值作为实验结果。

从表1中可见，在SAR图像样本有限的情况下，本发明的识别效果明显优于原型网络方法，本发明在SAR图像样本越少的情况下，提高SAR图像目标识别正确率的效果越好。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。