一种基于神经网络架构搜索的水声通信调制方式识别方法

摘要

本发明提供了一种基于神经网络架构搜索的水声通信调制方式识别方法，针对基于深度学习的水声通信调制方式识别方法人工调参耗时繁琐、模型不匹配、低信噪比下性能不足等问题，通过神经网络架构搜索方法在数据集上自动搜索匹配水声通信调制方式识别任务数据分布的模型架构，对搜索出的模型架构进行训练，利用训练完成的识别模型完成对水声通信信号的调制方式识别。本发明提升了低信噪比下的识别性能，而且省去了繁琐的人工设计调整网络架构的工作。

说明书

技术领域

本发明属于信息信号处理领域，涉及神经网络架构搜索、水下信号处理、水声通信调制方式识别等理论。

背景技术

水声通信信号的调制方式识别是水下信息对抗中的关键环节，可以被用到威胁识别、敌方情报信息拦截和信息对抗干扰策略等方面，对争夺战争的主动权至关重要。由于海洋环境的复杂多变及海洋环境噪声的非平稳性等原因，水声通信调制方式识别相对于陆上的通信调制方式识别任务具有更高的难度。此外，由于无法获取到非合作水声通信信号的先验信息，只能对接收到的信号直接进行分析，且非合作信号的信噪比通常较低，这些都给水声通信信号的调制方式识别带来了极大的困难。

近年来，研究者们逐渐将传统机器学习方法和深度学习方法应用到水声通信调制方式识别的领域中来。基于传统机器学习的方法首先是根据识别需求提取相应的信号特征，然后设计分类器进行分类。这类方法的识别效果很大程度上取决于人工提取的特征，在处理一些简单的情况下是有效的，但是对于一些复杂的情况，其模型匹配效果会大大削弱。基于深度学习的方法不再利用人工经验来设计特征提取方法，而是通过深度的神经网络模型，从数据中逐层学习最本质的特征，利用深度网络强大的非线性能力挖掘数据模型的潜在结构，提高分类模型的准确度和泛化能力。但是，目前基于深度学习的识别方法需要通过人工来设计和调整神经网络架构，而且所用的模型架构往往自图像或语音领域迁移而来，与水声通信信号的数据分布形式并不匹配。此外，目前的识别方法在低信噪比的情况下识别性能依旧不佳。

发明内容

为了克服现有技术基于深度学习的水声通信调制方式识别方法人工调参耗时繁琐、模型不匹配、低信噪比下性能不足等问题，本发明提供一种基于神经网络架构搜索的水声通信调制方式识别方法，通过神经网络架构搜索方法在数据集上自动搜索匹配水声通信调制方式识别任务数据分布的模型架构，对搜索出的模型架构进行训练，利用训练完成的识别模型完成对水声通信信号的调制方式识别。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步，仿真接收水声通信信号；

第二步，利用短时傅里叶变换从仿真水声通信信号样本中提取时频图特征；采用时频图矩阵的方式保存时频图特征作为数据集样本；在模型训练和测试阶段，按照设定的划分比例将数据集划分成训练集和测试集；在架构搜索阶段，按照设定的划分比例把训练集划分为小型的训练集和验证集；

第三步，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构；

第四步，在搜索单元架构的过程中改进模型的基础架构，即在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作，对前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量；

第五步，在数据集上搜索并训练调制方式识别模型；在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构；然后在模型的训练和测试阶段，采用第四步改进的基础架构构建识别模型；最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。

所述的第一步对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)表示为

所述的水声多径信道冲激响应

基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数表示为

其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数，θ表示随机变量，采用定义联合信噪比

所述搜索空间中的候选操作包括以下内容：

(1)在搜索空间中采用步长为2的卷积层代替池化层进行降维操作；

(2)搜索空间中的卷积层采用深度可分离卷积的形式；

(3)采用空洞卷积来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力；

(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸、跳跃连接和零操作作为候选操作。

所述搜索空间中选定的候选操作为：零操作、跳跃连接、1×1的标准卷积、3×3的深度可分离卷积、5×5的深度可分离卷积、3×3的空洞可分离卷积、5×5的空洞可分离卷积、3×3的倒置残差卷积模块和5×5的倒置残差卷积模块。

本发明的有益效果是：通过神经网络架构搜索方法在水声通信调制方式识别任务数据集上自动搜索出与该任务匹配的识别模型架构，提升了低信噪比下的识别性能，而且省去了繁琐的人工设计调整网络架构的工作。

为验证本文所提出神经网络架构搜索方法的性能，对比了另外七种不同的模型，包括AlexNet、GoogLeNet、ResNet三种手工设计的经典网络架构，轻量化模型中的MobileNetV2、MobileNetV3和DARTS算法的改进版本PC-DARTS以及EfficientNet。仿真实验结果表明，本发明提出的方法在识别性能方面跟其他模型相比有着明显的优势，由此验证了本发明的有效性。

附图说明

图1是本发明的识别方法流程图；

图2是仿真水声多径信道的归一化冲激响应示意图；

图3是Alpha稳定分布的特征指数为1.6，联合信噪比GSNR＝5dB时，LFM、2FSK、4FSK、BPSK、QPSK、DSSS和OFDM七种仿真的接收信号时频图；

图4是以单元数N＝8为例的基础架构示意图，其中，(a)是DARTS基础架构，(b)是改进的基础架构(PS-DARTS)，其中C代表初始通道数，为可调超参，Sepconv为深度可分离卷积，MIRConv为倒置残差模块，Normal cell代表正常单元，Reduce cell代表降维单元；

图5是实施例的神经网络架构搜索流程图；

图6是实施例搜索到的最优单元示意图，其中，(a)是正常单元，(b)是降维单元；

图7是实施例的仿真实验结果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明包括以下步骤：

第一步：仿真接收水声通信信号

首先对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)表示为：

式中，s(t)为发送的调制信号，

由于声波是满足叠加定理的微振幅波，故水声多径信道也可以看作是线性的，即能够表征为线性时不变滤波器。因此，基于声射线理论的水声多径信道模型可表示为：

式中，δ(t)为冲激函数，N

基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数表示为：

式中，

其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数，θ表示随机变量。因为冲击噪声的二阶统计量是趋于无穷的，所以无法计算其方差，在这里采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系：

其中，

第二步：提取时频图特征及构建数据集

利用短时傅里叶变换从仿真水声通信信号样本中提取时频图特征，离散化的短时傅里叶变换表示为：

式中，g(n)为离散窗函数，STFT(n,ω)为离散傅里叶变换的时频矩阵。

采用时频图矩阵的方式保存时频图特征作为数据集样本。在模型训练和测试阶段，按照设定的划分比例将数据集划分成训练集和测试集。在架构搜索阶段，因需评估网络架构的性能，为了防止识别模型在测试集上出现过拟合的情况，按照设定的划分比例把训练集划分为小型的训练集和验证集，在验证集上进行网络架构的评估工作。

第三步：定义搜索空间

神经网络架构搜索方法首先需要定义一个搜索空间，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构。

为了搜索出适合水声通信调制方式识别任务的网络架构，同时兼顾受限的计算资源、搜索效率和所搜索到的模型性能，就需要设计出一个合理的搜索空间。搜索空间不可能无限大，也不能太小限制网络架构的潜力，所以需要对搜索空间中的候选操作有所选择：

(1)加入池化层的模型鲁棒性较差，而且大幅增加了训练耗时，模型的收敛速度也比较慢，在搜索空间中主要考虑采用步长为2的卷积层代替池化层进行降维操作。

(2)水声通信调制方式识别任务采用高参数量的模型训练很容易出现过拟合的现象，为了能够搜索出更深层的模型架构，搜索空间中的卷积层主要采用深度可分离卷积的形式。

(3)采用空洞卷积来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力。

(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸、跳跃连接和零操作作为候选操作。

第四步：改进模型的基础架构

在搜索单元架构的过程中，训练结束后，每个节点都会挑选出前继节点中可能性最大的两个作为连接对象，两个节点之间最多保留一条连接边，所以在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作。基础架构指的就是前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式。

对于图像的分类识别来说，由于图像数据有较多的信息冗余，前置卷积模块快速降维有助于减小计算量和模型参数量。然而，这种架构对于本任务的数据来说，前置卷积模块的大量连续降维会导致丢失很多的细节信息，后面堆叠的单元架构获得的特征信息量随之减小，造成模型最终的性能不佳。因此，对基础架构进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量。

第五步：在数据集上搜索并训练调制方式识别模型

在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构。然后在模型的训练和测试阶段，采用第四步改进的基础架构构建识别模型。最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。

如图1所示，本发明的实施例包括以下步骤：

第一步：仿真接收水声通信信号

通过Matlab对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)可表示为：

式中，s(t)为发送的调制信号，

由于声波是满足叠加定理的微振幅波，故水声多径信道也可以看作是线性的，即可表征为线性时不变滤波器。因此，基于声射线理论的水声多径信道模型可表示为：

式中，δ(t)为冲激函数，N

表1BELLHOP环境参数配置

基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数可表示为：

式中，

其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数。当γ＝1,β＝0,μ＝0时，Alpha稳定分布为标准SαS分布。由于只有α决定噪声的冲击强度，为简化模型，采用标准SαS分布仿真水下冲击噪声。因为冲击噪声的二阶统计量是趋于无穷的，所以无法计算其方差，在这里采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系：

其中，

第二步：提取时频图特征及构建数据集

时频图特征表示的是信号时域和频域的联合分布信息，它将一维信号很好地映射到了时间和频率的二维平面上，清楚的描述了信号各个频率成分随时间变化的关系，更好地展现出了信号在时域和频域的宏观变换规律。采用短时傅里叶变换(STFT)来提取信号的时频图特征作为神经网络的输入，离散化的短时傅里叶变换表示为：

式中，g(n)为离散窗函数，STFT(n,ω)为离散傅里叶变换的时频矩阵。

采用时频图矩阵的方式保存特征作为数据集样本。对每种调制信号提取得到了4568个样本，组成了共计31976个样本的数据集，然后以7：3的比例划分成训练集和测试集，即训练集22400个样本数据，测试集9576个样本数据。因为在架构搜索阶段需评估网络架构的性能，为了防止识别模型在测试集上出现过拟合的情况，以7：3的比例把训练集划分为小型的训练集和验证集，在验证集上进行网络架构的评估工作。在模型训练阶段，再把小型的训练集和验证集合为训练集，最终以测试集上的表现来衡量模型性能。

第三步：定义搜索空间

神经网络架构搜索方法可分为3个部分：搜索空间、搜索策略和网络性能评估策略。搜索流程如图5所示，首先定义一个搜索空间，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构。

搜索空间决定了架构搜索方法的搜索范围，为了搜索出适合水声通信调制方式识别任务的网络架构，同时兼顾受限的计算资源、搜索效率和所搜索到的模型性能，就需要设计出一个合理的搜索空间。搜索空间不可能无限大，也不能太小限制网络架构的潜力，所以需要对搜索空间中的候选操作有所选择：

(1)池化层通常设置在卷积层之后，可以有效地降低下一层待处理的数据量，起到降低特征维度的作用，然而加入池化层的模型鲁棒性较差，而且大幅增加了训练耗时，模型的收敛速度也比较慢，所以在搜索空间中主要考虑采用步长为2的卷积层代替池化层进行降维操作。

(2)在参数量相同的前提下，采用深度可分离卷积的神经网络层数可以做的更深，而水声通信调制方式识别任务采用高参数量的模型训练很容易出现过拟合的现象，所以为了能够搜索出更深层的模型架构，搜索空间中的卷积层主要采用深度可分离卷积的形式。

(3)采用空洞卷积在网络参数量不变的前提下来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力。

(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸来综合不同尺寸卷积核的优点，提取多尺度的信息；采用跳跃连接防止神经网络较深时出现梯度消失的问题，同时有利于梯度的反向传播，加快训练过程；采用零操作来表示两个节点之间缺少连接的一种特殊操作，它把学习单元的任务减少为了学习其边上的操作。

最终搜索空间中选定的候选操作为：零操作(none)、跳跃连接(skip_connect)、1×1的标准卷积(conv_1x1)、3×3的深度可分离卷积(sep_conv_3x3)、5×5的深度可分离卷积(sep_conv_5x5)、3×3的空洞可分离卷积(dil_conv_3x3)、5×5的空洞可分离卷积(dil_conv_5x5)、3×3的倒置残差卷积模块(mir_conv_3x3)和5×5的倒置残差卷积模块(mir_conv_5x5)。

第四步：改进模型的基础架构

在搜索单元架构的过程中，训练结束后，每个节点都会挑选出前继节点中可能性最大的两个作为连接对象，两个节点之间最多保留一条连接边，所以在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作。基础架构指的就是前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式。对于输入张量尺寸为224×224时，DARTS算法中第一个前置卷积模块Stem0由两层步长为2的标准卷积组成，第二个前置卷积Stem1是一层步长为2的标准卷积，中间则是堆叠了N层的正常单元和降维单元，在N/3和2N/3处为降维单元，其余皆为正常单元，模型最后连接的是一个全局平均池化层和一个全连接层。

对于图像的分类识别来说，由于图像数据有较多的信息冗余，前置卷积模块快速降维有助于减小计算量和模型参数量。然而，这种架构对于本任务的数据来说，前置卷积模块的大量连续降维会导致丢失很多的细节信息，后面堆叠的单元架构获得的特征信息量随之减小，造成模型最终的性能不佳。因此，对基础架构进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量。以N＝8为例，DARTS基础架构和改进的基础架构(PS-DARTS)如图4所示。

第五步：在数据集上搜索并训练调制方式识别模型

在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构，搜索到的两种最优单元如图6所示。然后在模型的训练和测试阶段，采用第四步改进的PS-DARTS基础架构构建识别模型。最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。

为验证所提出神经网络架构搜索方法的性能，对比了另外七种不同的模型，其中，AlexNet去掉了池化层并加入了批量归一化层；因原始的DARTS算法对显存的需求太高，在本实验环境下批处理尺寸只能设置为1，模型很难收敛，所以这里采用其改进版本PC-DARTS；EfficientNet是由神经网络架构搜索方法在图像处理领域搜索得到的一种模型架构，近两年来于多个图像任务中获得了SOTA的性能，本次实验所用的是EfficientNet-B0版本，仿真实验结果如图7所示。从实验结果中可以看出本发明提出的PS-DARTS算法在性能方面跟其他模型相比有着明显的优势，由此验证了所提出方法的有效性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。