技术领域
本发明属于图像处理技术领域，具体涉及一种基基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)作为一种主动空间微波遥感技术，扫描式合成孔径雷达(ScanSAR)模式则是SAR重要的工作模式之一，该模式可在工作时改变天线的角度，依次扫描多个条带进而获得更大的测绘带宽。由于ScanSAR的扫描机制导致它的系统函数是时变的，接收回波信号的强度会随着方位向和距离向位置周期性变化，使得ScanSAR图像产生了严重的不均匀现象。其中，扇贝效应(scalloping)是引起ScanSAR图像不均匀的主要原因之一，也是ScanSAR模式所固有的现象。该现象在成像处理之后，由于中间部分累积的能量较高，边缘较低，所以呈现明暗相间的条纹。扇贝效应的存在极大地降低了图像的质量，增加了图像的判读难度。因为该问题是系统特性导致的问题，在硬件上克服十分困难，故需要寻求软件算法上的解决途径。
现有的去除扇贝效应的方法可以分为两类：第一类方法应用于处理SAR原始信号，即通常纳入level0级SAR处理链。如，Bamler通过构建一个与方位向位置相关的加权函数来去除扇贝效应，这个函数可以准确地补偿ScanSAR回波强度在方位向的周期性波动，校正了扇贝效应，同时保持了局部信噪比在方位角上的恒定。Shimada通过JERS-1成像卫星进行辐射和几何定标，准确地计算出该卫星的方向图以及能量变化规律，并在此基础上进行了更加精确的能量波动校正。
第二类方法是完全基于图像后处理的方法，如Romeiser提出基于傅里叶域的自适应滤波器，这种算法提出了一个计算和逻辑复杂的过程，该技术应用于C波段雷达扫描SAR图像的风场估计,通过多次迭代找到多普勒中心，并逐步校正能量波动。M.Iqbal提出了一种基于卡尔曼滤波的去除扇贝效应方法，在仿真和真实数据实验中都得到很好的去条纹效果。Sorrentino将思路延伸到了频域，通过小波变换将ScanSAR条纹信息分离出来。
第一类方法存在的最大问题在于需要雷达传感器的先验数据信息作为支持，无法仅对问题图像进行修正处理；当没有办法获取SAR原始信号或者无法获取传感器的先验数据信息，这一类方法是无法使用的。第二类方法基于图像的后处理，对图像在空间域或频域的一系列的处理，需要进行大量的逻辑推导和计算,所以对于不同平台以及不同的成像模式的图像的扇贝效应的去除稳定性不高。
发明内容
本发明提供了一种基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法，包括如下步骤：
S1：对ScanSAR图像进行裁剪，构建数据集；
S2：基于CycleGAN模型结合自注意力机制，构建具有远距离依赖的循环一致对抗生成网络模型；
S3：将准备好的训练数据集输入步骤二构建的神经网络模型中，进行训练；
S4：将存在扇贝效应的ScanSAR图像输入到经步骤三训练后的网络模型中，即可对扇贝效应的条纹现象进行消除。
进一步的，所述S1：对ScanSAR图像进行裁剪，构建数据集中，构建数据集是将图像裁剪成大小为512*512的子图，根据子图是否存在扇贝效应进行分类，存在扇贝效应问题的子图为x类图像数据集，正常的子图为y类图像数据集；按照9：1的比例将构建的数据集划分为训练集：测试集。
进一步的，所述S2：基于CycleGAN模型结合自注意力机制，构建具有远距离依赖的循环一致对抗生成网络模型，包括如下步骤：
S301：构建的生成器神经网络；
S302：构建的判别器神经网络。
进一步的，生成器神经网络包括：编码部分、第一自注意力模块、图像转换部分、第二自注意力模块、解码部分。
进一步的，所述判别器包括的神经网络模型有5个卷积层，输入通道为1，第一个卷积层滤波器数量为13，步长为2；第二个卷积层滤波器数量为26，步长为2；第三个卷积层滤波器数量为52，步长为2；第四个卷积层滤波器数量为104，步长为1；第五个卷积层滤波器数量为1，步长为1；padding策略均为1。
进一步的，所述神经网络模型的CycleGAN网络学习的策略为：
本发明的优点是：本发明提供这种基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法，对ScanSAR图像的扇贝效应进行处理。在CycleGAN的基础，结合自注意机制，构成一种新型的具有远距离依赖的循环一致对抗生成网络模型。该网络模型可以在仅应用图像数据的情况下，学习图像的特征并对存在扇贝效应的图像进行处理。与传统的扇贝效应处理方法相比，本发明具有更有效消除图像扇贝效应条纹现象的能力，使得图像质量得到明显的提升。并且模型一经训练，可多次重复使用，简化了图像处理的过程。
下面结合附图和实施例对本发明做详细说明。
附图说明
图1为本发明ScanSAR图像扇贝效应处理方法步骤流程图。
图2为自注意力模块结构图。
图3为结合自注意力机制的生成器结构图。
图4为判别器结构图。
图5为本发明改进的网络CycleGAN网络结构图。
图6为异常图像裁剪示意图。
图7为正常图像裁剪示意图。
图8为异常图像数据集示意图。
图9为正常图像数据集示意图。
图10为CycleGAN训练时的数据流图。
图11为测试原图。
图12为测试结果图。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“对齐”、“重叠”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
本实施例提供了一种图1～图12基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法，包括如下步骤：
S1：对ScanSAR图像进行裁剪，构建数据集；
S2：基于CycleGAN模型结合自注意力机制，构建具有远距离依赖的循环一致对抗生成网络模型；
S3：将准备好的训练数据集输入步骤二构建的神经网络模型中，进行训练；
S4：将存在扇贝效应的ScanSAR图像输入到经步骤三训练后的网络模型中，即可对扇贝效应的条纹现象进行消除。
进一步的，所述S1：对ScanSAR图像进行裁剪，构建数据集,将18景高分三号ScanSAR图像，其中8景是存在扇贝效应的图像，10景为正常的ScanSAR图像，将其均裁剪成若干个512*512大小的子图，所述子图允许部分区域重叠，如图6、7所示。筛选出了400张存在扇贝效应的异常子图，作为X类图像，如图8所示；筛选出了480张正常图像，作为Y类图像，如图9所示。再按照9：1的比例将构建的数据集划分为训练集、测试集。
进一步的，所述S2：基于CycleGAN模型结合自注意力机制，构建具有远距离依赖的循环一致对抗生成网络模型，包括如下步骤：
S301：构建的生成器神经网络；
S302：构建的判别器神经网络。
进一步的，如图3所示，生成器神经网络包括：编码部分、第一自注意力模块、图像转换部分、第二自注意力模块、解码部部分。
编码部分，由三层卷积模块构成，每一层卷积模块从前往后包括一层卷积网络、实例归一化和Relu激活函数。三层卷积模块的卷积网络层中的卷积核数不断增加32增加到128个，保证网络提取到足够的特征。
如图2所示，第一自注意力模块，将第一部分提前的特征图通过卷积网络的隐藏层得到初始特征(convolution feature maps)x，后通过1×1的卷积核得到两个特征空间(feature space)f＝W
其中β
上述的三个权重矩阵W
图像转换部分，由7个残差模块组成，是通过提取的特征完成图像不同类别的转换。残差模块不改变特征图大小，输入通道和输出通道均为128，激活函数均为LeakRelu。
第二自注意力模块与第一自注意力模块相同，对转换之后的特征图中的全局特征进行凸显，提高图像复原质量。
解码部分：有3个反卷积层，1个卷积层，输入通道为52；第一个反卷积层滤波器数量为26，步长为2，padding策略为1；第二个反卷积层滤波器数量为13，步长为2，padding策略为1；卷积层滤波器数量为1，padding策略为0，反卷积核大小为7*7；前2个反卷积层用的激活函数为LeakRelu，最后一个卷积层使用的激活函数为Tanh。
如图4所示，构建的判别器神经网络为：采用Patch-GAN中判别器的patch策略，将输入图像裁剪为若干个70*70大小子图像，将子图像输入判别器的卷积神经网络，判别器的神经网络模型有5个卷积层，输入通道为1，第一个卷积层滤波器数量为13，步长为2；第二个卷积层滤波器数量为26，步长为2；第三个卷积层滤波器数量为52，步长为2；第四个卷积层滤波器数量为104，步长为1；第五个卷积层滤波器数量为1，步长为1；padding策略均为1；运用的激活函数均为LeakReLu；判别器最终会输出一个通道为1的预测映射(predictionmap)；
如图5所示，根据CycleGAN理论模型，构建神经网络模型，具体如下：
CycleGAN模型中有两个生成器G
在模型中，有x和y类图像，x通过生成器G
因此，对于与其判别器的对抗损失(adversarial loss)为：
L
对于G
L
E
G
满足循环一致性可以避免所有X类图像映射到同一张Y类图像，从而保证了CycleGAN模型的鲁棒性，因此，对于CycleGAN模型的循环一致性损失(cycle consistencyloss)为：
L
完整的CycleGAN模型对象如下，其中，λ系数的作用是控制两个对象的相对重要性：
L(G
所以CycleGAN网络学习的策略为：
将本方法的网络模型搭建完成后，设置学习参数为：batch size为4，初始学习速率为0.0002，前5000次迭代学习速率保持在0.0002，之后每次时学习速率线性衰减，优化器选择的是Adam算法，其中λ为5。训练过程中选定合适图像数量构建每个样本批次(branch)进行训练，考虑构建小批量的样本而不是单张图像作为一个样本，即保证各个批量样本都包含较丰富的样本特征，同时也使得不同样本之间在空间上有合适的距离，避免出现模型坍塌。使用两个时标更新规则(TTUR)，平衡判别网络和生成网络的学习速率，使得生成器和判别器都稳定收敛，解决正则化判别器中的缓慢学习问题。
训练时模型中的数据流如图10所示。
(1)将异常图像(X类)real_A输入生成器Gy，经过生成器网络后，得到了生成图像fake_B。
(2)将fake_B输入判别器Dy，由判别器判定fake_B的类别，若判断其属于Y类图像则输出1，否则为0。
(3)将fake_B输入生成器Gx，经过生成器网络后，得到生成图像cyc_A。
(4)将正常图像(Y类)real_B输入生成器Gx，经过生成器网络后，得到生成图像fake_A。
(5)将fake_A输入判别器Dy，由判别器判定fake_A的类别，若判断其属于Y类图像则输出0，否则为1。
(6)将fake_A输入生成器Gy，经过生成器网络后，得到生成图像cyc_B。
(7)并计算模型的生成对抗损失和循环一致损失的函数值，根据得到的损失更新网络参数，最终要使得fake_B与real_B、fake_A与real_A、cyc_A与real_A、cyc_B与real_B之间的差异达到最小。
为了验证本方法对ScanSAR图像扇贝效应的处理效果，经过近15000个epoch的训练之后，网络经过收敛得到较好的权重，将测试集的异常图像输入到网络中，如图11所示，网络输出结果图像，如图12所示，显然可见网络可以异常图像扇贝效应产生的条纹现象进行较好的抑制，使得图像整体灰度基本一致亮度适中，图像质量得到明显的提升，具有较大的实用意义。
综上所述，该基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法，对ScanSAR图像的扇贝效应进行处理。在CycleGAN的基础，结合自注意机制，构成一种新型的具有远距离依赖的循环一致对抗生成网络模型。该网络模型可以在仅应用图像数据的情况下，学习图像的特征并对存在扇贝效应的图像进行处理。与传统的扇贝效应处理方法相比，本发明具有更有效消除图像扇贝效应条纹现象的能力，使得图像质量得到明显的提升。并且模型一经训练，可多次重复使用，简化了图像处理的过程。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
机译： 提高SCANSAR图像质量的方法和装置
机译： 提高SCANSAR图像质量的方法和装置
机译： 提高SCANSAR图像质量的方法和装置
