基于多极化特征和FCN‑CRF融合网络的极化SAR影像目标检测方法

摘要

本发明公开了一种基于多极化特征和FCN‑CRF融合网络的极化SAR影像人造目标检测方法，主要解决现有技术对极化SAR人造目标检测精度低的问题，其方案是：输入待检测的极化SAR图像，对该极化SAR图像的极化相干矩阵T进行Lee滤波；对极化散射矩阵S进行Pauli分解，构成基于像素点的特征矩阵F1；对滤波后的相干矩阵T进行Yamaguchi分解，构成基于像素点的特征矩阵F2；本发明将基于多极化特征和FCN‑CRF的融合网络应用于极化SAR人造目标的检测上，提高了极化SAR图像人造目标的检测精度，可用于多目标的分类任务中。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积网络的极化SAR图像目标检测方法，可用于目标识别。

背景技术

极化SAR具有全天候、全天时、分辨率高、可侧视成像等优点，可以获取目标的精细特征和几何特征，随着极化SAR系统的推广，获得的全极化数据也越来越丰富，在军事和民用上对人造目标做出快速而准确的检测非常迫切。卷积网在图像特征提取方面的高效使用，使得其在解决极SAR人造目标检测问题中具有重要的理论价值和广阔的应用前景。

传统的卷积网如CNN是将图像块作为输入进行训练和预测，来实现一个像素的类别检测任务，这样不仅增加了存储空间，而且计算效率低，并且图像块大小比整幅图小很多，导致部分特征缺失，从而限制检测性能。

2015年，针对CNN存在的问题，Jonathan Long等人提出了Fully ConvolutionalNetworks，简称FCN，该网络将类别检测任务由图像级别延伸到了像素级别，从而将感兴趣区域检测出来，但FCN检测结果不够精细，易忽略图像细节，对于包含了多极化特征的人造目标不能够进行精准检测，且像素级的检测未能充分考虑空间邻域信息。

为了进一步增强图像的边缘约束，提高像素级别检测任务的的精度，有效提取多特征地物的数据特征，就要对极化SAR数据，特别是人造目标的数据进行有效处理，对于检测模型也要有新的改进。

发明内容

本发明的目的在于提出一种基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，以提高人造目标的检测精度。

为实现上述目的，本发明提供一种基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，包括以下步骤：

步骤1)，输入待检测的极化SAR图像，由该极化SAR图像的极化相干矩阵T求得极化散射矩阵S，并且对极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵T1，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，即每个像素点有9维特征；

步骤2)，对步骤1)中求得的极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射和体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F1；

步骤3)，对步骤1)中滤波后的相干矩阵T1进行Yamaguchi分解，得到奇次散射功率、偶次散射功率、体散射功率以及螺旋散射功率，用分解得到的功率参数作为表征极化SAR人造目标的4维图像特征，构成基于像素点的特征矩阵F2；

步骤4)，对步骤2)和步骤3)中的基于像素点的特征矩阵F1和F2进行切块处理，构成若干特征矩阵块F1_pauli和F2_yama作为两个样本数据集；

步骤5)，从步骤4)中由F1扩充出的数据集F1_pauli中，随机选取一定数量的特征矩阵块构成训练数据集P，余下的作为测试数据集P’；

步骤6)，从步骤4)中由F2扩充出的数据集F2_yama中，随机选取一定数量的特征矩阵块构成训练数据集Y，余下的作为测试数据集Y’；

步骤7)，构造基于FCN-CRF融合网络的检测模型：

7a)选择一个由[输入层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→Dropout层1]+[输入层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→Dropout层2]→级联层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的20层深度融合神经网络；

7b)将从步骤5)和步骤6)中产生的训练数据集P和训练数据集Y提取出的人造目标特征数据分别送入输入层1与输入层2中，使得数据集P与数据集Y的特征被分别提取出来，一同送入级联层得到融合后的数据以及FCN(全卷积)融合模型；

7c)通过步骤7a)级联层后面的操作提取融合后的数据的特征，并将提取到的特征输入CRF层，然后进行FCN融合模型与CRF端到端的训练与检测，对FCN融合网络模型的检测结果进行精细化处理，增强图像的边缘约束；

步骤8)，用步骤5)得到的训练数据集P与步骤6)得到的训练数据集Y对步骤7)得到的检测模型进行训练，得到训练好的模型；

步骤9)，利用训练好的模型对步骤5)得到的测试数据集P’与步骤6)得到的测试数据集Y’进行目标检测，将测试数据集中每个代表人造目标的像素点检测出来。

2.其中步骤1)中LEE滤波器的窗口大小为7×7。

3.其中步骤2)的具体步骤如下：

2a)定义Pauli基{S₁,S₂,S₃}的公式如下：

其中S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

2b)由Pauli分解定义得到如下等式：

其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；

2c)求解式<4>，代入式<1>求得的S_HH、S_VV、S_HV，得到3个散射系数a、b、c：

2d)定义一个大小为M1×M2×3的矩阵F1，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F1，得到基于像素点的特征矩阵F1，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

其中步骤3)的具体步骤如下：

3a)首先给出待检测目标的协方差矩阵C为：

其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；

3b)将Yamaguchi提出的四种散射矩阵，表面散射S_surface、偶次散射S_double、体散射S_volume以及第四种螺旋体散射S_helix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：

其中α是一个复数，β是一个实数；

3c)然后将待检测目标的协方差矩阵C作为四个散射分量协方差矩阵的加权合成：

<|[C]|>＝f_s<[C]>_surface+f_d〈[C]〉_double+f_v〈[C]〉_volume+f_h〈[C]〉_helix>

其中f_s、f_d、f_v和f_h分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；

3d)将<1>至<5>带入<6>得到方程组<7>：

3e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：

3f)定义一个大小为M1×M2×4的矩阵F2，将分解出的散射功率赋给矩阵F2，得到基于像素点的特征矩阵F2，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

其中步骤4)中，将特征矩阵F1和F2按照大小为32×32进行切块处理。

其中步骤4)中，对特征矩阵F1和F2进行32×32切块时，将每两个块之间的切割间隔定为32。

步骤5)中，训练数据集P由随机选取数量为6％的特征矩阵块构成。

步骤6)中，训练数据集Y由随机选取数量为6％的特征矩阵块构成。

其中步骤7)构造的20层深度融合神经网络参数如下：

对于第1层输入层，设置特征映射图数目为3和4；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层级联层，设置axis参数为1；

对于第13层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第15层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第16层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第17层Crop层，设置最终裁剪规格为32×32；

对于第18层Splitting层，设置blob分离数为2；

对于第19层CRF层，设置特征映射图数目为64；

对于第20层Softmax分类器，设置特征映射图数目为2。

与现有技术相比，本发明至少具有以下有益效果：

本发明将图像块特征扩展成像素级特征，降低了存储空间，提高了计算效率低；利用Lee滤波对原始极化SAR进行预处理，有效降低了相干斑噪声，提高图像的质量和检测性能；将Yamaguchi分解得到的主要对应于城市建筑的螺旋散射分量，与Pauli分解得到的散射分量通过融合网络的级联层进行特征融合，从而有效的提取出极化SAR人造目标的特征，增加了多极化特征的人造目标的检测精度；

用于图像后处理的CRF(条件随机场)，其能量函数包括一个数据项和平滑项，数据项是基于每个像素属于各个类别的概率，平滑项是基于像素之间的灰度值差异和空间距离，传统的CRF的平滑项只考虑相邻像素间的关联，而全连接的CRF能够考虑图像中任意两个像素之间的关联性，即图像的邻域信息，同时还提高了图像的细节检测精度，本发明利用FCN-CRF融合网络对极化SAR人造目标进行检测，实现了主融合网络FCN与从属网络CRF端到端的目标检测模型，由于模型的泛化性能好，使得在训练样本较少的情况下仍可以达到很高的分类精度。

而且，本发明步骤7)中构造的训练网络中每一步的池化步骤会对图像大小进行减半，将特征矩阵F1和F2按照大小为进行切块处理，四步池化操作后的特征矩阵大小变为，该大小的特征矩阵能够保证原特征矩阵所涵盖的数据，使得检测效果最佳；同时，对特征矩阵F1和F2进行切块时，将每两个块之间的切割间隔定为32，扩充足够的样本数据。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的旧金山地区极化SAR数据经过Pauli分解后的伪彩图；

图3是本发明仿真使用的旧金山地区极化SAR数据经过Yamaguchi分解后的伪彩图；

图4是本发明仿真使用的旧金山地区极化SAR数据人造目标人工标记图；

图5是本发明仿真使用的旧金山地区极化SAR数据人造目标检测结果图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的具体实现步骤如下：

步骤1，输入待检测的极化SAR图像，获得滤波后的相干矩阵。

输入待检测极化SAR图像；

由该极化SAR图像的极化相干矩阵T求得极化散射矩阵S，并且对该极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵T1中每个元素是一个3×3矩阵，相当于每个像素点有9维特征,求解步骤如下：

(1a)已知待分类图像的极化相干矩阵T，由该极化相干矩阵T得到其对角线上的三个元素T₁₁、T₂₂、T₃₃，即极化相干矩阵T第1行第1列的元素、极化相干矩阵T第2行第2列的元素、极化相干矩阵T第3行第3列的元素；

(1b)由T₁₁、T₂₂、T₃₃，求出S_HH、S_VV、S_HV：

其中，S_HH为水平发射且水平接收的散射分量、S_VV为垂直发射且垂直接收的散射分量、S_HV为水平发射且垂直接收的散射分量；

(1c)根据步骤(1b)得到的S_HH、S_VV、S_HV，组成极化散射矩阵S：

步骤2，对极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射、体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F1。

(2a)定义Pauli基{S₁,S₂,S₃}的公式如下：

其中S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

(2b)由Pauli分解定义得到如下等式：

其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；

(2c)求解式<4>，代入式<1>求得的S_HH、S_VV、S_HV，得到3个散射系数a、b、c：

(2d)定义一个大小为M1×M2×3的矩阵F1，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F1，得到基于像素点的特征矩阵F1，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

步骤3，对滤波后的相干矩阵T1进行Yamaguchi分解，得到奇次散射、偶次散射、体散射以及螺旋散射功率，用这些分解得到的功率作为表征极化SAR人造目标的4维图像特征，构成基于像素点的特征矩阵F2。

3a)首先给出待检测目标的协方差矩阵C为：

其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；

3b)将Yamaguchi提出的四种散射矩阵，表面散射S_surface、偶次散射S_double、体散射S_volume以及第四种螺旋体散射S_helix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：

其中α是一个复数，β是一个实数；

3c)然后将待检测目标的协方差矩阵C看成是四个散射分量协方差矩阵的加权合成：

<[C]>＝f_s<[C]>_surface+f_d<[C]>_double+f_v<[C]>_volume+f_h<[C]>_helix>

其中f_s、f_d、f_v和f_h分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；

3d)将<1>至<5>带入<6>得到方程组<7>：

3e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：

3f)定义一个大小为M1×M2×3的矩阵F2，将分解出的散射功率赋给矩阵F2，得到基于像素点的特征矩阵F2，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

步骤4，将F1和F2均按照大小为32×32，间隔为32切块处理，构成若干特征矩阵块F1_pauli和F2_yama作为样本数据。

步骤5，从步骤4中由F1扩充出的数据集F1_pauli中，随机选取一定数量的特征矩阵块构成训练数据集P,余下的作为测试数据集P’。

步骤6，从步骤4中由F2扩充出的数据集F2_yama中，随机选取一定数量的特征矩阵块构成训练数据集Y,余下的作为测试数据集Y’；

步骤7，构造基于FCN-CRF融合网络的检测模型。

(7a)选择一个由[输入层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→Dropout层1]+[输入层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→Dropout层2]→级联层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的20层深度融合神经网络，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3和4；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层级联层，设置axis参数为1；

对于第13层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第15层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第16层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第17层Crop层，设置最终裁剪规格为32×32；

对于第18层Splitting层，设置blob分离数为2；

对于第19层CRF层，设置特征映射图数目为64；

对于第20层Softmax分类器，设置特征映射图数目为2。

7b)将从步骤5和步骤6中产生的训练数据集P和训练数据集Y提取出的人造目标特征数据通过网络中的特殊层结构cancat，即级联层，实现数据融合，从而构成FCN(全卷积)融合模型。

7c)进一步提取融合后的数据的特征，即步骤7a)级联层后面的操作，最后将CRF层嵌入步骤7b中提到的FCN融合模型中，实现FCN融合模型与CRF端到端的训练与检测，对FCN融合网络的检测结果进行精细化处理，增强图像的边缘约束；

步骤8，用步骤5和步骤6得到的训练数据集P和训练数据集Y对步骤7构造的检测模型进行训练，得到训练好的模型。

将训练数据集P和训练数据集Y的特征矩阵作为目标检测模型的输入，训练数据集P和Y中每个像素点，将属于人造目标的类别作为检测模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化目标检测模型的网络参数，得到训练好的目标检测模型，人工标记的正确类标如图4所示。

步骤9，利用步骤7中训练好的模型对待检测的极化SAR图像进行目标检测，得到极化SAR图像中每个代表人造目标的像素点。

将极化SAR图像的特征矩阵作为训练好的目标检测模型的输入，训练好的检测模型的输出为对极化SAR图像中每个人造目标像素点的标注。

本发明的效果可以通过以下仿真实验进一步说明：

仿真条件：

硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G。

软件平台为：Caffe。

仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，仿真图像如图2和图3所示，图像大小为1800×1380，分辨率为10×5米，该图为RADARSAT_2系统于2008年获取的旧金山海湾地区极化SAR数据。即分别从极化SAR人造目标数据中随机选取6％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图5的检测结果。从图5可以看出：检测结果的区域一致性较好，城区目标的边缘也非常清晰，且保持了细节信息，相比于图4中的人工标记图像，城区目标所在的像素点位置极为接近，由此得出该模型的检测精度很高。

再依次减少训练样本，使训练样本占样本总数的4％、2％，将本发明与Yamaguchi分解结合全卷积神经网络的测试数据集检测精度进行对比，结果如表1所示：

表1

从表1可见，训练样本占样本总数的6％、4％、2％时，本发明的测试数据检测精度均高于Pauli分解结合全卷积神经网络的检测结果。

综上，本发明通过多极化特征结合FCN-CRF融合网络对极化SAR人造目标检测，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的检测精度。