一种二分类嵌入空间引导角度回归的旋转目标检测方法

摘要

本发明涉及一种二分类嵌入空间引导角度回归的旋转目标检测方法，属于遥感旋转目标检测技术领域。首先，该方法将遥感目标的角度预测周期解耦为两个镜像对称的二分类嵌入空间，对目标的方向进行初步的类别判定。然后，在二分类子空间的引导下，在子空间内对旋转目标的角度进行进一步的精准预测。最后，通过二分类嵌入空间得分类结果和子空间内的角度预测进行真实角度计算。本方法有效地解决了网络训练过程中角度回归周期不连续问题对网络收敛的影响，提高了遥感旋转目标的角度预测精准度，具有良好的实际应用价值。

说明书

技术领域

本发明涉及一种遥感旋转目标检测方法，具体涉及一种二分类嵌入空间引导角度回归的旋转目标检测方法，属于遥感图像目标检测技术领域。

背景技术

目标检测技术目前已经成为了处理遥感影像的首要手段。目标检测技术是针图对输入的宽幅遥感像进行有效信息的提取，并预测出不同类别目标的准确位置及类别信息，从而支撑遥感数据的智能化应用，并在智能交通、灾害预测、港口贸易管理、应急搜救和军事异动侦查等领域发挥重要的作用。

由于遥感图像的空间分辨率不断提高，遥感目标的形状及轮廓信息更加丰富，面对具有任意角度变化以及不规则宽高比的遥感目标，传统的水平框目标检测方法已不能提供精准的目标定位，因为对于具有大宽高比的任意角度遥感目标，水平框的定位将会包含大量的背景干扰，从而会影响到目标的识别。同时，在遥感目标密集排布的场景下，采用水平框很容易会由于密集目标的水平框之间重叠率过高而导致正样本的边界框被非极大值抑制算法过滤掉，从而造成漏检。

因此，如何从大幅宽、高分辨率的遥感图像中精准地检测出遥感旋转目标已经成为一项十分重要的研究课题。目前，绝大多数旋转框目标检测方法为了预测出旋转目标的角度信息，一般选择直接在基于水平框的检测器基础上额外添加角度预测向量，但是，该类方法存在着角度回归周期不连续的问题，例如，当目标的角度在周期变化边缘时，易因为轻微的角度偏移造成角度回归损失值的突变，从而导致网络收敛不稳定，影响旋转目标角度的预测精准度。虽然，目前一些研究者已经对角度周期不连续的问题进行了解决，但是往往需要复杂的转换公式以及后处理操作，影响网络的处理效率。

发明内容

本发明的目的是针对现有技术存在的不足和缺陷，为解决遥感旋转目标角度回归周期不连续导致角度预测精度受限的问题，创造性地提出一种二分类嵌入空间引导角度回归的旋转目标检测方法。

本发明方法是通过下述技术方案实现的。

一种二分类嵌入空间引导角度回归的旋转目标检测方法，包括以下步骤：

步骤1：构建基于卷积神经网络的编解码器网络；

步骤2：在编解码器网络后，并行地构建四个预测网络，分别包括目标中心点预测网络、目标宽高预测网络以及二分类嵌入空间类别预测网络和子空间角度值预测网络；

步骤3：将遥感图像输入到步骤1获取的基于卷积神经网络的编解码器网络中，以获取遥感图像的深层语义特征。

步骤4：将步骤3获取的遥感图像的深层语义特征并行地输入到步骤2构建的目标中心点预测网络、目标宽高预测网络以及二分类嵌入空间类别预测网络和子空间角度值预测网络中，以获得目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值。

步骤5：对遥感图像中的真实旋转边界框进行处理，以获取用于监督网络训练的目标中心点坐标值、目标宽高值、目标的二分类嵌入空间类别值和目标的二分类子空间内角度值等四个监督信号；

步骤6：将步骤5所获取的目标中心点坐标值、目标宽高值、目标的二分类嵌入空间类别值和目标的二分类子空间内角度值分别与步骤4所获取的目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度预测值通过损失函数进行损失值的计算，然后通过反向传播算法进行网络优化训练，直至网络训练收敛，得到训练完成的网络模型；

步骤7：将待检测的遥感图像输入到步骤6训练完成的网络模型中，网络模型将输出目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值，然后通过后处理操作将四个预测值还原成为目标旋转边界框，从而完成二分类嵌入空间引导角度回归的旋转目标检测。

所述的步骤1，构建基于卷积神经网络的编解码器网络的方法为：

步骤1.1：选取一个通用的骨架网络作为编解码器网络的编码器部分。

步骤1.2：在步骤1.1中的编码器部分之后，串联地构建三个上采样倍数为2的转置卷积，将该转置卷积层的组合作为编解码器网络的解码器部分。

所述的步骤2，中心点预测网络、目标宽高预测网络、二分类嵌入空间类别预测网络和子空间角度预测网络构建方法为：

中心点预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为类别数。

宽高预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为2。

二分类嵌入空间类别预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为2。

子空间角度预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为1。

所述的步骤3，获取遥感图像的深层语义特征的方法为：

将遥感图像输入到基于卷积神经网络的编解码器网络中，卷积依次通过编解码器网络的卷积层，将最后一个卷积层的输出结果视为遥感图像的深层语义特征。

所述的步骤4，目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值的获取方法：

目标中心点预测值由目标中心点预测网络的最后一个卷积层输出得到；目标宽高预测值由目标宽高预测网络的最后一个卷积层的输出得到；二分类嵌入空间类别预测值由二分类嵌入空间类别预测网络的最后一个卷积层的输出得到；子空间角度值预测值由子空间角度值预测网络的最后一个卷积层的输出得到；

所述的步骤5，对遥感图像中的真实旋转边界框进行处理的方法为：

步骤5.1：对数据集中遥感目标真实标注框的四点坐标进行重新排序以保证第一个坐标点的横坐标，即x值，在四个坐标点中是最小的，然后以顺时针顺序排序其余三个坐标点，将排序后的坐标点记为(x

步骤5.2：根据步骤5.1的四个坐标点计算目标中心点和目标边界框的宽度和高度。

步骤5.3：根据步骤5.1的四个坐标点计算目标所在的二分类嵌入空间的类别，具体操作如图3所示，计算(x

然后，对d

步骤5.4：根据步骤5.1的四个坐标点计算目标的子空间角度值，如图3所示，将长边的两个端点坐标记作(x

所述的步骤7，将目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值还原为目标旋转边框框的后处理操作为：

步骤7.1：将二分类嵌入空间类别预测值和子空间角度值预测值按照式(4)进行处理，以获取目标旋转框的真实旋转角度。

其中，α′代表180度表示法中的真实角度值；α代表子空间内角度预测值；d表示二分类嵌入空间类别预测值。

步骤7.2：将计算所得的角度α′和预测的中心点坐标及目标宽高预测值进行合并，计算得到遥感目标的四点坐标值

有益效果

本方法，对比现有技术，具有以下优点：

本方法能够有效解决网络训练过程中角度回归周期不连续问题对网络收敛的影响，提高了角度预测的精准度，同时，相较于其它解决周期不连续问题的方法，具有简洁、高效的特点。

本发明的方法，首先，该方法将遥感目标的角度预测周期解耦为两个镜像对称的二分类嵌入空间，对目标的方向进行初步的分类判定，将角度周期性回归问题转化为二分类问题。然后，通过二分类嵌入空间的引导，在嵌入子空间内对旋转目标的角度进行精准的预测，避免了网络训练过程中在角度回归周期边界由于轻微的角度变化发生损失值突变的问题。最后，根据二分类嵌入空间的分类结果和子空间内的角度预测结果进行遥感旋转目标的真实角度计算，计算方式简单，不会产生繁琐的后处理操作。

本发明涉及一种二分类嵌入空间引导角度回归的旋转目标检测方法，属于遥感旋转目标检测技术领域。首先，该方法将遥感目标的角度预测周期解耦为两个镜像对称的二分类嵌入空间，对目标的方向进行初步的类别判定。然后，在二分类子空间的引导下，在子空间内对旋转目标的角度进行进一步的精准预测。最后，通过二分类嵌入空间得分类结果和子空间内的角度预测进行真实角度计算。本方法有效地解决了网络训练过程中角度回归周期不连续问题对网络收敛的影响，提高了遥感旋转目标的角度预测精准度，具有良好的实际应用价值。

附图说明

图1为本方法的整体流程图。

图2为本方法中提出的二分类嵌入空间引导角度回归方法与其它方法的对比示意图。

图3为本方法中的二分类嵌入空间和嵌入子空间内角度信息获取示意图。

具体实施方式

下面结合附图和实施例，对本发明方法做进一步详细说明。

实施例

一种二分类嵌入空间引导角度回归的旋转目标检测方法，整体流程如图1所示，具体包括以下步骤：

步骤1：构建基于卷积神经网络的编解码器网络；

本发明给出了一种具体实现方法，包括以下步骤：

步骤1.1：选取ResNet-50骨架网络作为编解码器网络的编码器部分。

步骤1.2：在步骤1.1中的编码器部分之后，串联地构建三个上采样倍数为2的转置卷积，将该转置卷积层的组合作为编解码器网络的解码器部分。

下面对上采样倍数为2的转置卷积的构建方法举例说明：

首先，构建一个输入通道为2048，输出通道为256，卷积核大小为4，卷积步长为2，填充为1的转置卷积；然后，构建一个输入、输出通道数均为256、卷积核大小均为4、卷积步长均为2、填充均为1的转置卷积；最后，构建一个输入、输出通道数均为256、卷积核大小均为4、卷积步长均为2、填充均为1的转置卷积。

步骤2：在编解码器网络后，并行地构建四个预测网络，分别包括目标中心点预测网络、目标宽高预测网络以及二分类嵌入空间类别预测网络和子空间角度预测网络；

本发明给出了一种具体实现方法：

中心点预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为类别数。

宽高预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为2。

二分类嵌入空间类别预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为2。

子空间角度预测网络采用两层卷积层：第一层采用参数独立的3×3卷积层，其步长为1，填充为1，输出通道为64；第二层采用参数独立的1×1卷积层，其步长为1，填充为0，输出通道为1。

步骤3：将遥感图像输入到基于卷积神经网络的编解码器网络中，以获取遥感图像的深层语义特征。

本发明给出了一种具体实现方法，包括以下步骤：

步骤3.1：将遥感图像送入步骤1.1构建的ResNet-50编码器网络中，进行特征提取，得到中间特征F。

下面举例说明。

将尺寸为640×640的光学遥感图像S

步骤3.2：将中间特征F输入到步骤1.2构建的解码器网络中，对中间特征的分辨率进行提高。

下面举例说明。

将尺寸为20×20，通道数为2048的编码器网络输出结果输入到解码器中后，经过三个上采样倍数为2的转置卷积，最终获取深层语义特征F

步骤4：将步骤3获取的遥感图像的深层语义特征并行地输入到目标中心点预测网络、目标宽高预测网络以及二分类嵌入空间类别预测网络和子空间角度值预测网络中，从而得到目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值。

本发明给出了一种具体实现方法，包括以下步骤：

步骤4.1：将深层语义特征F

步骤4.2：将深层语义特征F

步骤4.3：将深层语义特征F

步骤4.4：将深层语义特征F

步骤5：对遥感图像中的真实旋转边界框进行处理，以获取用于监督网络训练的目标中心点坐标值、目标宽高值、目标的二分类嵌入空间类别值和目标的二分类子空间内角度值等四个监督信号；

本发明给出了一种具体实现方法，包括以下步骤：

步骤5.1：对数据集中遥感目标真实标注框的四点坐标进行重新排序以保证第一个坐标点的横坐标，即x值，在四个坐标点中是最小的，然后以顺时针顺序排序其余三个坐标点，将排序后的坐标点记为(x

步骤5.2：根据步骤5.1的四个坐标点计算目标中心点和目标边界框的宽度和高度。

步骤5.3：根据步骤5.1的四个坐标点计算目标所在的二分类嵌入空间的类别，再对嵌入子空间内的角度进行计算。

为了避免在角度回归周期边界处出现角度突变的问题(如图2(a)、(b)所示)，首先根据目标的朝向对整个角度周期进行了解耦，将其划分为两个镜像对称的子空间，然后对子空间内的角度值进行计算。

下面举例说明。

如图3所示，计算(x

然后，对d

接下来，将长边的两个端点坐标记作(x

通过上述方法解耦角度周期后，角度预测的回归周期示意如图2(c)所示，可以避免角度回归周期边界的角度突变问题。

步骤6，将步骤5所获取的目标中心点坐标值、目标宽高值、目标的二分类嵌入空间类别值和目标的二分类子空间内角度值分别与步骤4所获取的目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度预测值通过损失函数进行损失值的计算，然后通过反向传播算法进行网络优化训练，直至网络训练收敛，得到训练完成的网络模型；

本发明给出了一种具体实现方法：

根据步骤5制备的监督信号，利用损失函数对网络进行监督训练。

下面举例说明。

针对目标中心点预测任务，采用修改后的Focal Loss，具体如下式(8)所示：

其中，C表示类别，N表示正样本数；H和W表示输出特征图的宽度和高度；

然后，针对二分类嵌入空间预测任务，采用与中心点预测任务相似的损失函数，具体如下式(9)所示：

其中，D表示二分类嵌入空间的类别数，M表示正样本数目；H和W表示输出特征图的宽度和高度；

此外，宽度高度及子空间内角度的损失函数均采用Smooth-L1范式损失函数，具体如下式(10)所示：

其中，x表示真实值与预测值之间的差值，即，h

步骤7：将待检测的遥感图像输入到步骤6训练完成的网络模型中，网络模型将输出目标中心点预测值、目标宽高预测值、二分类嵌入空间类别预测值和子空间角度值预测值，然后通过后处理操作将四个预测值还原成为目标旋转边界框，从而完成二分类嵌入空间引导角度回归的旋转目标检测。

本发明给出了一种具体实现方法，包括以下步骤：

步骤7.1：对旋转目标边界框的真实角度进行还原。

下面举例说明。

将二分类结果d和子空间角度α按照式(11)进行后处理计算，获取真实的角度α′，需要注意的是，该α′代表180度表示法中的真实角度值。

步骤7.2：将计算所得的角度α′和预测的中心点坐标(x,y)及目标宽度w高度h进行合并，计算得到遥感目标的四点坐标值

在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。