融合自学习语义特征与设计特征的遥感影像目标提取方法

摘要

本发明公开了一种融合自学习语义特征与设计特征的遥感影像目标提取方法，包括如下步骤：使用人工设计的边缘算子对遥感影像提取内部边缘点，依据边缘点完成图像初始分割并标记分割对象；通过改进的Mask R‑CNN模型学习并提取建筑物语义特征，根据自学习语义特征提取建筑物掩膜图像；融合基于边缘算子的遥感影像分割图与掩膜图像获得最终建筑物提取图。本发明从建筑物的自学习语义特征与人工设计特征两个角度出发，完成建筑物提取。模型既可以通过自学习语义特征弥补传统人工特征设计困难导致的目标误提取、漏提取问题，又可通过人工特征的设计完善自学习语义特征导致的建筑物提取结果边缘拟合较差、局部缺失问题。

说明书

技术领域

本发明涉及高分辨率遥感影像目标提取技术，尤其是一种融合自学习语义特征与人工设计特征的遥感影像目标提取方法。

背景技术

随着遥感卫星领域技术的进步以及城市化发展产生的需求，遥感影像中建筑物目标自动化精确提取已经成为数字测图领域重要的研究方向。目前，遥感图像进行目标建筑物提取的方法可以归结为基于人工设计特征的提取方式和新兴的深度学习技术。

当前，遥感图像进行目标建筑物提取的主流方法可以归结为基于人工设计特征的提取方式。在此基础上，根据建筑物提取原理不同分为以下三类：(1)基于遥感影像底层特征提取建筑物。(2)结合高程信息的建筑物提取。此类方法使用高程信息分离出非地面点，然后结合建筑物常用的边缘特征、光谱特征等人工特征检测建筑物。(3)面向对象的建筑物提取方法。该类方法首先利用遥感影像的光谱、纹理、边缘等信息对影像进行初始分割，使同质像素组成大小不同的对象，然后利用建筑物独有的光谱信息、形状纹理等特征进行提取。由于人工设计特征不完善，使得人工设计特征提取建筑物的方法提取结果中出现了大量误提取、漏提取现象。近年来，以深度卷积神经网络为代表的深度学习技术在计算机视觉领域中取得了极佳的成果。深度学习技术相对于传统人工设计特征的方法在目标识别领域具有一定优越性，但同时也表现出其在图像分割领域出现了提取结果局部缺失、边缘拟合较差的缺点。因此，结合两者的优势提出更精准的建筑物提取方法是一种发展趋势。

发明内容

发明目的：针对深度学习和特征提取各自优劣，为了准确有效地提取建筑物，本发明提供一种融合自学习语义特征与人工设计特征的遥感影像目标提取方法，它克服了传统设计特征方法中特征设计不完善造成的目标误提取、漏提取问题，同时通过结合建筑物的人工设计特征减少了自学习语义特征提取结果中出现的边缘拟合较差、局部漏提取等问题。

技术方案：为实现上述发明目的，本发明所述的融合自学习语义特征与设计特征的遥感影像目标提取方法，包括如下步骤：

(1)使用人工设计的边缘算子确定遥感影像中的边缘点，查找遥感影像内部边缘线，依据边缘线完成影像分割并标记，不同分割对象采用不同奇数/偶数初始化其像素值，每个对象中所有像素初始化为同一奇数/偶数值；

(2)使用Mask R-CNN模型自动学习并提取建筑物语义特征，并根据自学习语义特征提取出建筑物掩模图像，将掩模图像的像素值初始化为1；

(3)建立区域融合模型，将步骤(1)得到的对象分割图与步骤(2)得到的建筑物掩模图像对应像素相加，基于奇偶标记法获取掩模图像占据每个分割对象比例，根据设定的阈值判断分割对象是否属于建筑物，对建筑物掩模图像进行优化，提取出建筑物目标。

进一步地，所述步骤(1)包括：

(11)以遥感影像作为数据源，使用高斯模板对遥感影像消除图像噪声；

(12)使用人工设计的边缘点提取算子获得遥感影像梯度图，根据边缘算子矩阵求出图像一阶梯度图，确定每个像素点的边缘梯度强度M和边缘方向θ：

θ＝arctan(t_y/t_x)

上式中t_x、t_y为像素点(x，y)处水平、垂直方向的一阶导数值；

(13)依据检测边缘点在局部实现边缘点的连接，从而形成平滑边缘；具体为：通过设定边缘梯度强度阈值选取出图像边缘点位置，再在每个边缘点(x，y)处的一个邻域内依据规则判断其周围点是否为边缘点，具体判断规则如下：

|M(s，t)-M(x，y)|≤E

|θ(s，t)-θ(x，y)|≤A

其中(x，y)为提取到的边缘点，M(s，t)、M(x，y)分别为点(s，t)与点(x，y)处的梯度强度，θ(s，t)、θ(x，y)分别为点(s，t)与点(x，y)处的方向；E是一个正阈值；A为一个正角度阈值；当满足以上条件，坐标(s，t)的像素点被判定为与点(x，y)相连的边缘点；

(14)以生成的图像边缘线为基础，将图像划分为多个对象，并对每个对象标记，每个对象中所有像素使用同一奇数/偶数作为像素值进行标记。

进一步地，所述步骤(2)包括：

(21)通过改进的Mask R-CNN深度卷积网络确定自学习语义特征提取网络模型结构；与Mask R-CNN模型结构相比，所述的改进的Mask R-CNN将模型类别判断与位置拟合分支删除；将区域推荐网络中获取目标位置直接放入掩模图像获取分支；网络具体设计结构为：使用50层残差卷积网络作为主干网络提取自学习语义特征，三个卷积层构成区域推荐网络用于输出待提取建筑物的位置信息，最后通过五层卷积层与一层反卷积层构成输出结构，输出结果为与原图大小相同的建筑物掩模图像；

(22)输入建筑物像素级标注数据集，经过反向传播算法迭代，训练网络参数，并基于训练后的改进的Mask R-CNN网络得到建筑物掩模图像。

进一步地，改进的Mask R-CNN网络的损失函数为：

L_mask＝z*-log(sigmoid(x))+(1-z)*-log(1-sigmoid(x))

其中L_mask为二值交叉熵损失函数，z为标注真值，x为预测值，sigmoid为激活函数。

进一步地，所述步骤(3)包括：

(31)对于步骤(1)中获取的遥感影像分割对象进行每个对象所包含像素数量的统计，得到每个分割对象所占区域范围；然后统计神经网络模型提取得到的遥感影像中的建筑物掩模图像在每个对象中包含的像素数量；通过获取掩模图像占据每个分割对象比例，从而判断分割对象是否归属于建筑物；

(32)建立包含阈值λ的判断函数，当掩模图像所占据对象的像素数量大于或等于阈值时，此对象被标记为建筑对象；

判断函数公式如下所示：

γ(x_i，y_i)＝sign(x_i-λy_i)

其中γ为建筑物标记，取值为0、1或-1，γ为1或0，则步骤(1)中分割对象i标记为建筑物，γ为-1，对象i标记为非建筑物；x_i为建筑物掩模占据对象i的像素数，y_i为对象i的像素数，λ为建筑物判别阈值。

有益效果：与现有技术相比，本发明的优点在于：将建筑物人工设计的边缘特征提取方法和自学习语义特征提取目标建筑物的优化方法结合使用以提取遥感影像目标建筑物，通过自学习语义特征进行建筑物定位，解决了人工设计特征困难导致的大量误提取问题，同时结合建筑物设计特征消除了自学习语义特征提取建筑物中出现的边缘拟合较差以及局部缺失问题。

附图说明

图1为融合自学习语义特征与设计特征的遥感影像目标提取结构框图。

图2为改进Mask R-CNN网络结构图。

具体实施方式

下面结合附图和具体实施，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

结合图1描述本发明的技术细节。在本发明中，将设计特征引入自学习语义特征目标提取方法中，该方法主要包括以下三个步骤：

一是使用人工设计的边缘算子确定遥感影像中的边缘点，查找遥感影像内部边缘线，以边缘线为基础完成影像分割并标记；二是使用多层残差网络提取建筑物语义特征，通过自学习语义特征提取出建筑物掩模图像；三是建立区域融合模型，对建筑物掩模图像进行优化。

以下详细描述各步骤的具体实现过程：

步骤一、影像分割并标记

具体包括如下步骤：

(11)以遥感影像作为数据源，使用高斯模板对遥感影像消除图像噪声；本实施例中选取国产高分二号遥感影像作为数据源，使用5*5大小高斯模板对遥感影像消除图像噪声，模板如下：

(12)使用人工设计的边缘点提取算子获得遥感影像梯度图。边缘提取算子对最终提取效果具有一定影响，可以使用Canny、Roberts、Prewitt等边缘提取算子替代本实施例中使用的算子。本实施例选取边缘算子如下：

上式中P为消噪后的遥感影像图，T_X、T_y为图像水平、垂直方向的一阶导数值；根据边缘算子矩阵求出图像一阶梯度图，确定每个像素点的边缘梯度强度M和边缘方向θ：

θ＝arctan(t_y/t_x)

上式中t_x、t_y为像素中点(x，y)的一阶导数值；

(13)依据检测边缘点在局部实现边缘点的连接，从而形成平滑边缘；具体通过设定边缘梯度强度阈值选取出图像边缘点位置，再在每个边缘点(x，y)处的一个邻域内依据规则判断其周围点是否为边缘点，具体判断规则如下：

|M(s，t)-M(x，y)|≤E

|θ(s，t)-θ(x，y)|≤A

其中(x，y)为提取到的边缘点；E是一个正阈值；A为一个正角度阈值；当满足以上条件，坐标(s，t)的像素点被判定为与点(x，y)相连的边缘点；

(14)以生成的图像边缘线为基础，将图像划分为多个对象，并对每个对象标记，每个对象中所有像素使用同一奇数(或偶数)作为像素值进行标记。

通过高斯模板对图像进行加权平均的过程，可以有效去除遥感影像中细微噪点，有效提升了边缘点提取的准确性；通过边缘算子可以近似获得图像亮度函数的一阶梯度近似值图像，准确提取出建筑物边缘轮廓信息；通过后续边缘连接方法可以精确生成遥感影像中边缘信息，并由此将遥感影像分割为多个对象。

步骤二、建立改进Mask R-CNN模型提取语义特征

具体包括如下步骤：

(21)确定自学习语义特征提取网络模型结构；与Mask R-CNN模型结构(He K，Gkioxari G，Dollar P，et al.Mask R-CNN[J].IEEE Transactions on PatternAhalysis&Machine Intelligence，2017，PP(99)：1-1.)相比，所述的改进的Mask R-CNN将模型类别判断与位置拟合分支删除；将区域推荐网络中获取目标位置直接放入掩模图像获取分支；如图2所示，网络具体设计结构为：使用50层残差卷积网络作为主干网络提取自学习语义特征，三个卷积层构成区域推荐网络用于输出待提取建筑物的位置信息，最后通过五层卷积层与一层反卷积层构成输出结构，输出结果为与原图大小相同的建筑物掩模图像；

(22)输入建筑物像素级标注数据集，经过反向传播算法迭代，训练卷积神经网络权值等参数，并基于训练后的改进的Mask R-CNN网络得到建筑物掩模图像；

针对本发明中对建筑物对象进行提取，改进后的Mask R-CNN模型将类别判断与位置拟合分支删除，并将损失函数修改为：

L_mask＝z*-log(sigmoid(x))+(1-z)*-log(1-sigmoid(x))

其中L_mask为二值交叉熵损失损失函数，z为标注真值，x为预测值，sigmoid为激活函数。

步骤三、建立目标建筑物提取融合模型，对改进Ma_sk>

具体包括如下步骤：

(31)对于步骤一中获取的遥感影像分割对象进行每个对象所包含像素数量的统计，得到每个分割对象所占区域大小；然后统计神经网络模型提取得到的建筑物掩模图像在每个对象中包含的像素数量；通过获取掩模图像占据每个分割对象比例，从而判断分割对象是否归属于建筑物；

(32)建立包含阈值λ的判断函数，当掩模图像所占据对象的像素数量大于或等于阈值时，此对象被标记为建筑对象；

判断函数公式如下所示：

γ(x_i，y_i)＝sign(x_i-λy_i)

其中γ为建筑物标记，取值为0、1或-1，γ为1或0，则步骤(1)中分割对象i标记为建筑物，γ为-1，对象i标记为非建筑物；x_i为建筑物掩模占据对象i的像素数，y_i为对象i的像素数，λ为建筑物判别阈值。

为方便步骤(32)计算，本发明中采用奇偶标记法，标记初始分割对象与建筑物掩模图像。具体说明如下：对于步骤一中所有初始分割对象采用不同奇数(或偶数)初始化其像素值，每个对象中所有像素初始化为同一奇数(或偶数)值；步骤二中建筑物掩模图像其像素值初始化为1；通过步骤一与步骤二提取图像对应像素相加的结果图可以方便获取判断函数中的各项参数值。