一种全局感知高分辨率遥感影像多尺度残差道路提取方法

摘要

本发明涉及一种全局感知高分辨率遥感影像多尺度残差道路提取方法，所提出的全局感知高分辨率遥感影像多尺度残差学习道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够一定程度上解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别零散的问题，可以显著提升道路识别精度。

说明书

技术领域

本发明基于遥感图像技术处理领域，特别涉及一种全局感知高分辨率遥感影像多尺度残差道路提取方法。

背景技术

道路作为国家一种重要的基础设施建设，是高分辨率遥感影像中一项重要的地物目标，对于人类生活具有十分重要的影响。对于一个国家而言，交通体系越发达，越有利于国家的经济社会建设。传统的道路信息获取方法需要专业人员实地测图，矢量化编辑，最后获取道路数据，此过程人工参与大，外界因素干扰多，更新速度慢，已无法满足经济社会快速发展的需求。而高分辨率遥感影像上，道路呈明显线状分布，道路边缘相互平行，道路宽度变化微小，多条道路相互交错形成路网。利用高分辨率遥感影像进行道路提取，不仅具有成本低，覆盖范围广的优势，还能获取实时性好、相对准确率高的道路信息。然而遥感影像的高分辨率也为道路提取带来了新的难题，随着影像细节信息的增加，道路分布情况更加复杂，其他地物带来的噪声干扰也愈发严重。因此，从高分辨率遥感影像中进行道路提取既是当前遥感领域的研究热点，也是一个研究难点。

历经几十年，已有众多专家学者投身于道路提取算法的研究。归纳这些方法，依据道路提取的层次，可以将道路提取方法分为基于像元的方法，面向对象的方法和基于深度学习的方法，面向遥感大数据的背景，目前最为主流的方法就是基于深度学习的方法。然而，道路不同于其它地物目标，道路分布在整张影像上且相互连接，深度学习模型中的卷积操作和池化操作每次只能处理局部区域，导致深度学习模型不可避免感受野有限，从而无法有效地长距离传播信息，这与道路的长跨度连接属性不匹配，导致道路识别结果存在很多零散的情况。

基于此，考虑直接增大深度学习模型感受野，捕获道路的长距离依赖关系，来改善道路识别零散的情况。

发明内容

本发明的目的在于提出一种全局感知高分辨率遥感影像多尺度残差道路提取方法。

提出的全局感知高分辨率遥感影像多尺度残差道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够一定程度上解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别零散的问题。

本发明中我们所提出的全局感知高分辨率遥感影像多尺度残差道路提取方法具有以下三个显著特点。一是发明了一个高分辨率遥感影像全局感知道路提取框架，该框架从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息。其二，全局感知操作从空间和通道两个维度来捕获长距离依赖关系，在空间维度上，设计了一种空间感知模块通过空间上下文建模，来捕获空间维度上的上下文依赖关系，在通道维度上，设计了一种通道感知模块通过逐通道建模，来捕获逐通道之间的依赖关系。其三，在残差模块内应用多尺度残差学习提取多尺度特征的同时增大网络感受野，由于全局感知操作在两个残差块之间进行，前面的残差学习获得的信息越丰富，后续的全局感知操作将会越有效，因此，在每一个残差块内应用多尺度残差学习来为后续的全局感知操作提供更丰富的信息。

本发明提供一种全局感知高分辨率遥感影像多尺度残差道路提取方法，实现步骤如下：

步骤1，获取高分辨率遥感影像道路竞赛数据集，按照公开划分方式将其拆分为训练集和测试集，对训练集进行归一化与数据增强；

步骤2，构建融合多尺度残差学习的全局感知道路提取模型，主要包括两个部分的改进：三个全局感知模块构建和四个多尺度残差学习模块构建。在四个残差模块内采用多尺度残差学习，在残差模块之间进行三个全局感知操作，即全局感知模块的输入为多尺度残差学习模块的输出；最终通过Sigmoid分类器获取道路分割概率图。

步骤3，基于构建的全局感知道路提取模型，在训练集上进行训练，优化模型参数，直至网络收敛；

步骤4，基于收敛后的全局感知道路提取模型，对测试集进行预测，利用输出概率获得道路提取结果。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，在公开道路提取竞赛网站上进行注册，并下载数据集。

步骤1.2，由于道路提取竞赛数据集只公开了训练集的标签，所以根据已发表论文所开源的方式，将训练集划分为两部分，一部分A用来训练，另一部分B用来测试。

步骤1.3，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，构建空间感知模块：对于输入的特征f，首先采用1×1卷积来降低特征通道数(Channel,C)到C/r,(r＝16)，紧接着用空洞率为4的两个3×3卷积以更大感受野获取上下文信息，再利用1×1卷积来获取1×H×W特征图，然后复制成C×H×W维度的空间感知特征图F

W

其中G和G

步骤2.2，构建通道感知模块：对于输入的特征，首先采用全局平均池化(GlobalAverage Pooling,GAP)操作来生成C×1×1维度的特征矢量，紧接着两个全连接层来学习通道间的关系，第一个全连接层降低通道维数到C/r,(r＝16)，第二个全连接层恢复通道维数到C，然后复制成C×H×W维度的通道感知特征图F

F

W

其中W

步骤2.3，构建全局感知模块：全局感知模块是融合空间感知模块和通道感知模块，将空间感知特征图F

W

然后，将此全局感知模块应用在每两个残差学习模块之间，从空间和通道两个维度来捕获长距离的依赖关系。

步骤2.4，构建多尺度残差学习模块：对于输入的特征，首先采用1×1卷积来降低特征通道数，然后将此特征平均分为四个子集X

由此获得的四个子集的输出y

步骤2.5，构建全局感知道路提取模型：对于输入影像，首先采用步长为2的7×7卷积和步长为2的3×3最大池化来降低特征图尺寸，然后依次输入到改进后的多尺度残差学习模块和全局感知模块，捕获长距离依赖关系的同时也降低了特征图尺寸，其中三个全局感知模块连接在四个多尺度残差学习模块之间，即全局感知模块的输入为多尺度残差学习模块的输出。在网络架构中心部分，特征图尺寸降低了32倍，然后输入到解码块中，解码块负责将特征图恢复到原始图像尺寸，在解码块中使用通道降低策略来提升效率，每一个解码块中采用三层卷积操作来实现，依次包括：使用1×1卷积降低特征通道数到输入的1/4，采用步长为2的3×3反卷积来二倍上采样特征图，采用1×1卷积获得输出特征图。前三个解码块的输出和对应的低层特征：三个多尺度残差学习模块的输出，进行跳跃连接(特征图直接相加)，以获取更多的细节信息，通过四个解码块之后，再连接一个步长为2的3×3反卷积，使得特征图尺寸恢复到与输入影像尺寸一样，最后连接一个步长为1的1×1卷积，使得通道数降为1。通过以上流程，构建完成全局感知道路提取模型。

进一步的，步骤3的具体实现包括如下子步骤：

步骤3.1，初始化全局感知道路提取模型网络参数，固定训练集的裁剪大小，每批次的输入张数，以及初始学习率。

步骤3.2，采用Adam优化器进行训练，网络前向传播，输出结果通过Sigmoid分类器获取道路分割概率图，与真实标签对比，根据分割损失函数计算损失值，通过后向反馈不断更新网络参数，直至网络收敛。其中分割损失函数L

L

其中P

进一步的，步骤4的具体实现包括如下子步骤：

步骤4.1，输入测试集影像，对其进行归一化操作。

步骤4.2，将归一化后的影像输入到已经训练好的模型中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图。

与现有技术相比，本发明的优点和有益效果为：

深度学习模型局部感受野与道路长跨度特性不匹配问题。不同于其它地物目标，道路分布在整张影像上且相互连接，深度学习模型中的卷积操作和池化操作每次只能处理局部区域，导致深度学习模型不可避免感受野有限，从而无法有效地长距离传播信息，这与道路的长跨度连接属性不匹配，导致道路识别结果存在很多零散的情况。所提出的全局感知高分辨率遥感影像道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够有效解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别不连续的问题，显著提升道路识别精度。与目前最先进的道路提取方法，和其它捕获长距离依赖关系的方法相比，所提方法所取得的道路结果都是最优的。

附图说明

图1是本发明实施例1的步骤1.2中DeepGlobe道路提取竞赛数据集的部分可视化图。

图2是本发明实施例1的步骤2.1中设计的空间感知模块示意图。

图3是本发明实施例1的步骤2.2中设计的通道感知模块示意图。

图4是本发明实施例1的步骤2.3中设计的全局感知模块示意图。

图5是本发明实施例1的步骤2.4中设计的多尺度残差学习模块示意图。

图6是本发明实施例1的步骤2.5中全局感知道路提取模型总体架构。

图7是本发明实施例1的步骤4.2中得到道路预测图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

本发明提供一种全局感知高分辨率遥感影像多尺度残差道路提取方法，包括以下步骤：

步骤1，下载高分辨率遥感影像道路竞赛数据集，包含有标签的6226张1024×1024大小的影像，按照公开划分方式将其拆分为4696张训练集和1530张测试集，对训练集进行归一化与数据增强。此步骤进一步包括：

步骤1.1，在公开道路提取竞赛网站上进行注册，并下载数据集。

步骤1.2，由于道路提取竞赛数据集只公开了训练集的标签，所以根据已发表论文所开源的方式，将训练集划分为两部分，一部分A用来训练，如图1所示，另一部分B用来测试。

步骤1.3，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。

步骤2，构建融合多尺度残差学习的全局感知道路提取模型，主要包括两个部分的改进：三个全局感知模块构建和四个多尺度残差学习模块构建。在四个残差模块内采用多尺度残差学习，在残差模块之间进行三个全局感知操作，即全局感知模块的输入为多尺度残差学习模块的输出；最终通过Sigmoid分类器获取道路分割概率图。此步骤进一步包括：

步骤2.1，构建空间感知模块，如图2所示：对于输入的特征，首先采用1×1卷积来降低特征通道数到C/r,(r＝16)，紧接着用空洞率为4的两个3×3卷积以更大感受野获取上下文信息，再利用1×1卷积来获取1×H×W特征图，然后复制成C×H×W维度的空间感知特征图F

W

其中G和G

步骤2.2，构建通道感知模块，如图3所示：对于输入的特征，首先采用全局平均池化操作来生成C×1×1维度的特征矢量，紧接着两个全连接层来学习通道间的关系，第一个全连接层降低通道维数到C/r,(r＝16)，第二个全连接层恢复通道维数到C，然后复制成C×H×W维度的通道感知特征图F

F

W

其中W

步骤2.3，构建全局感知模块，如图4所示：全局感知模块是融合空间感知模块和通道感知模块，将空间感知特征图F

W

然后，将此全局感知模块应用在每两个残差块之间，从空间和通道两个维度来捕获长距离的依赖关系。

步骤2.4，构建多尺度残差学习模块，如图5所示：对于输入的特征，首先采用1×1卷积来降低特征通道数，然后将此特征平均分为四个子集X

由此获得的四个子集的输出y

步骤2.5，构建全局感知道路提取模型，如图6所示：对于输入影像，首先采用步长为2的7×7卷积和步长为2的3×3最大池化来降低特征图尺寸，然后依次输入到改进后的多尺度残差学习模块和全局感知模块，捕获长距离依赖关系的同时也降低了特征图尺寸，其中三个全局感知模块连接在四个多尺度残差学习模块之间，即全局感知模块的输入为多尺度残差学习模块的输出。在网络架构中心部分，特征图尺寸降低了32倍，然后输入到解码块中，解码块负责将特征图恢复到原始图像尺寸，在解码块中使用通道降低策略来提升效率，每一个解码块中采用三层卷积操作来实现，依次包括：使用1×1卷积降低特征通道数到输入的1/4，采用步长为2的3×3反卷积来二倍上采样特征图，采用1×1卷积获得输出特征图。前三个解码块的输出和对应的低层特征：三个多尺度残差学习模块的输出，进行跳跃连接(特征图直接相加)，以获取更多的细节信息，通过四个解码块之后，再连接一个步长为2的3×3反卷积，使得特征图尺寸恢复到与输入影像尺寸一样，最后连接一个步长为1的1×1卷积，使得通道数降为1。通过以上流程，构建完成全局感知道路提取模型。

步骤3，基于构建的全局感知道路提取模型，在训练集上进行训练，优化模型参数，直至网络收敛。此步骤进一步包括：

步骤3.1，初始化全局感知道路提取模型网络参数，固定训练集的裁剪大小，每批次的输入张数，以及初始学习率。

步骤3.2，采用Adam优化器进行训练，网络前向传播，输出结果通过Sigmoid分类器获取道路分割概率图，与真实标签对比，根据分割损失函数计算损失值，通过后向反馈不断更新网络参数，直至网络收敛。其中分割损失函数L

L

其中P

步骤4，基于收敛后的全局感知道路提取模型，对测试集进行预测，利用输出概率获得道路提取结果。此步骤进一步包括：

步骤4.1，输入测试集影像，对其进行归一化操作。

步骤4.2，将归一化后的影像输入到已经训练好的模型中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图，如图7所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。