首页> 中国专利> 一种基于深度学习的高分辨率遥感影像建筑物提取方法

一种基于深度学习的高分辨率遥感影像建筑物提取方法

摘要

一种基于深度学习的高分辨率遥感影像建筑物提取方法,属于图像提取方法领域。目前用于建筑物提取的深度学习方法中存在着缺少端到端模型设计、提取精度需要进一步提高等问题。一种基于深度学习的高分辨率遥感影像建筑物提取方法,基于基础网络结构U‑Net网络模型加入特征增强结构,构成编码器‑特征增强‑解码器的网络结构模型;之后,将激活函数ReLU替换为ELU;将U‑Net++网络和扩张卷积相结合,并引入残差网络,获取联系上下文的特征信息。本发明设计并实现增加特征增强和改变激活函数的U‑Net网络,提高了建筑物提取精度。设计的与混合空洞卷积相结合的U‑Net++网络模型能够实现针对少量遥感样本的建筑物提取。

著录项

  • 公开/公告号CN114973011A

    专利类型发明专利

  • 公开/公告日2022-08-30

    原文格式PDF

  • 申请/专利权人 哈尔滨理工大学;

    申请/专利号CN202210538076.4

  • 发明设计人 陆相竹;孟上九;王淼;孙义强;

    申请日2022-05-18

  • 分类号G06V20/13(2022.01);G06V10/40(2022.01);G06V10/764(2022.01);G06V10/774(2022.01);G06V10/80(2022.01);G06V10/82(2022.01);G06N3/04(2006.01);G06N3/08(2006.01);

  • 代理机构

  • 代理人

  • 地址 150080 黑龙江省哈尔滨市南岗区学府路52号哈尔滨理工大学

  • 入库时间 2023-06-19 16:36:32

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-09-16

    实质审查的生效 IPC(主分类):G06V20/13 专利申请号:2022105380764 申请日:20220518

    实质审查的生效

说明书

技术领域

本发明涉及一种基于深度学习的高分辨率遥感影像建筑物提取方法。

背景技术

提取建筑物的传统方法有很多,在影像处理中,一般认为灰度发生急剧变化的点即为边缘,边缘检测的过程就是找出影像中灰度剧烈变化的位置。针对建筑物的提取,首先需要根据遥感影像中不同地物目标边界的灰度值变化,通过使用边缘检测的算法来获取建筑物的边缘信息,然后通过空间关系对线段进行分组,再结合人的先验知识去完成建筑物的轮廓以及空间结构,进而实现对建筑物的提取。目前,基于区域分割的提取方法主要分为三种:一是基于区域生长的思想,其基于单个像素逐个进行合并,最终形成目标对象;二是以四叉树为代表的由整幅影像逐次向下分裂为小对象的分裂算法;三是以分水岭算法为代表,将标记后的区域的纹理特征作为合并准则,以局部区域同质性为分割基础的分割算法。这三种方法中,最常用的就是基于分水岭算法的区域分割方法,一些学者对该算法进行了一定的研究。近年来,随着计算机运算能力的提升以及深度学习的不断发展,越来越多的研究学者将深度学习应用到遥感领域中来,其中,卷积神经网络在深度学习中崭露头角,在遥感应用中广受欢迎,基于深度学习的建筑物提取方法开启了遥感影像信息提取的新纪元。

目前,有一种基于图像块的学习网络来实现对遥感影像的自动分割方法,其利用马萨诸塞州的道路数据集以及马萨诸塞州的建筑物数据集进行了实验,分别对三种模型即基础的神经网络模型、加了条件随机场的网络模型以及加了后处理的神经网络模型进行了对比研究,其中,提取建筑物的最高精度可达92.03%。之后,Saito等人改进了提取的卷积神经网络结构,同时创建了一个新的损失函数CIS,提高了提取精度。刘文涛等人使用全卷积神经网络实现了建筑物屋顶的自动提取,设计的网络结构通过加入空洞卷积增大了神经元的感受野,使用该神经网络提取建筑物屋顶取得了较好的效果。Xu等人基于ResNet网络提出了一个名叫Res-U-Net的卷积神经网络模型,由于卷积网络会模糊化物体边界导致结果可视化降低,故引入了向导性滤波器作为后处理来微调建筑物的提取结果。虽然使用该神经网络模型取得了较好的建筑物提取效果,有效降低了椒盐噪声的影响,但仍然存在一些不足:比如对于一些被树覆盖的建筑物,其形状不能被精确检测以及一些模糊的、不规则的建筑物边界几乎不能被分类。为了对处于稠密城区环境的建筑物屋顶进行有效的语义分割,Qin等人使用中国范围GF2遥感影像数据,基于深度卷积神经网络对建筑物的屋顶进行了有效提取,其建立了基于VHR卫星影像的能够逐像素标记的DCNN网络模型,利用条件随机场来优化建筑物提取结果,但是该后处理并没有很好的改变分割的结果。Ye等人基于超高分辨率航空影像使用联合注意力深度神经网络方法对建筑物进行了自动提取。通过提出的卷积神经网络RFA-UNet进行网络训练,取得了较好结果。针对高分辨率遥感图像中建筑物的精确分割问题,王宇等人提出了一种以Encoder-Decoder为框架、ResNet为基础网络,并结合全连接条件随机场的深度神经网络分割算法ResNetCRF,该算法可精确提取建筑物的边缘信息,但该方法仍然存在一些缺点:ResNetCRF无法识别较小的建筑物,且对于颜色信息与背景相似、边缘信息不明显的建筑物存在漏分现象。针对传统的建筑物提取方法精度较低且建筑物边界不完整等问题,范荣双等人基于高分辨率遥感影像,提出了一种自适应池化模型,并将其置于卷积神经网络框架中,取得了较高的建筑物提取精度,但该方法中使用的激活函数无法激活所有的神经元,网络结构比较单一。卷积神经网络中重复的池化操作容易减小特征分辨率导致详细信息的丢失,为了解决这一问题,Liu等人提出了一个light-weight深度学习模型,将空间金字塔池化(spatial pyramid pooling)加入至模型中,其中,金字塔池化模型可以捕捉和聚合多尺度上下文信息,杨嘉树等人提出了一种基于局部特征的卷积神经网络的建筑物提取方法,它将建筑物从图像中分离出来,接着输入分离出的建筑物块进行识别,降低了模型的复杂度,但该模型十分依赖分离得到的图像。上述基于深度学习的建筑物提取方法虽然取得了不错的效果,但是还是存在以下不足:

(1)一些网络结构比较复杂,存在对尺度较小的建筑物无法识别的情况;

(2)对形状不规则的建筑物提取不完整或无法分类,提取结果对后处理比较依赖,端到端的网络模型较少;

(3)一些网络方法在影像训练的过程中容易造成大量细节特征的丢失,从而影响建筑物信息提取的精度。

综上,目前的信息提取方法难以全面获取并利用高空间分辨率遥感影像中建筑物的相关特征,因此,高空间分辨率遥感影像建筑物信息提取工作难以在较好的效率、精度状态下获得突破性进展。

发明内容

本发明的目的是为了解决目前的信息提取方法难以全面获取并利用高空间分辨率遥感影像中建筑物的相关特征的问题,而提出一种基于深度学习的高分辨率遥感影像建筑物提取方法。

一种基于深度学习的高分辨率遥感影像建筑物提取方法,所述方法通过以下步骤实现:

基于基础网络结构U-Net网络模型加入特征增强结构,构成编码器-特征增强-解码器的网络结构模型;之后,对加入了特征增强结构的网络结构模型的激活函数进行改进:将激活函数ReLU替换为ELU;

设计与混合空洞卷积相结合的U-Net++网络模型,进行建筑物提取;即:U-Net++网络和扩张卷积相结合,并引入残差网络,获取联系上下文的特征信息;进行遥感影像建筑物提取的过程,包括训练阶段与测试阶段;

训练阶段:利用反向传播与随机梯度下降算法对改进后的模型进行训练,之后,对训练后的模型进行验证与精度评价,根据验证结果反向传播,调整模型参数;之后,重复训练与调整参数,直至模型趋于稳定;

测试阶段:使用测试集遥感影像数据对训练完毕的模型行进行测试;将它们依次输入到模型中进行建筑物提取,得到预测结果,根据地面真值数据对提取结果进行精度评价。

优选地,所述的基于基础网络结构U-Net网络模型加入特征增强结构,构成编码器-特征增强-解码器的网络结构模型的步骤中,

(1)所述的U-Net网络由编码器、解码器和跳跃连接组成,编码器下采样经过两次卷积后再次下采样,解码器上采样中使用反卷积并与对应大小的下采样特征跳跃连接,然后经过两次卷积后再反卷积;

(2)所述的基于基础网络结构U-Net网络模型加入特征增强结构的步骤中,编码器-特征增强-解码器结构主要包括:编码器部分、特征增强部分、解码器部分;该网络是一个端到端的网络模型,使用的激活函数为ReLU,该网络模型在训练过程中,从输入端输入影像数据,在输出端输出预测结果,中间部分的所有操作都位于神经网络内部,不将其分成多个模块进行处理;

其中,编码器-特征增强-解码器网络结构模型在基础网络模型编码器-解码器结构的基础上加入了特征增强结构,所述的特征增强结构具体如下:

在网络结构的中间部分添加了空洞卷积以代替池化操作;以空洞卷积为基础,在网络结构的中间部分添加了特征增强结构,特征增强结构是一个串联与并联共存的网络结构,它将经过空洞率不一样的空洞卷积运算所得到的特征图使用串联和并联的方式连接;强部分的特征图,其通道数和尺寸大小取决于编码器中的运算,该结构中一共有四种空洞卷积运算,空洞率的大小分别为1、2、4、8,在大小为3×3的标准卷积上进行扩张后可分别得到大小为3×3、5×5、9×9、17×17的空洞卷积,对应每个特征图的感受野将分别是3、7、15、31,特征增强中最后输出特征图在第一个中间特征图上感受野大小为31×31;由空洞卷积操作获得的特征图,不会降低分辨率,由于具有不同空洞率的空洞卷积,因此通过该结构获得多尺度的特征信息,通过跳跃连接的方式将多尺度特征进行相加合并,从而实现了特征信息的增强。

优选地,所述的对加入了特征增强结构的网络结构模型的激活函数进行改进的步骤为,

在编码器-特征增强-解码器网络结构的基础上,对网络模型的激活函数进行了替换,即将使用的激活函数ReLU替换为激活函数ELU,从而得到了激活函数为ELU、特征增强的U-Net网络模型;

ELU为指数线性单元,表达式如下:

ELU函数对ReLU激活函数的负值部分进行了相应的指数修正,减少了梯度之间的差距,使得当输入值为负数时,其对应区域的稳定性明显增强;将编码部分、特征增强部分、解码部分三部分结合在一起,形成编码器-特征增强-解码器的网络结构;

改进后的编码器-特征增强-解码器的网络结构模型一共为4层,从编码器端输入影像,然后经过了卷积运算和池化运算,紧接着进入特征增强部分,进行了空洞卷积运算,该空洞卷积通过串联模式和并联模式将不同空洞率的空洞卷积连接起来,获得不同尺度大小的特征图,保留了详细信息,并对不同尺度的特征图相加以实现特征信息的增强;特征增强后的特征图接着进入解码器部分,经过转置卷积运算、图像拼接运算和卷积运算,最后利用Sigmoid函数将特征图的范围缩小,输出建筑物提取的结果图。

优选地,设计与混合空洞卷积相结合的U-Net++网络模型,进行建筑物提取的步骤中,

(1)所述的U-Net++是在U-Net网络的基础上通过引入嵌套的和密集的跳跃连接进一步减少编码器和解码器之间的语义差距;U-Net++把不同网络层跳跃连接起来,将深层特征进行上采样引入浅层特征,或者将浅层特征进行下采样引入深层特征,以此弥补编码器与解码器之间的语义丢失;

(2)所述的空洞卷积用一个扩大了的稀疏矩阵来替代传统的卷积核,加强上下文的语义联系;

(3)与混合空洞卷积相结合的U-Net++网络模型为:

在FCN中使用空洞卷积,利用扩大的稀疏矩阵来代替传统的卷积核,以增加卷积的感受野,联系图像上下文的特征信息;

将U-Net++网络特征中编码器特征与下一层编码器上采样特征进行融合,融合后的特征与下一层的上采样特征继续融合,形成迭代,直到下一层没有上采样模块;每一模块的输出结果如下:

上式中,x

使用Focal Loss作为损失函数,降低负样本在训练中所占的权重,其公式为:

上式中,y表示标签;y′表示预测此样本正确的概率为p;引入两个因子,其中γ>0,用于减少易分类样本的损失,使得模型更关注困难、错分的样本;α因子用于平衡正负样本本身的数量比例不平衡的情况;

引入混合空洞卷积策略,用于减轻扩张卷积产生的这种影响,扩大感受野聚合全局信息;混合空洞卷积的一组膨胀系数最小值取为km,即膨胀系数选取为k、k+1、k+2,保持三层连续的混合空洞卷积方法。

优选地,所述的引入残差网络,获取联系上下文的特征信息的步骤中,所述的残差网络由残差单元组成,每个残差单元的构建包括卷积层、批处理归一化层和非线性激活函数层;所述的残差网络中增加了恒等快捷连接,以构建残差模块。

本发明的有益效果为:

本发明是借助深度学习技术,通过对比分析几种常见的建筑物提取方法及卷积神经网络模型,企图通过调整现有模型参数、整合网络类型,构建稳定性好、计算效率高的模型,实现建筑物信息快速高效的自动提取,不仅可以自主学习对象的多层特征,而且可以提高建筑物提取的速度及效率,同时也能够适当拓宽提取方法的应用范围,增强了遥感影像建筑物分割场景下的泛化能力。具体实现手段是:

(1)提出了一种新的端到端的语义分割网络模型,增强特征信息,提高提取准确率,通过加入特征增强结构并较好实现了高分辨率遥感影像的建筑物提取,通过增加特征提取结构,并用ELU激活函数替代Relu函数,使得网络模型可以有效地提取出多尺度的建筑物信息,具有较好的提取效果。

(2)基于U-Net++网络与扩张卷积相结合,并引入残差网络,扩大感受野,获取了联系上下文的特征信息。针对少量样本,为避免过拟合和学习出更稳定的模型,使用了Dropout结构,采用动态缩放的损失函数Focal Loss以解决样本不平衡的情况。该方法适用于少量样本的建筑物提取,提取效果优于经典的U-Net网络和U-Net++网络。

附图说明

图1为本发明涉及的改进后的U-Net网络;

图2为本发明涉及的遥感影像加建筑物提取流程;

图3为本发明涉及的U-Net网络模型;

图4为本发明涉及的特征增强结构图;

图5本发明涉及的U-Net++网络结构;

图6a为本发明涉及的空洞卷积(膨胀率为1);

图6b为本发明涉及的空洞卷积(膨胀率为2);

图6c为本发明涉及的空洞卷积(膨胀率为3);

图7a为本发明涉及的膨胀系数均为2的空洞卷积;

图7b为本发明涉及的混合空洞卷积;

图8为本发明涉及的两层的网络残差块结构;

图9为本发明涉及的三层的网络残差块结构。

具体实施方式

具体实施方式一:

本实施方式的一种基于深度学习的高分辨率遥感影像建筑物提取方法,所述方法通过以下步骤实现:

基于基础网络结构U-Net网络模型加入特征增强结构,构成编码器-特征增强-解码器的网络结构模型,以提高建筑物提取精度;之后,对加入了特征增强结构的网络结构模型的激活函数进行改进:将激活函数ReLU替换为ELU,以保证神经网络中每一个神经元活跃,避免其出现死亡、权重无法更新的情况,并进一步提高建筑物提取精度;改进后的U-Net网络结构如图1所示;

在解决了建筑物提取的精度问题后,经过分析可知,高分辨率遥感图像数据中还存在训练样本不足和数据类别不平衡的现象,针对建筑物的多尺度特征和细节特征,提出了使用少量样本数据的建筑物分割方法,设计与混合空洞卷积相结合的U-Net++网络模型,针对少量遥感样本进行建筑物提取;即:U-Net++网络和扩张卷积相结合,并引入残差网络,扩大感受野,获取联系上下文的特征信息;针对少量样本,为避免过拟合和学习出更稳定的模型,使用Dropout结构,采用动态缩放的损失函数Focal Loss以解决样本不平衡的情况。

进行遥感影像建筑物提取的过程,包括训练阶段与测试阶段;如图2为基于改进U-Net++网络的遥感影像建筑物提取流程;

训练阶段:利用反向传播与随机梯度下降算法对改进后的模型进行训练,之后,对训练后的模型进行验证与精度评价,根据验证结果反向传播,调整模型参数;之后,重复训练与调整参数,直至模型趋于稳定;

测试阶段:使用测试集遥感影像数据对训练完毕的模型行进行测试;将它们依次输入到模型中进行建筑物提取,得到预测结果,根据地面真值数据对提取结果进行精度评价。

具体实施方式二:

与具体实施方式一不同的是,本实施方式的一种基于深度学习的高分辨率遥感影像建筑物提取方法,所述的基于基础网络结构U-Net网络模型加入特征增强结构,构成编码器-特征增强-解码器的网络结构模型的步骤中,

(1)所述的U-Net网络是基于FCN改进的一种全卷积网络,最初应用于医学影像语义分割,网络结构对称清晰,由编码器、解码器和跳跃连接组成,编码器具有提取图像浅层的、低级的、细粒度等特征的功能,解码器用于还原各层的特征图,跳跃连接用于结合来自解码器的高级语义特征图和来自编码器的相应尺度的低级语义特征图。编码器下采样经过两次卷积后再次下采样,解码器上采样中使用反卷积并与对应大小的下采样特征跳跃连接,然后经过两次卷积后再反卷积;;该网络具有所需样本数据少、收敛快、分割精度高的特点,是经典的语义分割算法。

(2)所述的基于基础网络结构U-Net网络模型加入特征增强结构的步骤中,编码器-特征增强-解码器结构主要包括:编码器部分、特征增强部分、解码器部分;该网络是一个端到端的网络模型,使用的激活函数为ReLU,相比较提取建筑物需要将影像输入、影像处理、影像分析与影像输出等步骤作为独立的任务完成的传统方法,该网络模型在训练过程中,只需要从输入端输入影像数据,在输出端输出预测结果,中间部分的所有操作都位于神经网络内部,不将其分成多个模块进行处理;

其中,编码器-特征增强-解码器网络结构模型在基础网络模型编码器-解码器结构的基础上加入了特征增强结构,所述的特征增强结构具体如下:

在高分辨率遥感影像上,建筑物存在多尺度特征,影像上尺寸较大、形状规则的建筑物比较容易提取,但是影像上有一些建筑物的形状是不规则的,甚至有一些建筑物的尺寸特别小,对于这些建筑物信息来说,保留详细的空间信息有着至关重要的作用,如果一味地使用池化运算,很容易导致影像上的细节信息丢失,比如对那些形状不规则的建筑物来说,会很容易损失边缘信息,使建筑物形状轮廓不明显,一些细小的突出的边缘信息无法被检测出来;对于那些尺寸很小的建筑物,则会产生无法检测的现象,因为它们的信息在池化的过程中就已经被完全丢失了。因此,在保证增大感受野的同时,为了避免特征图分辨率减小和空间信息损失的情况,本发明在网络结构的中间部分添加了空洞卷积以代替池化操作;使用空洞卷积的优点是:它既可以像池化运算一样扩大特征图中单个像素的感受野,也可以保持特征图分辨率不变,保留详细的空间信息。由于遥感影像中建筑物具有多尺度特征,为了进一步准确地获取建筑物的多尺度信息,以空洞卷积为基础,在网络结构的中间部分添加了特征增强结构,如图4所示的结构,用于特征增强;

如图4所示,特征增强结构是一个串联与并联共存的网络结构,它将经过空洞率不一样的空洞卷积运算所得到的特征图使用串联和并联的方式连接起来;强部分的特征图,其通道数和尺寸大小取决于编码器中的运算,并不是固定的。图中绿色的箭头表示空洞卷积运算,箭头中的数字表示空洞率大小,该结构中一共有四种空洞卷积运算,空洞率的大小分别为1、2、4、8,因此在大小为3×3的标准卷积上进行扩张后可分别得到大小为3×3、5×5、9×9、17×17的空洞卷积,对应每个特征图的感受野将分别是3、7、15、31,因而特征增强中最后输出特征图在第一个中间特征图上感受野大小为31×31;由空洞卷积操作获得的特征图,不会降低分辨率,由于具有不同空洞率的空洞卷积,因此通过该结构获得多尺度的特征信息,通过跳跃连接的方式将多尺度特征进行相加合并,从而实现了特征信息的增强。

具体实施方式三:

与具体实施方式一不同的是,本实施方式的一种基于深度学习的高分辨率遥感影像建筑物提取方法,所述的对加入了特征增强结构的网络结构模型的激活函数进行改进的步骤为,

在编码器-特征增强-解码器网络结构的基础上,对网络模型的激活函数进行了替换,即将使用的激活函数ReLU替换为激活函数ELU,从而得到了激活函数为ELU、特征增强的U-Net网络模型;所述的激活函数ReLU表达式为:

f(x)=max(0,x) (1)

激活函数ReLU可以有效解决梯度消失的问题,由于该函数为非指数函数,只有线性关系,因此它的计算量大大减小,有较快的计算速度,而且它能够使神经网络在随机梯度下降中更快速的收敛。虽然激活函数ReLU具有很多优点,但仍存在不足:该函数在训练时,容易使神经元死亡,导致无法进行权值更新。为了弥补ReLU的不足,使用了ELU函数

ELU为指数线性单元,表达式如下:

ELU函数解决了神经元死亡的问题,它对ReLU激活函数的负值部分进行了相应的指数修正,从而减少了梯度之间的差距,使得当输入值为负数时,其对应区域的稳定性明显增强;它的优点是既能避免神经元死亡,还具备ReLU函数的所有优点,同时输出值均值接近0值,能够加快网络的收敛速度。改进后的网络模型的结构如图1所示。它将编码部分、特征增强部分、解码部分三部分结合在一起,形成编码器-特征增强-解码器的网络结构;

改进后的编码器-特征增强-解码器的网络结构模型一共为4层,从编码器端输入影像,然后经过了卷积运算和池化运算,紧接着进入特征增强部分,进行了空洞卷积运算,该空洞卷积通过串联模式和并联模式将不同空洞率的空洞卷积连接起来,获得不同尺度大小的特征图,保留了详细信息,并对不同尺度的特征图相加以实现特征信息的增强;特征增强后的特征图接着进入解码器部分,经过转置卷积运算、图像拼接运算和卷积运算,最后利用Sigmoid函数将特征图的范围缩小,输出建筑物提取的结果图。该网络结构中使用的特征增强部分,虽然利用了多个空洞卷积进行运算,但是该卷积与普通卷积运算相比,虽然增加了感受野的范围,但是并不会增加训练参数的量,而是选择性地跳过一些像素值进行卷积运算;

对于传统的建筑物提取方法,既费时又费力,无法实现端到端的语义分割。本发明基于U-Net网络模型,在该模型结构的中间加入了基于空洞卷积的特征增强结构,该部分可以获取多尺度特征,保留特征图的详细信息,通过多尺度特征的融合增强特征,实现了建筑物提取准确度的提高。并利用激活函数ELU替换ReLU的网络模型,提高建筑物提取精度。

具体实施方式四:

与具体实施方式三不同的是,本实施方式的一种基于深度学习的高分辨率遥感影像建筑物提取方法,设计与混合空洞卷积相结合的U-Net++网络模型,进行建筑物提取的步骤中,

(1)所述的U-Net++是在U-Net网络的基础上通过引入嵌套的和密集的跳跃连接进一步减少编码器和解码器之间的语义差距;相对于U-Net网络,U-Net++把不同网络层跳跃连接起来,将深层特征进行上采样引入浅层特征,或者将浅层特征进行下采样引入深层特征,以此弥补编码器与解码器之间的语义丢失,提升模型性能;U-Net++在图像语义分割中表现出良好的性能,但仍无法从遥感影像中多尺度提取足够信息;在遥感影像语义分割中,不同尺度的特征图展示着不同的信息。低层次特征图捕捉丰富的空间信息,能够突出地物的边界;而高级语义特征图则体现了地物所在位置的信息。

(2)所述的空洞卷积

一个卷积层若要扩大感受野,获取更多的上下文特征信息,一般可以通过3种方式实现:①增加卷积核的大小;②增加层数,比如两层3×3的卷积可以接近一层5×5的卷积效果;③卷积之前进行汇聚操作。前两种方法会增加参数数量,而第3种会丢失一些信息。空洞卷积是一种不增加参数数量同时能扩大单元感受野的方法。如图6所示,用一个扩大了的稀疏矩阵来替代传统的卷积核,从而增加卷积的感受野,在保证相同参数量的前提下,空洞卷积能够包含更大的信息范围,从而加强上下文的语义联系;

与正常卷积相比,空洞卷积多了一个超参数膨胀率,即卷积核卷积时各值的间距;图6(a)膨胀率为1,卷积后的感受野为3;图6(b)膨胀率为2,卷积后的感受野为5;图6(c)膨胀率为3,卷积后的感受野为7。同样一个3×3的卷积,却可以起到5×5、7×7的效果。空洞卷积在不增加参数量的情况扩大感受野,也可以认为普通的正常卷积是一种特殊的空洞卷积。

(3)与混合空洞卷积相结合的U-Net++网络模型为:

针对U-Net++无法从遥感影像中多尺度提取足够信息的问题,本发明在FCN中使用空洞卷积,利用扩大的稀疏矩阵来代替传统的卷积核,以增加卷积的感受野,有效联系图像上下文的特征信息,避免出现局部信息与全局信息利用率失衡导致的图像分割结果粗糙、边界不连续问题。

将U-Net++网络特征中编码器特征与下一层编码器上采样特征进行融合,融合后的特征与下一层的上采样特征继续融合,形成迭代,直到下一层没有上采样模块;每一模块的输出结果如下:

上式中,x

针对建筑物和背景的分布不平衡易造成过拟合的情况,使用Focal Loss作为损失函数,该损失函数降低大量简单负样本在训练中所占的权重,使得分割精度有效提升;其公式为:

上式中,y表示标签;y′表示预测此样本正确的概率为p;引入两个因子,其中γ>0,用于减少易分类样本的损失,使得模型更关注困难、错分的样本;α因子用于平衡正负样本本身的数量比例不平衡的情况;

在下采样过程中使用固定的膨胀系数,会出现形似“筛子”状的卷积来提取影像特征,导致信息丢失。当膨胀系数过小时,采样的数据太密集,会丢失整体信息;过大时,采样的数据太稀疏,会丢失局部信息。

本发明引入混合空洞卷积(hybrid dilated convolution,HDC)策略,用于减轻扩张卷积产生的这种影响,扩大感受野聚合全局信息。若数据集影像分辨率为km,为了更精确地反映建筑物轮廓的局部细节构造,混合空洞卷积的一组膨胀系数最小值取为km,即膨胀系数选取为k、k+1、k+2,保持三层连续的混合空洞卷积方法,在保持接受野大小不变的情况下提高信息利用率,同时满足不同尺度建筑物的分割,混合空洞卷积和普通空洞卷积感受野和信息利用率见图7。

具体实施方式五:

与具体实施方式四不同的是,本实施方式的一种基于深度学习的高分辨率遥感影像建筑物提取方法,所述的引入残差网络,获取联系上下文的特征信息的步骤中,所述的残差网络由残差单元组成,每个残差单元的构建包括卷积(Convolutiona,Conv)层、批处理归一化(Batch Normalization,BN)层和非线性激活函数(Rectified Linear Unit,ReLU)层;所述的残差网络与一般的神经网络有所差异的是在其中增加了恒等快捷连接,以构建残差模块。

本发明的实施例公布的是较佳的实施例,但并不局限于此,本领域的普通技术人员,极易根据上述实施例,领会本发明的精神,并做出不同的引申和变化,但只要不脱离本发明的精神,都在本发明的保护范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号