基于多源数据融合的高分遥感影像语义分割模型及方法

摘要

本发明提出一种基于多源数据融合的高分遥感影像语义分割模型及方法，其特征在于：基于编码器‑解码器结构，通过并行的双分支孪生网络完成特征提取，使用空间通道注意力模块用于增强模块之间的关系，并使用Dupsampling进行上采样恢复特征。在ISPRS数据集上对提出的模型进行了评估。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%，达到当前最佳的效果。

说明书

技术领域

本发明属于遥感技术领域，尤其涉及一种基于多源数据融合的高分遥感影像语义分割模型及方法。

背景技术

高分辨率航空图像的语义分割，其目的是将每个像素分配到某一类别，对于此项技术的研究工作已经引起了学术界和工业界的极大关注。更高的空间分辨率不仅带来了更精细的细节，同时带来了更高的精度要求。高分辨率的遥感图像，在土地覆盖检测、城市规划和交通监测方面有显著的应用价值。当前遥感影像的语义分割工作的局限性在于上采样的方法不够精细，导致语义分割的效果一直不能得到很好的提升。此外，当前主流用于遥感领域的语义分割的方法，主要是采用深度学习的方法，但过深的网络架构不仅生成了很多冗余的特征，同时还使很多小目标个体被误判为异常点，从而影响到整体的语义分割的精度。

此外，当前主流的方法并没有很好的结合遥感影像自身特征，跟常规自然图像相比，多了几个光谱通道，例如dsm信息和cir信息并没有被很好的使用，考虑到高分辨率和多光谱数据，直接应用现有模型是不合适的。模型必须重新设计，以处理高分辨率航空图像的特殊性。遥感影像具有空间依赖性，常见的双线性算法和条件随机场算法在准确恢复像素方面能力有限。这就对遥感领域的语义分割技术提出一个挑战，如何构建一个更好的高分遥感影像语义分割模型满足需求。

发明内容

有鉴于此，为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于多源数据融合的高分遥感影像语义分割模型及方法，能够自动抽取出有效特征，并对特征进行细化和组合，最终获得更好的像素级的分割结果，针对于遥感图像中的小目标个体。

考虑到高分辨率航空影像的语义分割在土地覆盖检测、城市规划和交通监测等方面具有重要应用价值。本发明针对多传感器数据(MSD)利用不足和后向上采样方法的问题。提出了一种多源数据融合模型(MSDFM)来利用数字表面模型(DSM)的信息作为一个补充特征来改进语义分割结果。MSDFM基于编码器-解码器结构，通过双分支孪生网络完成特征提取，使用空间-通道注意力模块增强模块之间的关系，使用Dupsampling代替传统的上采样方法，在ISPRS数据集上对提出的模型进行了评估。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%，达到当前最佳的效果。

本发明具体采用以下技术方案：

一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于：基于编码器-解码器结构，通过并行的双分支孪生网络完成特征提取，使用空间通道注意力模块用于增强模块之间的关系，并使用Dupsampling进行上采样恢复特征。

进一步地，通过inception模块将关系增强后的多尺度特征相结合。

进一步地，采用TOP和DSM多数据源通过孪生网络的编码器进行特征提取，并融合完成获得相应特征图。

一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于，包括：

编码器模块：基于Resnet101，将TOP数据和彩色化后的DSM的数据输入并行的孪生网络中，完成特征提取；

特征融合模块：通过将不同阶段提取到的特征图送入空间通道注意力模块，之后利用Dupsampling进行不同倍率的上采样，并利用inception模块进行特征融合；

特征恢复模块：使用跳跃架构将高阶特征与低阶特征结合；

解码器模块：使用DUpsampling以提高语义分割的标签空间中的冗余度，并从低分辨率的特征图中恢复像素级预测，并使用res-module进一步消除冗余特征。

以及，一种基于多源数据融合的高分遥感影像语义分割方法，其特征在于：包括以下步骤：

步骤S1：输入DSM和TOP数据，通过基于resnet101的孪生网络完成特征提取；

步骤S2：将得到的包含上下文信息的特征送入注意力模块，最后通过inception模块将多尺度的特征相融合；

步骤S3：通过跳跃架构将高阶特征与低阶特征结合，产生更可靠的特征图；

步骤S4：通过Dupsamling和res模块细化语义分割的结果。

与现有技术相比，本发明及其优选方案能够自动抽取出有效特征，并对特征进行细化和组合，最终获得像素级的分割结果。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1为本发明实施例模型原理示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

如图1所示，本实施例提供了一种基于多源数据融合的高分遥感影像语义分割模型，具体包括：

一个特征融合模块，通过将不同阶段提取到的特征图送入空间通道注意力模块，之后利用Dupsampling进行不同倍率的上采样利用inception模块进行特征融合

一个特征恢复模块，使用跳跃架构将高阶特征与包含丰富空间信息的低阶特征结合起来，产生更可靠的特征图。

一个解码器模块，使用DUpsampling最大限度地提高了语义分割的标签空间中的冗余度，并从低分辨率的特征图中有效地恢复像素级预测。使用一个简单的res-module来进一步消除多余的特征。获得精细化的像素级分割结果。

在本实施例中，采用TOP和DSM多数据源通过孪生网络的编码器特征提取并融合完成获得相应特征图。通过基于编码-解码器结构，通过双并行的孪生网络结构完成特征提取的工作，通过关系模块、inception模块等，将特征的语义信息与空间信息相结合，Dupsampling上采样恢复特征，获得精细化的语义分割效果。

其通过整体的网络架构实现对小目标类别精细化分类结果。

本实施例还提供了一种基于多源数据融合的高分遥感影像语义分割模型的语义分割方法，具体包括以下步骤：

步骤S1：输入DSM和TOP数据，通过基于resnet101的孪生网络完成特征提取；

步骤S2：将得到的包含上下文信息的特征送入注意力模块，最后通过inception模块将关系增强后的多尺度特征相融合；

步骤S3：通过跳跃架构将高阶特征与包含丰富空间信息的低阶特征结合起来，产生更可靠的特征图；

步骤S4：通过Dupsamling和一个简单的res模块细化语义分割的结果。与现有技术相比，本发明有以下有益效果：本发明提出的系统及方法能够自动抽取出有效特征，并对特征进行抽象和组合，最终获得更好的像素级的分割结果，针对于遥感图像中的小目标个体。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形

式的基于多源数据融合的高分遥感影像语义分割模型及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。