边缘引导的循环卷积神经网络建筑物变化检测方法及系统

摘要

本发明公开了一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统，本发明包括对遥感图像T1和T2进行多层次特征提取得到特征对f1i和f2i，计算差异特征并进行差异增强、对深层结果逐层上采样并融合浅层结果后输入边缘引导概率预测网络得到多层次的变化概率图和边缘概率图，选择T1大小相同的变化概率图二值化处理得到检测结果M。本发明能够对变化区域的差异进行放大，对非变化区域的差异进行抑制，从而提高了变化检测的精度，使得检测性能有所提升，而且通过边缘引导利用建筑物边缘结构的先验信息进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统。

背景技术

遥感图像提供土地的覆盖和利用信息，通过变化检测技术对同一区域内多时相图像进行分析，可以实现对建筑物动态变化的监测。建筑物变化检测已经广泛应用于城市规划、灾害评估和违章建筑物监管等领域。建筑物变化检测的核心问题在于解析双时相图像之间的相关性，由于不同时相的图像存在地物易于混淆和辐射差异等现象，使得变化检测是非线性的任务。基于监督学习的方法可以有效的完成这一任务。

近年来，深度学习在遥感图像解译中发挥了非常重要的作用。深度学习中的卷积神经网络可以自动提取图像的深层特征，对于遥感图像的多种任务都有广泛的适用性，因此越来越多的深度学习算法应用到变化检测中。例如，Chen等人在文献 “A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing ImageChange Detection. Remote Sensing, 2020, 12(10): 1662.”提出了一种基于孪生卷积神经网络的变化检测方法，输入双时相的遥感图像后，该算法通过共享权重的卷积神经网络分别提取图像对的深层特征并且利用金字塔注意力模块在特征中融入多尺度的空间信息。融合空间信息的特征对通过欧氏距离来进行变化分析，最后设置阈值来分割变化和非变化区域。作为深度学习的重要分支，循环神经网络擅长处理序列数据，因此循环神经网络同样可以应用于变化检测任务。例如，Mou等人在文献“Learning spectral-spatial-temporal features via a recurrent convolutional neural network for changedetection in multispectral imagery. IEEE Transactions on Geoscience andRemote Sensing, 2018, 57(2): 924-935.”提出了联合卷积神经网络和循环神经网络的方法，利用空间和时间特性实现变化检测。输入双时相的遥感图像后，该算法利用孪生卷积神经网络分别提取图像对的空间特征，接着利用循环神经网络从时序角度对特征对进行变化分析，最后设置阈值来分割变化区域。但是，上述两种方法的不足之处在于，没有充分利用建筑物的几何特性，导致检测结果建筑物轮廓不清晰而且在建筑物分布密集区域检测结果存在粘连的情况。

发明内容

本发明要解决的技术问题为：针对现有技术的上述问题，提供一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统，本发明旨在解决建筑物分布密集区域检测结果中建筑物粘连的情况，以及提高建筑物变化检测的精确度以及性能。

为了解决上述技术问题，本发明采用的技术方案为：

一种边缘引导的循环卷积神经网络建筑物变化检测方法，包括：

1）针对不同时相的遥感图像T

2）对各个特征对

3）将各层差异分析结果

4）将各层的解码结果

可选地，步骤1）中针对不同时相的遥感图像T

可选地，所述孪生编码器有两个共享权重的分支，两个分支与遥感图像T

可选地，步骤2）中对各个特征对

可选地，所述循环神经网络为长短期记忆网络。

可选地，步骤3）中的解码器包含n个解码模块D

可选地，步骤4）包括：

4.1）按照特征图的大小将各层的解码结果

4.2）将尺寸较小的一组解码结果分别通过边缘引导概率预测网络中的1×1的卷积块得到变化预测结果

4.3）选择与遥感图像T

可选地，步骤4）之前还包括使用深度监督方式训练边缘引导概率预测网络的步骤，且使用深度监督方式训练边缘引导概率预测网络时，每一轮迭代训练过程中，分别根据每一个解码结果

此外，本发明还提供一种边缘引导的循环卷积神经网络建筑物变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述边缘引导的循环卷积神经网络建筑物变化检测方法的步骤。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述边缘引导的循环卷积神经网络建筑物变化检测方法的计算机程序。

和现有技术相比，本发明主要具有以下优点：

第一，本发明的差异分析在长短期记忆网络的基础上实现了差异增强的功能，可以对变化区域的差异进行放大，对非变化区域的差异进行抑制，提高了变化检测的精度，使得检测性能有所提升。

第二，本发明引入的边缘引导利用建筑物边缘结构的先验信息，进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。

附图说明

图1是本发明实施例方法的检测模型示意图。

图2是本发明实施例提出的差异分析模块模型示意图。

图3是本发明实施例提出的边缘引导模块模型示意图。

图4是本发明实施例方法和其他现有方法的测试结果对比表。

图5是本发明实施例方法和其他现有方法的第一组建筑物变化检测结果对比示意图。

图6是本发明实施例方法和其他现有方法的第二组建筑物变化检测结果对比示意图。

具体实施方式

如图1所示，本实施例边缘引导的循环卷积神经网络建筑物变化检测方法包括：

1）针对不同时相的遥感图像T

2）对各个特征对

3）将各层差异分析结果

4）将各层的解码结果

本实施例中，步骤1）～步骤4）的执行网络简称为边缘引导的循环卷积神经网络（简称EGRCNN）。下文将结合EGRCNN的结构，对步骤1）～步骤4）的执行过程进行进一步的详细说明。

本实施例中，步骤1）中针对不同时相的遥感图像T

参见图1，本实施例中孪生编码器有两个共享权重的分支，两个分支与遥感图像T

参见图2，本实施例步骤2）中对各个特征对

参见图1，本实施例步骤2）的执行主体为多层次差异分析模块，多层次差异分析模块包括n个差异分析模块DAM

作为一种可选的实施方式，本实施例中的循环神经网络为长短期记忆网络。该网络通过三个门控状态来控制信息的传输。在变化检测任务中，输入的双时相数据同样属于序列数据，利用长短期记忆网络实现序列数据的记忆和遗忘输出得到变化分析结果。长短期记忆网络通过遗忘门、输入门和输出门来控制信息的流通。遗忘门是用来控制选择性遗忘现有的存储内容，输入门是决定让多少新的信息加入到现有的存储状态中，输出门是控制存储状态中信息的输出。其中，长短期记忆网络的具体操作包括：

1、长短期记忆网络通过选择性遗忘旧信息和添加新信息来更新存储状态。

上式中，

上式中，σ为

2、更新后的存储状态通过输出门得到最终的输出信息为：

上式中，

其中，输出门的具体操作为：

上式中，

本实施例中，步骤3）中的解码器包含n个解码模块D

本实施例中，步骤4）包括：

4.1）按照特征图的大小将各层的解码结果

4.2）将尺寸较小的一组解码结果分别通过边缘引导概率预测网络中的1×1的卷积块得到变化预测结果

4.3）选择与遥感图像T

本实施例中，步骤4）之前还包括使用深度监督方式训练边缘引导概率预测网络的步骤，且使用深度监督方式训练边缘引导概率预测网络时，每一轮迭代训练过程中，分别根据每一个解码结果

本实施例中按照特征图的大小将各层的解码结果

参见前述描述可知，变化损失和

将变化损失和

上式中，

为了验证EGRCNN的有效性，本实施例使用公开数据集LEVIR-CD(LEVIR buildingChange Detection dataset)进行了网络框架的训练和测试，并且与其他方法进行了对比。LEVIR-CD数据集包含445组训练数据、64组验证数据和128组测试数据，每一组数据包含两张不同时相的图像，每张图像大小为1024×1024。由于图像尺寸较大，LEVIR-CD数据集中均被裁剪为16张不重叠的图像，每张图像大小为256×256。建筑物边缘图是通过Canny边缘检测算子对建筑物真实变化图进行处理所生成的。

本实施例提出的算法与5种最新的变化检测方法，ChangeNet、STANet(Spatial–Temporal Attention Neural Network)、Unet-LSTM、MSOF(Multiple Side-OutputFusion)和FDCNN(Feature Difference Convolutional Neural Network)进行对比，具体结果如图4所示。评价指标共有6种，分别为精度（Precision），召回率（Recall），F分数（F-score），总体精度（OA）,卡帕系数（Kappa）和交并比（IOU）。结合图4可以看出，本实施例方法（EGRCNN）在6个评价指标中只有召回率略低于STANet和Unet-LSTM两种方法，其他5个指标均是最优结果。从召回率来看，EGRCNN比Unet-LSTM低0.0068，比STANet低0.0025。但是精度方面，EGRCNN比Unet-LSTM高0.0279，比STANet高0.0350。其他5个综合考虑精度和召回率的指标，EGRCNN均高于STANet和Unet-LSTM。综合来看，EGRCNN的效果同样优于STANet和Unet-LSTM这两种方法。图5和图6分别为本实施例方法和其他现有方法的两组建筑物变化检测结果对比示意图，结合图5和图6也可以看出，本实施例方法的检测结果中建筑物轮廓清晰，而且在建筑物分布密集区域结果不存在明显粘连情况。综上所述，本实施例方法能够对变化区域的差异进行放大，对非变化区域的差异进行抑制，从而提高了变化检测的精度，使得检测性能有所提升，而且通过边缘引导利用建筑物边缘结构的先验信息进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。

此外，本实施例还提供一种边缘引导的循环卷积神经网络建筑物变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述边缘引导的循环卷积神经网络建筑物变化检测方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述边缘引导的循环卷积神经网络建筑物变化检测方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。