一种基于对抗学习的两阶段图像变化检测方法

摘要

本发明公开了一种基于对抗学习的两阶段图像变化检测方法；步骤如下；（1）图像配准；（2）多尺度切割；（3）基于多尺度卷积特征融合的变化判别；（4）基于U形神经网络的变化检测；（5）基于对抗学习的网络训练与调优；（6）基于概率阈值的图像拼接；（7）输出最终结果。本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。

说明书

技术领域

本发明涉及图像变化检测领域，具体来讲涉及的是一种基于对抗学习的两阶段图像变化检测方法。

背景技术

变化检测是对不同时间获取的同一位置的图像中检测其变化区域和类型的技术。变化检测技术被广泛应用于现实场景的各种场景理解任务中。在遥感影像分析领域，变化检测技术通过分析多时相的高分辨率遥感影像，可以直观地获取地面特征的变化，在自然灾害评估、城市建设分析、植被变化检测以及战场军事情报收集等多种应用中起着至关重要的作用。在医学图像处理领域，图像变化检测技术可以通过处理电子计算机断层扫描（CT，Computed Tomography）、磁共振成像（MRI，Magnetic Resonance Imaging）图像、皮肤图像等，用于检测患者解剖结构的功能属性变化。医学图像中的变化可能是由于肿瘤的生长、皮肤慢性炎症等造成的，也可能与其他种类的病变相关联，通过医学图像变化检测，能够做到对疾病的检测、变化监测、筛选以及副主诊断等。

现有的变化检测技术通常分为两类：传统方法的变化检测方法和基于深度学习的变化检测方法。传统的变化检测方法根据选取对象的粒度可划分为像素级和对象级检测方法。基于像素的变化检测方法通常只考虑单个像素点的分类而忽略了图像中的语义信息，并且计算量较大。而基于对象的变化检测方法需要先将图像分割为互不相交的同种对象，然后再进行变化检测，检测的效果直接依赖于对象分割的效果，因此精度相对较差。

随着人工智能技术的发展，深度学习的方法在图像变化检测领域取得了进展。目前广泛使用的基于图像语义分割的端到端的变化检测模型可以直接生成变化检测结果，大大提升了检测效率，但是这些算法都存在一些共同的缺陷：1、不能很好的处理小目标的变化区域；2、不能解决变化区域与未变化区域之间的样本不均衡问题；3、对拍摄角度、光照强度等噪声敏感。

与本发明相关的现有技术：

2018年，Qing Wang等人在《Change detection based on Faster R-CNN for high-resolution remote sensing images》中提出使用FasterR-CNN结构应用于高分辨率遥感图像检测上。Daudt等人在《High Resolution Semantic Change Detection》中采用了基于UNet的FCN体系结构，该体系结构利用公开的变化检测数据集，并且采用端到端的训练方式来完成变化检测。次年，Daudt等人又在《Fully convolutional siamese networks forchange detection》首次提出了两种具有跳跃连接的全卷积孪生神经网络结构。Lebedev等人使用基于GANs的端到端变换检测方法检测高分辨率卫星图像中的变化。此外，EnqiangGuo等人在孪生神经网络的基础上提出改进，使用高维的特征取代低维的特征进行融合，提升了孪生神经网络在变化检测中的效果。

现有变化检测技术的缺点：现有的基于深度学习的变化检测技术大多基于语义分割网络UNet或孪生神经网络完成，虽然该类神经网络在图像处理领域应用广泛、有较高的使用度，但是直接用于变化检测任务上却不能达到理想的效果，体现在以下几个方面：1.对于图像中不同尺寸的目标检测效果差异明显，尤其是对小目标检测效果很差。这是由于神经网络通过卷积降低分辨率来提取特征，如果卷积深度不够无法提取高维语义信息，而卷积深度过深则会在降低分辨率的过程中不断丢失图像信息。为解决该问题，本方法提出多尺度切割方法，保证了不同大小的目标在不同分辨率下都保有图像信息。2.数据不平衡给神经网络训练带来较大影响，该问题主要出现在高分辨率的图像变化检测中，每幅图像中变化区域的面积占比不超过10%，大量的无关区域会严重影响神经网络的训练使之无法达到预取结果，本方法提出的两阶段检测技术过滤掉大量无变化区域图像对，从而平衡了输入到变化检测网络的数据3.无法处理图像噪声带来的虚假变化问题，通常变化检测的标准为目标数量、位置、形状发生变化，而由于拍摄环境带来的颜色、阴影、季节性变化不应该作为变化，现有的技术方案通常没有考虑到不同天气、气候、光照等复杂场景中的处理手段，在本方法中使用基于对抗学习的网络训练和调优方法来解决此问题。

发明内容

因此，为了解决上述不足，本发明在此提供一种基于对抗学习的两阶段图像变化检测方法；本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。

本发明是这样实现的，构造一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤如下；

（1）图像配准；

（2）多尺度切割；

（3）基于多尺度卷积特征融合的变化判别；

（4）基于U形神经网络的变化检测；

（5）基于对抗学习的网络训练与调优；

（6）基于概率阈值的图像拼接；

（7）输出最终结果。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤1图像配准是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响；对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤2多尺度的图像切割是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤3基于多尺度特征融合的变化判别是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段；该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性；具体为；

步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本。依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理；

步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络；在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤4基于U型神经网络进行变化检测是使用U形神经网络对输入的图像对进行变化检测；采用UNet++神经网络进行检测，输入为一对待检测的图像对，输出为变化区域的预测图像。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤5基于对抗神经网络的训练与调优是将U形神经网络作为生成器，同时引入一个鉴别器组成对抗神经网络；本步骤和步骤4是两阶段变化检测方法的第二阶段，其中鉴别器的输入分别为（输入图像对、U形神经网络预测结果）和（输入图像对、标签），鉴别器的目的是区分输入的变化区域图像是网络的预测结果还是标签，而生成器的目的是生成变化区域图像让鉴别器无法鉴别；该步骤可以减弱两幅图像的数据分布差异，以此消除由于拍摄角度、照明强度等噪声带来的影响，增加模型的鲁棒性；具体为；

步骤5.1 生成器训练；是进行U形神经网络（生成器）的训练。输入由一对待检测图像对组成，输出一张变化区域概率预测图；为了更好的拟合变化区域的轮廓，在本方法中采用了BCE损失和DICE损失的加权平均作为损失函数，最后根据损失函数计算预测结果与标签之间的损失值并优化U形神经网络；

步骤5.2判别器训练；是进行判别器的训练；鉴别器由基于ResNet的多层全卷积网络构成，在生成器的一次训练结束后，随后进行鉴别器训练。输入由三部分组成：待检测的图像对、变化区域图；

在整体训练流程中，生成器与鉴别器的训练交替进行，由鉴别器来指导生成器生成质量更高的变化预测图。而在验证流程中则丢弃鉴别器，仅用生成器进行验证。

根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤6基于概率阈值的图像拼接是将切割后的图像的预测结果进行拼接从而恢复到原始分辨率。由于输入图像经过多尺度切割，直接将预测结果进行拼接会出现同一目标在不同分辨率预测图或跨切割子图中的预测结果不一致导致拼接结果不连贯、出现断裂现象；采用基于概率阈值的图像拼接技术，将不同分辨率下的预测结果按照预设的阈值进行概率加权平均以实现图像的平滑拼接；拼接方法为：

其中i表示图像对上的像素点，P

本发明具有如下优点：本发明在此提供一种基于对抗学习的两阶段图像变化检测方法；本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。

附图说明

图1是本发明检测方法的流程示意图；

图2是本发明基于多尺度特征融合的变化判别示意图；

图3是本发明中生成器训练流程示意图；

图4是本发明中鉴别器训练流程示意图；

图5是本发明应用场景举例示意图。

具体实施方式

下面将结合附图1-图5对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过改进在此提供一种基于对抗学习的两阶段图像变化检测方法，本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。

如图1所示，本发明主要从图像预处理、模型设计、模型训练与调优三个方面出发，提出改进措施。本发明的技术流程可以概括为以下几点：

(1)图像配准；

(2)多尺度切割；

(3)基于多尺度卷积特征融合的变化判别；

(4)基于U形神经网络的变化检测；

(5)基于对抗学习的网络训练与调优；

(6)基于概率阈值的图像拼接；

(7)输出最终结果。

具体的实施过程如下：

步骤1图像配准：本步骤的目的，是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响。对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。

步骤2多尺度的图像切割：本步骤的主要目的是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。

步骤3基于多尺度特征融合的变化判别：本步骤的主要目的是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段。该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性。

步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本。依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理。

步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络。在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。

步骤4基于U型神经网络进行变化检测：本步骤的主要目的是使用U形神经网络对输入的图像对进行变化检测。在本方法中采用UNet++神经网络进行检测，输入为一对待检测的图像对，输出为变化区域的预测图像。

步骤5基于对抗神经网络的训练与调优：本步骤的主要目的是将U形神经网络作为生成器，同时引入一个鉴别器组成对抗神经网络。本步骤和步骤4是两阶段变化检测方法的第二阶段，其中鉴别器的输入分别为（输入图像对、U形神经网络预测结果）和（输入图像对、标签），鉴别器的目的是区分输入的变化区域图像是网络的预测结果还是标签，而生成器的目的是生成变化区域图像让鉴别器无法鉴别。该步骤可以减弱两幅图像的数据分布差异，以此消除由于拍摄角度、照明强度等噪声带来的影响，增加模型的鲁棒性。具体为；

步骤5.1 生成器训练：本步骤的主要目的是进行U形神经网络（生成器）的训练。输入由一对待检测图像对组成，输出一张变化区域概率预测图。为了更好的拟合变化区域的轮廓，在本方法中采用了BCE损失和DICE损失的加权平均作为损失函数，最后根据损失函数计算预测结果与标签之间的损失值并优化U形神经网络。

步骤5.2判别器训练：本步骤的主要目的是进行判别器的训练。鉴别器由基于ResNet的多层全卷积网络构成，在生成器的一次训练结束后，随后进行鉴别器训练。输入由三部分组成：待检测的图像对、变化区域图，训练流程如下：

在整体训练流程中，生成器与鉴别器的训练交替进行，由鉴别器来指导生成器生成质量更高的变化预测图。而在验证流程中则丢弃鉴别器，仅用生成器进行验证。

步骤6基于概率阈值的图像拼接：本步骤的目的是将切割后的图像的预测结果进行拼接从而恢复到原始分辨率。由于输入图像经过多尺度切割，直接将预测结果进行拼接会出现同一目标在不同分辨率预测图或跨切割子图中的预测结果不一致导致拼接结果不连贯、出现断裂现象。在本方法中，采用基于概率阈值的图像拼接技术，将不同分辨率下的预测结果按照预设的阈值进行概率加权平均以实现图像的平滑拼接。拼接方法为：

其中i表示图像对上的像素点，P

下面对本发明的应用场景实施举例：

近年来，一系列高分辨率遥感卫星的成功发射意味着航天遥感技术进入到了一个新的阶段，遥感影像应用范围大为扩展，应用深度和定位精度也随之大大提高。在军事方面，充分发挥遥感影像真实、高精度、现势性等优越性，可用于情报收集、国防监视、变化检测、精确测图和目标引导等方面。

本发明可应用在实际的军事任务中，通过对遥感卫星图像进行变化检测对关键军事目标，如机场、建筑、飞机、船舶等变化进行检测和分析，由此掌握他国军事规划与动向，及时获得他国军事设施的新建、改建、拆除、变化的进度，了解他国部队与军事装备的调动与增减，对于情报收集、国防建设计划与决策能够提供信息以供参考；其检测流程可以表达为图5所示。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。