高分辨率目标影像置换低分辨率目标影像的方法及系统

摘要

本公开提供了一种高分辨率目标影像置换低分辨率目标影像的方法及系统，所述方法包括以下步骤：获取高分辨率影像和低分辨率影像；对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；分别对两张影像进行实例分割，分别提取目标物体；利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；对替换后的影像进行镶嵌处理得到最终置换后的影像。

说明书

技术领域

本公开涉及影像处理技术领域，特别涉及一种高分辨率目标影像置换低分辨率目标影像的方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

不同传感器获取影像的分辨率不一样，高分辨率影像可以观察地表的几何特征及纹理信息，适用于对小范围的地物进行研究。低分辨率影像与高分辨率影像相比，每个像元代表的实际地面面积更大，可以覆盖更广阔的范围，此外，低分辨率影像的光谱分辨率较好，可用于植被与非植被的区分，适应于观测宏观地物。在实际的场景中，根据用户的需求，选取不同分辨率的影像。当一个场景具有多种需求，即需要宏观的观测，又需要细致的研究，此时就需要进行高、低分辨率目标影像的置换。

发明人发现，对全景影像中某个目标对象进行置换，传统的方法是首先对两张高、低分辨率影像进行几何纠正、统一坐标系；其次根据目标对象边缘线的范围对两张影像进行裁剪，然后将置换后的目标对象与原影像根据HIS变换、PCA变换、Brovey变换等算法进行融合，最后对接缝线进行匀光处理，即可达到高分目标实体置换低分目标实体的目的。通过上述方法，虽然可改善目标实体纹理信息、增强图像信息，但上述处理是在相同区域的基础上，且不能针对整张影像中的单个实体目标，故需提前裁剪影像，且操作繁琐。

发明内容

为了解决现有技术的不足，本公开提供了一种高分辨率目标影像置换低分辨率目标影像的方法及系统，在不改变影像整体性的前提下，对目标实体进行高低分辨率置换，可实现不同分辨率影像中目标实体的置换，满足同一场景下的不同需求。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种高分辨率目标影像置换低分辨率目标影像的方法。

一种高分辨率目标影像置换低分辨率目标影像的方法，包括以下步骤：

获取高分辨率影像和低分辨率影像；

对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；

分别对两张影像进行实例分割，分别提取目标物体；

利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；

对替换后的影像进行镶嵌处理得到最终置换后的影像。

作为可能的一些实现方式，对低分辨率影像进行几何纠正、辐射校正和空间配准预处理。

作为可能的一些实现方式，重采样通过上采样实现，上采样包括最邻近法或者双线性内插法或者三次卷积法。

作为进一步的限定，最邻近法，包括：以影像中距离某像元最近的像元值为新值，赋给该像元；

双线性内插法，包括：以某像元距离周围4领域像元的距离加权值为新值，赋给该像元；

三次卷积法，包括：以采样点距离周围16领域像元的距离加权值为新值，赋给该像元。

作为可能的一些实现方式，基于深度学习的实例分割方法分别对两张影像中的目标实体进行检测与分割，从两张影像中分割出需要替换的目标对象。

作为可能的一些实现方式，目标物体的替换，包括：首先对实例分割的目标实体进行几何纠正，然后建立一个二维坐标系，影像左上角为坐标原点，横轴方向为X轴，纵轴方向为Y轴，根据目标实体中不少于三个特征点的像元坐标值，进行目标实体的置换。

作为可能的一些实现方式，目标实体置换后，将置换后的目标实体影像与场景影像进行镶嵌，包括：

将裁剪后的影像进行拼接；

采样基于小波变换方法或直方图匹配方法消除色彩差异；

对两张影像的接边处进行色调平滑以消除边缘线。

本公开第二方面提供了一种高分辨率目标影像置换低分辨率目标影像的系统，包括：

数据获取模块，被配置为：获取高分辨率影像和低分辨率影像；

影像预处理模块，被配置为：对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；

影像分割模块，被配置为：分别对两张影像进行实例分割，分别提取目标物体；

目标替换模块，被配置为：利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；

影像镶嵌模块，被配置为：对替换后的影像进行镶嵌处理得到最终置换后的影像。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的高分辨率目标影像置换低分辨率目标影像的方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的高分辨率目标影像置换低分辨率目标影像的方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质或电子设备，首先将低分辨率影像进行重采样变换，使其与高分辨率影像的分辨率一致；其次进行实例分割，并置换目标对象，然后将置换后的影像进行镶嵌、融合处理；可根据实际生产或项目需求，进行目标物体替换，相较于传统方法相比，可在不破坏整个影像的前提下，对目标物体进行置换。

2、本公开所述的方法、系统、介质或电子设备，针对当前高分辨率目标影像置换低分辨目标影像的手段主要是针对相同区域，且无法对影像中的单个目标实例进行处理的问题，在不改变影像整体性的前提下，对目标实体进行高低分辨率置换，可实现不同分辨率影像中目标实体的置换，满足同一场景下的不同需求。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的高分辨率目标影像置换低分辨率目标影像的方法的流程示意图。

图2为本公开实施例1提供的下采样示意图。

图3为本公开实施例1提供的上采样示意图。

图4为本公开实施例1提供的影像镶嵌流程示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

本公开实施例1提供了一种高分辨率影像置换低分辨率影像的方法，实现流程如图1所示：首先，对低分辨率影像进行重采样，使两张影像的分辨率保持一致；其次，通过实例分割，分别提取目标物体；然后，进行目标实体置换；最后，对替换后的影像进行镶嵌处理，从而在不破坏影像整体的前提下，实现高分辨率目标影像置换低分辨率目标影像。

具体的，包括以下内容：

S1：影像预处理及重采样

首先对低分辨率影像进行几何纠正、辐射校正、空间配准等处理，然后进行重采样。重采样包括上采样与下采样，下采样是降低影像的分辨率，示意图如图2所示，上采样是提高影像的分辨率，示意图如图3所示。

上采样通过最邻近法、双线性内插法、三次卷积法等方法实现，最邻近法是以影像中距离某像元最近的像元值为新值，赋给该像元；双线性内插法是以某像元距离周围4领域像元的距离加权值为新值，赋给该像元；三次卷积法是以采样点距离周围16领域像元的距离加权值为新值，赋给该像元。

上述三种上采样方式都可实现将两张不同分辨率的影像重采样成相同分辨率。这里采用上采样，即将低分辨率影像重采样成高分辨率影像，虽然重采样后，像元值变大，但信息量没有增加。这里并不是为了提高信息含量，而是便于后期的实例分割，进行目标影像的置换。

S2：目标影像的实例分割

分别对两张影像中的目标实体进行检测与分割，即从影像中分割出需要替换的目标对象。本实施例采用基于深度学习的实例分割方法实现影像中目标实体的实例分割。

S3：高分辨率目标影像置换低分辨率目标影像

低分辨率影像重采样后与高分辨率影像具有相同的像元数目，故可根据像元坐标值进行目标实体置换。具体方法：首先对实例分割的目标实体进行几何纠正，然后建立一个二维坐标系，影像左上角为坐标原点，横轴方向为X轴，纵轴方向为Y轴，根据目标实体中不少于三个特征点的像元坐标值，进行目标实体的置换。

S4：影像镶嵌

目标实体置换后，需要将置换后的目标实体影像与场景影像进行镶嵌，使其融合成一幅完整的影像，具体流程如图4所示。

S4.1：将裁剪后的影像进行拼接，常用的算法有HIS变换、PCA变换、Brovey变换等。

S4.2：由于两张影像辐射水平不一样，存在亮度差异，故在镶嵌后，需消除色彩差异，常用的算法有基于小波变换与直方图匹配等，这里采用直方图匹配算法。

S4.3：对两张影像的接边处进行色调平滑以消除边缘线。

实施例2：

本公开实施例2提供了一种高分辨率目标影像置换低分辨率目标影像的系统，包括：

数据获取模块，被配置为：获取高分辨率影像和低分辨率影像；

影像预处理模块，被配置为：对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；

影像分割模块，被配置为：分别对两张影像进行实例分割，分别提取目标物体；

目标替换模块，被配置为：利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；

影像镶嵌模块，被配置为：对替换后的影像进行镶嵌处理得到最终置换后的影像。

所述系统的工作方法与实施例1提供的高分辨率目标影像置换低分辨率目标影像的方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的高分辨率目标影像置换低分辨率目标影像的方法中的步骤，所述步骤为：

获取高分辨率影像和低分辨率影像；

对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；

分别对两张影像进行实例分割，分别提取目标物体；

利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；

对替换后的影像进行镶嵌处理得到最终置换后的影像。

详细步骤与实施例1提供的高分辨率目标影像置换低分辨率目标影像的方法相同，这里不再赘述。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的高分辨率目标影像置换低分辨率目标影像的方法中的步骤，所述步骤为：

获取高分辨率影像和低分辨率影像；

对低分辨率影像进行预处理和重采样以使得两张影像的分辨率保持一致；

分别对两张影像进行实例分割，分别提取目标物体；

利用提取到的高分辨率目标物体进行低分辨率目标物体的替换；

对替换后的影像进行镶嵌处理得到最终置换后的影像。

详细步骤与实施例1提供的高分辨率目标影像置换低分辨率目标影像的方法相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。