首页> 中国专利> 一种基于密集连接网络的图像融合方法

一种基于密集连接网络的图像融合方法

摘要

本发明提供的一种基于密集连接网络的图像融合方法,首先将获取的第一图像和第二图像分别输入至第一卷积层中,通过第一卷积层来提取第一图像和第二图像的浅层特征,接着,再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中,通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征,并且通过密集连接网络提取的特征具有上下文联系,能够更好地进行图像融合;最后,本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合,并对融合后的特征进行重构后获得最终的融合图像,该融合图像包含丰富的边缘信息和场景信息,提高了融合质量。

著录项

  • 公开/公告号CN113160104A

    专利类型发明专利

  • 公开/公告日2021-07-23

    原文格式PDF

  • 申请/专利权人 广东工业大学;

    申请/专利号CN202110560960.3

  • 发明设计人 程良伦;李凤;吴衡;陈妍伶;

    申请日2021-05-20

  • 分类号G06T5/50(20060101);G06N3/04(20060101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人刘晓娟

  • 地址 510060 广东省广州市越秀区东风东路729号大院

  • 入库时间 2023-06-19 11:57:35

说明书

技术领域

本发明涉及图像融合技术领域,尤其涉及一种基于密集连接网络的图像融合方法。

背景技术

近年来,红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小,在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射,获得边缘清晰、轮廓清晰的可见光图像。然而,由于红外相机的固有特点,存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此,结合红外和可见光图像的优点,融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。

目前,随着深度学习的发展,许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像,但基于卷积网络的方法仍然存在缺陷,使用卷积网络对图像进行融合时,容易丢失中间层特征以及难以提取深层特征,使得最终得到的融合图像的融合质量较低。

发明内容

本发明的目的旨在至少能解决上述的技术缺陷之一,特别是现有技术中使用卷积网络对图像进行融合时,容易丢失中间层特征以及难以提取深层特征,使得最终得到的融合图像的融合质量较低的技术缺陷。

本发明提供了一种基于密集连接网络的图像融合方法,所述方法包括:

获取待融合的第一图像和第二图像;

通过第一卷积层提取所述第一图像和所述第二图像的浅层特征,得到第一浅层特征图和第二浅层特征图;

通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征,得到第一深层特征图和第二深层特征图;

对所述第一深层特征图和所述第二深层特征图进行加权融合;

将加权融合后的特征图进行重构,得到最终的融合图像。

可选地,所述第一图像包括红外图像,所述第二图像包括可见光图像;

所述获取待融合的第一图像和第二图像的步骤,包括:

获取红外图像和原始可见光图像;

利用所述红外图像对所述原始可见光图像进行预处理,得到可见光图像。

可选地,所述利用所述红外图像对所述原始可见光图像进行预处理,得到可见光图像的步骤,包括:

确定所述红外图像的分辨率;

根据所述红外图像的分辨率对所述原始可见光图像进行裁剪,得到可见光图像。

可选地,所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层,每个卷积块包括至少三个密集卷积层。

可选地,所述通过密集连接网络提取所述第一浅层特征图的深层特征,得到第一深层特征图的步骤,包括:

通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息,并将所述特征信息输入至所述卷积块中;

依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中;

将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中,通过所述第三卷积层提取所述特征图的特征信息,得到第一深层特征图。

可选地,所述通过密集连接网络提取所述第二浅层特征图的深层特征,得到第二深层特征图的步骤,包括:

通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息,并将所述特征信息输入至所述卷积块中;

依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中;

将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中,通过所述第三卷积层提取所述特征图的特征信息,得到第二深层特征图。

可选地,所述对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤,包括:

确定所述第一深层特征图的像素值和权值,以及所述第二深层特征图的像素值和权值;

根据所述第一深层特征图的像素值和权值,以及所述第二深层特征图的像素值和权值,对所述第一深层特征图和所述第二深层特征图进行加权融合。

可选地,所述第一深层特征图的权值和所述第二深层特征图的权值相同。

可选地,所述重构过程包括至少四个第四卷积层。

可选地,所述将加权融合后的特征图进行重构,得到最终的融合图像的步骤,包括:

将所述加权融合后的特征图输入至所述第四卷积层中,通过所述第四卷积层对所述加权融合后的特征图进行特征重构,得到最终的融合图像。

从以上技术方案可以看出,本发明实施例具有以下优点:

本发明提供的一种基于密集连接网络的图像融合方法,首先将获取的第一图像和第二图像分别输入至第一卷积层中,通过第一卷积层来提取第一图像和第二图像的浅层特征,接着,再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中,通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征,并且通过密集连接网络提取的特征具有上下文联系,能够更好地进行图像融合;最后,本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合,并对融合后的特征进行重构后获得最终的融合图像,该融合图像包含丰富的边缘信息和场景信息,提高了融合质量。

另外,本申请的图像融合方法,不仅适用于红外和可见光图像的融合,还适用于其他不同图像之间的融合,适用范围较广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于密集连接网络的图像融合方法的流程示意图;

图2为本发明实施例提供的红外图像和可见光图像的采集过程示意图;

图3为本发明实施例提供的网络框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

近年来,红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小,在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射,获得边缘清晰、轮廓清晰的可见光图像。然而,由于红外相机的固有特点,存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此,结合红外和可见光图像的优点,融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。

目前,随着深度学习的发展,许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像,但基于卷积网络的方法仍然存在缺陷,使用卷积网络对图像进行融合时,容易丢失中间层特征以及难以提取深层特征,使得最终得到的融合图像的融合质量较低。

因此,本发明的目的是解决现有技术中使用卷积网络对图像进行融合时,容易丢失中间层特征以及难以提取深层特征,使得最终得到的融合图像的融合质量较低的技术问题,并提出如下技术方案:

在一个实施例中,如图1所示,图1为本发明实施例提供的一种基于密集连接网络的图像融合方法的流程示意图,本发明提供了基于密集连接网络的图像融合方法,具体包括如下步骤:

S110:获取待融合的第一图像和第二图像。

本步骤中,在对图像进行融合之前,需要获取待融合的第一图像和第二图像,其中,第一图像指的是分辨率、图像内容、或图像尺寸大小等区别于第二图像的图像。

进一步地,本申请中的第一图像可以是红外图像,第二图像可以是可见光图像,如图2所示,图2为本发明实施例提供的红外图像和可见光图像的采集过程示意图;图2中,红外相机用于采集目标的红外图像,可见光相机用于采集目标的可见光图像,个人计算机用于储存和显示红外和可见光图像。

其中,红外相机主要由四部分组成,分别是探测器、信号处理器、显示器、光学系统;红外相机的工作原理是:物体的红外辐射经过镜头聚焦搭探测器上,探测器将产生电信号,电信号经过放大并数字化到热像仪的电子处理部分,再转换成我们能再显示器上看到的红外图像。

可见光相机主要由电荷耦合器件(CCD)和光学镜头组成;可见光相机的工作原理是:物体反射出的光线通过光学镜头聚到电荷耦合器件(CCD)上,经模数转换器转换成数字信号后贮于存贮器中,并通过PC机的显示屏显示可见光图像。

S120:提取第一图像和第二图像的浅层特征,得到第一浅层特征图和第二浅层特征图。

本步骤中,通过步骤S110获取到待融合的第一图像和第二图像后,可以通过第一卷积层分别来提取第一图像和第二图像的浅层特征,以此来获得与第一图像对应的第一浅层特征图,以及与第二图像对应的第二浅层特征图。

可以理解的是,这里的第一卷积层主要用于对本申请中后续所使用的卷积层的顺序进行区分,并不作为该第一卷积层所使用的滤波器尺寸和步长的限制。

S130:提取第一浅层特征图和第二浅层特征图的深层特征,得到第一深层特征图和第二深层特征图。

本步骤中,通过步骤S120得到第一浅层特征图和第二浅层特征图后,可将第一浅层特征图和第二浅层特征图分别送入到密集连接网络中,通过密集连接网络来提取第一浅层特征图和第二浅层特征图的深层特征,以此来得到第一深层特征图和第二深层特征图。

可以理解的是,这里的密集连接网络指的是在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来,即为了能够保证前馈的特性,每一层将之前所有层的输入进行拼接,之后将输出的特征图传递给之后的所有层。

举例来说,在传统的卷积神经网络中,如果共设置有L层,那么就会有L个连接,但是在密集连接网络中,则会有L(L+1)/2个连接。与卷积神经网络不同的是,密集连接网络不是在特征传递给某一层之前将其进行相加(combine),而是将其进行拼接(concatenate)。因此,密集连接网络的第i层有i个输入,这些输入是该层之前的所有卷积块(block)的特征图,而它自己的特征图则传递给之后的所有层。

进一步地,本申请中的密集连接网络可以使用DCCNet,而DCCNet可以由多个卷积层以及卷积块等共同构成密集块,其中卷积块的作用不仅可以提取图像的深层特征,还可以获取特征图的上下文信息,以便更好地对图像进行融合。

S140:对第一深层特征图和第二深层特征图进行加权融合。

本步骤中,当通过步骤S130获得第一深层特征图和第二深层特征图后,可对第一深层特征图和第二深层特征图进行加权融合,以便提高图像的融合质量。

进一步地,在对第一深层特征图和第二深层特征图进行加权融合时,可使用加权平均融合策略,加权平均融合策略指的是对原图像的像素值直接取相同的权值,然后进行加权平均后得到的融合图像的像素值。

S150:将加权融合后的特征图进行重构,得到最终的融合图像。

本步骤中,通过步骤S140对第一深层特征图和第二深层特征图进行加权融合后,可将加权融合后的特征图进行重构,以便得到最终的融合图像。

具体地,将加权融合后的特征图进行重构的过程可以利用多个卷积层来实现特征重构,也可以使用树状稀疏模型,或图像超分辨率重构算法等来实现,具体在此不做限制。

上述实施例中,首先将获取的第一图像和第二图像分别输入至第一卷积层中,通过第一卷积层来提取第一图像和第二图像的浅层特征,接着,再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中,通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征,并且通过密集连接网络提取的特征具有上下文联系,能够更好地进行图像融合;最后,本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合,并对融合后的特征进行重构后获得最终的融合图像,该融合图像包含丰富的边缘信息和场景信息,提高了融合质量。

另外,本申请的图像融合方法,不仅适用于红外和可见光图像的融合,还适用于其他不同图像之间的融合,适用范围较广。

上述实施例主要对本申请基于密集连接网络的图像融合方法进行展开描述,下面将对如何获取待融合的第一图像和第二图像进行具体说明。

在一个实施例中,所述第一图像可以包括红外图像,所述第二图像可以包括可见光图像;所述获取待融合的第一图像和第二图像的步骤,可以包括:

S111:获取红外图像和原始可见光图像。

S112:利用所述红外图像对所述原始可见光图像进行预处理,得到可见光图像。

本实施例中,若本申请获取的是红外图像和原始可见光图像的话,由于可见光相机的分辨率为2500×1800像素,而红外相机的分辨率为320×240像素,因此,需要利用获取到的红外图像对原始可见光图像进行预处理,以便使用预处理后的可见光图像与红外图像进行融合。

上述实施例中对如何获取待融合的第一图像和第二图像进行具体说明,下面将对如何利用红外图像对所述原始可见光图像进行预处理,从而得到可见光图像的过程进行描述。

在一个实施例中,步骤S112中利用所述红外图像对所述原始可见光图像进行预处理,得到可见光图像的步骤,可以包括:

S1121:确定所述红外图像的分辨率。

S1122:根据所述红外图像的分辨率对所述原始可见光图像进行裁剪,得到可见光图像。

本实施例中,由于采集的红外图像和原始可见光图像大小不一致,需要根据红外图像的大小对原始可见光图像进行裁剪。

具体地,可选中红外图像和原始可见光图像重合的区域,并按照红外图像的尺寸对原始可见光图像进行裁剪,从而得到可见光图像。

上述实施例中主要是对如何利用红外图像对所述原始可见光图像进行预处理,从而得到可见光图像的过程进行描述,下面将对密集连接块的组成部分进行说明。

在一个实施例中,所述密集连接网络可以包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层,每个卷积块可以包括至少三个密集卷积层。

本实施例中,密集连接网络可以使用DCCNet,而DCCNet可以由多个卷积层以及卷积块等共同构成密集块,其中卷积块的作用不仅可以提取图像的深层特征,还可以获取特征图的上下文信息,以便更好地对图像进行融合。

当密集连接网络使用DCCNet时,可以包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层,且每个卷积块可以包括至少三个密集卷积层。

需要说明的是,这里的第二卷积层和第三卷积层主要用于区分本申请的其他卷积层,且第二卷积层的顺序要落后于第一卷积层,第三卷积层的顺序要落后的第二卷积层,但第二卷积层与第三卷积层的滤波器尺寸和步长在此不做限制,本申请可以设置第二卷积层、第三卷积层的滤波器尺寸和步长与第一卷积层一致。

这里的密集卷积层指的是每个卷积块中设置的多个卷积层,该卷积层的滤波器尺寸和步长可以依据第二卷积层和第三卷积层来设置,在此不做限制。

上述实施例中对密集连接块的组成部分进行说明,下面将对如何提取第一浅层特征图的深层特征进行展开描述。

在一个实施例中,步骤S130中通过密集连接网络提取所述第一浅层特征图的深层特征,得到第一深层特征图的步骤,可以包括:

A1:通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息,并将所述特征信息输入至所述卷积块中。

A2:依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中。

A3:将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中,通过所述第三卷积层提取所述特征图的特征信息,得到第一深层特征图。

本实施例中,利用密集连接网络对第一浅层特征图进行特征提取时,可以利用密集连接网络中的第二卷积层提取第一浅层特征图的特征信息,并将提取到的特征信息输入至卷积块中。

本申请的密集连接网络中包含多个卷积块,而每个卷积块中又包含有多个密集卷积层。因此,将第二卷积层提取的第一浅层特征图的特征信息输入到每个卷积块中的每个密集卷积层后,依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中。

例如,将第二卷积层提取的第一浅层特征图的特征信息输入到第一个卷积块中的第一个密集卷积层后,该第一个密集卷积层也会对输入的特征信息进行特征提取,并将特征提取后的特征信息传递至该卷积块中与之相邻的密集卷积块中,使得与之相邻的密集卷积块依据第二卷积层提取的第一浅层特征图的特征信息、第一个密集卷积层提取的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的密集卷积层中。

示意性地,如图3所示,图3为本发明实施例提供的网络框图;本发明的网络框架图可以使用AFDCCNet,如图3所示,AFDCCNet可以由多个模块组成,分别是第一卷积层(Conv1)、密集连接网络(DCCNet)、加权平均模块(Fusion)和重构模块(Reconsitution)。其中,DCCNet可以由第二卷积层Conv2、卷积块CC1和第三卷积层Conv3共同构成密集块,而卷积块CC1中包含C1、C2、C3等多个密集卷积层。

以红外图像和可见光图像为例,首先,将红外图像和可见光图像分别输入到Conv1中,得到红外图像和可见光图像的浅层特征。然后,将Conv1的卷积结果输入到DCCNet中,Conv2将对Conv1的卷积结果进行卷积,得到特征图A

A

上式中,Q

接着,C1使用3个卷积核为1×1的卷积层对特征图进行卷积,得到3张特征图{D,E,F},这三张特征图的尺寸为(C×H×W),其中C为特征图的通道数,H为特征图的高度,W为特征图的宽度,将特征图{D,E,F}转置为C×Q,其中Q=H×W,Q为像素的数量,然后将矩阵D和矩阵E的转置相乘,再通过softmax得到S

上式中,i指特征图D中第i个元素,j表示特征图E中第j个元素,S

得到S

上式中,F

最后,将E

进一步地,本发明在实验阶段可以使用pytorch(pythonversion3.6)来训练DCCNet。例如,使用MS-COCO 2014作为输入图像,实验中,每次输入的图像数为4副,迭代次数为100,学习率为0.0001。

另外,本发明还将DCCNet算法与其他4个算法进行了比较,如表1所示,表1分别给出了对比算法与5种图像融合质量评价指标的数据。

表1不同融合方法的定量比较

需要说明的是,表1中的5种图像融合质量评价指标分别是:VIFF、Qabf、SSIM、MS-SSIM和FMI_W,其中VIFF是基于视觉信息保真度提出的衡量融合图像质量的指标,VIFF的值越大,表示融合图像质量越好;Qabf是一种新颖的融合图像客观非参考质量评估指标,Qabf的值越高,表示融合图像的质量越好;SSIM取值范围为[0,1],值越大,表示图像失真越小;MS-SSIM能更好地与人眼视觉系统的视觉感知相一致,值越大,表示融合的图像结构越相似;FMI_W指标值越大,通常表示从源图像传输到融合图像中的特征信息越多。

由表1数据可以清晰发现,本发明使用的DCCNet算法优于其他算法,实验证明使用本发明的算法可以有效提高红外图像和可见光图像的融合质量。

上述实施例中对如何提取第一浅层特征图的深层特征进行展开描述,下面将对如何提取第二浅层特征图的深层特征进行详细描述。

在一个实施例中,步骤S130中通过密集连接网络提取所述第二浅层特征图的深层特征,得到第二深层特征图的步骤,可以包括:

B1:通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息,并将所述特征信息输入至所述卷积块中。

B2:依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中。

B3:将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中,通过所述第三卷积层提取所述特征图的特征信息,得到第二深层特征图。

本实施例中,利用密集连接网络对第二浅层特征图进行特征提取时,可以利用密集连接网络中的第二卷积层提取第二浅层特征图的特征信息,并将提取到的特征信息输入至卷积块中。

本申请的密集连接网络中包含多个卷积块,而每个卷积块中又包含有多个密集卷积层。因此,将第二卷积层提取的第二浅层特征图的特征信息输入到每个卷积块中的每个密集卷积层后,依次通过每个卷积块中的每个密集卷积层,将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的各个密集卷积层中。

例如,将第二卷积层提取的第二浅层特征图的特征信息输入到第一个卷积块中的第一个密集卷积层后,该第一个密集卷积层也会对输入的特征信息进行特征提取,并将特征提取后的特征信息传递至该卷积块中与之相邻的密集卷积块中,使得与之相邻的密集卷积块依据第二卷积层提取的第一浅层特征图的特征信息、第一个密集卷积层提取的特征信息进行拼接,并将拼接后提取的特征信息传递至之后的密集卷积层中。

最后,将卷积块的输出传递至第三卷积层中,以使第三卷积层对卷积块中输出的特征图进行深层特征提取。

上述实施例中对如何提取第二浅层特征图的深层特征进行详细描述,下面,将对第一深层特征图和第二深层特征图进行加权融合的过程进行说明。

在一个实施例中,步骤S140中对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤,可以包括:

S141:确定所述第一深层特征图的像素值和权值,以及所述第二深层特征图的像素值和权值。

S142:根据所述第一深层特征图的像素值和权值,以及所述第二深层特征图的像素值和权值,对所述第一深层特征图和所述第二深层特征图进行加权融合。

本实施例中,在对第一深层特征图和第二深层特征图进行加权融合时,可以使用加权平均融合策略,该加权平均融合策略主要是对原图像的像素值直接取相同的权值,然后进行加权平均得到融合图像的像素值。

具体地,在本申请中,首先确定第一深层特征图的像素值和权值,以及第二深层特征图的像素值和权值,然后根据第一深层特征图的像素值和权值以及第二深层特征图的像素值和权值,对第一深层特征图和第二深层特征图进行加权融合,从而得到加权融合后的图像。

具体公式如下:

I

上式中,I

上述实施例对第一深层特征图和第二深层特征图进行加权融合的过程进行说明,下面将对第一深层特征图的权值和第二深层特征图的权值进行说明。

在一个实施例中,所述第一深层特征图的权值和所述第二深层特征图的权值相同。

本实施例中,当第一深层特征图的权值和第二深层特征图的权值相同时,可以防止可见光图像因权值过高引起曝光问题,或者因红外图像因权值过低引起融合的图像不够清晰的问题。

上述实施例对第一深层特征图的权值和第二深层特征图的权值进行说明,下面将对本申请的重构过程进行描述。

在一个实施例中,所述重构过程包括至少四个第四卷积层。如图3所示,本申请的重构过程可以在重构模块中实现,具体重构模块可以是重构块(Reconsitution Block),其中,重构块可以包括四个第四卷积层,如Conv4、Conv5、Conv6、Conv7。

在一个实施例中,步骤S150中将加权融合后的特征图进行重构,得到最终的融合图像的步骤,可以包括:将所述加权融合后的特征图输入至所述第四卷积层中,通过所述第四卷积层对所述加权融合后的特征图进行特征重构,得到最终的融合图像。

本实施例中,在对加权融合后的特征图进行重构时,可以将特征图输入至Conv4中进行特征重构,然后将Conv4的输出传输至Conv5中,以此类推,最终通过Conv7输出重构后的图像,即融合图像。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号