多分辨率特征交叉融合的图像压缩感知重构系统及其方法

摘要

本发明公开了一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法，及图像成像与重建技术领域。本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；本方法包括：①多分辨率初始重构；②多分辨率增强重构；③重构系统的训练。与现有技术相比，本发明可得到系统重构性能的进一步提升，同时得到多个分辨率图像的高质量重构；适用于压缩成像。

说明书

技术领域

本发明涉及图像成像与重建技术领域，尤其涉及一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法；详细地说，本发明是一种基于测量矩阵与深度重构联合优化框架，利用多分辨率特征交叉融合技术提升图像恢复质量的压缩感知重构系统及其方法。

背景技术

压缩感知是一种新的信号采样理论。比较传统的香农采样，压缩感知证明了可实现对稀疏信号降维采样的准确重构，因此可大大减少采样的数据量，从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题，自压缩感知理论提出至今一直是该领域关注的研究热点。近年来，随着深度学习在图像识别领域取得的成功应用，基于深度网络的压缩感知重构实现得到了极大关注和飞速发展。【参见文献：[1]Mousavi A，Patel A B，Baraniuk R G,etal.A deep learning approach to structured signal recovery[C]//IEEE.IEEECommunication，Control，and Computing.Monticello：IEEE,2016：1336-1343；[2]Shi W，Jiang F，Liu S，et al.Image compressed sensing using convolutional neuralnetwork[J].IEEE Transactions on Image Processing,2019，29：375-388；[3]Zhang Z，Liu Y，Liu J，et al.AMP-Net：Denoising based Deep Unfolding for CompressiveImage Sensing[J].IEEE Transactions on Image Processing，2021，30：1487-1500】

深度学习方法与传统方法比较，能够极大地提升压缩感知图像的重构质量，并且因为采用端对端映射，因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化，因而可以更加有效地提升测量效率和重构性能。尽管多尺度特征提取可有益于提升深度网络的特征学习表示能力，从而有助于增强压缩感知图像的深度重构性能【参见文献：[4]Liu R,Li S and Hou C,An End-to-EndMulti-Scale Residual Reconstruction Network for Image Compressive Sensing.[C]//2019IEEE International Conference on Image Processing(ICIP).IEEE,2019:2070-2074】。但是，现有方案基本上基于单一分辨率图像内的多尺度特征增强，因此限制了深度网络的特征表达能力及系统重构性能。

发明内容

本发明的目的就在于克服上述背景技术的缺点和不足，提供一种基于多分辨率特征交叉融合的图像压缩感知重构系统及其方法；具体地说，本发明是基于深度卷积网络，采用多分辨率图像特征并行提取与交叉融合增强的策略，提升深度网络的特征学习能力，从而更好地提升重构性能的图像压缩感知重构系统及其方法，通过通道注意力机制，利用更容易准确重构的低分辨率图像的通道注意力信息辅助高分辨率图像的深度特征判别增强，从而得到原始图像的高质量重建结果。

本发明的技术思路是：

首先采用并行处理技术对输入的图像测量值进行原始图像的多分辨率初始重构，得到多个分辨率的初始重构图像；然后，利用并行的多个通路，分别对不同分辨率的初始重构图像进行深度细化重构，得到原始图像的高质量重构及其分辨率减少的高质量重构结果。为了改进深度重构图像质量，本发明采用低分辨率重构通路的深度特征的通道注意力信息，辅助高分辨率通路的深度特征的判别增强，并且对不同分辨率通路的深度特征进行交叉融合以实现信息互补增强。另外，在深度网络的训练阶段，本发明设计损失函数为多个分辨率图像的重构损失的加权和，优化参数学习。

具体地说，本发明的技术方案是：

一、多分辨率特征交叉融合的图像压缩感知重构系统(简称系统)

本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块、多分辨率增强重构模块，系统输出为重构的高分辨率图像X

多分辨率初始重构模块设置有并行的高分辨率初始重构单元和低分辨率初始重构单元，多分辨率增强重构模块设置有深度特征提取1单元、深度特征提取2单元、通道注意力单元、特征判别增强1单元、特征判别增强2单元、特征交叉融合单元、高分辨率残差重构单元、低分辨率深度重构单元和加法器单元；

其交互关系是：

输入的图像测量值Y、高分辨率初始重构单元、深度特征提取1单元、特征判别增强1单元、特征交叉融合单元、高分辨率残差重构单元和加法器单元依次交互；

输入的图像测量值Y、低分辨率初始重构单元、深度特征提取2单元、特征判别增强2单元、特征交叉融合单元和低分辨率深度重构单元依次交互；

深度特征提取2单元的输出同时与通道注意力单元的输入端交互，通道注意力单元的输出端同时与特征判别增强1单元的另一输入端和特征判别增强2单元的另一输入端交互；

加法器单元的输出为重构的高分辨率图像X

二、多分辨率特征交叉融合的图像压缩感知重构方法(简称方法)

本方法包括下列步骤：

①多分辨率初始重构

a)高分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的高分辨率初始估计I

b)低分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的低分辨率初始估计I

②多分辨率增强重构

i)深度特征提取

i.1)深度特征提取1单元接收输入的原始图像的高分辨率初始估计I

i.2)深度特征提取2单元接收输入的原始图像的低分辨率初始估计I

ii)特征判别增强

ii.1)通道注意力单元，接收输入的深度特征提取2单元提取第二深度特征DF

ii.2)特征判别增强1单元，接收输入的深度特征提取1单元生成I

ii.3)特征判别增强2单元，接收输入的深度特征提取2单元生成I

iii)特征交叉融合

iii.1)特征交叉融合单元，接收输入的特征判别增强1单元输出的第一深度特征EF

iii.2)通过卷积运算，将第一深度特征EF

iv)图像重构

iv.1)高分辨率残差重构单元接收输入的特征交叉融合单元输出的第一融合特征FF

iv.2)加法器单元接收输入的高分辨率初始重构单元输出的原始图像的高分辨率初始估计I

iv.3)低分辨率深度重构单元接收输入的特征交叉融合单元输出的第二融合特征FF

③重构系统的训练

为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对系统参数进行训练优化，所用的损失函数为原始图像X及其分辨率减少的低分辨率图像LX与初始估计I

工作机理：

本发明的实现总体分为两个阶段：

第一阶段，采用多分辨率初始重构，由已知的图像的测量值得到原始图像的高分辨率初始估计和低分辨率初始估计；

第二阶段，利用多分辨率初始重构模块输出的原始图像的高分辨率初始估计和低分辨率初始估计，以及多分辨率增强重构模块，通过多层的卷积网络的变换处理，得到原始图像及其分辨率减少图像的高质量重建。

与现有技术相比，本发明具有下列优点和积极效果：

本发明可得到系统重构性能的进一步提升，同时得到多个分辨率图像的高质量重构；适用于压缩成像。

附图说明

图1是本系统的结构方框图；

1)标记及其指代

10—多分辨率初始重构模块，

11—高分辨率初始重构单元，

12—低分辨率初始重构单元；

20—多分辨率增强重构模块，

21—深度特征提取1单元，

22—深度特征提取2单元，

23—通道注意力单元，

24—特征判别增强1单元，

25—特征判别增强2单元，

26—特征交叉融合单元，

27—高分辨率残差重构单元，

28—低分辨率深度重构单元，

29—加法器单元。

2)名称及其符号：

输入的图像测量值Y；

重构的高分辨率图像X

原始图像的高分辨率初始估计I

I

通道重要性权值W；

第一深度特征EF

下采样表示dEF

第一融合特征FF

残差图像X

图2是本方法与同类方法的系统重构性能比较表。

具体实施方式

下面结合附图和实施例详细说明：

一、系统

1、总体

如图1，本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块10、多分辨率增强重构模块20，系统输出为重构的高分辨率图像X

多分辨率初始重构模块10设置有并行的高分辨率初始重构单元11和低分辨率初始重构单元12，多分辨率增强重构模块20设置有深度特征提取1单元21、深度特征提取2单元22、通道注意力单元23、特征判别增强1单元24、特征判别增强2单元25、特征交叉融合单元26、高分辨率残差重构单元27、低分辨率深度重构单元28和加法器单元29；

其交互关系是：

输入的图像测量值Y、高分辨率初始重构单元11、深度特征提取1单元21、特征判别增强1单元24、特征交叉融合单元26、高分辨率残差重构单元27和加法器单元29依次交互；

输入的图像测量值Y、低分辨率初始重构单元12、深度特征提取2单元22、特征判别增强2单元25、特征交叉融合单元26和低分辨率深度重构单元28依次交互；

深度特征提取2单元22的输出同时与通道注意力单元23的输入端交互，通道注意力单元23的输出端同时与特征判别增强1单元24的另一输入端和特征判别增强2单元25的另一输入端交互；

加法器单元29的输出为重构的高分辨率图像X

2、功能模块

1)多分辨率初始重构模块10

高分辨率初始重构单元11接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的高分辨率初始估计I

低分辨率初始重构单元12接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的低分辨率初始估计I

2)多分辨率增强重构模块20

深度特征提取1单元21接收输入的原始图像的高分辨率初始估计I

深度特征提取2单元22接收输入的原始图像的低分辨率初始估计I

通道注意力单元23，接收输入的深度特征提取2单元22提取I

特征判别增强1单元24，接收输入的深度特征提取1单元21生成的深度特征DF

特征判别增强2单元25，接收输入的深度特征提取2单元22生成的第二深度特征DF

特征交叉融合单元26，接收输入的特征判别增强1单元24输出的第一深度特征EF

高分辨率残差重构单元27，接收输入的特征交叉融合单元26输出的第一融合特征FF

低分辨率深度重构单元28，接收输入的特征交叉融合单元26输出的第二融合特征FF

加法器单元29，接收输入的高分辨率初始重构单元11输出的原始图像的高分辨率初始估计I

二、方法

步骤①

高分辨率初始重构单元11接收输入的图像测量值Y，通过单层卷积网络，生成原始图像的分辨率相同的初始估计I

低分辨率初始重构单元12接收输入的图像测量值Y，通过单层卷积网络，生成原始图像的分辨率减少的初始估计I

步骤②

深度特征提取1单元21接收输入的原始图像的同分辨率的初始估计I

深度特征提取2单元22接收输入的原始图像的分辨率减少的初始估计I

通道注意力单元23接收输入的深度特征提取2单元22提取的深度特征DF

特征判别增强1单元24，接收输入的深度特征提取1单元21生成的深度特征DF

特征判别增强2单元25，接收输入的深度特征提取2单元22生成的深度特征DF

特征交叉融合单元26，首先接收输入的特征判别增强1单元24输出的深度特征EF

特征交叉融合单元26，接下来通过卷积网络，将深度特征EF

高分辨率残差重构单元27接收输入的特征交叉融合单元26输出的融合特征FF

加法器单元29接收输入的高分辨率初始重构单元11输出的原始图像的初始估计I

低分辨率深度重构单元28接收输入的特征交叉融合单元26输出的融合特征FF

步骤③

为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对系统的网络参数进行训练优化，所用的损失函数为原始图像X及其分辨率减少的低分辨率图像LX与初始估计I

三、实验评估

为了证明本发明实施例的有效性，发明人在pytorch深度学习框架下进行了实验评估。实验平台配置2张Nvidia GeForce GTX 1080Ti显卡；测试系统重构性能用平均PSNR和SSIM指标度量图像重构质量；训练方法选用Adam法，相关参数设置为β

图2给出了本发明方法与同类方法的在Set5和Set14测试数据集对应不同采样率的重构性能比较。

由此可见：本发明得到了重构图像质量的进一步提升。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。