基于多尺度残差神经网络的压缩感知图像重建方法

摘要

本发明属于图像处理领域，为最大限度的提升图像的重建质量和重建效果，本发明，基于多尺度残差神经网络的压缩感知图像重建系统，包括：压缩采样模型包含一个重塑reshape层一个全连接层；初始重建模型，其中一个全连接层FC用于对观测向量y进行上采样，最终得到与xv相同尺寸的输出数据，另一个重塑reshape层重新排列上采样过程的输出，形成初步重建图像xir；采用包含多个多尺度残差块MSRB的深层多尺度残差重建模型进一步处理xir，每个MSRB的输出特征映射送至网络的末端，并将这些特征信息与初始重建模型的输出一起连接送入网络末端。本发明主要应用于图像处理场合。

说明书

技术领域

本发明属于图像处理领域，涉及深度学习中卷积神经网络的结构优化，图像压缩采样和反向重建研究。具体涉及基于多尺度残差神经网络的压缩感知图像重建方法。

背景技术

压缩感知(CS)理论是一种极具潜力的新兴技术，它证明了当信号在变换域中是稀疏的情况下，可以利用比奈奎斯特(nyqiust)采样理论所要求的更少的采样数据，较大概率地重构得到原始信号[1,2]。此外，CS理论还可以同时完成对信号的采样和压缩处理，有助于减轻硬件在数据采集、存储和传输中的压力。基于以上优点，CS理论在医学图像扫描仪[3]、单像素相机[4]、认知无线电通信[5]等许多实际应用中得到了广泛应用。

为了充分发挥CS理论的潜力，近十年来提出了许多基于CS理论的图像重建方法。压缩感知图像的重建方法可以大致分为两类：传统的基于优化的压缩感知图像重建方法和最新的基于CNN(卷积神经网络)的压缩感知图像重建方法。为了更好地分析这些方法并展示我们的方法的优势，我们首先用数学形式解释信号的压缩感知及其反向重建过程：压缩感知和反向重建理论的目的是从原始信号对应的压缩观测量y＝φx∈R

对于这个问题，大多数传统的压缩感知图像重建方法[6,7,8,9]假设原始图像信号在某些变换域中是结构稀疏的，然后应用迭代计算来求解一个优化问题。然而，现实世界中的自然图像在其变换域中并不具有精确的稀疏性，这限制了这些算法的重建性能。此外，迭代计算的计算复杂度高，执行重建任务的时间长，这也限制了图像压缩感知理论的实时应用。最近，受到将CNN应用于图像超分辨率重建[10]领域的启发，研究人员开发了一类新的基于CNN的压缩感知图像重建方法。Kulkarni等人首先提出了一种利用简单卷积神经网络ReconvNet[11]从观测向量中反向恢复出原始图像的方法。Yao等人[12]进一步完善了重建网络的结构，形成了一个新的网络DR

发明内容

为克服现有技术的不足，本发明旨在通过一个多尺度残差神经网络实现对压缩感知图像的高效高质量重建和复原，在控制压缩感知图像的重建时间成本前提下，最大限度的提升图像的重建质量和重建效果。为此，本发明采取的技术方案是，基于多尺度残差神经网络的压缩感知图像重建系统，包括：压缩采样模型包含一个重塑reshape层，该层用于将输入大小为n×n的图像块xp进行尺寸变换，最终形成一个尺寸为n2×1的单列向量x

其中，压缩采样模型：

输入图像块xp为n×n大小，压缩样本模型中整形层的整形操作为f

x

其中x

y＝f

其中，f

这个全连接层实现了与传统的随机高斯测量矩阵相似的功能：层中有α×n

压缩采样模型的输出被发送到下一个初始重建模型，其输出表示为x

x

其中，f

其中，多尺度残差重建模块MSRB：

MSRB中有三个卷积通道，每个通道利用固定尺寸的卷积核从输入特征图中提取某一种尺度信息，此外，从三个通道提取的图像信息会进行进一步共享和融合。

MSRB单元的上述操作公式表示如下：

其中F表示MSRB单元中某一卷积层(Conv Layer)的输出，w和b分别表示卷积层中的权重和偏差，上标表示卷积层的在MSRB单元中的位置，下标表示该卷积层中卷积核的大小。M

假设MSRNet中MSRB结构单元的数目为n，最后一个卷积层的权重和偏差为w

x

MSRNet网络的训练和执行：

对于训练数据集，我们使用与文献[10,11]相同的数据集，包括91个图像，将这些原始图像旋转90、180、270以扩展和增强数据集，从原始图像中切块提取33×33的图像小块，切块步长设置为14，制作成网络训练集，对于训练策略，使用均方误差MSE作为损失函数来最小化网络的预测损失，并且使用Adam作为网络优化算法来训练网络，初始学习率设为0.001，每隔5万次学习率降低10倍，学习率小于10

本发明的特点及有益效果是：

本方法提出的一种端到端的多尺度残差重建网络，实现了压缩感知图像的反向重建过程。通过对基于端到端优化的卷积神经网络的训练，大大降低了生成压缩测量矩阵的难度，同时提高了网络的重建精度。此外，还引入了多尺度残差学习，提高了网络的多尺度信息和特征的学习能力，有助于实现更好的图像重建质量，同时保持了较低的图像重建时间成本。在标准图像测试集上的实验表明，MSRNET是一种高效优秀的压缩感知图像重建系统。

附图说明：

图1:压缩测量率为10％情况下，利用不同算法重建图像“鹦鹉”的PSNR值和时间成本。我们方法的重建结果比RecoNet[11]和DR

图2:基于多尺度残差神经网络的图像压缩感知和反向重建过程

图3：多尺度残差单元(MSRB)结构图示

图4：上一帧图像为测量率为25％条件下的重建结果，下一帧图像为测量率为4％条件下的重建结果。

具体实施方式

对于现有基于CNN的模型，由于CNN强大的学习能力，它们通常能够以非常快的速度完成重建任务。然而，这些现有的基于CNN的方法往往采用残差网络或深度网络等简单、基本的网络框架来形成重构模型，不能充分利用和挖掘复杂卷积网络的学习和映射能力。为了提高重建网络的学习能力，进一步提高压缩感测图像的恢复性能，我们提出了一种新的多尺度残差重建网络MSRNet。在MSRNet中，我们构建了一个多尺度残差块(MSRB)作为重建网络的基本块。一个MSRB中有三个不同尺寸卷积核的并行通道，每个通道都可以用于从输入特征图中提取一个尺度信息。另外，当前通道提取的信息与其他通道共享，显著提高了不同尺度特征信息的网络学习能力。此外，MSRNet还引入了跳跃连接和残差学习，提高了网络的预测精度。MSRNet的另一个贡献是测量矩阵。在以前基于CNN的重建方法中，通过采用适当尺寸的随机测量矩阵对原始图像x进行压缩采样，生成相应的压缩感知观测向量y，这个随机测量矩阵是在训练网络前人工生成的。但是在MSRNet中，我们使用一个压缩采样网络来实现压缩采样过程，这个模型可以通过训练网络来进行参数更新和学习，如此有两个优点：(1)生成一个随机性质的矩阵对于硬件来说是非常困难的。通过对MSRNet的训练，可以生成一个具有确定性的测量矩阵，该矩阵通过网络自学习得来，硬件上容易实现。(2)通过将压缩采样和反向恢复过程集成到一个网络中，我们实际上构建并优化了一个完整的端到端CNN，而不是分别优化图像压缩感知和重建部分。

总体而言，我们的MSRNet的主要贡献是三个方面：(1)多尺度学习：通过多尺度的卷积通道，我们的网络可以提取和利用不同尺度的特征信息，具有更强的学习能力。(2)端到端优化：我们实现了一个完整的端到端网络来模拟图像压缩和反向重建，避免了网络优化和硬件实现的困难。(3)准确性和时间复杂度：如图1所示，我们的MSRNet在标准图像集上以较低的时间复杂度实现了重建性能的显著提升。

作为模拟图像压缩感知和反向重建过程的端到端网络，我们设计的MSRNet包括三个子模型：压缩采样模型、初始重建模型和深层多尺度残差重建模型。

具体步骤如下：

如图2所示，三个子模型被级联和集成，形成一个完整的MSRNet。在MSRNet中，压缩采样模型包含一个重塑(reshape)层，该层用于将输入大小为n×n的图像块xp进行尺寸变换，最终形成一个尺寸为n2×1的单列向量x

下面，我们对压缩采样和深层多尺度残差重建模块进行详细分析和介绍。

一、MSRNet中的压缩采样模型

在以前的方法中，研究者采用随机高斯矩阵作为测量矩阵φ来实现采样操作。虽然这是一种有效的压缩采样测量矩阵，但在实际应用中很难实现随机矩阵。在MSRNet中，我们提出了一个压缩采样模型来代替随机高斯矩阵。

假设输入图像块xp为n×n大小，压缩样本模型中整形层的整形操作为f

x

其中x

y＝f

其中，f

这个全连接层实现了与传统的随机高斯测量矩阵相似的功能：层中有α×n

压缩采样模型的输出被发送到下一个初始重建模型，其输出可以表示为x

x

其中，f

二、MSRNet中的多尺度残差重建模块

在MSRNet中，我们构建了一个多尺度残差块(MSRB)作为深层重建模型的基本结构单元。如图2所示，MSRB中有三个卷积通道，每个通道利用固定尺寸的卷积核从输入特征图中提取某一种尺度信息。此外，从三个通道提取的图像信息会进行进一步共享和融合，提高了网络对不同尺度特征的学习和表达能力。

图2中MSRB单元的上述操作可公式表示如下：

其中F表示MSRB单元中某一卷积层(Conv Layer)的输出，w和b分别表示卷积层中的权重和偏差，上标表示卷积层的在MSRB单元中的位置，下标表示该卷积层中卷积核的大小。M

假设MSRNet中MSRB结构单元的数目为n，最后一个卷积层的权重和偏差为w

x

三、MSRNet网络的训练和执行细节

对于训练数据集，我们使用与文献[10,11]相同的数据集，包括91个图像。受[10]启发，我们将这些原始图像旋转90、180、270以扩展和增强数据集。根据现有基于CNN的压缩感知方法的常见做法，我们从原始图像中切块提取33×33的图像小块，切块步长设置为14，制作成网络训练集。对于训练策略，我们使用均方误差(MSE)作为损失函数来最小化网络的预测损失，并且使用Adam[17]作为网络优化算法来训练我们的网络。初始学习率设为0.001，每隔5万次学习率降低10倍，学习率小于10

另外，除了最后一个卷积层外，MSRNet中每个卷积层的卷积核数目都被设置为64，最后一个卷积层的卷积核数目设置为1，以形成最终的重建图像。送入网络训练的图像块的批量大小(batch size)设置为64。所有实验都是通过深度学习框架caffe[18]在一个12GB内存的Titanx GPU上完成的。

与其他压缩感知方法相似，我们使用Set11[11]作为测试数据集，并以四种测量率(MR＝0.25,0.1,0.04,0.01)测试不同方法的重建性能。考虑到性能和计算复杂度之间的平衡，我们使用包含2个MSRB的MSRNet来执行我们的实验。我们将我们的方法与现有的最先进的方法进行了比较，包括TVAL3[7]、D-AMP[14]、SDA[15]、ReconNet[11]、DR2-NET[12]、ISTA-NET[13]在Set11[11]测试集上的平均PSNR结果记录在表1中：

表1：不同方法在不同测量率下的重建结果PSNR值(Set11为测试集)

从表1中可以看出，我们的MSRNet比以前的最优方法大幅度提高了重建性能，如MR＝0.25，我们的方法比基于CNN的ReconNet[11]和DR2-Net[12]分别高出7.82db和4.7db。对于MR＝0.01，我们的方法在PSNR上比ISTA-Net[13]提高了2.78db，并且MSRNet对于压缩感知图像的重建也具有鲁棒性，即使在非常小的压缩测量率上，MSRNet可以实现当前最优的压缩感知图像的反向重建效果，在不同测量率下的更多重建示例图像如图4所示。我们的方法在重建图像中产生了详细的纹理和边缘，与其他已有著名方法相比，具有更好的视觉效果。

对于算法的时间复杂度，我们使用256×256大小的单帧图像作为测试图像来计算不同方法的重建时间，结果如表2所示。

表2：不同方法在不同测量率下实现单帧(256X256)图像重建所需时间

为了进行公平比较，我们在性能相似的设备上执行了所有的测试，从表2可以看出，我们的方法比传统的图像压缩感知重建算法TVAL3[7]，D-AMP[14]快得多。SDA[15]作为一个基于深度学习的非迭代算法，与其他基于CNN的压缩感知图像重建算法相比，显示出较大的速度优势，虽然我们的方法比ReconNet[11]慢5-6倍，比DR

参考文献

[1]E.J.Candes,T.Tao,“Near-optimal signal recovery from randomprojections:Universal encoding strategies？,”IEEE Transactions on InformationTheory,52(12):5406-5425,2006.

[2]M.F.Duarte,M.A.Davenport,D.Takbar,J.N.Laska,T.Sun,K.F.Kelly,andR.G.Baraniuk,“Single-pixel imaging via compressive sampling,”IEEE SignalProcessing Magazine,25(2):83–91,2008.

[3]M.Lustig,D.Donoho,and J.M.Pauly,“Sparse mri:The application ofcompressed sensing for rapid mr imaging,”Magnetic Resonance in Medicine,58(6):1182–1195,2007.

[4]F.Rousset,N.Ducros,A.Farina,G.Valentini,C.DAndrea,F.Peyrin,“Adaptive basis scan by wavelet prediction for single-pixel imaging,”IEEETransactions on Computational Imaging,3(1):36–46,2017.

[5]S.K.Sharma,E.Lagunas,S.Chatzinotas,and B.Ottersten,“Application ofcompressive sensing in cognitive radio communications:A survey,”IEEECommunication Surveys&Tutorials,18(3):1838–1860,2016.

[6]Y.Kim,M.S.Nadar,and A.Bilgin,“Compressed sensing using a gaussianscale mixtures model in wavelet domain,”In ICIP,IEEE,pages 3365–3368.,2010.

[7]C.Li,W.Yin,H.Jiang,and Y.Zhang,“An efficient augmented lagrangianmethod with applications to total variation minimization,”ComputationalOptimization and Applications,56(3):507–530,2013.

[8]C.A.Metzler,A.Maleki,and R.G.Baraniuk,“From denoisingto compressedsensing,”IEEE Transactions on Information Theory,62(9):5117–5144,2016.

[9]J.Zhang,D.Zhao,and W.Gao,“Group-based sparse representation forimage restoration,”IEEE Transactions on Image Processing,23(8):3336–3351,2014.

[10]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image superresolution,”In Euro.Conf.Comp.Vision,Springer,2014,pages.184-199.

[11]K.Kulkarni,S.Lohit,P.Turaga,R.Kerviche,and A.Ashok,“Reconnet:Non-iterative reconstruction of images from compressively sensed randommeasurements,”CVPR,2016.

[12]H.Yao,F.Dai,D.Zhang,Y.Ma and S.Zhang,“DR

[13]J.Zhang,B.Ghanem,“ISTA-Net:Interpretable Optimization-InspiredDeep Network for Image Compressive Sensing,”CVPR,2018.

[14]C.A.Metzler,A.Maleki,and R.G.Baraniuk,“From denois-ing tocompressed sensing,”IEEE Trans.Information Theory,2016,62(9):5117–5144.

[15]A.Mousavi,A.B.Patel,and R.G.Baraniuk,“A deep learning approach tostructured signal recovery,”in 2015 53rd Annual Allerton Conference onCommunication,Control,and Computing,IEEE,2015,pp.1336–1343.

[16]X.Glorot,A.Bordes,and Y.Bengio,“Deep sparse rectifier neuralnetworks,”In AISTATS,2011.3.

[17]D.Kingma,J.Ba.Adam,“A method for stochastic optimization,”ICLR,2014.5.

[18]Y.Jia,E.Shelhamer,J.Donahue,S.Karayev,J.Long,R.Girshick,S.Guadarrama,and T.Darrell,“Caffe:Convolutional architecture for fast featureembedding,”arXiv:1408.5093,2014.5。