基于深度学习局部与非局部信息的超分辨率重建方法

摘要

本发明公开了一种基于深度学习局部与非局部信息的超分辨率重建方法。主要包括以下步骤：搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；利用前一步骤搭建的卷积神经网络，分别训练不同放大因子的超分辨率模型；以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。本发明所述的方法能够利用非局部增强网络挖掘到图像更广泛区域的有效信息，因此可以有效地对低分辨率图像进行超分辨率重建，能获得很好的主客观效果，是一种有效的低分辨率图像复原方法。

说明书

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种基于深度学习局部与非局部信息的超分辨率重建方法，属于数字图像处理领域。

背景技术

超分辨率重建技术因其能提升图像的分辨率，而被广泛应用于实际生活中，如从安全领域的成像到医疗成像，因此在图像处理领域中，超分辨率重建技术受到不少研究学者的青睐并被深入地研究。提高图像分辨率的方法主要有两种：一种是通过改善硬件设备条件获取高分辨率图像；另一种是通过软件提升图像的分辨率。通过改善硬件条件实现的方式，往往成本比较高，不能增加已拍摄图像的分辨率，局限性强。因此，软件超分辨率重建技术成为了近年来图像处理的一个研究热点。

超分辨率重建技术是一种后处理技术，主要的优点在于能够在不改变现有硬件条件的情况下提高图像的分辨率。此类方法大致分为基于插值的方法，基于重建的方法，以及基于学习的方法。其中，基于学习的方法，由于复原速度快和复原后的图像质量好，往往具有更多的实际意义。近年来，随着计算机技术的发展和设备的更新换代，基于卷积神经网络学习的方法取得了较大发展，相比之前的一些基于学习的方法，其学习效率高且能够更好地恢复低分辨率图像损失的细节信息。然而，现有的基于深度学习的超分辨率重建方法，大多是局部卷积神经网络，在复原图像的质量上还有进一步提升的空间。

发明内容

本发明的目的是结合基于深度学习局部与非局部信息的优点，进而构建一种有效的超分辨率重建方法。

本发明提出的基于深度学习局部与非局部信息的超分辨率重建方法，主要包括以下操作步骤：

(1)搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；

(2)利用步骤一的卷积神经网络，分别训练不同放大因子的超分辨率模型；

(3)以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。

附图说明

图1是本发明基于深度学习局部与非局部信息的超分辨率重建方法的原理框图

图2为局部残差模块

图3为非局部相似性模块运算过程说明

图4为非局部残差模块

图5是本发明与另外六种方法对双三次下采样图像“216081”超分辨率重建结果的对比图(超分辨率重建因子为2)：其中，(a)为原始图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果

图6是本发明与另外六种方法对双三次下采样图像“223061”超分辨率重建结果的对比图(超分辨率重建因子为4)：其中，(a)为原始图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于深度学习局部与非局部信息的超分辨率重建方法，具体可以分为以下几个步骤：

(1)搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；

(2)利用步骤一的卷积神经网络，分别训练不同放大因子的超分辨率模型；

(3)以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。

具体地，在步骤(1)中，搭建的基于深度学习局部与非局部信息的超分辨率卷积神经网络模型如图1所示，包括局部网络和非局部增强网络两大模块。

局部网络依次包括第一层的特征提取层(卷积层)、中间的12个局部残差模块、特征重组层(卷积层)、亚像素卷积层以及特征增强层(卷积层)。搭建的局部残差模块如图2所示，主要包括两层卷积层和一层激励层。由于残差学习的收敛性能，残差学习思想被广泛用于深度卷积神经网络中。在经过两层卷积层后，将输入直接加在输出端以便学习残差图像或者残差特征。对于第i个残差模块，由输入y

式中，

该函数将x

亚像素卷积层采用文献“Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network”中的上采样层。早期的超分辨率重建网络中采用双三次插值来获取初始的低分辨率图像，使得训练和重建需要消耗一定的时间。亚像素卷积层能利用亚像素插值来提升特征或者图像的分辨率，而在网络末端设置亚像素卷积层可以有效地减少特征卷积过程中所需的时间。因此，在局部网络中，本发明以该层来提升特征的分辨率，并且为了增强分辨率提升后的特征，在亚像素卷积层后加了一层卷积层。

局部网络虽然性能不错，但未涉及更多的图像结构信息。在本发明提出的非局部增强网络框架中，利用非局部相似性模块来搜索相似性信息，并将其用于特征的重构中。图3为非局部相似性模块运算过程的示意图，展示以小长方体P为中心的大长方体S与小长方体P之间的运算过程(大长方体S为N通道输入特征张量的一个f×f×N子张量，小长方体P是位于大长方体S几何中心的1×1×N子张量)。下面详细介绍运算过程。

为了学习到更具鲁棒性的非局部相似性，先采用1×1卷积层分别对S和P进行自适应特征加权。对加权后维度为f×f×N的A进行维度重组、转置得到维度为N×f

S

S

P

式中，H

不同于传统基于非局部相似性的算法，非局部相似性模块中采用内积的方式来求解相似程度。在实际计算中，以矩阵乘法实现内积的思想，先将维度为1×N的P

Q＝P+Softmax(P

在局部网络中，对于同一张特征图采用相同的卷积核，因而对于细节丰富程度不同的区域无法区别对待。与局部网络不同，非局部相似性模块结合了非局部区域的结构信息，并且每一小长方体均有不同的相似权重矩阵，因而很好地利用了特征的结构信息。

本发明将非局部相似性模块嵌入至残差学习中构成如图4所示的非局部残差块。在非局部残差模块中，由输入特征F

F

式中NLSB表示非局部相似性模块操作，H

在训练阶段，采用双三次插值对高分辨率图像库进行降质生成低分辨率图像库。将对应的高低分辨率图像作为训练对象输入到设计的网络模型中。训练过程以预测图像和真实图像之间的MSE误差作为损失函数，并以此来规范网络参数的训练，其过程可以用公式表示为：

式中，H

为了更好地说明本发明的有效性，在常用测试图库“Set5”(包含5幅经典图像)和“B100”(包含100幅测试图像)进行实验。实验中，选取6种典型的图像超分辨率算法作为对比方法，其中方法1为传统算法，方法2到方法6为深度学习算法且为局部卷积神经网络复原算法。

对比的图像超分辨率算法为：

方法1：双三次插值(Bicubic)。

方法2：Dong等人提出的方法，参考文献“Dong C,Loy C C,He K,et al.Imagesuper-resolution using deep convolutional networks[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2016,38(2):295-307.”。

方法3：Dong等人提出的方法，参考文献“Dong C,Loy C C,Tang X.Acceleratingthe super-resolution convolutional neural network[C].European Conference onComputer Vision,2016:391-407.”。

方法4：Kim等人提出的方法，参考文献“Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C].IEEEConference on Computer Vision and Pattern Recognition,2016:1646-1654.”。

方法5：Lai等人提出的方法，参考文献“Lai W S,Huang J B,Ahuja N,et al.Deeplaplacian pyramid networks for fast and accurate superresolution[C].IEEEConference on Computer Vision and Pattern Recognition,2017:5835-5843.”。

方法6：Lai等人提出的方法，参考文献“Lai W S,Huang J B,Ahuja N,et al.Fastand accurate image super-resolution with deep laplacian pyramid networks[EB/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence,[2018-08-13].https://ieeexplore.ieee.org/document/8434354.”。

对比实验的内容如下：

实验1，用双三次对测试图库“Set5”分别进行2、3、4倍下采样，用方法1到方法6以及本发明对双三次下采样的图库进行超分辨率重建测试。表一展示了对比方法及本发明在Set5测试图库上评价指标的平均值。其中方法5的作者只提供放大倍数为2和4时的训练模型，所以表一中只列出该方法上述2种情况下的比较。客观评价参数采用PSNR(Peak Signalto Noise Ratio)和SSIM(Structure Similarity Index)。这两个参数的数值越高表明超分辨率重建效果越好。

表一

实验2，用双三次对测试图库“B100”分别进行2、3、4倍下采样，用方法1到方法6以及本发明对双三次下采样的图库进行超分辨率重建测试。表二展示了对比方法及本发明在B100测试图库上评价指标的平均值。另外，为了进行主观视觉比较，图5和图6分别给出了图像“216081”和图像“223061”的重建结果。

表二

从表一及表二所示的客观评价参数上看，在测试图库“Set5”和“B100”上本发明均取得了较高的PSNR和SSIM值。

图5展示了测试图库“B100”中的图像“216081”在倍数为2时的超分辨率重建结果。原始图像、方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果分别如图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)、图5(g)及图5(h)所示。方法1重建出的图像较为模糊，深度学习的超分辨率重建算法能够恢复更多的边缘细节。相比于方法2、方法3、方法4和方法5，方法6重建的图像更为清晰，且边缘更为突出，如在图中圈出的字体部分。本发明相比于其他的算法，较为干净，且保证了部分字体的完整性，因而重建的图像具有更丰富的信息。

图6展示了测试图库“B100”中的图像“223061”在倍数为4时的超分辨率重建结果。原始图像、方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果分别如图6(a)、图6(b)、图6(c)、图6(d)，图6(e)、图6(f)、图6(g)及图6(h)所示。方法1的重建图像出现了明显的模糊和振铃效应，方法2和方法3的重建图像减少了部分振铃效应，突出了部分建筑物的轮廓。方法6重建图像中建筑物轮廓较为突出，但不够真实。本发明相比于其他深度学习的方法，重建图像中无振铃效应，且重建的建筑物轮廓与原图更加接近。

综上所述，相比于对比方法，本发明的超分辨率重建结果在主客观评价上都有较大优势。因此，本发明是一种有效的超分辨率重建方法。