基于多方向特征预测先验的单幅图像超分辨率重建方法

摘要

本发明公开了一种基于多方向特征预测先验的单幅图像超分辨率重建方法。主要包括以下步骤：构建特征预测深度卷积神经网络；针对四个方向特征，分别训练构建的网络；利用训练好的网络模型对输入的低分辨率图像进行多方向特征预测；利用上一步骤预测的四类方向特征，构建多方向特征预测先验；构建基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数；利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。本发明所述的单幅图像超分辨率重建方法，能够获得很好的主客观效果，且抗噪声性能良好。因此，本发明是一种高性能的单幅图像超分辨率重建方法，在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用潜力。

说明书

技术领域

本发明涉及图像分辨率提升技术，具体涉及一种基于多方向特征预测先验的单幅图像超分辨率重建方法，属于图像处理领域。

背景技术

随着信息技术的不断发展，高分辨率的图像及视频在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用需求。但是受硬件成本、成像环境等多方面因素的制约，以及传输过程中受到的噪声干扰，获取的图像/视频质量有时仍然不能达到实际应用的需求，如存在分辨率不足、噪声干扰、模糊等降质问题。超分辨率重建技术可以对已采集的降质图像及视频进行分辨率提升，具有成本低、实用性强的特点。国内外学者们对超分辨率技术进行了深入的研究，并针对单幅图像的超分辨率重建提出了很多有效的方法。单幅图像超分辨率重建方法主要包含三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习的发展，基于学习的超分辨率重建方法取到了较大的进步，其中最为典型的就是基于深度学习的超分辨率方法。但是基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，而传统基于重建方法中的图像降质约束在很大程度上被忽略了，所以重建得到的图像可能会产生人工痕迹，限制性能的进一步提升。

发明内容

本发明的目的是提出用于多方向特征预测的深度卷积神经网络，并结合图像降质约束，构建一种高性能的单幅图像超分辨率重建方法。

本发明提出的基于多方向特征预测先验的单幅图像超分辨率重建方法，主要包括以下操作步骤：

(1)针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；

(2)针对每一个方向特征，利用训练图像数据集，训练步骤(1)中构建的深度卷积神经网络，总共训练四类方向特征；

(3)利用步骤(2)中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；

(4)利用步骤(3)预测的四类方向特征，构建多方向特征预测先验；

(5)融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；

(6)利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。

附图说明

图1是本发明基于多方向特征预测先验的单幅图像超分辨率重建方法的原理框图

图2是本发明特征预测网络的网络结构图

图3是本发明使用的9张测试图像

图4是本发明与四种方法对测试图像“Castle”的重建结果的对比图(超分辨率重建因子为3，高斯模糊核尺寸7×7，标准差1.5)：其中，(a)为测试图像，(b)为低分辨率图像，(c)(d)(e)(f)(g)(h)分别为双三次插值、方法1、方法2、方法3、方法4及本发明的重建结果

图5是本发明与四种方法对测试图像“Monarch”的重建结果的对比图(超分辨率重建因子为3，高斯模糊核尺寸7×7，标准差1.5，噪声级为5)：其中，(a)为测试图像，(b)为低分辨率图像，(c)(d)(e)(f)(g)(h)分别为双三次插值、方法1、方法2、方法3、方法4及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于多方向特征预测先验的单幅图像超分辨率重建方法，具体可以分为以下六个步骤：

(1)针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；

(2)针对每一个方向特征，利用训练图像数据集，训练步骤(1)中构建的深度卷积神经网络，总共训练四类方向特征；

(3)利用步骤(2)中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；

(4)利用步骤(3)预测的四类方向特征，构建多方向特征预测先验；

(5)融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；

(6)利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。

具体地，所述步骤(1)中，我们构建如图2所示的用于方向特征预测的深度卷积神经网络(简称为MDFP CNN)。首先，降质的低分辨率输入图像Y被双三次插值上采样为Y↑。接着，我们通过特征提取函数E_k(·)提取Y↑的方向特征图。然后，通过使用变换函数T(x)＝x/510+0.5，将特征的值域从[-255>k(Y↑))被MDFP>k(X))，其中X为高分辨率图像。最后，预测的高分辨率特征可以通过逆变换T^-1(x)＝510x-255得到。关于MDFP>

在MDFP CNN中，由于网络输入T(E_k(Y↑))与输出T(E_k(X))非常相似，我们采用全局残差策略。另外，为了降低MDFP>

式中，u_l是第l个残差模块的输入特征，F_l＝{F_l,m|m＝1,2}与B_l＝{B_l,m|m＝1,2}为对应于第l个残差块的权重与偏移集合。表示局部残差函数。在预激活残差块中，

其中为ReLU函数，“*”为卷积操作。不难证明，对第v个残差块，其特征u_v可以表示为更浅的残差块u_l与两个残差块之间所有的残差函数的输出的和，可以表示如下：

接下来，我们将证明上式有很好的梯度传递特性，能够避免梯度消失。令代价函数为则

其中第一项直接将第v个残差块对应的梯度信息反向传递到更浅的第l个残差块，而第二项保证梯度不会消失。这是因为第二项的值不可能对所有的样本始终为因为前述良好的梯度特性，MDFP CNN能够得到很好的训练，并预测出高质量的方向特征。

所述步骤(2)中，即训练阶段，我们首先对训练图像数据集进行降质，然后将降质图像数据集与原始图像数据集采用相同的梯度滤波核进行方向特征提取，构建高低分辨率的训练图像对。在本发明中，我们提取0度，45度，90度，135度四个方向的梯度特征，对应梯度滤波核为：

f₁＝[0>2＝[-1>

f₃＝[0>4＝[0>

此后，我们利用每一个方向特征对应的训练集，采用最小化二范数损失函数(均方误差)来分别更新本发明步骤(1)中所构建的卷积神经网络的参数，最终得到四个方向特征预测网络。记第k个方向特征对应的可训练的参数集为对应的残差图像为Λ_k＝T(E_k(X))-T(E_k(Y↑))，然后我们定义全局残差映射函数为则期望的变换特征可以通过累加低分辨率输入T(E_k(Y↑))与高分辨率残差估计Λ_k得到。其训练代价函数可用下式表示：

其中为样本数。本发明采用ADAM来优化上述代价函数。

所述步骤(3)中，我们利用步骤(2)中训练好的四个深度卷积神经网络模型对经输入的低分辨率图像进行四个方向的特征预测。第k个方向的特征预测具体公式如下：

所述步骤(4)中，利用步骤(3)预测的四方向特征构建多方向特征预测先验，对图像边缘进行充分约束。具体公式如下：

所述步骤(5)中，我们构建基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数：

其中H为模糊矩阵，D为下采样矩阵，λ为正则化系数。

所述步骤(6)中，我们利用TFOCS技术来最优化重建代价函数，进而获得估计的高分辨率图像。

为了验证本发明方法的有效性，本发明用标准测试图像“Hat”、“Comic”、“Flowers”、“Forman、“Monarch”、“Woman”、“Castle”、“Fish”及“Plane”进行了实验。降质的低分辨率图像的生成方式为：用高斯核对高分辨率测试图像进行模糊，然后进行3倍下采样，最后用不同噪声级(0与5)对采样后的图像进行加噪处理。选取双三次插值及四种基于学习的单幅图像超分辨率算法作为对比方法。其中，四种基于学习的方法的模型都按照本发明中的降质过程进行了重新训练。四种对比超分辨率重建算法为：

方法1：Timofte等人提出的方法，参考文献“R.Timofte,V.Smet,and L.Gool,“Anchored neighborhood regression for fast example-based super-resolution,”inProc.IEEE Int.Conf.Comput.Vis.,Dec.2013,pp.1920–1927.”

方法2：Timofte等人提出的方法，参考文献“R.Timofte,V.De Smet,and L.VanGool,“A+:Adjusted anchored neighborhood regression for fast super-resolution,”in Proc.Asian Conf.Comput.Vis.Springer,2014,pp.111–126.”

方法3：Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,K.He,and X.Tang,“Image super-resolution using deep convolutional networks,”IEEE Trans.PatternAnal.Mach.Intell.,vol.38,no.2,pp.295-307,Feb.2015.”

方法4：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,S.Gu,and L.Zhang,“Learning deep CNN denoiser 348prior for image restoration,”in Proc.IEEEConf.Comput.Vis.Pattern 349Recognit.,2017,pp.2808–2817.”

对比实验的内容如下：

实验1，分别用双三次插值，方法1，方法2，方法3，方法4，以及本发明方法对9张测试图像模拟生成的低分辨率图像进行3倍重建。本实验中，模糊核取为高斯模糊核尺寸7×7，标准差1.5，高斯噪声级为0。表一给出了各个方法重建结果的PSNR(Peak Signal toNoise Ratio)和SSIM(Structure Similarity Index)参数。另外，为了进行视觉比较，给出了“Castle”图像的结果。“Castle”原始图像、低分辨率图像及各方法的重建结果分别如图4(a)、图4(b)、图4(c)、图4(d)，图4(e)、图4(f)、图4(g)及图4(h)所示。

表一

实验2，分别用双三次插值，方法1，方法2，方法3，方法4，以及本发明方法对9张测试图像模拟生成的低分辨率图像进行3倍重建。本实验中，模糊核取为高斯模糊核尺寸7×7，标准差1.5，高斯噪声级为5。表二给出了各个方法重建结果的PSNR(Peak Signal toNoise Ratio)和SSIM(Structure Similarity Index)参数。另外，为了进行视觉比较，给出了“Monarch”图像的结果。“Monarch”原始图像、低分辨率图像及各方法的重建结果分别如图5(a)、图5(b)、图5(c)、图5(d)，图5(e)、图5(f)、图5(g)及图5(h)所示。

表二

从图4及图5所示的实验结果可以看出，双三次插值方法的结果中含有比较明显的阶梯效应以及残留噪声，图像视觉效果差；在无噪声干扰时，方法1与方法2能够获得一定的分辨率提升，但是当图像存在噪声干扰时，超分辨率性能急剧下降，结果中存在大量残留噪声；方法3能去除部分噪声，但图像整体较为模糊；方法4有着更好的噪声抑制以及超分辨率性能，但是重建图像仍然有一定模糊；相对而言，本发明的结果中无明显噪声，并且图像比较清晰，边缘保持更好，视觉效果更佳。另外，从表一及表二所给的PSNR及SSIM参数上看，本发明在两个指标上都取得了最高的值，并且提升明显。因此，综合比较各方法重建结果的主观视觉效果及客观参数，可以看出，本发明方法的重建效果更好，并且适用于噪声图像。综上所述，本发明是一种有效的单幅图像超分辨率重建方法。