基于非局部高斯过程回归的图像超分辨方法

摘要

本发明公开了一种基于非局部高斯过程回归的图像超分辨方法，主要解决现有技术在纹理区域上超分辨效果不佳的问题。其实现步骤为：1.对输入图像进行非局部图像块网格采样，构造训练样本集；2.基于训练样本集学习高斯过程回归模型；3.对测试图像预处理并生成测试样本集；4.在测试样本集上应用学习好的高斯过程回归模型，预测并输出超分辨图像。本发明充分利用输入图像本身存在的图像块自相似性，通过非局部采样获取更多的非局部相似性信息，使得高斯过程回归模型的训练更为高效。仿真实验表明，本发明具有较好的超分辨能力，重建的图像能恢复更多的细节信息，更接近真实的高分辨图像，可广泛应用于图像压缩、刑事侦查、高清娱乐等领域。

说明书

技术领域

本发明属于图像处理领域，特别是涉及以单帧图像为输入的、基于机器学习的图 像超分辨方法，可应用于医学成像、视频监控、高清电视成像，也可用于视频或图像压缩。

背景技术

图像保存着人类对世界最重要的视觉感知，是现代社会最重要的信息来源。图像 超分辨算法尝试从同一场景的一帧或者多帧低分辨图像中恢复出高分辨图像，更好地呈现 图像细节，具有重要的理论与应用价值。

图像超分辨算法基于处理方法的不同可分为三类：基于插值的方法、基于重建的 方法和基于学习的方法。

基于插值的方法假设图像局部平滑，使用不同的插值核得到高分辨图像；例如双 线性插值、双立方插值、最近邻插值法等。此类方法的优点在于方法简单易于实现且运行速 度快，缺点在于当放大因子较大时，会产生模糊现象。

基于重建的方法基于图像降质模型，在重建约束的基础上添加各种先验或正则 项，从而使逆问题的求解更加鲁棒。基于重建的超分辨方法尽管性能较插值方法有一定提 升，但当放大因子较大或低分辨输入图像数量不足时，性能下降很快。

基于学习的方法则利用各种机器学习方法，从训练样本中学习出高分辨图像。其 中，Yang等人在文献J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper-resolutionvia sparserepresentation,”IEEETrans.ImageProcess.,vol.19,no.11,pp.2861-2873中 基于稀疏表示理论通过联合优化框架学习出对偶字典，从而重建出高分辨图像。Dong等人 在文献W.Dong,L.Zhang,R.Lukac,andG.Shi,“Sparserepresentationbasedimage interpolationwithnonlocalautoregressivemodeling,”IEEETrans.Image Process.,vol.22,no.4,pp.1382-1394中借助稀疏与非局部相似性约束，利用多个局部主 成分分析字典来自适应地重建高分辨图像块。Kwang等人在I.K.KwangandK.Younghee, “Single-imagesuper-resolutionusingsparseregressionandnaturalimage prior,”IEEETrans.PatternAnal.Mach.Intell.,vol.32,no.6,pp.1127-1133一文中结 合匹配追踪算法和梯度下降方法来稀疏化核岭回归框架，从而学习出低分辨图像块与对应 高分辨图像块之间的映射。He等人在文献H.HeandW.-C.Siu,“Singleimagesuper- resolutionusingGaussianprocessregression,”inProc.IEEE Conf.Comput.Vis.PatternRecognit.,2011,pp.449-456中利用图像块的自相似性提出一 个自学习方法，该方法在每个局部区域内利用高斯过程回归学习一个从块到对应中心像素 之间的映射。Wang等人在L.Wang,H.Wu,andC.Pan,“Fastimageupsamplingviathe displacementfield,”IEEETrans.ImageProcess.,vol.23,no.12,pp.5123-5135一文中 联合位移场插值与重建方法提出一个双尺度的图像超分辨算法来保持超分辨图像边缘的 锐利性。He等人在文献L.He,H.Qi,andR.Zaretzki,“Betaprocessjointdictionary learningforcoupledfeaturespaceswithapplicationtosingleimagesuper- resolution,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2013,pp.345-352中 使用Beta过程来学习对偶空间字典，从而重建出高分辨图像块。

上述基于学习的方法尽管具有较好的超分辨效果，但在细节与纹理的重建上仍然 存在失真现象，主观效果仍然不尽人意，还有进一步提高和改进的空间。

发明内容

本发明针对现有基于学习的图像超分辨算法存在的不足，提出一种基于非局部高 斯过程回归的图像超分辨方法，以减小现有方法产生的失真现象，提高纹理区域的重建质 量。

本发明的技术方案是通过输入图像自身提取训练样本集，寻找图像内部存在的非 局部相似性，对高斯过程回归模型进行自学习，预测出丢失的高频细节信息，得到最终的超 分辨图像，并实现比现有方法更好的超分辨重建效果。实现步骤包括如下：

(1)输入一幅尺寸为I_R×I_C的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换 为亮度图像I_Y、蓝色色度图像I_Cb、红色色度图像I_Cr构成的YCbCr颜色空间；

(2)从亮度图像I_Y生成规模为n的非局部训练样本集D：

(2a)根据亮度图像I_Y得到辅助插值高频图像I_I′和高频图像I_Y′；

(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像I_I′网格采样出尺寸为p× p的初始图像块集合其中λ为正整数，取值范围介于[1,10]；

(2c)剔除掉初始图像块集合P₁中块标准差小于设定阈值θ的图像块，得到规模为n 的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数；

(2d)在高频图像I_Y′中提取与修剪图像块集合P对应的图像块，并得到这些图像块 的中心像素集合

(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<x_i,y_i> 表示x_i与y_i构成的二元组；

(2f)对训练样本集合中每个样本<x_i,y_i>用x_i和y_i分别除以x_i的2 范数‖x_i‖进行标准化，即<x_i,y_i>←<x_i/‖x_i‖,y_i/‖x_i‖>,其中n为训练样本的总 个数；

(3)基于训练样本集D学习出高斯过程回归模型M，得到从图像块x_i到对应高分辨 图像块中心像素丢失的高频分量y_l之间的映射；

(4)根据亮度图像I_Y得到插值均值图像S_M和高斯过程回归模型的测试集Q；

(5)对蓝色色度图像I_Cb、红色色度图像I_Cr进行双立方Bicubic插值，得到尺寸为(F ×I_R)×(F×I_C)的插值红色色度空间S_Cb和插值蓝色色度空间S_Cr，其中F为超分辨放大倍数；

(6)基于回归模型的测试集Q，应用步骤(3)中学习好的高斯过程回归模型M，回归 出超分辨高频图像S_Y′；

(7)将超分辨高频图像S_Y′与插值均值图像S_M相加，得到初始超分辨亮度图像S_Y；

(8)对初始超分辨亮度图像S_Y应用反向投影迭代，得到最终超分辨亮度图像S_F；

(9)将最终超分辨亮度图像S_F与插值蓝色色度空间S_Cb、插值红色色度空间S_Cr进行 合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分 辨图像。

本发明与现有的超分辨技术相比，具有以下优点：

第一，本发明构建了基于非局部网格采样的图像超分辨框架，在图像的局部相似 性之外可获得更多的非局部相似性，为更好的进行超分辨重建提供了更多的共生信息，使 得后续高斯过程回归模型的训练更为高效；

第二，本发明与现有的其它图像超分辨方法相比，在纹理区域上有更丰富的重建 细节信息，在视觉感知上更接近原始高分辨图像。

附图说明

图1为本发明的实现流程图。

图2为用本发明和现有6种超分辨方法对自然图像barbara进行三倍超分辨的对比 图。

图3为用本发明和现有6种超分辨方法对自然图像lena进行三倍超分辨的对比图。

图4为用本发明和现有6种超分辨方法对自然图像bird进行三倍超分辨的对比图。

具体实施方式

以下结合附图对本发明的实施例及效果做详细描述。

参照图1，本发明的实施步骤如下：

步骤1，输入一幅尺寸为I_R×I_C的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间 转换为亮度图像I_Y、蓝色色度图像I_Cb、红色色度图像I_Cr构成的YCbCr颜色空间。

由于人眼视觉对色彩不敏感，现有方法只在亮度空间上进行超分辨，而对色彩空 间直接进行简单的插值处理，本发明采用同样的策略。

步骤2，从亮度图像I_Y生成规模为n的非局部训练样本集D。

现有的图像超分辨方法的训练样本通常是来自于独立的外部图像，或者来自于输 入图像自身。基于输入图像自身提取训练样本进行超分辨模型学习的方法称为自学习型方 法。对于自学习型方法，现有的训练样本采样策略有随机采样、边缘算子采样和网格采样 等；本发明在整幅输入图像上采用网格采样策略生成非局部训练样本集D，具体过程为：

(2a)根据亮度图像I_Y得到辅助插值高频图像I_I′和高频图像I_Y′；

(2a1)对亮度图像I_Y进行F倍下采样得到下采样图像I_D，其中F为超分辨放大倍数；

(2a2)对下采样图像I_D进行F倍双立方插值得到尺寸与亮度图像I_Y相同的辅助插值 图像I_I；

(2a3)对辅助插值图像I_I进行均值滤波得到同尺寸的辅助均值图像I_M；

(2a4)用辅助插值图像I_I减去辅助均值图像I_M得到辅助插值高频图像I_I′，

(2a5)用亮度图像I_Y减去辅助均值图像I_M得到高频图像I_Y′；

(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像I_I′网格采样出尺寸为p× p的初始图像块集合其中λ为正整数，取值范围介于[1,10]；

(2c)剔除掉初始图像块集合P₁中块标准差小于设定阈值θ的图像块，得到规模为n 的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数；

(2d)在高频图像I_Y′中提取与修剪图像块集合P对应的图像块，并得到这些图像块 的中心像素集合

(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<x_i,y_i> 表示x_i与y_i构成的二元组；

(2f)对训练样本集合中每个样本<x_i,y_i>用x_i和y_i分别除以x_i的2 范数‖x_i‖进行标准化，即<x_i,y_i>←<x_i/‖x_i‖,y_i/‖x_i‖>,其中n为训练样本的总 个数。

步骤3，基于训练样本集D学习出高斯过程回归模型M，得到从图像块x_i到对应高分 辨图像块中心像素丢失的高频分量y_l之间的映射。

高斯过程回归模型是通过最大化训练样本集D的似然度来训练获得，本发明遵循 相同的思路，训练得到从图像块x_i到对应高分辨图像块中心像素丢失的高频分量y_i之间的 映射，具体过程为：

(3a)对于任意两个样本的输入x和x′，定义核函数k(x,x′)为：

$k(x,x^{\prime })={\sigma }_f^2\exp (-\frac{1}{2l^2}{\left(x-x^{\prime }\right)}^T(x-x^{\prime }\left)\right)+{\mathrm{cx}}^T{x}^{\prime }+{\sigma }_n^2\delta (x-x^{\prime })$

其中x^T为x的转置，δ为Kroneckerdelta函数，即σ_f、l、c和 σ_n为核函数中4个不同的超参数，且σ_f为信号标准差，l为信号带宽，c为尺度调节系数，σ_n为 噪声标准差；

(3b)初始化超参数中的信号标准差σ_f，信号带宽l，尺度调节系数c和噪声标准差 σ_n：

${\sigma }_n^2=\frac{1}{R_{LR}\times C_{LR}-1}{\Sigma }_{i=1}^{R_{LR}\times C_{LR}}{[\left(I_Y^{\prime }\right(i)-I_I^{\prime }(i\left)\right)-(\overline{I_Y^{\prime }}-\overline{I_I^{\prime }})]}^2$

$l^2=\frac{1}{{(R_{LR}\times C_{LR})}^2-1}{\Sigma }_{i,j=1}^{R_{LR}\times C_{LR}}{\left(\right|\left|P\right(i)-P(j\left)\right||-\frac{1}{{(R_{LR}\times C_{LR})}^2}{\Sigma }_{u,v=1}^{R_{LR}\times C_{LR}}|\left|P\right(u)-P(v\left)\right|\left|\right)}^2$

${\sigma }_f^2=\frac{1}{R_{LR}\times C_{LR}-1}{\Sigma }_{i=1}^{R_{LR}\times C_{LR}}{\left(I_Y^{\prime }\right(i)-\overline{I_Y^{\prime }})}^2$

c＝0.2×σ_f

其中R_LR、C_LR分别为高频图像I_Y′的行与列尺寸，I_Y′(i)是高频图像I_Y′中第i个像 素，I_I′(i)是辅助插值高频图像I_I′中第i个像素，是高频图像I_Y′所有像素值的平均，是辅助插值高频图像I_I′所有像素值的平均，P(i)是辅助插值高频图像I_I′中的第i个图像 块；

(3c)根据训练样本集合得到观察值列向量y＝[y₁,y₂,…,y_n]^T， 并根据核函数k(x,x′)计算协方差矩阵：

(3d)根据观察值列向量y和协方差矩阵K_y定义训练样本集合D的对数似然度：

(3e)根据初始化超参数，利用共轭梯度法最大化训练样本集合D的对数似然度 logp(y|D)得到最优超参数，用这些最优超参数确定出高斯过程回归模型M。

步骤4，建立插值均值图像S_M和高斯过程回归模型测试集Q。

本步骤为后续高斯过程回归模型提供预测所需的输入，即模型测试集Q，并为合成 初始超分辨亮度图像提供所需的插值均值图像S_M，具体过程如下：

(4a)对亮度图像I_Y进行双立方插值得到尺寸为(F×I_R)×(F×I_C)的插值图像S_I；

(4b)对插值图像S_I进行均值滤波得到同尺寸的插值均值图像S_M；

(4c)用插值图像S_I减去插值均值图像S_M得到插值高频图像S_I′；

(4d)按照光栅扫描顺序采样插值高频图像S_I′中所有的图像块，得到图像块集合 $Q={\left\{x_{j^{*}}\right\}}_{j=1}^m.$

步骤5，对蓝色色度图像I_Cb、红色色度图像I_Cr进行双立方Bicubic插值，得到尺寸 为(F×I_R)×(F×I_C)的插值红色色度空间S_Cb和插值蓝色色度空间S_Cr，其中F为超分辨放大 倍数。

步骤6，基于回归模型的测试集Q，应用步骤(3)中学习好的高斯过程回归模型M，回 归出超分辨高频图像S_Y′。

本发明使用测试集Q作为输入，通过高斯过程回归模型M来预测插值均值图像S_M上 丢失的高频信息，具体过程为：

(6a)初始化超分辨重建图像S_Y′＝S_I′；

(6b)对于Q中的每个测试图像块q，做如下操作：

(6b1)计算测试图像块q的2范数N_q，然后对测试图像块q进行标准化使其范数为1；

(6b2)将标准化后的测试图像块q输入高斯过程回归模型M回归出r；

(6b3)令超分辨高频图像S_Y′中与测试图像块q对应的图像块为p′_Y，将测试图像块q 的2范数N_q与回归结果r相乘，并用相乘的结果替换图像块p′_Y的中心像素。

步骤7，将超分辨高频图像S_Y′与插值均值图像S_M相加，得到初始超分辨亮度图像 S_Y。

步骤8，对初始超分辨亮度图像S_Y应用反向投影迭代，得到最终超分辨亮度图像S_F。

反向投影迭代是图像超分辨领域常用的后处理方法，它通过梯度下降法不断迭代 使得超分辨亮度图像S_Y经过相同降质处理之后与输入亮度图像I_Y更趋一致，具体过程如下：

(8a)初始化迭代图像

(8b)根据测试图像的亮度空间I_Y，执行η次迭代其中t＝0,1,…,η,η为反向投影迭代的总次数，η＝100，τ为梯度下降法每次更新迭代图像 的步长，本实例取τ＝0.1，↑为上采样算子，↓为下采样算子，B为模糊核，p为反向投影滤 波器，*为卷积操作；

(8c)将最终的迭代结果赋值给S_F。

步骤9，将最终超分辨亮度图像S_F与插值蓝色色度空间S_Cb、插值红色色度空间S_Cr进 行合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超 分辨图像。

本发明的效果可通过以下仿真实验进一步说明。

(1)仿真条件

本发明的实验是在CPU为Inteli3-32203.30GHz,内存为8G，操作系统为Linux， 仿真平台为Matlab2012上进行。

仿真实验中，将本发明方法与现有的BPJDL，SpReg，NARM，SCSR，UDF，SRGPR等方法 进行对比分析；其中

BPJDL对应参考文献为“L.He,H.Qi,andR.Zaretzki,“Betaprocessjoint dictionarylearningforcoupledfeaturespaceswithapplicationtosingle imagesuper-resolution,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2013, pp.345-352.”；

SpReg对应参考文献为“I.K.KwangandK.Younghee,“Single-imagesuper- resolutionusingsparseregressionandnaturalimageprior,”IEEE Trans.PatternAnal.Mach.Intell.,vol.32,no.6,pp.1127-1133,Jun.2010.”；

NARM对应参考文献为“W.Dong,L.Zhang,R.Lukac,andG.Shi,“Sparse representationbasedimageinterpolationwithnonlocalautoregressive modeling,”IEEETrans.ImageProcess.,vol.22,no.4,pp.1382-1394,Apr.2013.”；

SCSR对应参考文献为“J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper- resolutionviasparserepresentation,”IEEETrans.ImageProcess.,vol.19,no.11, pp.2861-2873,Nov.2010.”；

UDF对应参考文献为“L.Wang,H.Wu,andC.Pan,“Fastimageupsamplingvia thedisplacementfield,”IEEETrans.ImageProcess.,vol.23,no.12,pp.5123-5135, Dec.2014.”；

SRGPR对应参考文献为“H.HeandW.-C.Siu,“Singleimagesuper-resolution usingGaussianprocessregression,”inProc.IEEEConf.Comput.Vis.Pattern Recognit.,2011,pp.449-456.”。

(2)仿真内容

实验一，用本发明和上述现有的6种方法对barbara图像进行仿真测试，结果如图 2。其中，图2(a)是UDF超分辨重建的结果；图2(b)是SCSR超分辨重建的结果；图2(c)是NARM 超分辨重建的结果；图2(d)是SpReg超分辨重建的结果；图2(e)是SRGPR超分辨重建的结果； 图2(f)是BPJDL超分辨重建的结果；图2(g)是本发明超分辨重建的结果，图2(h)是真实的高 分辨率图像。

图2的仿真结果表明：其它方法在一定程度上能恢复高分辨图像中缺失的像素，丰 富图像的纹理细节，但这些方法均不能恢复出图像中桌布的细致纹理，而2(g)则相对有更 好的恢复效果。对比可知，本发明的超分辨结果不仅边缘清晰，而且细节保持更好，与真实 的高分辨率图像更为接近。

实验二，用本发明和上述现有的6种方法对lena图像进行仿真测试，结果如图3。其 中，图2(a)是UDF超分辨重建的结果；图2(b)是SCSR超分辨重建的结果；图2(c)是NARM超分 辨重建的结果；图2(d)是SpReg超分辨重建的结果；图2(e)是SRGPR超分辨重建的结果；图2 (f)是BPJDL超分辨重建的结果；图2(g)是本发明超分辨重建的结果，图2(h)是真实的高分 辨率图像。

图3的仿真结果表明，其它方法对lena图像中帽子上的条纹均有一定的失真现象， 本发明对lena图像中帽子上的条纹相比其他方法有更好的重建效果，与真实的高分辨率图 像更为接近。

实验三，用本发明和上述现有的6种方法对bird图像进行仿真测试，结果如图4。其 中，图2(a)是UDF超分辨重建的结果；图2(b)是SCSR超分辨重建的结果；图2(c)是NARM超分 辨重建的结果；图2(d)是SpReg超分辨重建的结果；图2(e)是SRGPR超分辨重建的结果；图2 (f)是BPJDL超分辨重建的结果；图2(g)是本发明超分辨重建的结果，图2(h)是真实的高分 辨率图像。

图4的仿真结果表明，其它方法在bird图像中鸟嘴附近区域的边缘和纹理有更明 显的失真现象，本发明对鸟嘴附近的边缘和纹理相比其他方法有更好的重建效果，与真实 的高分辨率图像更为接近。