一种基于边缘差异约束的单幅图像超分辨率重建方法

摘要

一种基于边缘差异约束的单幅图像超分辨率重建方法的实现包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，进行主成分分析字典训练得到训练字典。步骤2，利用该字典构建重建模型，并通过迭代阈值收缩得到具有较好边缘结构的初始重建高分辨率图像。步骤3，利用图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。本发明考虑到初始重建高分辨率图像与原始清晰图像存在一定的差异，进一步提出了后处理优化方法，丰富图像的边缘和纹理等细节信息。

说明书

技术领域

本发明属于计算机图像处理技术领域，涉及一种单幅图像的超分辨率重建方法。

背景技术

随着智能视频图像处理技术和网络技术的飞速发展，在视频监控、卫星遥感成像、军事侦察、医学成像、多媒体娱乐等应用领域都需要高分辨率图像。在获取视觉图像过程中，由于系统像差、散焦、空气的扰动和噪声的存在，获得的图像或序列往往存在一定的降质或退化，如变形、模糊、降采样或含噪等。为了获取高分辨率图像，最直接最有效的方法是提升硬件成像设备的分辨率级别，即增加传感器单位面积元件密度。一方面减小单元像素尺寸，从而增加传感器单元密度，提高图像分辨率。但是随着像素尺寸的减小，相应的入射光就会减少，往往会导致散粒噪声的出现，图像质量下降。另一方面可以增大传感器的设计尺寸，从而增加单位面积上的像素个数以提高图像分辨率。然而随着尺寸的增加，传感器电容增多，图像传输性急剧下降，导致图像视觉效果变差，边缘出现模糊现象等。

在实际应用中，通过改变硬件成像设备分辨率来提高图像质量的方法，不仅经济成本高，而且硬件系统更换复杂性较高，不具有实时性。更值得注意的是，在智能视频监控，卫星遥感成像等场合，由于受成像环境和相机与被拍摄目标之间的相对运动等因素影响，即使使用高分辨率成像设备仍然不能获取满足实际应用要求的图像。随着信息处理技术和计算机技术的发展，针对硬件成像设备限制的问题，研究学者们从图像退化的角度考虑，提出了通过数字信号处理方法对图像进行软件处理以提高图像分辨率，这种方法称之为图像超分辨率重建(Super Resolution Reconstruction,SRR)。该方法是在不改变现有硬件成像条件的前提下，通过一幅或者多幅低分辨率(Low-Resolution,LR)图像来获取高分辨率(High-Resolution,HR)图像，进而达到节约成本，改善图像质量的目的。

目前国内外学者针对单幅图像超分辨率重建这一逆问题，提出了许多重建算法，主要可分为三个范畴：基于插值的方法、基于重建的方法和基于学习的方法。其中，基于插值的超分辨率重建方法是一种广泛应用的方法，其理论简单、速度快，但是该方法侧重图像的平滑，重建后的图像还会产生振铃和锯齿效应。基于重建的方法虽然能够在重建的过程中引入先验信息，然而当引入多项先验正则化约束时，正则化约束参数的选择很难实现自适应取值。同时，当实际应用中要求重建倍数较大时，所提供的先验知识有限，很难满足实际应用要求。相比于基于插值和重建的方法，基于学习的方法首先通过学习外部训练库样本图像或者图像自身来获取先验信息，随后在图像重建过程中将先验信息作为约束项，从而保证图像解的稳定性和唯一性。

近年来，研究学者广泛研究了基于学习的重建方法，在重建过程中加入不同的图像约束，特别是基于图像自相似性特征的重建方法。该方法能够有效保护图像几何结构并抑制噪声。但是随着噪声的增大，图像中不同非局部相似块对应的权重大小相近，其加权平均压制了图像的高频信息，从而导致图像边缘和纹理等细节结构出现平滑和模糊的现象。因此，有必要探索一种边缘保持约束，并结合图像非局部自相似性进行图像超分辨率重建，以实现保持图像边缘结构并有效抑制噪声的目的。

发明内容

本发明的目的是提出一种基于边缘差异约束的单幅图像超分辨率重建方法。在图像超分辨率重建过程中加入图像的边缘差异约束，能够有效解决基于非局部自相似性的单幅图像超分辨率重建技术导致的细节模糊和平滑问题，从而在抑制噪声的同时有效保持图像的边缘结构，改善重建高分辨率图像质量。

本发明是在基于非局部自相似性的单幅图像超分辨率重建方法的基础上，探索研究图像的边缘差异分布，并将边缘差异约束与非局部自相似性结合进行图像重建，有效重建较好的高分辨率图像。该方法的实现步骤如下：

一种基于边缘差异约束的单幅图像超分辨率重建方法，包括以下三个步骤：

步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典。

步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像。

步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。

所述步骤1具体方法如下：

首先，从通用的The Berkeley Segmentation Data Set 300图像库中随机选取多幅高分辨率图像作为训练图像。

其次，利用图像边缘信息对训练图像进行图像纹理主方向θ_m的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像x_f

其中，X＝x cosθ+y sinθ，Y＝-x sinθ+y cosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θ_m，λ_g为正弦平面波的波长，决定了Gabor滤波器的频率，γ_g代表Gabor滤波器中指定的椭圆空间长宽比，σ_g为高斯包络沿图像x轴和y轴方向的标准差。

然后，对特征图像x_f进行分块，并进行K-means聚类，得到K类图像块即{L₁,L₂,…L_K}。

最后，对每类图像块进行PCA字典训练，得到训练字典

所述步骤2具体方法如下：

首先，利用步骤1中训练得到的训练字典Φ，建立如式(2)所示的基于非局部自相似性的重建模型

其中，y为低分辨率图像，D表示下采样算子，H表示模糊算子，u为非局部自相似性正则约束项参数，s为重建高分辨率图像的稀疏编码系数矩阵，s_i为低分辨率图像y的第i个图像块y_i的稀疏编码稀疏，s_j和w_ij分别为图像块y_i的第j个相似图像块y_j的稀疏编码系数和相似权值。

其次，利用一维连续高斯滤波器分别从水平和垂直方向提取低分辨率图像和重建高分辨率图像对应退化图像的边缘信息，并在探索研究其边缘信息差异分布的基础上，建立如式(3)所示的边缘差异约束：

其中，x为原始高分辨率图像，为求解式(2)得到的基于图像非局部自相似性的重建高分辨率图像，E()为一维连续高斯滤波边缘提取算子。

然后，在基于非局部自相似性的重建模型基础上，引入边缘差异约束，建立如式(4)所示的图像超分辨率重建模型：

其中，ED_i＝E(y_i)-E(DHΦs_i)，ED_i(j)为ED_i的第j个元素，σ_ij为ED_i(j)的标准差，σ_n为输入图像的高斯噪声的标准差。

最后，使用迭代阈值收缩算法求解式(4)，得到初始重建高分辨率图像的稀疏编码稀疏矩阵通过式(5)得到初始重建高分辨率图像

其中，P_i为图像块提取矩阵，其作用是从图像中的提取对应位置的图像块，为初始重建高分辨率图像的第i个图像块对应的稀疏编码系数。

所述步骤3具体方法如下：

首先，利用步骤2所得的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立(6)所示的非局部结构张量的相似性权重计算方式：

其中，H()为HOG特征提取算子，h₁和h₂分别为欧氏距离和HOG特征对应的平滑参数，c_i为相似权值的归一化因子，x_i为初始重建高分辨率图像的第i图像块，x_j为图像块x_i的第j个相似图像块。

其次，结合式(6)的非局部自相似性权重，构建基于非局部结构张量的核回归系数计算方式，如式(7)所示：

其中，β_i为图像块x_i的回归系数向量。Ψ为其对应的泰勒展开多项式。N(i)表示图像块x_i的相似图像块集合。为图像块x_i第j个相似图像块x_j对应于的相似性权重。是由结构张量核构成的权重矩阵，结构张量核的计算方式如式(8)所示：

其中，h_k为结构张量的平滑参数，ST_j为图像块x_j的各向异性结构张量矩阵。

最后，在通过求解式(7)得到初始重建高分辨率图像所有图像块的回归系数向量组成矩阵后，建立基于非局部结构张量的后处理优化模型，如式(9)所示：

其中，z_i为由式(7)计算得到的回归系数矩阵按列排列的向量，L_i为图像相似块按列排列的向量，求解式(9)得到最终重建高分辨率图像

本发明通过探索研究图像的边缘差异分布情况，结合图像的非局部自相似性，提出一种超分辨率重建模型，实现在抑制噪声的同时有效重建高分辨率图像的边缘结构。考虑到初始重建高分辨率图像与原始清晰图像存在一定的差异，本发明进一步提出了后处理优化方法，丰富图像的边缘和纹理等细节信息。

附图说明

图1：本发明方法的实现框图；

图2：本发明方法所用到的部分训练图像；

图3(a)：高分辨率测试图像“Butterfly”；

图3(b)：高分辨率测试图像“hat”；

图3(c)：高分辨率测试图像“leaves”；

图4-1：不同方法的重建高分辨率图像Butterfly对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像；

图4-2：不同方法的重建高分辨率图像hat对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像；

图4-3：不同方法的重建高分辨率图像leaves对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像。

具体实施方式

以下结合附图和实施例对本发明做进一步详细说明：

图1为本发明方法的实现框图，该方法主要由以下步骤构成：

步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析(Principal Component Analysis,PCA)字典训练，得到能够反映图像的纹理特征训练字典。

该步骤包括以下四个部分：

①从通用的BSDS300(The Berkeley Segmentation Data Set 300)图像库中随机选取70幅高分辨率图像作为训练图像，如图2所示。

②利用图像边缘信息对训练图像进行图像纹理主方向θ_m的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像x_f

其中，X＝x cosθ+y sinθ，Y＝-x sinθ+y cosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θ_m，λ_g为正弦平面波的波长，决定了Gabor滤波器的频率，γ_g代表Gabor滤波器中指定的椭圆空间长宽比，σ_g为高斯包络沿x轴和y轴方向的标准差。

③对特征图像x_f进行分块，并进行K-means聚类，得到K类图像块即{L₁,L₂,…L_K}。

④对每类图像块进行PCA字典训练，得到训练字典

步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像。

该步骤包括以下四个部分：

①利用步骤1中训练得到的字典Φ，建立如式(2)所示的基于非局部自相似性的重建模型

其中，y为低分辨率图像，D表示下采样算子，H表示模糊算子，u为非局部自相似性正则约束项参数，s为重建高分辨率图像的稀疏编码系数矩阵，s_i为低分辨率图像y的第i个图像块y_i的稀疏编码稀疏，s_j和w_ij分别为图像块y_i的第j个相似图像块y_j的稀疏编码系数和相似权值。

②利用一维连续高斯滤波器分别从水平和垂直方向提取低分辨率图像和重建高分辨率图像对应退化图像之间的边缘信息，并在探索研究其边缘信息差异分布的基础上，建立如式(3)所示的边缘差异约束：

其中，x为原始高分辨率图像，为求解式(2)得到的基于图像非局部自相似性的重建高分辨率图像，E()为一维连续高斯滤波边缘提取算子。

③在基于非局部自相似性的重建模型基础上，引入边缘差异约束，建立如式(4)所示的图像超分辨率重建模型：

其中，ED_i＝E(y_i)-E(DHΦs_i)，ED_i(j)为ED_i的第j个元素，σ_ij为ED_i(j)的标准差。

④使用迭代阈值收缩算法求解式(4)，得到初始重建高分辨率图像的稀疏编码稀疏矩阵通过式(5)得到初始重建高分辨率图像

其中，P_i为图像块提取矩阵，其作用是从图像中的提取对应位置的图像块，为初始重建高分辨率图像的第i个图像块对应的稀疏编码系数。

步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。

该步骤包括以下三个部分：

①利用步骤2所得的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立如式(6)所示的非局部结构张量的相似性权重计算方式：

其中，H()为HOG特征提取算子，h₁和h₂分别为欧氏距离和HOG特征对应的平滑参数，c_i为相似权值的归一化因子，x_i为初始重建高分辨率图像的第i图像块，x_j为图像块x_i的第j个相似图像块。

②结合式(6)的非局部自相似性权重，构建基于非局部结构张量的核回归系数计算方式，如式(7)所示：

其中，β_i为图像块x_i的回归系数向量。Ψ为其对应的泰勒展开多项式。N(i)表示图像块x_i的相似图像块集合。为图像块x_i第j个相似图像块x_j对应于的相似性权重。是由结构张量核构成的权重矩阵，结构张量核的计算方式如式(8)所示：

其中，h_k为结构张量的平滑参数，ST_j为图像块x_j的各向异性结构张量矩阵。

③在通过求解式(7)得到初始重建高分辨率图像所有图像块的回归系数向量组成矩阵后，建立基于非局部结构张量的后处理优化模型，如式(9)所示：

其中，z_i为由式(7)计算得到的回归系数矩阵按列排列的向量，L_i为图像相似块按列排列的向量，求解式(9)得到最终重建高分辨率图像

图3(a)、图3(b)和图3(c)分别为测试的高分辨率输入图像Butterfly、hat和leaves。图4-1至4-3是不同方法的重建高分辨率图像Butterfly、hat和leaves对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像。

从图中可以看到，基于插值的NARM方法重建后的图像整体较为平滑，图像边缘不清晰。基于样本学习的NE方法侧重图像的平滑，在边缘区域产生振铃效应。基于稀疏表示的SCSR方法能够有效重建高分辨率图像，但仍然不能够较好的重建高分辨率图像的边缘和纹理结构。ASDS和NLMSKR方法则有效利用了图像的非局部自相似性，能够保持图像的几何结构。但是基于非局部自相似性的方法由于加权平均往往会造成图像细节结构(如边缘和纹理结构)的平滑和模糊。本发明方法重建后的图像含有更多的边缘和纹理信息，能够有效利用图像非局部自相似性抑制噪声的同时利用图像的边缘差异约束有效保持了图像的边缘结构，重建后的图像具有锐化的边缘和细致的纹理。

此外，本发明选择了两个客观评价指标即峰值信噪比和结构相似度来衡量重建高分辨率图像的质量。其中，峰值信噪比(Peak Signal to Noise Ratio,PSNR)描述了图像信噪比变化情况，其指标数值越大表示失真越小，单位是dB。结构相似度(StructuralSimilarity,SSIM)用来度量两幅图像的相似度，其指标数值越大表示与原始图像越相似，图像质量越好。

表1和表2分别给出了不同方法的无噪声及噪声重建高分辨率图像的客观评价指标，从表中可以看到NE和NARM重建高分辨率图像的PSNR和SSIM相对较小，重建性能较差。SCSR重建方法相比于NE和NARM方法，重建效果有所改善，但重建性能仍次于基于图像非局部自相似性的ASDS和NLMSKR重建方法。本发明方法重建高分辨率图像的平均PSNR和平均SSIM指标明显高于其他方法，重建性能较好。这是由于本发明方法结合了图像边缘差异和非局部自相似性，并进行了后处理优化，能够在抑制噪声的同时有效保持图像的边缘和纹理信息。

表1不同方法重建高分辨率图像的PSNR(dB)和SSIM(噪声水平σ_n＝0)

表2不同方法重建高分辨率图像的PSNR(dB)和SSIM(噪声水平σ_n＝6)。