一种基于双字典学习的单帧图像超分辨率复原方法

摘要

本发明公开了一种基于双字典学习的单帧图像超分辨率复原方法，所述单帧图像超分辨率复原方法包括以下步骤：建立基于双字典的图像超分辨率复原模型；通过非局部相似性加权对双字典的图像超分辨率复原模型进行优化，获取优化复原模型；对所述优化复原模型进行求解，实现对单帧图像超分辨率的复原。本方法引入外部字典进行边缘修正，并利用非局部相似性正则项有效提高稀疏分解的稳定性，建立基于双字典的超分辨率复原模型。实验结果表明，本方法能够有效提高重建精度，保持良好的边缘信息，无论在主观视觉效果还是在客观评价指标上，较前人工作有一定程度的提高。

说明书

技术领域

本发明涉及图像处理领域，尤其涉及一种基于双字典学习的单帧图像超分辨率复 原方法。

背景技术

超分辨率复原是指利用一幅或多幅低分辨率(LowResolution,LR)图像，基于一 定的假设恢复出一幅具有丰富细节的高分辨率(HighResolution,HR)图像的过程。近年 来，超分辨率复原技术以其高效的重构效果和低廉的运行成本在特征提取、信息识别、生物 医学工程、公共安全监控等多个领域拥有广泛的应用前景，成为图像和视频处理领域最活 跃的研究方向之一。

根据重构源图像的不同，超分辨率复原方法可以被分成两类：一类是基于视频的 超分辨率复原方法，这种方法利用亚像素配准技术对多幅低分辨率图像进行运动估计和图 像融合，得到高分辨率图像；另一类是单帧图像的超分辨率重建方法，这种方法利用一定的 先验知识对图像进行复原。在实际应用中，很难得到同一场景的多幅图像序列，因此对于单 帧图像的超分辨率复原技术依然具有研究意义。同时，由于图像的退化过程伴随着大量高 频信息的丢失，这使得单帧图像的超分辨率复原问题通常具有病态特性(ill-posed)，因此 目前单帧图像的超分辨率研究依然面临着极大的挑战。

现有的图像超分辨率复原方法包括：基于插值的复原方法和基于样例的复原方 法。基于插值的方法可以增加图像的视觉感官效果，但是却没有恢复在图像退化过程中丢 失的高频成分；基于样例的复原方法通过学习高、低分辨率图像块之间的对应关系，实现超 分辨率复原，这种方法相较于基于插值的复原方法来说，能够恢复出大部分高频细节，并且 起到边缘锐化的效果，成为目前超分辨率复原算法的研究热点。2002年，Freeman^[1]提出利 用马尔科夫随机场学习低分辨率图像块和高分辨率图像块之间的关系，为基于样例的超分 辨率复原方法奠定了基石；随着压缩感知技术和稀疏编码模型的提出，Yang^[2]等人提出了 基于稀疏表示的超分辨率复原方法，首先对高、低分辨率图像块进行联合训练，得到高、低 分辨率字典对，然后找到低分辨率图像在低分辨率字典中的稀疏表示系数，利用高分辨率 图像块与低分辨率图像块具有相同的稀疏表示系数这一性质，对高分辨率字典和稀疏表示 系数进行重构，从而复原出高分辨率图像；Dong^[3]等人提出一种主成分分析(PCA)字典训练 方法，提出图像块的主成分信息进行字典训练，在去噪、去模糊、超分辨率复原中均取得了 显著的效果。在上述基于样例的方法中，图像复原质量容易受到训练图像库的约束，因此， 基于图像金字塔的超分辨率复原方案应运而生。Glanser^[4]等提出一种仅利用输入低分辨 率图像进行超分辨率复原的方法，充分利用图像的多尺度相似性，得到了较好的重建效果； Dong^[5]等采用K-means算法对不同尺度的图像块进行图像聚类，训练出聚类子字典并利用 稀疏表示理论进行超分辨率复原，使复原效果得到进一步提高。

然而在上述方法中，基于外部训练集的方法容易引入与图像本身不相关的冗余信 息，使重建结果受到一定程度的影响；而基于内部字典的方法利用多层低分辨率图像的下 采样信息，这将导致训练集中的图像块包含不准确的边缘信息。

发明内容

本发明提供了一种基于双字典学习的单帧图像超分辨率复原方法，本发明将基于 外部字典和内部字典的超分辨率复原方法有机结合，在充分利用图像的多尺度相似性的基 础上，引入外部字典进行边缘修正，并融入图像的局部邻域加权信息和非局部相似性信息， 详见下文描述：

一种基于双字典学习的单帧图像超分辨率复原方法，所述单帧图像超分辨率复原 方法包括以下步骤：

建立基于双字典的图像超分辨率复原模型；

通过非局部相似性加权对双字典的图像超分辨率复原模型进行优化，获取优化复 原模型；

对所述优化复原模型进行求解，实现对单帧图像超分辨率的复原。

其中，所述建立基于双字典的图像超分辨率复原模型具体为：

建立包括内部训练子字典、外部训练子字典的所述双字典图像超分辨率复原模 型。

其中，所述双字典图像超分辨率复原模型具体为：

Y＝DX

其中，为每一图像块所对应的内部训练子字典，α_i为第i个图 像块在内部字典下的稀疏表示系数，为每一图像块所对应的外部训 练子字典，β_i为第i个图像块在外部字典下的稀疏表示系数，λ、δ和γ分别为三个正则系数， R_i表示将x_i从图像X中提取出来的窗函数，X为待估计的超分辨率图像，D代表图像下采样算 子，Y为低分辨率图像，α为稀疏表示系数，S为图像的非局部自相似矩阵。

其中，所述优化复原模型具体为：

在所述双字典的图像超分辨率复原模型的基础上，增加了正则化项。

本发明提供的技术方案的有益效果是：引入外部字典进行边缘修正，并利用非局 部相似性正则项有效提高稀疏分解的稳定性，建立基于双字典的超分辨率复原模型。实验 结果表明，本方法能够有效提高重建精度，保持良好的边缘信息，无论在主观视觉效果还是 在客观评价指标上，较前人工作有一定程度的提高。

附图说明

图1为一种基于双字典学习的单帧图像超分辨率复原方法的流程图；

图2为Starfish超分辨率重建结果的示意图；

(a)为Originalimage；(b)为Bicubicimage；(c)为ScSRimage；(d)为NARM-SRM image；(e)Proposedmethodimage。

图3为House超分辨率重建结果的示意图；

(a)为Originalimage；(b)为Bicubicimage；(c)为ScSRimage；(d)为NARM-SRM image；(e)为Proposedmethodimage。

图4为Girl四种超分辨率复原算法的比较示意图；

(a)为Originalimage；(b)为Bicubicimage；(c)为ScSRimage；(d)为NARM-SRM image；(e)Proposedmethodimage。

图5为Leaves四种超分辨率复原算法的比较示意图。

(a)为Originalimage；(b)为Bicubicimage；(c)为ScSRimage；(d)为NARM-SRM image；(e)为Proposedmethodimage。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。

考虑到图像退化过程中受到下采样、模糊、噪声等因素的影响，图像复原问题可以 表示为如下数学模型：

y＝DHx+σ(1)

其中，x表示原始的高分辨率图像；D代表图像下采样算子；H代表图像的模糊算子； σ代表加性噪声；y表示低分辨率图像。

则图像复原问题可以认为是由去噪、去模糊和分辨率增强这三个子问题组成，其 中图像超分辨率复原问题可以形式化表示为：

y＝Dx(2)

由于自然界中的图像包含很多重复的部分，即同一个图像块在同一尺度和不同尺 度都可以找到相同或相似的图像块，因此超分辨率复原大多是基于图像块进行的。以这种 思想为基础，提出了一种基于图像自相似性与稀疏表示模型的超分辨率复原算法，在这种 方法中，利用输入低分辨率图像Y的s多级下采样图像Y_-1,Y_-2,...Y_-s作为训练集，训练出复 原字典Φ，再结合稀疏表示理论，将超分辨率复原模型表示为：

X≈Φα(3)

其中，D为图像下采样算子；α为稀疏表示系数；λ为正则化参数；X为待估计的超分 辨率图像。

考虑到图像的结构自相似性，利用非局部均值滤波的思想，认为图像X中的所有图 像块都可以由邻域内非局部自相似块的加权平均近似表示，即：

X＝SX(4)

其中，S为图像的非局部自相似矩阵。将(4)代入(3)，得到基于图像自相似性与稀 疏表示的超分辨率复原模型：

X≈ΦαY＝DX(5)

对X和α进行迭代求解可以得到最终的复原图像。但是以上算法在对低分辨率图像 进行初始估计的基础上，只利用单一的内部字典对图像进行复原，而初始估计图像的边缘 已经存在严重的锯齿效应，这为图像重建带来了极大的不利影响。本方法在其基础上提出 采用双字典的方式进行图像复原，更好地恢复图像边缘细节，进一步提高图像复原质量。

实施例1

101：建立基于双字典的图像超分辨率复原模型；

由于外部字典能够提供平滑的边缘信息，本方法引入训练库中的高分辨率图像进 行训练。为了提高对不同子块进行重建的适应性，将训练库中的图像分块，得到训练样本， 再利用字典训练方法，将样本分成K类，μ₁,μ₂,...μ_K为每一类的中心，对于每个类中的图像 样本，训练得到K个子字典Ψ₁，Ψ₂，...Ψ_K。

假设x_i是从图像X中提取的图像块，那么x_i＝R_iX，其中R_i表示将x_i从图像X中提取出 来的窗函数。对于每一个待复原的低分辨率图像Y，首先对其进行bicubic插值^[6]得到初始 高分辨率图像X₀，将初始高分辨率图像X₀分成n块后，为每一个x_i通过下式自适应的选择一 个子字典

通过求解(6)式选择与从图像中提取出的块x_i最接近的样本中的块μ_k，来选择相应 的子字典Ψ_ki。在进行图像复原时，希望图像块x_i在其对应字典Ψ_ki下的稀疏表示、与图像块 自身足够接近，即使得足够小，将其作为正则项加入(5)式，将x_i替换为R_ix得到 基于双字典的超分辨率复原模型：

Y＝DX(7)

其中，为每一图像块所对应的内部训练子字典，α_i为第i个 图像块在内部字典下的稀疏表示系数，为每一图像块所对应的外部 训练子字典，β_i为第i个图像块在外部字典下的稀疏表示系数，λ、δ和γ分别为三个正则系 数，其中系数为常数。

102：通过非局部相似性加权对双字典的图像超分辨率复原模型进行优化，获取优 化复原模型；

为了更好地处理因稀疏分解产生的人工伪影等信息，同时考虑到用非局部相似性 信息修正的图像应与原图像足够接近，本方法在式(7)的基础上引入非局部相似性约束正 则项，利用非局部冗余信息来增强图像的稀疏分解稳定性的同时，保证图像在保持整体轮 廓上的准确性。

非局部相似性的基本思想是将目标块近似看作是其周围较大邻域范围内相似块 加权平均的结果，即：

其中，表示图像块为图像块x_i的相似块，为相似系数，可由(9)进行求 解：

h为衰减指数。因此对于图像X＝[x₁,x₂,...x_n]，n为图像块数量，可以将(8)表示 为：

X≈SX(10)

其中，S为图像的非局部自相似矩阵，可定义为：

在引入非局部自相似性的过程中，希望原图像与修正后的图像尽量接近，以减少 图像的重建失真，即：

将(12)作为正则项加入(7)中，优化复原模型为：

Y＝DX(13)

其中，ξ为正则系数为常数。

103：通过拉格朗日对优化复原模型进行求解。

本方法采用增广拉格朗日乘子法迭代求解式(13)，具体求解方式如下：

输入：低分辨率图像y，内部字典的类中心C个内部训练子字典外部字 典的类中心K个外部训练子字典

初始化：将输入的低分辨率图像进行bicubic插值为初始高分辨率图像X⁽⁰⁾，设置 正则化系数λ、δ、γ、ξ以及衰减指数h、迭代次数iter_num、邻域相似块数量J，迭代轮数l＝ 0；

进行外部迭代，直到l＝iter_num

①根据初始高分辨率图像为每一个图像块选择内部子字典与外部子字典并计算在内部字典下每个图像块的稀疏表示系数α_i与外部字典下每个图像块的稀疏表示 系数β_i，以及局部自相似矩阵S；

②将(13)分解成两个子方程(14)、(15)

Y＝DX(14)

③求解(14)式，构造拉格朗日方程如下：

其中，Z为拉格朗日乘子，τ为常量，求解过程参考表1和表2；

④(15)式由迭代收缩算法求解，求解过程参考表3；

表1增广拉格朗日乘子法模型求解

表2拉格朗日方程求解

表3LBIA算法实现流程

其中soft为软阈值函数，如式(16)所示，实现如下功能：

其中，a为阈值常量。

综上所述，本发明实施例引入外部字典进行边缘修正，并利用非局部相似性正则 项有效提高稀疏分解的稳定性，建立基于双字典的超分辨率复原模型，本方法能够有效提 高重建精度，保持良好的边缘信息，无论在主观视觉效果还是在客观评价指标上，较前人工 作有一定程度的提高。

实施例2

下面结合图2、图3、图4和图5、以及实验用例对实施例1中的方案进行可行性验证， 详见下文描述：

对输入的低分辨率图像进行3倍放大。本实验中，内部字典的下采样级数s为6，内 部训练图像块大小为5×5，类数C为60；外部训练集图像来自BerkeleySegmentation数据 集(BerkeleySegmentationDatabase)，外部训练图像块的大小为7×7，类数K为200，正则 化系数λ、δ、γ、ξ、τ分别为0.03、0.12、0.008、0.18和1.2；非局部相似块数量J为23；非局部 相似块大小为5×5；衰减指数h为130，迭代次数iter_num为60。

图4为测试图像Girl分别采用Bicubic插值^[6]、ScSR^[7]、NARM-SRM^[8]、以及本方法 (排序依次为(a)、(b)、(c)、(d)、(e))进行的复原效果对比。从比较中可以看出，Bicubic插 值的边缘振铃现象最为严重，ScSR方法复原的纹理区域含有较大的字典编码噪声，NARM- SRM较前两者有了明显改善，但本方法相比于前三种复原算法在图像质量上有了一定的提 高。

参见图2、图3、图4和图5，为了进一步说明本方法的有效性，表4列举了4幅测试图 像在不同超分辨率复原方法下的峰值信噪比(PSNR)和结构相似度(SSIM)，从表4中也可以 明显看出，本方法较其它三种算法在客观指标上也有一定程度的提高，进一步验证本方法 的有效性。

表4不同超分辨率重建算法的客观评价指标比较

参考文献

[1]FreemanWT,JonesTR,PasztorEC.Example-basedsuper-resolution [J].ComputerGraphicsandApplications,IEEE,2002,22(2):56-65.

[2]YangJ,WrightJ,HuangTS,etal.Imagesuper-resolutionviasparse representation[J].ImageProcessing,IEEETransactionson,2010,19(11):2861- 2873.

[3]DongW,ZhangD,ShiG,etal.Imagedeblurringandsuper-resolution byadaptivesparsedomainselectionandadaptiveregularization[J].Image Processing,IEEETransactionson,2011,20(7):1838-1857.

[4]GlasnerD,BagonS,IraniM.Super-resolutionfromasingleimage [C]//ComputerVision,2009IEEE12thInternationalConferenceon.IEEE,2009:349- 356.

[5]DongW,ZhangL,LukacR,etal.Sparserepresentationbasedimage interpolationwithnonlocalautoregressivemodeling[J].IEEETransactionson ImageProcessing,2013,22(4):1382-1394.

[6]Keys,R.,"Cubicconvolutioninterpolationfordigitalimage processing,"inAcoustics,SpeechandSignalProcessing,IEEETransactionson, 1981,29(6):1153-1160.

[7]YangJ,WrightJ,HuangTS,etal.Imagesuper-resolutionviasparse representation[J].ImageProcessing,IEEETransactionson,2010,19(11):2861- 2873.

[8]DongW,ZhangL,LukacR,etal.Sparserepresentationbasedimage interpolationwithnonlocalautoregressivemodeling[J].IEEETransactionson ImageProcessing,2013,22(4):1382-1394.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例 序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。