基于非局部窗口梯度的模糊图像盲复原方法

摘要

本发明涉及一种非局部窗口梯度的模糊图像盲复原方法，属于图像处理领域。该方法包括以下步骤：模糊图像的NLWG比清晰图像的NLWG小，NLWG适用于图像中的所有图像块；无论是清晰图像还是模糊图像，所有像素点的像素值都能够被归一化到[0,1]之间，定义非局部窗口梯度先验；定义基于非局部窗口梯度先验的模糊图像盲复原模型；对提出模型的最优化求解；采用非盲复原方法来得到最终的清晰复原图像。本发明能够估计出更准确的模糊核，因此能够复原出更高质量的清晰图像。

说明书

技术领域

本发明属于图像处理领域，涉及基于非局部窗口梯度的模糊图像盲复原方法。

背景技术

现有的模糊图像盲复原方法的成功主要是归因于各种图像先验的提出，或者边缘的预测策略。然而，基于边缘预测的方法，双边滤波、两段核估计、块先验、色线先验、超拉普拉斯先验，通常采用启发式的边缘选择，当模糊图像中不存在强边缘时，这些方法恢复出来的图像质量就会产生明显的下降。为了避免这种启发式的边缘选择，许多基于自然图像先验的算法被提出，包括归一化稀疏先验、梯度先验、暗信道先验和极值信道先验等。这些图像在一般的自然图像上表现良好，但是不能很好地推广到特定的场景。虽然，暗通道先验也可以应用于这些特定场景，但是，当图像中含有大量明亮像素时，基于暗原色先验的中间潜像估计方法很可能会失败。极值信道先验虽然在此基础上，进行优化，但是如果缺少大量的亮像素值和暗像素值，此方法的作用也会有所局限。

发明内容

有鉴于此，本发明的目的在于提供一种基于非局部窗口梯度的模糊图像盲复原方法，来实现高质量的模糊图像盲复原。

为达到上述目的，本发明提供如下技术方案：

基于非局部窗口梯度的模糊图像盲复原方法，该方法包括以下步骤：

图像的模糊退化模型用如下的数学模型来表示：

其中，B、I和K分别代表观察到的模糊图像、原始清晰图像和模糊核，N是存在的加性噪音，

在大小为M×N的图像上定义一个大小为n×n的图像块P，那么非局部窗口梯度(Non-Local Window Gradient:NLWG)被定义为：

NLWG(I

其中，ΔI

根据公式(1)中图像模糊的数学模型，得出：模糊图像的NLWG比清晰图像的NLWG小，具体的数学推导如下：

由公式(3)知，NLWG适用于图像中的所有图像块；

无论是清晰图像还是模糊图像，所有像素点的像素值都能够被归一化到[0,1]之间，那么：

1-NLWG(I

R(I)＝||1-NLWG(I)||

其中，||·||

选择NLWG的最小上界1保证最终的代价函数的值是最小的；

基于非局部窗口梯度先验的模糊图像盲复原模型为：

其中，||·||

对提出模型的最优化求解；

采用非盲复原方法来得到最终的清晰复原图像。

可选的，所述基于非局部窗口梯度先验的模糊图像盲复原模型共由四个部分组成：

第一项

第二项NLWG先验正则化约束项，保证在最优化的过程中让解更加接近清晰的图像；

第三项是图像梯度的L0范数，保证提取出图像中的显著边缘来引导模糊核的估计往正确的方向进行；

第四项则用于对模糊核的约束，保证估计出的模糊核的平滑性和稀疏性。

可选的，所述对提出模型的最优化求解具体为：

由公式(6)知，模型需要求解出I和K两个未知数，采用交互式的迭代求解策略来迭代的求解I和K，将对公式(6)分解成对I的子问题和K的子问题，两个子问题的求解，分别如公式(7)和(8)所示：

子问题I的求解：

为求解子问题(7)，引入辅助变量u和v，同时引入两个约束条件：u＝1-NLWG(I)和v＝▽I，其中，v＝(v

由公式(2)和公式(5)知，NLWG(I)等效为一个矩阵M与图像I的向量形式V

其中，j是以i为中心的图像块P上的像素，那么NLWG(·)操作就被转换成：NLWG(I)＝MV

其中，K是模糊核K的矩阵形式，，V

采用交互式的求解策略，交互式的迭代求解I，u，v和q；首先固定u和v，得到：

再对公式(14)进行交替的迭代求解I和q，得：

公式(14)是一个二次性的方程，通过快速的傅里叶变换(Fast FourierTransform，FFT)和分别对I和q进行求导，并令导数为零求得I和q：

其中，ξ(·)和ξ

给定I，求得u和v：

得：

子问题K的求解

对于模糊核K的子问题的求解，给定I，模糊核K的最优化求解问题为：

公式(18)是一个二次性的问题，采用快速的傅里叶变化对其进行求解，得：

为得到具有物理意义的解，采用图像盲复原中通用的非负和归一化约束来对每次迭代中求得的模糊核K进行约束：

其中

利用双线性下采样对模糊噪声图像B建立多层图像金字塔，下采样因子为

本发明的有益效果在于：提出的先验不仅是由图像模糊的内在特性所决定的，且较现有的一些较为成功的先验相比，能够在更大的程度上对清晰图像和模糊图像进行区分，从而保证了在最优化的过程中让解更好的偏向清晰图像，同时更远的偏离模糊图像，进而能够估计出更准确的模糊核，因此能够复原出更高质量的清晰图像。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1整个算法流程的示意图。

图2是三大基准数据集进行模糊处理的8个模糊核；(a)为模糊核119×19，(b)为模糊核217×17，(c)为模糊核315×

图3是反卷积错误率的累积直方图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图像的模糊退化模型用如下的数学模型来表示：

其中，B、I和K分别代表观察到的模糊图像、原始清晰图像和模糊核，N是存在的加性噪音，

首先，在大小为M×N的图像上定义一个大小为n×n的图像块P，那么非局部窗口梯度(Non-LocalWindow Gradient:NLWG)被定义为：

NLWG(I

其中，ΔI

根据公式(1)中图像模糊的数学模型，并结合Young等人提出的卷积不等式，可得出如下的结论：模糊图像的NLWG比清晰图像的NLWG小，其具体的数学推导如下：

由公式(3)可知，NLWG的这一结论适用于图像中的所有图像块。

对于模糊图像的盲去模糊而言，一种好的图像先验必须是能够很好地区分清晰图像和模糊图像，即在最优化的过程中让解偏向清晰图像，而偏离模糊图像，也就是要求清晰图像的先验应该小于模糊图像的先验，且相差越大越好。无论是清晰图像还是模糊图像，其中的所有像素点的像素值都是可以被归一化到[0，1]之间的，那么：

1-NLMG(I

R(I)＝||1-NLWG(I)||

其中，||·||

因此，提出的基于局部最大差值先验的模糊图像盲复原模型为：

其中，||·||

对提出模型的最优化求解

由公式(6)知，模型需要求解出I和K两个未知数，采用交互式的迭代求解策略来迭代的求解I和K，将对公式(6)分解成对I的子问题和K的子问题，两个子问题的求解，分别如公式(7)和(8)所示：

子问题I的求解：

为求解子问题(7)，引入辅助变量u和v，同时引入两个约束条件：u＝1-NLWG(I)和v＝▽I，其中，v＝(v

由公式(2)和公式(5)知，NLWG(I)等效为一个矩阵M与图像I的向量形式V

其中，j是以i为中心的图像块P上的像素，那么NLWG(·)操作就被转换成：NLWG(I)＝MV

其中，K是模糊核K的矩阵形式，，V

采用交互式的求解策略，交互式的迭代求解I，u，v和q；首先固定u和v，得到：

再对公式(14)进行交替的迭代求解I和q，得：

公式(14)是一个二次性的方程，通过快速的傅里叶变换和分别对I和q进行求导，并令导数为零求得I和q：

其中，ξ(·)和ξ

给定I，求得u和v：

得：

子问题K的求解

对于模糊核K的子问题的求解，给定I，模糊核K的最优化求解问题为：

公式(18)是一个二次性的问题，采用快速的傅里叶变化对其进行求解，得：

为得到具有物理意义的解，采用图像盲复原中通用的非负和归一化约束来对每次迭代中求得的模糊核K进行约束：

其中

与绝大多数的图像盲复原方法相同，本发明提出的方法采用了一种从粗到精的多层图像金字塔策略：利用双线性下采样对模糊噪声图像B建立多层图像金字塔，下采样因子为

实验过程中，使用了三个公认基准数据集：Levin等人的数据集、Kohler等的数据集和Sun等人的数据集，用图2所示的模糊核对每幅图像进行模糊处理。并将提出的方法与基于L0正则化的梯度先验和局部最大梯度先验这两种最先进的盲运动去模糊方法进行比较。我们的方法主要用于模糊核估计，为了公平起见，在最终的复原图像中进行客观评价指标。

同时，在客观的评价指标方面,我们使用三种客观的数值测量方法：反卷积错误率(DER)、峰值信噪比(PSNR)、自相似性度量(SSIM)和平方和差值误差(SSDE)来评价复原效果。使用Matlab实现算法模型，在三个基准数据集上进行实验，统计评价指标。

DER是估计模糊核与真实模糊核反卷积误差之比。错误率越小，复原图像视觉效果越好。如图3所示，统计三个基准数据集，共704张的图像的DER值，可以看出提出的方法对所有的数据集都产生了较好的恢复效果，明显优于比较的方法。

表1、表2和表3，是得到的平均PSNR和SSIM的评价结果。结果表明，在大多数情况下，我们的平均PSNR和SSIM都是最高的，即非盲复原方法能够有较好的复原结果。

从表4可以看出，在大多数情况下，我们的方法也可以得到最低的平均SSDE，即能够复原出较为准确的模糊核。

表1 Levin数据集上每种方法复原结果的平均PSNR(dB)和平均SSIM

表2 Kohler数据集上复原结果的平均PSNR(dB)和平均SSIM

表3 Sun数据集上复原结果的平均PSNR(dB)和平均SSIM

表4三个基准数据集上复原结果的SSDE

除了合成模糊图像外，还在真实模糊图像上进行实验，从真实模糊图像的复原效果，也能进一步证明提出方法的有效性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。