基于标准化稀疏度量图像块先验的模糊核估计方法

摘要

本发明公开了一种基于标准化稀疏度量图像块先验的模糊核估计方法。其步骤为：1、对待复原的模糊图像进行预处理，2、载入已训练好的外部图像块先验，3、获得梯度图像映射图，4、初始化模糊核，5、初始化待复原图像，6、获得待复原图像的后验图像，7、获得模糊核，8、判断是否满足终止条件，9、更新待复原图像和模糊核，10、更新模糊核估计金字塔层标签，11、输出模糊核；12、获得最终的清晰图像。本发明克服了现有技术中利用的先验知识不充分而导致的模糊核估计不准确的缺陷，减少了在迭代过程中产生的不必要的人工产物，增强了去模糊图像的清晰度。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及图像的盲去模糊技术领域中的基于 标准化稀疏度量图像块先验的模糊核估计方法。本发明是将模糊图像进行去模糊，以 得到图像模糊的成因，进一步得到清晰的图像，以便为图像后续的识别检测提供更准 确的信息。

背景技术

图像盲去模糊技术是指祛除或减轻已获得的数字图像中受到的各种未知因素导致 的图像模糊的过程。其中最关键的一步就是找到导致图像模糊的成因，即寻找出模糊 核，然后进行图像的去模糊工作。因为清晰的图像和模糊核均是未知的，这使得盲去 模糊变成了一个极度病态的问题。在现实生活中这项技术也有很广泛的应用，比如医 学图像处理，人文照片图像复原等方面，如何从这些模糊图像中复原出清晰的图像成 为一个很具有商业意义的课题，在国内外的做图像处理的研究机构和商业公司中也得 到了广泛的研究。针对该问题，研究者们已经提出了很多方法。

目前，图像盲去模糊技术主要可以分为两大类，其中一类是利用图像的边缘信息， 图像边缘是图像理解和识别的关键因素，在图像的盲去模糊中更是如此。另一类盲去 模糊方法关注于探索图像的先验知识去实现图像的盲去模糊。

Shan等人发表的论文“Blurkernelestimationusingtheradontransform”(InCVPR， pages241-248，IEEE，2011)中提出了一种基于图像边缘的盲去模糊方法。该方法利 用明显锐化的边缘从模糊图像中复原出清晰的图像，这种方法也使用了很强的正则项 去保持强壮的图像边缘，该方法的实验结果表明，模糊核在由粗到细的迭代优化求解 过程中收敛到了可靠的解。但是，该方法仍然存在的不足是，该方法利用的图像的先 验知识不太充分导致模糊核估计不准确，去模糊的结果很大程度上依赖于图像边缘的 质量。

Dilip等人发表的论文“Blinddeconvolutionusinganormalizedsparsitymeasure” (2011IEEEInternationalConferenceonIEEE，pp：233-240)中公开了一种基于稀疏 先验的盲去模糊方法。该方法在梯度图像上进行复原，充分的利用了图像的梯度信息， 从而可以有效地对模糊图像进行去模糊。但是该方法仍然存在的不足是只考虑临近两 个像素的相关性，忽略更大范围内像素之间的相关性。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于标准化稀疏度量图像 块先验的模糊核估计方法。本发明充分地结合图像的先验信息，以在图像去模糊中， 能够提高估计模糊核的准确性，然后实施图像的去模糊。

为实现上述目的，本发明在基于标准化稀疏度量图像块先验的基础上实现自然图 像盲去模糊，其技术方案是通过标准化稀疏度量图像块先验的正则方法去正则化图像 盲去模糊这一病态反问题。在估计模糊核的过程中，使用通用的金字塔框架逐层循环 迭代求解模糊核，在金字塔框架的每一层内，使用迭代再赋权值最小二乘法来优化求 解模糊核，当迭代满足终止条件，则跳出循环，最终得到最优的模糊核。最后，采用 一种非盲去模糊方法来恢复出最终的清晰图像。

实现本发明目的的具体步骤如下：

(1)对模糊图像进行预处理：

输入一幅模糊图像，使用双边滤波器，对模糊图像进行双边滤波，得到边缘锐化 并且抑制噪声影响的模糊图像；

(2)获得模糊图像的梯度图像映射图：

(2a)使用高斯模糊核，对模糊图像进行滤波处理，得到滤波图像；

(2b)计算滤波图像的梯度图像；

(2c)使用线性滤波器，对梯度图像进行增强滤波处理，得到滤波图像，保持滤 波图像中前2％元素值不变，其余98％元素值置零，得到梯度图像映射图；

(3)载入已训练好的外部图像块先验：

使用matlab软件中的load函数，载入在程序外部已训练好的外部图像块先验；

(4)初始化模糊核：

使用matlab软件中的fspecial函数，生成一个3×3的高斯模糊核，作为模糊核；

(5)初始化待复原图像：

(5a)将模糊核估计金字塔的总层数减1的数值，作为模糊核估计金字塔最粗略 层的层标签；

(5b)采用双线性插值法，缩放模糊图像至模糊核估计金字塔最粗略层的图像大 小，得到待复原图像；

(6)获得待复原图像的后验图像：

(6a)采用双线性插值法，将梯度图像映射图缩放至与待复原图像同样的大小， 得到更新后的梯度图像映射图，将更新后的梯度图像映射图进行二值化处理，得到二 进制掩模；

(6b)按照下式，获得待复原图像的图像块：

C_i＝P_i*y(i∈M)

其中，C_i表示待复原图像的第i个图像块，P_i表示提取待复原图像中以位置i为 中心，大小为5×5像素的图像块的提取算子，y表示待复原图像，∈表示属于符号，M 表示二进制掩模的矩阵形式；

(6c)对于每一个待复原图像的图像块，从外部已训练好的图像块先验中，寻找 一个最相似于当前待复原图像的图像块的样例图像块，将该样例图像块作为与当前待 复原图像的图像块匹配的样例图像块；

(6d)按照下式，计算待复原图像的图像块标准差：

${\sigma }_i=\underset{{\sigma }_i}{\arg }min\frac{\beta }{\left|M\right|}\underset{i\in M}{\Sigma }\frac{\left|\right|P_{i}y-Z_i{\sigma }_i-{\mu }_i|{|}_1}{\left|\right|P_{i}x-Z_i{\sigma }_i-{\mu }_i|{|}_2}$

其中，σ_i表示待复原图像的第i个图像块的标准差，表示取得目标函数 值最小时σ_i的值，β表示调节参数，β的取值范围是不超过0.5的正数，M表示二 进制掩模的矩阵形式，|·|表示统计矩阵中非零元素个数操作，∑表示求和操作，∈ 表示属于符号，P_i表示提取待复原图像中以位置i为中心，大小为5×5像素的图像块 的提取算子，y表示待复原图像，Z_i表示与待复原图像的第i个图像块匹配的样例图 像块，μⁱ表示待复原图像的第i个图像块的均值，||·||₁表示矩阵一范数操作，||·||₂表示 矩阵二范数操作；

(6e)按照下式，获得待复原图像的后验图像：

$x=\underset{x}{\arg }min\left|\right|Kx-y|{|}^2+\frac{\alpha }{\left|M\right|}\underset{i\in M}{\Sigma }\frac{\left|\right|P_{i}x-Z_i{\sigma }_i-{\mu }_i|{|}_1}{\left|\right|P_{i}x-Z_i{\sigma }_i-{\mu }_i|{|}_2}$

其中，x表示待复原图像的后验图像，表示取得目标函数值最小时x的 值，K表示模糊核的矩阵形式，y表示待复原图像，||·||²表示矩阵的2范数平方操 作，α表示调节参数，α是取值范围不超过0.5的正数，M表示二进制掩模的矩阵形 式，|·|表示统计矩阵中非零元素个数操作，∑表示求和操作，∈表示属于符号，P_i表示提取待复原图像中以位置i为中心，大小为5×5像素的图像块的提取算子，Z_i表 示与待复原图像的第i个图像块匹配的样例图像块，μⁱ表示待复原图像的第i个图像 块的均值，||·||₁表示矩阵一范数操作，||·||₂表示矩阵二范数操作；

(7)按照下式，获得模糊核：

$k=\underset{k}{\arg }\min \left|\right|k*x-y|{|}^2+\lambda |\left|k\right|{|}^2$

其中，k表示模糊核，表示取得目标函数值最小时x的值，*表示卷积符 号，x表示待复原图像的后验图像，y表示待复原图像，λ表示调节参数，λ是不超 过0.5的正数，||·||²表示矩阵二范数平方操作；

(8)判断模糊核估计金字塔层标签值是否为0，若是，执行步骤(11)；否则， 执行步骤(9)；

(9)更新模糊核和待复原图像：

(9a)上采样模糊核一次，得到更新后的模糊核，将更新后的模糊核作为模糊核 估计金字塔下一层的模糊核；

(9b)上采样待复原图像的后验图像一次，得到后验图像，将后验图像作为模糊 核估计金字塔下一层的待复原图像；

(10)更新模糊核估计金字塔层标签：

将模糊核估计金字塔层标签减1的数值，作为更新后的模糊核估计金字塔层标签， 执行步骤(6)；

(11)输出模糊核估计金字塔当前层的模糊核；

(12)使用matlab软件中L0工具箱中L0-abs函数对待复原图像进行非盲去模 糊，得到最终后验图像。

本发明与现有的技术相比具有以下优点：

第一，由于本发明对于每一个待复原图像的图像块，寻找一个最相似于当前待复 原图像的图像块的样例图像块作为它的先验知识，克服了现有技术中利用待复原图像 的先验知识不充分而导致的模糊核估计不准确的缺陷，使得采用本发明的方法，可以 在获得丰富的图像细节信息的基础上，减少在迭代过程中产生的不必要的人工产物， 增强去模糊图像的清晰度。

第二，由于本发明引入图像块标准差作为图像块正则，克服了现有技术中只考虑 待复原图像中临近两个像素的相关性，忽略更大范围内像素之间相关性的不足，使得 本发明能进一步地重建图像结构，增强图像的去模糊质量。

附图说明

图1是本发明的流程图；

图2是本发明在仿真实验中使用的House模糊图；

图3是在仿真实验中得到的House去模糊图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参见附图1，本发明具体实施步骤如下。

步骤1，对待复原的模糊图像进行预处理。

输入一幅模糊图像，使用双边滤波器，对模糊图像进行双边滤波，得到边缘锐化 并且抑制噪声影响的待复原图像。

本发明实施例中输入的待处理的模糊图像如附图2所示，模糊图像的大小为 256×256像素。

本发明实施例中，双边滤波器窗口的范围为3×3像素至5×5像素，空间域标准差 的范围为[0-1]，值域标准差的范围为[0-1]。

步骤2，获得待复原图像的梯度图像映射图。

使用高斯模糊核，对待复原图像进行滤波处理，得到滤波图像。

本发明实施例中选取的高斯模糊核的大小为3×3像素，标准差为0.5。

分别利用差分算子[1,-1]和差分算子[1,-1]^T与滤波图像进行卷积操作，得到滤波图 像的水平梯度图像和滤波图像的垂直梯度图像，其中，T表示转置操作。

按照下式，获得滤波图像的梯度图像：

$Z=\sqrt{{Z_x}^2+{Z_y}^2}$

其中，Z表示滤波图像的梯度图像，Z_x表示滤波图像的水平梯度图像，Z_y表示 滤波图像的垂直梯度图像，表示求平方根操作。

使用线性滤波器，对梯度图像进行增强滤波处理，得到滤波图像，保持滤波图像 中前2％元素值不变，其余98％元素值置零，得到梯度图像映射图。

本发明实施例中选取的线性滤波器的模板为11×11大小的全1矩阵。

步骤3，载入已训练好的外部图像块先验。

使用matlab软件的load函数，载入在程序外部已训练好的外部图像块先验。

本发明实施例中外部图像块先验获得方式如下：

以的比例下采样(插值使图像变小)训练公开图像数据集BSD500中的图像，用 以减少该图像集中的噪声以及人工产物。

采用与步骤2相同的处理方法计算指示公开图像数据集BSD500中的图像的梯度 图像映射图集，将梯度映射图集二值化，得到二进制掩模集。

将二进制掩模集与公开图像数据集BSD500中的数据进行或运算得到最后的掩模 集。

利用掩模集从公开图像数据集BSD500中的数据中提取5×5的图像块，产生 220KB个图像块，通过减去均值并且除以标准差来正则化这220KB个图像块。

设定聚类中心为2560，使用标准的k均值算法去学习220KB个图像块中有代表

性的图像块，形成2560个聚类簇，将这些聚类簇按照尺寸大小排序，然后提取

2560个聚类中心为有代表性的图像块作为图像块先验。

步骤4，初始化模糊核。

使用matlab软件中的fspecial函数，生成一个3×3像素的高斯模糊核，作为模糊 核。

步骤5，初始化待复原图像。

将模糊核估计金字塔的总层数减1的数值，作为模糊核估计金字塔最粗略层的层 标签。

按照下式，获得模糊核估计金字塔的总层数：

其中，n表示模糊核估计金字塔总层数，表示向下去整操作，log表示以2为 底的对数操作，b表示根据模糊程度预先设定的用户参数，b的取值不超过待复原图 像尺寸的十分之一，表示求平方根操作。

采用双线性插值法，缩放原始待复原图像至模糊核估计金字塔最粗略层的图像大 小_，得到待复原图像。

步骤6，获得待复原图像的后验图像。

采用双线性插值法，将梯度图像映射图缩放至与待复原图像同样的大小，得到更 新后的梯度图像映射图，将更新后的梯度图像映射图进行二值化处理，得到二进制掩 模。

按照下式，获得待复原图像的图像块：

C_i＝P_i*y(i∈M)

其中，C_i表示待复原图像的第i个图像块，P_i表示提取待复原图像中以位置i为 中心，大小为5×5像素的图像块的提取算子，y表示待复原图像，∈表示属于符号，M 表示二进制掩模的矩阵形式。

对于每一个待复原图像的图像块，从外部已训练好的图像块先验中，寻找一个 最相似于当前待复原图像的图像块的样例图像块，将该样例图像块作为与当前待复 原图像的图像块匹配的样例图像块。

按照下式，计算待复原图像的图像块标准差：

${\sigma }_i=\underset{{\sigma }_i}{\arg }min\frac{\beta }{\left|M\right|}\underset{i\in M}{\Sigma }\frac{\left|\right|P_{i}y-Z_i{\sigma }_i-{\mu }_i|{|}_1}{\left|\right|P_{i}y-Z_i{\sigma }_i-{\mu }_i|{|}_2}$

其中，σ_i表示待复原图像的第i个图像块的标准差，表示取得目标函数值 最小时σ_i的值，β表示调节参数，β的取值范围是不超过0.5的正数，M表示二进制 掩模的矩阵形式，|·|表示统计矩阵中非零元素个数操作，∑表示求和操作，∈表示 属于符号，P_i表示提取待复原图像中以位置i为中心，大小为5×5像素的图像块的提 取算子，y表示待复原图像，Z_i表示与待复原图像的第i个图像块匹配的样例图像块， μⁱ表示待复原图像的第i个图像块的均值，||·||₁表示矩阵一范数操作，||·||₂表示矩阵二 范数操作。

按照下式，获得待复原图像的后验图像：

$x=\underset{x}{\arg }min\left|\right|Kx-y|{|}^2+\frac{\alpha }{\left|M\right|}\underset{i\in M}{\Sigma }\frac{\left|\right|P_{i}x-Z_i{\sigma }_i-{\mu }_i|{|}_1}{\left|\right|P_{i}x-Z_i{\sigma }_i-{\mu }_i|{|}_2}$

其中，x表示待复原图像的后验图像，表示取得目标函数值最小时x的 值，∑表示求和操作，K表示模糊核的矩阵形式，y表示待复原图像，||·||²表示矩阵 的2范数平方操作，α表示调节参数，α是取值范围不超过0.5的正数，M表示二进 制掩模的矩阵形式，|·|表示统计矩阵中非零元素个数操作，∑表示求和操作，∈表 示属于符号，P_i表示提取待复原图像中以位置i为中心，大小为5×5像素的图像块的 提取算子，Z_i表示与待复原图像的第i个图像块匹配的样例图像块，μⁱ表示待复原图 像的第i个图像块的均值，||·||₁表示矩阵一范数操作，||·||₂表示矩阵二范数操作。

步骤7，按照下式，获得模糊核：

$k=\underset{k}{\arg }\min \left|\right|k*x-y|{|}^2+\lambda |\left|k\right|{|}^2$

其中，k表示模糊核，表示取得目标函数值最小时x的值，*表示卷积符 号，x表示待复原图像的后验图像，y表示待复原图像，λ表示调节参数，λ是不超 过0.5的正数，||·||²表示矩阵二范数平方操作。

步骤8，判断模糊核估计金字塔层标签值是否为0，若是，执行步骤11；否则， 执行步骤9。

步骤9，更新待复原图像和模糊核。

上采样模糊核一次，得到更新后的模糊核，将更新后的模糊核作为模糊核估计金 字塔下一层的模糊核。

上采样待复原图像的后验图像一次，得到后验图像，将后验图像作为模糊核估计 金字塔下一层的待复原图像；

本发明实施例中，上采样倍数为倍。

步骤10，更新模糊核估计金字塔层标签。

将模糊核估计金字塔层标签减1的数值，作为更新后的模糊核估计金字塔层标签， 执行步骤6。

步骤11，输出模糊核估计金字塔当前层的模糊核。

步骤12，使用matlab软件中L0工具箱中L0-abs函数对待复原图像进行非盲去 模糊，得到最终的去模糊图像，参见附图3。

下面结合仿真图对本发明的效果做进一步的说明。

1.仿真实验条件：

本发明仿真实验的硬件平台是：宏碁计算机Intel(R)Core处理器，主频3.20GHz， 内存4GB；仿真软件平台是：MATLAB软件(2010b)版。

2.仿真实验内容与结果分析：

本发明的仿真实验具体分为三个仿真实验。

仿真实验1：利用本发明对输入的模糊图像进行图像盲去模糊处理，得到去模糊图 像，结果如图3(a)所示。

仿真实验2：利用现有技术中基于图像边缘的方法对输入的模糊图像进行图像盲去 模糊处理，得到去模糊图像，结果如图3(b)所示。

仿真实验3：利用现有技术中基于稀疏先验的方法对输入的模糊图像进行图像盲去 模糊处理，得到去模糊图像，结果如图3(c)所示。

在本发明的仿真实验中，应用峰值信噪比PSNR评价指标来评价盲去模糊结果的 优劣。

采用本发明与现有技术中基于稀疏先验的方法、基于图像边缘的方法，分别对图 像House，Parthenon进行图像盲去模糊处理。应用峰值信噪比PSNR对去模糊图像进 行评价，评价结果如表1所示，表1中的Alg1表示本发明的方法，Alg2表示基于稀 疏先验的方法，Alg3表示基于图像边缘的方法。

表1.三种方法仿真实验获得的PSNR值一览表(单位为dB)

测试图像 Alg1 Alg2 Alg3 House 29.42 22.66 24.00 Parthenon 28.07 24.39 22.76

从表1中可以看出，本发明相比于基于稀疏先验的方法和基于图像边缘的方法， 去模糊图像的峰值信噪比有4-7dB提高。这充分说明，本发明在进行图像去模糊时有 更好的性能。

从图3(a)可以看出，本发明得到的模糊图像House的去模糊结果，不但有效地 祛除了模糊，在保留了更多细节的同时并没有产生多余的人工产物。

从图3(b)可以看出，基于图像边缘的方法得到的模糊图像House的去模糊结 果，包含明显的人工产物，没能有效地的祛除模糊。

从图3(c)可以看出，基于稀疏先验的方法得到的模糊图像House的去模糊结果， 受到极大的噪声影响，严重地影响了图像去模糊质量。