一种权重的稀疏边缘正则化图像复原方法

摘要

本发明公开了一种权重的稀疏边缘正则化图像复原方法，（1）运用差分算子得到模糊噪声图像各个方向的梯度信息，并进行方向随机的组合，得到图像边缘的矩阵数学模型；（2）根据图像稀疏性原理以及不确定方程最佳稀疏解的定义，针对步骤（1）中得到的图像边缘模型，采用一种权重的稀疏性约束，约束图像的边缘，结合已知的退化函数，推导出图像复原的代价函数；（3）根据步骤（1）和步骤（2），利用一种改进的上界最小化方法对代价函数进行最优化求解，得到清晰的复原图像。本发明方法极大地丰富了图像边缘的信息量；采用一种权重的稀疏性边缘约束，有效地保护了图像的边缘特性；利用一种改进的上界最小化数学方法，得到高质量的复原图像。

说明书

技术领域

本发明属于计算机图像处理技术，涉及一种图像复原方法。

背景技术

图像的退化无处不在，它几乎存在于和图像处理有关的所有领域。在获取图像的过程中，由于摄像设备与被拍摄对象之间的物距和像距不匹配造成的图像模糊，称之为散焦模糊；由于成像设备与被拍摄物体之间的相对运动引起的图像模糊，称之为运动模糊，同时还会因为外界天气、阳光、空气或者成像设备镜头上的灰尘以及成像设备自身硬件等原因也会造成图像的模糊。为了能够从受损图像中挖掘更多、更准确的信息，图像清晰化复原、超高解析度重构等一系列的图像处理技术被广泛研究，并成功运用到天文、医学、军用等各个领域中。

图像复原技术起源较早，早在1975年Stockham就提出了利用数字信号处理的方法来进行模糊图像的复原，目的是从模糊图像逆向得到原始的清晰图像，较早的方法包括维纳滤波、经典逆滤波、卡尔曼滤波、约束最小二乘方滤波、L-R方法等，上述方法中成像系统的点扩散函数（PSF）都是已知的。还有一类方法是在PSF未知的情况下进行的，即盲复原方法，如NAS-RIF方法、全变差正则化图像盲复原方法、非参数估计盲复原方法等。

图像的大部分信息来自于图像的边缘，因此，能否在对图像进行去噪去模糊的同时，对图像的边缘进行较好的保护，成为了图像清晰化复原的关键问题。近年来，正则化的方法逐渐成为图像复原技术研究的热点。将图像的边缘信息作为正则项是最常用的一种正则化方法之一，它利用图像的梯度信息，控制扩散沿着图像的边缘方向进行，同时在图像的灰度区域保持较好的平滑特性，最终达到在去除噪声的同时能够较好地保护图像的边缘的目的。

在现有的基于图像边缘信息的正则化方法中，绝大多数的方法都只是利用了图像的水平方向和垂直方向，两个方向的边缘信息作为代价函数的正则项，这样不仅没有能够完全利用图像的边缘信息，另一方面，忽略了图像的边缘特性，导致复原图像边缘的锐化程度不够，复原质量不高等后果。

发明内容

本发明提出了一种基于正则化的权重的边缘稀疏性约束的模糊噪声图像清晰化复原方法。该方法首先运用差分算子，将图像所有方向上的梯度信息都提取出来，极大地丰富了正则项中图像边缘的信息量；然后，考虑了图像的边缘特性，根据图像边缘的特性，在图像的空间域，对图像的边缘引入一种权重的稀疏性约束；最后运用一种改进的上界最小化数学方法对提出的代价函数进行最优化求解。本发明方法还能够较好地避免在最小二乘重权重迭代计算中常常会出现的“奇异点问题”。

本发明所采用的技术方案如下：

一种模糊噪声图像的清晰化处理方法，该方法按照以下的步骤实施：

（1）运用差分算子得到已知模糊噪声图像各个方向的梯度信息，对得到的方向梯度信息进行任意两两、三三以及全方向的组合，利用梯度信息任意组合的向量表达形式，得到图像边缘的矩阵表达式的数学模型；

（2）根据清晰自然图像的稀疏性原则以及不确定方程的最佳稀疏解的定义，针对步骤（1）中得到的图像边缘的数学模型，提出一种权重的稀疏性约束，约束图像的边缘，同时，结合已知的退化函数，推导出图像复原的代价函数；

（3）根据步骤（2），引入一种改进的上界最小化方法对代价函数进行最优化收敛、求解，最终得到清晰的复原图像。

图像的线性退化模型可由下式表示：

               （1）

其中，表示我们观察到的模糊噪声图像，表示线性的退化函数（也称为点扩散函数，PSF），表示原始的清晰图像，表示零均值、方差为的加性高斯白噪声，表示卷积运算。

在已知线性退化函数的图像复原方法中和是已知的，为代求的清晰复原图像。求解该问题的方法有很多种，例如正则化方法、小波去噪方法、基于分级贝叶斯的方法、维纳逆滤波、非负支持域递归逆滤波等等。然而，由于线性算子自身的奇异性以及模糊图像中随机噪声的存在，使得对降质模糊图像的复原一直以来都是一个“病态问题”。

本发明是基于已知退化函数的图像复原方法。退化函数的获得方法有很多种，例如可以根据镜头的成像特性推导出退化函数，或者根据序列图像求得退化函数等等。在此我们认为退化函数是线性空间不变的、已知的，因此当退化函数是线性空间不变的，且是已知的情况下，就可以利用本发明方法对模糊噪声图像进行清晰化复原。

参见图1，本发明方法由以下三部分核心步骤构成：

（一）运用差分算子得到已知模糊噪声图像各个方向的梯度信息，对得到的方向梯度信息进行任意两两，或三三，或全方向的组合，利用梯度信息任意组合的向量表达形式，得到图像边缘的矩阵表达式的数学模型

1、图像的全方向梯度信息

一阶差分算子是一种经典的求解一阶前向差分或者一阶后向差分的方法，它利用数字图像中每个像素点与其相邻像素点之间的差来得到整幅数字图像的一阶梯度信息。根据数字图像的特点，利用像素的8领域，分别得到数字图像在水平方向、垂直方向、45°角方向以及135°角方向，全方向上的一阶梯度信息，计算过程如下：

               （2）

其中表示一幅大小为的图像，表示图像中坐标，所对应像素的像素值，表示第个像素点在垂直方向上的一阶梯度，表示第个像素点在水平方向上的一阶梯度，表示第个像素点在135度方向上的一阶梯度，表示第个像素点在45度方向上的一阶梯度。一阶差分算子的优点在于能够只通过简单的运算就得到数字图像中各个方向上的一阶梯度信息，通过这些信息，能够快速、准确地将图像中的边缘细节与图像中的灰度区域区分开来，同时能够定义图像边缘的数学模型，将其运用到代价函数的正则项中。

2、各个方向的梯度的任意组合得到的边缘矩阵数学模型

首先由步骤1得到图像在水平方向、垂直方向、45°角方向以及135°角方向，四个方向上的一阶梯度值，这样就相当于得到了大小同为的四个矩阵；然后对每个矩阵进行平方运算，再将所有平方后的矩阵值进行任意组合的相加，这样就得到各个方向梯度的任意的两两、三三以及全方向的组合；最后对所有的组合进行开方运算，就得到了任意组合后的边缘的矩阵形式的数学模型，过程如下：

定义四个大小均为的矩阵：、、、，得到图像一阶梯度的向量表达形式：，，以及，其中；；；；；

              （3）

其中：

表示图像在水平方向和垂直方向，两个方向上的边缘矩阵数学模型；

表示图像在垂直方向和135°角方向，两个方向上的边缘矩阵数学模型；

表示图像在垂直方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向和135°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在135°角方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向以及135°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在垂直方向、135°角方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、135°角方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向、135°角方向以及45°角方向，全方向上的边缘矩阵数学模型。

（二）提出一种权重的稀疏性约束，约束图像的边缘，得到图像边缘稀疏的数学模型，同时结合已知的退化函数，推导出图像复原的代价函数

1、图像边缘的权重的稀疏性约束

在一幅理想的清晰图像中，图像的边缘是稀疏的，连续的，只存在极少数的间断及孤立点；另一方面，模糊图像的边缘的稀疏性较清晰图像的边缘的稀疏性低。为了更好地保证图像边缘的稀疏性，针对图像的边缘，以为例，提出了一种权重的稀疏性约束。具体实施过程如下：

将边缘向量化为一个大小的列向量，然后定义稀疏边缘的函数为：

        （4）                                                                 

其中：

，。

W为一个权重矩阵，这里，我们定义为一个对角矩阵：

其中：代表迭代次数，为一个足够小的正数，避免分母为零。

2、图像复原的代价函数

根据图像的梯度信息以及边缘的权重的稀疏性约束，在正则化方法的基础上，得到图像复原的代价函数：

      （5）

其中：

代价函数右边的第一项为数据保真项，表示最终得到的复原图像的再模糊与观察到的模糊图像之间的近似程度；

代价函数右边的第二项为正则项；对复原图像的边缘进行有效地稀疏性约束；

表示复原的清晰图像，表示观察到的模糊噪声退化图像，为已知的退化函数矩阵（也称为点扩散函数PSF的矩阵表示）；

为正则化参数，用来平衡数据保真项与正则项。过小会导致复原图像中出现严重的噪声，过大又会过使得复原图像过度平滑，丢掉过多的重要的细节信息；

表示噪声的方差，为已知。

（三）引入一种改进的上界最小化方法对代价函数进行最优化求解

上界最小化方法是将一个复杂、困难的最佳化问题转化为一系列简单的、较为容易的求解问题。在上界最小化的框架结构中，并不需要我们去找到那个确切的最小的上界，而只需要保证上界随着迭代的进行逐渐减小。定义一个函数，它满足以下两个条件：

          （6）

其中，表示第次迭代的结果。可见，既是变量的函数，同时也是代价函数的上界。

上界最小化方法的三个最要的性质：

性质1：，其中，B是与无关的常数（却可能与相关）。

性质2：假设，同时，，；那么的上界为，或者，或者。

性质3：只要存在，就可以保证上界最小化方法的单调性。

确定代价函数的上界函数是该方法中最关键的一步，因为上界函数直接决定了最终结果的优劣。因为代价函数中右边的第一项是二次性函数，所以，用二次函数来作为代价函数的上界函数，代替复杂线性系统的求解。

利用数学不等式：

其中：

；

，。

得到正则项的上界函数为：

                  （7）

其中，和分别为与和无关的常数。接着，定义一个的对角阵：，其中，定义为：

将正则项的上界函数向量化为：

                    （8）

进一步化简，得到：

                （9）

其中，。

公式（9）为代价函数中正则项的上界。接下来我们将公式（9）带入到公式（5）中，再根据性质2，得到复原代价函数的上界函数为：

          （10）

利用共轭迭代方法，得到最优化收敛的解为：

       （11）

该算法首先充分利用了图像中各个方向的梯度信息，极大地丰富了正则项中图像边缘的信息量；然后考虑了图像的边缘特性，根据图像边缘的特性，在图像的空间域，针对图像的边缘，提出了一种权重的稀疏性约束；最后利用一种改进的上界最小化数学方法对提出的代价函数进行了最优化求解。提出的算法适用于各种自然图像的处理。

表1为不同方向的梯度信息的组合经过本发明所得到的复原图像的信噪比增量（ISNR）：

表1 本发明方法中使用不同方向梯度信息组合的ISNR比较表

附图说明

图1是本发明方法的原理框图；

图2(a)为原始的清晰图像；图2(b)为处理前的模糊噪声图像，其中线性退化函数为采用的均匀模糊，同时加入均值为0，差为0.3136的加性高斯白噪声（BSNR=40dB）；图2(c)为经过本发明处理复原后的清晰复原图像，信噪比增量为7.85dB。

图3(a) 为原始的清晰图像；图3(b)为处理前的模糊噪声图像，其中线性退化函数为匀速直线运动，模糊长度为50个像素点，方向为135度，同时加入均值为0，差为1的加性高斯白噪声（BSNR=28dB）；图3(c)为经过本发明处理复原后的清晰复原图像，信噪比增量为12. 66dB。

图4(a) 为原始的清晰图像；图4(b)为处理前的模糊噪声图像，其中线性退化函数为圆盘模糊函数（该退化函数模拟了实际情况中的散焦模糊），圆盘半径为7个像素点，同时加入均值为0，差为1的加性高斯白噪声（BSNR=30dB）；图4(c)为经过本发明处理复原后的清晰复原图像，信噪比增量为4.427dB。

具体实施方式

如图2(b)所示，本发明方法的已知信息为待复原的模糊噪声图像和线性退化函数，其中模糊噪声图像为大小的“Lena”标准测试图像，线性退化函数为采用的均匀模糊，同时加入均值为0，方差为0.3136的加性高斯白噪声（BSNR=40dB）。首先对模糊噪声图像中的每个像素点进行水平方向、垂直方向、45°角方向以及135°角方向，四个方向上的一阶差分运算，得到整幅图像的一阶梯度信息。计算过程如下：

                （12）

其中表示一幅大小为的图像，表示图像中坐标，所对应像素的像素值，表示第个像素点在垂直方向上的一阶梯度，表示第个像素点在水平方向上的一阶梯度，表示第个像素点在135度方向上的一阶梯度，表示第个像素点在45度方向上的一阶梯度。

定义四个大小均为的矩阵：、、、，得到图像一阶梯度的向量表达形式：，，以及，其中；；；；；

            （13）

其中：

表示图像在水平方向和垂直方向，两个方向上的边缘矩阵数学模型；

表示图像在垂直方向和135°角方向，两个方向上的边缘矩阵数学模型；

表示图像在垂直方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向和135°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在135°角方向和45°角方向，两个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向以及135°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在垂直方向、135°角方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、135°角方向以及45°角方向，三个方向上的边缘矩阵数学模型；

表示图像在水平方向、垂直方向、135°角方向以及45°角方向，全方向上的边缘矩阵数学模型。

将边缘向量化为一个大小的列向量，然后定义稀疏边缘的函数为：

                （14）                                                        

其中：

，。

W为一个权重矩阵，这里，我们定义为一个对角矩阵：

其中：

代表迭代次数，为一个足够小的正数，避免分母为零。

根据图像的梯度信息以及边缘的权重的稀疏性约束，在正则化方法的基础上，得到图像复原的代价函数：

            （15）

利用上界最小化方法得到复原代价函数的上界函数，再用共轭迭代算法对复原代价函数的上界函数进行最优化收敛。复原函数的理想上界函数为：

         （16）

共轭迭代方法，得到最优化收敛的解为：

          （17）

其中：

；

；

；

；

；

为代价函数的理想上界函数；

表示最优化的收敛结果，也就是最终的清晰复原图像。

采用大小的“Lena”标准测试图像进行实验，线性退化函数分别为采用的均匀模糊，同时加入均值为0，方差为0.3136的加性高斯白噪声（BSNR=40dB）。复原结果如图2(c)所示，信噪比增量为7.85dB。

本发明方法能够充分地利用图像中各个方向的梯度信息的组合，丰富图像边缘的信息量；在图像的空间域，提出了一种权重的稀疏性边缘约束，有效地保护了图像的边缘特性；引入一种改进的上界最小化数学方法，得到高质量的复原图像。