基于丰富边缘区域提取的运动模糊图像复原方法

摘要

本发明公开了一种基于丰富边缘区域提取的运动模糊图像复原方法，首先获取运动模糊图像的高频层信息，再以滑窗方式计算丰富边缘指数，提取到丰富边缘区域，以此，获取到代替整幅图像的局部区域；然后以提取到的丰富边缘区域来估计模糊核，在得到模糊核的基础上，使用复原算法对整幅运动模糊图像进行复原。本发明基于丰富边缘区域提取的运动模糊图像复原方法，对运动模糊图像进行了恢复处理，与现有复原方法相比，在降低图像的复原时间的同时保证图像的复原效果，实现了对运动模糊图像的高效复原。

说明书

技术领域

本发明属于运动模糊图像处理技术领域，具体涉及一种基于丰富边缘区域提取的运动模糊图像复原方法。

背景技术

近年来，运动模糊图像复原技术成为图像复原技术研究的重要课题之一。在采集图像信息过程中，由于拍摄物体和被拍摄物体之间的相对运动，往往会造成图像的模糊。为了获得模糊图像中隐藏的有效信息，需要对模糊图像进行复原。现有的运动模糊图像复原方法一般是通过分析运动模糊图像的特点和清晰图像的特点，得到相应的先验信息，将相应的先验知识添加到后续的模糊核估计中。大部分使用先验知识进行模糊核估计及进行图像复原的方法均是采用迭代方式进行的，计算复杂度高，消耗时间较长。因此，在图像复原过程中，保证图像复原质量的同时提高图像复原的执行效率是非常必要的。

目前，根据模糊图像的先验知识进行运动模糊图像复原的方法有：Cai等(Blindmotion deblurring from a single image using sparse approximation，IEEE，2009)采用模糊核和清晰图像的联合优化，假设模糊核和清晰图像分别在Curvelet域、Framelet域是稀疏的，通过求解方程中较大系数来确定模糊核和清晰图像。尽管解决了两者之间的模糊性，但实际中想要产生两者都满足的值，时间损耗大。Fergus等(Removing camera shakefrom a single photograph，ACM，2006)提出利用图像先验知识进行盲去运动模糊，根据自然图像的梯度符合重尾分布的特性，采用混合高斯分布拟合该分布，最后通过变分贝叶斯算法估计出模糊核和清晰图像。该算法在图像去运动模糊的效果方面取得了很大提高，但计算量大。Shan等人(High-quality motion deblurring from a single image，ACM，2008)针对混合高斯概率分布拟合重尾分布速度较慢的缺点，提出了利用分段函数来拟合该分布的思想，但依然存在计算量大且运行速度慢的问题。上述三种方法的共同缺点是计算量较大。

发明内容

本发明的目的是提供一种基于丰富边缘区域提取的运动模糊图像复原方法，解决了现有基于迭代方式估计模糊核复原运动模糊图像的算法运算量过大、复原速度慢的问题。

本发明所采用的技术方案是，基于丰富边缘区域提取的运动模糊图像复原方法，具体按照以下步骤实施：

步骤1：输入一幅运动模糊图像f(x,y)，提取运动模糊图像的高频层信息H(x,y)；

步骤2：根据步骤1所得的图像高频层信息H(x,y)以滑窗方式来计算窗口每次覆盖区域A_i(x,y)的灰度共生矩阵H_i(x,y)，其中，i＝1，2，3…，n；

步骤3：根据每个窗口区域A_i(x,y)的灰度共生矩阵H_i(x,y)来计算四个方向上的逆差矩和惯性矩将四个方向上的逆差矩和惯性矩求和，计算出图像滑窗所对应窗口的丰富边缘指数R(A_i(x,y))，选取丰富边缘指数最大的窗口所对应的模糊图像区域A(x,y)为所求得的丰富边缘区域；

步骤4：对提取到的运动模糊图像的丰富边缘区域A(x,y)进行模糊核k(x,y)的估计；

步骤5：在估计出模糊核k(x,y)的基础上，利用图像复原算法对整幅运动模糊图像f(x,y)进行恢复，得到最终复原图像。

本发明的特点还在于：

步骤1具体为：

首先，将原始图像由RGB颜色空间转换到YCbCr颜色空间，提取出Y通道，然后对Y通道进行2倍下采样，再利用双线性插值进行2倍上采样，如式(1)所示：

Y′(x，y)＝B₂(Y(2∶2∶M，2∶2∶N))>

其中，M和N为原始图像的行数和列数，Y(x，y)是原始图像的亮度通道，B₂表示对其进行双线性插值2倍上采样操作，Y′(x，y)表示采样结果；

最后，使用原图像Y(x，y)通道减去采样结果Y′(x，y)即为所得的图像高频层H(x,y)，如式(2)所示：

H(x，y)＝Y(x，y)-Y′(x，y)(2)

其中，Y(x，y)是原始图像的亮度通道，Y′(x，y)是采样结果，H(x，y)为所需的图像高频层。

步骤2中滑窗每次覆盖区域A_i(x,y)的灰度共生矩阵H_i(x,y)的计算方式如式(3)所示：

其中，M和N为整幅原始图像的行数和列数，和是每个滑窗的固定的行数和列数，row₁、row₂、col₁和col₂为每次滑窗所处的行列位置，其计算方式如式(4)所示：

其中，是滑窗每次行和列方向上的滑动间隔，a＝1，2，3、b＝1，2，3是以窗为单位在整幅图像上的坐标位置w(a，b)；

i＝(b-1)×3+a。

步骤3中四个方向的角度θ分别为0°、45°、90°、135°，即计算灰度共生矩阵中角度为0°、45°、90°、135°的相邻像素的惯性矩和逆差矩。

步骤3中计算每个窗口丰富边缘指数的方法如式(5)所示：

R(A_i(x,y))＝M_c-M_d>

其中，M_c为四个方向上的惯性矩之和，M_d为四个方向上的逆差矩之和，R(A_i(x,y))为图像局部区域A_i(x,y)的丰富边缘指数，A_i(x,y)和H_i(x,y)所处原图中的位置相同，即H_i(x,y)是原图中A_i(x,y)区域的高频信息；

获取丰富边缘区域A(x,y)的方式如式(6)所示：

其中，i＝1，2，3…，n；θ＝0°，45°，90°，135°；和分别为方向角度为θ度上的惯性矩和逆差矩；MAX和SUM分别为求最大值操作和求和操作；M_c(H_i(x，y))和M_d(H_i(x，y))分别表示滑窗第i次所覆盖模糊图像区域A_i(x,y)对应的高频层信息H_i(x，y)的灰度共生矩阵的惯性矩和逆差矩，R(A_i(x，y))表示滑窗第i次所覆盖模糊图像区域A_i(x,y)的丰富边缘指数。

步骤4中对提取到的丰富边缘区域A(x,y)采用基于强度和梯度先验的方法进行模糊核的估计。

步骤5中图像复原算法采用对抖动图像去模糊的算法。

本发明的有益效果是：本发明基于丰富边缘区域提取的运动模糊图像复原方法，对运动模糊图像进行了恢复处理，与现有复原方法相比，在降低图像的复原时间的同时保证图像的复原效果，实现了对运动模糊图像的高效复原。

附图说明

图1是本发明运动模糊图像复原方法的流程图；

图2(a)是实施例输入的一个运动模糊图像；

图2(b)是实施例输入的另一个运动模糊图像；

图3(a)是图2(a)运动模糊图像的高频信息；

图3(b)是图2(b)运动模糊图像的高频信息；

图4是选取丰富边缘区域的滑窗示意图；

图5(a)是边缘信息递增示意图；

图5(b)是对应图5(a)中的各个图像的逆差矩；

图5(c)是对应图5(a)中的各个图像的惯性矩；

图5(d)是对应图5(a)中的各个图像的丰富边缘指数；

图6(a)是图2(a)运动模糊图像的丰富边缘区域，用矩形框标记；

图6(b)是图2(b)运动模糊图像的丰富边缘区域，用矩形框标记；

图7(a)是图2(a)运动模糊图像的丰富边缘区域估计出来的模糊核；

图7(b)是图2(b)运动模糊图像的丰富边缘区域估计出来的模糊核；

图8(a)是图2(a)使用丰富边缘区域估计出的模糊核进行复原的结果图，右下角显示图中矩形框处的放大图；

图8(b)是图2(b)使用丰富边缘区域估计出的模糊核进行复原的结果图，左下角显示图中矩形框处的放大图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于丰富边缘区域提取的运动模糊图像复原方法，第一部分是获取运动模糊图像的高频层信息，再以滑窗方式计算丰富边缘指数，提取到丰富边缘区域，以此，获取到代替整幅图像的局部区域；第二部分是以提取到的丰富边缘区域来估计模糊核，在得到模糊核的基础上，使用复原算法对整幅运动模糊图像进行复原，以达到对模糊图像高效复原的目的。

如图1所示，具体按照以下步骤实施：

步骤1：输入一幅运动模糊图像f(x,y)，如图2(a)、2(b)所示，图2(a)的大小为613×568，图2(b)的大小为741×900；将其通过空间转变，将其由RGB颜色空间转换到YCbCr颜色空间，只提取出Y通道。然后使用式(1)方式，对Y通道进行2倍下采样，再双线性插值2倍上采样。

Y′(x，y)＝B₂(Y(2∶2∶M，2∶2∶N))>

其中，M和N为原始图像的行数和列数，Y(x，y)是原始图像的亮度通道，B₂表示对其进行双线性插值2倍上采样操作，Y′(x，y)表示采样结果；

最后，依据式(2)，用原图像Y(x，y)通道减去采样结果Y′(x，y)即为所得的图像高频层H(x，y)。高频层提取结果如图3(a)、3(b)所示，高频层信息和原始模糊图像大小相同。

H(x，y)＝Y(x，y)-Y′(x，y) (2)

其中，Y(x，y)是原始图像的亮度通道，Y′(x，y)是采样结果，H(x，y)为所需的图像高频层。

步骤2：根据步骤1所得的图像高频层信息H(x,y)以滑窗方式来计算窗口每次覆盖区域A_i(x,y)的灰度共生矩阵H_i(x,y)，其中，i＝1，2，3…，n；

以式(3)获取窗口覆盖区域A_i(x,y)的灰度共生矩阵H_i(x,y)，如图4所示。窗口的行数和列数均为原始图像行数列数的1/2，每次窗口滑动的横向间隔为原始图像列数的1/4，纵向间隔为原始图像行数的1/4，窗口尺寸为原始图像大小的1/4。

式(3)表示将H的row₁到row₂行、col₁到col₂列的像素信息赋值给H_i。

其中，M和N为整幅原始图像的行数和列数，和是每个滑窗的固定的行数和列数，row₁、row₂、col₁和col₂为每次滑窗所处的行列位置，其计算方式如式(4)所示：

其中，是滑窗每次行和列方向上的滑动间隔，a＝1，2，3、b＝1，2，3是以窗为单位在整幅图像上的坐标位置w(a，b)；如图4中标注的情况所示，式(3)中的i和式(4)中的a、b关系是i＝(b-1)×3+a。

步骤3：根据每个窗口区域A_i(x,y)的灰度共生矩阵H_i(x,y)来计算四个方向上的逆差矩和惯性矩将四个方向上的逆差矩和惯性矩求和，对于边缘信息逐渐增多的一组图片，如图5(a)所示，他们对应的四个角度的逆差矩和惯性矩之和分别如图5(b)、5(c)所示。可以看出，随着图像边缘区域的增加，逆差矩的值逐渐减少，而惯性矩逐渐增大，即，包含边缘细节越多的区域，惯性矩和逆差矩的差值会越大，因此选择以式(5)作为丰富边缘指数，对应图5(a)的丰富边缘指数R(A_i(x,y))，如图5(d)所示。

R(A_i(x，y))＝M_c-M_d(5)

其中，M_c为四个方向上的惯性矩之和，M_d为四个方向上的逆差矩之和，R(A_i(x,y))为图像局部区域A_i(x,y)的丰富边缘指数；A_i(x,y)和H_i(x,y)所处原图中的位置相同，即H_i(x,y)是原图中A_i(x,y)区域的高频信息。

选取丰富边缘指数最大的窗口所对应的模糊图像区域A(x,y)为所求得的丰富边缘区域，如式(6)所示。提取到图2(a)、2(b)的丰富边缘区域如图6(a)、6(b)中矩形框中选中所示。

其中，i＝1，2，3…，n；θ＝0°，45°，90°，135°；和分别为方向角度为θ度上的惯性矩和逆差矩；MAX和SUM分别为求最大值操作和求和操作；M_c(H_i(x，y))和M_d(H_i(x，y)）分别表示滑窗第i次所覆盖模糊图像区域Ai(x,y)对应的高频层信息H_i(x，y)的灰度共生矩阵的惯性矩和逆差矩，R(A_i(x，y))表示滑窗第i次所覆盖模糊图像区域A_i(x,y)的丰富边缘指数。

步骤4：对提取到的运动模糊图像的丰富边缘区域A(x,y)使用Pan等(DeblurringText Images via L0-Regularized Intensity and Gradient Prior，IEEE，2014)提出的基于强度和梯度先验的方法进行模糊核k(x,y)的估计；图2(a)、图2(b)估计出的模糊核如图7(a)、图7(b)所示，图2(a)的模糊核图7(a)的大小是25×25，图2(b)的模糊核图7(b)的大小是33×33。

步骤5：在估计出模糊核k(x,y)的基础上，利用图像复原算法对整幅运动模糊图像f(x,y)进行恢复，得到最终复原图像，如图8(a)、图8(b)所示。图像复原算法优选O.Whyte等(Deblurring Shaken and Partially Saturated Images，International Journal ofComputer Vision，2014)提出的对抖动图像去模糊的算法。