一种基于边缘强度权重的离焦模糊图像清晰度检测方法

摘要

本发明提供一种基于边缘强度权重的离焦模糊图像清晰度检测方法，首先对输入图像进行预处理，直方图均衡化方法修正亮度和对比度，对数码相机系统中存在的恒定功率加性噪声采用维纳滤波处理，使用中值滤波器和高斯滤波器分别对椒盐噪声和高斯噪声处理。然后采用四个方向边缘梯度算子对每个像素点的梯度进行检测，根据检测得到的梯度大小排除局部亮暗点和孤立噪声点的干扰，对剩余像素作进一步处理。接着对剩余像素的方向梯度与设定阈值比较，区分出边界上梯度值相对较大的强边缘像素和边界附近梯度相对较小的弱边缘像素并分别赋予不同的权重。最后所有像素进行最大梯度平方累加，得到整幅图像的清晰度检测值。

说明书

技术领域

本发明涉及一种模糊图像清晰度检测方法，特别是一种基于边缘强度权重的离焦模糊图 像清晰度检测方法，属于数字图像处理和光电跟踪测量领域。该方法实现基于数字图像处理 技术的自动聚焦检测，对镜头和光电传感器采集到的每一帧数字图像给出清晰度评价并判断 出聚焦最准确的图像，为后续控制镜头运动有效提供反馈和指导，在保持已有算法低复杂度 的基础上，增加检测梯度方向，区分强弱边缘的作用，客观反映了图像的清晰程度，有效提 高了算法的灵敏度、抗噪性和抗亮度变化等。可以广泛应用于各种光电测量设备和自动聚焦 系统中。

背景技术

随着相机、摄像机等数码产品的流行，电子扫描仪、医学显微镜等精密仪器的发展，以 及卫星导航、计算机视觉等高端技术的需要，对获取图像的质量要求越来越高。图像质量的 好坏与清晰度直接相关，清晰度即模糊程度，是指人眼能感受出的相邻影像间的明显程度。 在图像的采集、传输、压缩和滤波等各种处理过程中都可能产生模糊，比如曝光期间成像系 统与被摄物体相对运动产生的运动模糊，成像系统聚焦不良或部分景物处于散焦状态产生的 离焦模糊，光的衍射、以及压缩之后高频丢失等产生的各类模糊等。因此，为快速准确获取 高质量清晰图像，需要对模糊图像进行清晰度评价并根据评价结果展开相应的反馈调节，即 是自动聚焦的过程。

近年来，随着计算机硬件水平以及数字图像处理技术的发展，一种新兴的、基于数字图 像处理的自动聚焦技术开始蓬勃发展起来。目前国内外对这一领域投入的大量的研究，很多 成果已经在现有数字成像系统中广泛应用。基于图像技术的清晰度评价方法主要分为时域 法、频域法、统计学法和信息熵法等四类，其中时域法主要包括Brenner函数、Tenengrad 函数、Robert函数、Laplace函数、方差函数和平方梯度函数等灰度梯度法；频域法主要有 功率谱法、小波变换法等；而统计学法有变化率函数、标准化变化率函数、Vollath自相关函 数、基于梯度的标准相关函数等；信息熵法主要是利用图像的信息熵进行评价处理。上述方 法中时域法算子简单，运算速度快，但精度不高，频域法灵敏度有所提高，但复杂度很高， 实用受限，而基于统计理论和信息熵的清晰度评价函数对背景噪声、光照条件等比较敏感， 这类评价函数在复杂场景下可能会失效。因此，目前各种基于数字图像处理的自动聚焦评价 算法各有局限，存在各种缺点，需要进行进一步完善。

发明内容

本发明技术解决问题：针对现有技术的不足，提供一种基于边缘强度权重的离焦模糊图 像清晰度检测方法，在保持较低复杂度的基础上，增加检测梯度方向，区分强弱边缘的作用， 客观反映了图像的清晰程度，有效提高了算法的灵敏度、抗噪性和抗亮度变化等，适用于实 时自动聚焦系统中。

为实现这样的目的，本发明的技术方案：一种基于边缘强度权重的离焦模糊图像清晰度 检测方法，包括如下步骤：

步骤一、图像预处理：

基于数字图像处理技术的聚焦检测方法，主要是对镜头和CCD采集到的每一帧数字图 像判断聚焦是否准确，成像系统是否清晰，并给出反馈信号控制镜头的运动，直到采集到的 图像符合使用要求，即完成自动调焦。实际应用中，随着镜头位置和目标的不断变化，所获 得的图像的平均亮度和视场会有所改变，成像器件暗电流背景噪声、图像采集过程中的椒盐 噪声及电路处理过程中产生的固定模式噪声等都会对获取图像的清晰与否造成影响，因此， 在进行模糊图像清晰度评价之前有必要进行预处理操作。图像预处理主要包括三个部分：直 方图均衡化、维纳滤波、均值滤波和高斯滤波。首先对输入图像使用直方图均衡化方法修正 亮度和对比度，修正输出图像的灰度动态范围为0～255(256个灰度级数)，以达到符合人 眼观察和后续处理的目的。然后对图像采用维纳滤波器处理，滤波器窗口选取邻域3×3，减 少系统中存在的恒定功率加性噪声，尤其是固定模式噪声对图像质量的影响。经过维纳滤波 后的图像会有轻微“振铃”效应，接着使用中值滤波器对可能存在的椒盐噪声进行有效滤除。 最后，针对可能存在的高斯噪声，选取高斯低通滤波器处理，滤波器窗口大小为7×7，标准 差为0.5。自此完成对输入图像的预处理操作。

步骤二、像素梯度判断：

对经过步骤一得到的图像进行像素梯度计算和判断处理。在进行像素梯度判断之前，选 取一定的聚焦区域进行处理，好的聚焦区域可以减少参与运算处理的数据量，有利于提高聚 焦速度。通常情况下,被摄物体大都位于场景的中央，我们选取中心区域作为聚焦窗口。中央 窗口定义w为：

$w=\underset{\frac{3}{8}m\le x\frac{5}{8}m-1,\frac{3}{8}n\le x\frac{5}{8}n-1}{\Sigma }f(x,y)$    (公式1)

其中，m和n分别对应图像大小的行和列，f(x,y)是第x行，第y列的灰度值。

对中央窗口区域内的像素进行梯度计算和判断处理。梯度计算和判断的方向主要有水平 方向、垂直方向和对角方向1以及对角方向2，对中心位置位于第x行，第y列的像素f(x,y)， 所述梯度检测算子如下：

水平方向梯度检测算子Ix：

Ix＝(f(x-1,y+1)+2*f(x-1,y)+f(x-1,y-1))

                  (公式2)

-(f(x+1,y+1)+2*f(x+1,y)+f(x+1,y-1))

垂直方向梯度检测算子Iy：

Iy＝(f(x+1,y-1)+2*f(x,y-1)+f(x-1,y-1))

                    (公式3)

-(f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1))

对角方向1梯度检测算子I1：

I1＝(2*f(x+1,y-1)+f(x+1,y)+f(x,y-1))

                        (公式4)

-(f(x,y+1)+f(x-1,y)+2*f(x-1,y+1))

对角方向2梯度检测算子I2：

I2＝(2*f(x+1,y+1)+f(x,y+1)+f(x+1,y))

                         (公式5)

-(f(x,y-1)+f(x-1,y)+2*f(x-1,y-1))

其中，水平方向是平面直角坐标系中0°或180°方向，垂直方向是平面直角坐标系中90°或 -90°方向，对角方向1平面直角坐标系中45°或-135°方向，对角方向2是平面直角坐标系中 135°或-45°方向。

根据公式(2)～(5)计算得到图像中每个像素点处的4个方向梯度，然后结合孤立噪 声点和局部过亮过暗点的特性设定一个阈值T，利用如下公式(6)筛选出非孤立噪声和非 局部过亮过暗点：

$|\frac{(\mathrm{Ix}+\mathrm{Iy}+I1+I2)}{4}-\max (\mathrm{Ix},\mathrm{Iy},I1,I2)|>T$    (公式6)

其中，筛选出非孤立噪声和非局部过亮过暗点的阈值T取值0.4。

步骤三、算子权重赋值：

对经过步骤二排除孤立噪声点和局部过亮过暗点后的像素进行算子权重赋值，筛选出的 像素已经排除了噪声等因素对结果的影响，利用公式(7)、(8)对像素的方向梯度与设定阈 值T1、T2进行比较，区分出边界上梯度值相对较大的强边缘像素和边界附近梯度相对较小 的弱边缘像素，并对强边缘赋值大权重a，弱边缘赋值小权重值b。对中心位置位于第x行， 第y列的像素f(x,y)的四个方向梯度分别为Ix、Iy、I1、I2，图像中的强弱边缘像素分别 定义如下：

强边缘像素：max(Ix,Iy,I1,I2)-min(Ix,Iy,I1,I2)≥T2       (公式7)

弱边缘像素：T1≤max(Ix,Iy,I1,I2)-min(Ix,Iy,I1,I2)<T2    (公式8)

其中，判断强弱边缘的阈值T1＝0.2，T2＝1.4。

步骤四、算子权重赋值：

经过步骤三处理，即可获得图像中非孤立噪声和非局部过亮过暗点的强弱边缘像素及其 相应的权重值，利用如下像素梯度和算子计算位于第x行，第y列的像素f(x,y)的梯度值 s(x,y)：

$s(x,y)=\left(\begin{array}{ccc}a*{\left(\max (\mathrm{Ix},\mathrm{Iy},I1,I2)\right)}^2& \mathrm{if}& \max (\mathrm{Ix},\mathrm{Iy},I1,I2)-\min (\mathrm{Ix},\mathrm{Iy},I1,I2)\ge T2\\ b*{\left(\max (\mathrm{Ix},\mathrm{Iy},I1,I2)\right)}^2& \mathrm{if}& T2>\max (\mathrm{Ix},\mathrm{Iy},I1,I2)-\min (\mathrm{Ix},\mathrm{Iy},I1,I2)\ge T1\\ 0& \mathrm{if}& \max (\mathrm{Ix},\mathrm{Iy},I1,I2)-\min (\mathrm{Ix},\mathrm{Iy},I1,I2)<T1\end{array}\right)$    (公式9)

计算得到每个像素点处的梯度和值s(x,y)后，最后累加聚焦区域内的全部像素点的梯度 和值即可得到整幅图像的清晰度评价值，公式如下(10)所示：

$S=\underset{\frac{3}{8}m\le x\frac{5}{8}m-1,\frac{3}{8}n\le x\frac{5}{8}n-1}{\Sigma }{\left(s(x,y)\right)}^2$    (公式10)

本发明与现有技术相比的有益效果在于：

(1)本发明采用基于边缘强度权重的离焦模糊图像清晰度检测方法，与传统仅仅计算 图像中某些方向的灰度梯度方法相比，增加到检测水平、垂直、对角方向的灰度梯度检测， 选取了3×3模板算子，在定位精度和计算效率之间取得了很好的平衡。

(2)本发明采用基于边缘强度权重的离焦模糊图像清晰度检测方法，与常规自动聚焦 方法相比，增加了直方图均衡化、维纳滤波、均值滤波和高斯滤波处理等图像预处理，在清 晰度评价算子计算之前很好地减弱了噪声的影响，对图像的亮度和对比度作了修正，提高了 抗噪声能力，拓宽了评价算法适用性。

(3)本发明采用基于边缘强度权重的离焦模糊图像清晰度检测方法，选取了中央窗口 聚焦区域进行像素灰度梯度计算，与传统采用全窗口计算灰度梯度方法相比，减少了背景参 与运算处理的数据量，有利于提高聚焦速度。

(4)本发明采用基于边缘强度权重的离焦模糊图像清晰度检测方法，不同于经典的聚 焦算法把背景局部过亮过暗点和孤立噪声引入到聚焦算法中，使其灵敏度和精确度下降，本 发明结合边缘和噪声特性，引入设定阈值，去除局部亮暗点和孤立噪声对算法灵敏度的影响， 有效地抑制了噪声和局部点的干扰，提高了灵敏度和抗噪声能力。

(5)本发明采用基于边缘强度权重的离焦模糊图像清晰度检测方法，区别于现有大部 分算法利用图像的全局性数据进行清晰度评价，本发明强调边界上梯度值相对较大的强边缘 像素和边界附近梯度相对较小的弱边缘像素对人眼视觉清晰度贡献的差异性，并对强、弱边 缘像素赋予不同的权重值，最终得到的清晰度评价结果更符合人眼视觉特性，也提高了聚焦 图像的准确性和有效性。

总之：本发明在在保持较低复杂度的基础上，增加检测梯度方向，区分强、弱边缘的作 用，客观反映了图像的清晰程度，有效提高了算法的灵敏度、抗噪性和抗亮度变化等，适用 于实时自动聚焦系统中。

附图说明

图1为本发明方法的整体框架实现流程图；

图2为本发明选取的其中三幅不同离焦程度的标准输入图像和三幅不同离焦程度的真实 序列图像，图2(a)、图2(b)和图2(c)分别是模糊圆半径为R＝15、0、9时的不同离 焦的标准彩色序列图像，图像分辨率为768×512像素，图2(d)、图2(e)和图2(f)分别 是不同离焦的真实场景彩色序列图像，图像分辨率为768×576像素。为方便显示和记录，后 续所有彩色图像均以黑白图像显示；

图3(a)、图3(b)分别是分辨率为768×512像素的标准过亮图像和处理后的正常图像， 图3(c)、图3(d)分别是分辨率为768×576像素的真实噪声图像和处理后的正常图像；

图4(a)是上述方法对标准正常图像的清晰度评价值归一化曲线图；

图4(b)是上述方法对过暗图像的清晰度评价值归一化曲线图，其中过暗图像的灰度均 值为23；

图4(c)是上述方法对过亮图像的清晰度评价值归一化曲线图，过亮图像的灰度均值为 175；

图4(d)是上述方法对过弱噪声图像的清晰度评价值归一化曲线图，弱噪声图像的高斯 噪声均值为0，方差为25；

图4(e)是上述方法对过强噪声图像的清晰度评价值归一化曲线图，强噪声图像的高斯 噪声均值为0，方差为57；

图5(a)是上述方法对标准正常图像的清晰度评价值归一化曲线图；

图5(b)是上述方法对过暗图像的清晰度评价值归一化曲线图，其中过暗图像的灰度均 值为32；

图5(c)是上述方法对过亮图像的清晰度评价值归一化曲线图，过亮图像的灰度均值为 174；

图5(d)是上述方法对过弱噪声图像的清晰度评价值归一化曲线图，弱噪声图像的高斯 噪声均值为0，方差为25；

图5(e)是上述方法对过强噪声图像的清晰度评价值归一化曲线图，强噪声图像的高斯 噪声均值为0，方差为57。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进 行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施 例。

如图1所示，本实施例的算法流程分为四个步骤：图像预处理、像素梯度判断、算子权 重赋值、梯度求和。

本实例提供了一种基于边缘强度权重的离焦模糊图像清晰度评价方法，具体包括如下步 骤：

步骤一：图像预处理。本实施例选取31幅分辨率为768×512像素，不同离焦程度的标 准彩色图像序列和实际拍摄的60幅分辨率768×576像素，不同离焦程度的真实场景图像序 列分别作为输入图像。不同离焦程度的标准彩色图像序列是通过成像系统的高斯离焦退化模 型处理，即理想的点扩散函数用二维高斯函数替代并与图像卷积，二维高斯函数如公式(11) 所示：

$h_{\mathrm{guass}\left(r\right)}=\frac{1}{\sqrt{2\mathrm{\pi \sigma }}}{\exp }^{(-\frac{r^2}{2{\sigma }^2})},$其中$\sigma =\frac{1}{\sqrt{2}}R$    (公式11)

σ为扩散函数，R为模糊圆半径，序列号从1～31分别是R＝15...1,0,1,...15的不同离 焦的图像。

实际应用中，随着镜头位置和目标的不断变化，所获得的图像的平均亮度和视场会有所 改变，成像器件暗电流背景噪声、图像采集过程中的椒盐噪声及电路处理过程中产生的固定 模式噪声等都会对获取图像的清晰与否造成影响，因此，在进行模糊图像清晰度评价之前有 必要进行预处理操作。图像预处理主要包括三个部分：直方图均衡化、维纳滤波、均值滤波 和高斯滤波。首先对输入图像使用直方图均衡化方法修正亮度和对比度，修正输出图像的灰 度动态范围为0～255(256个灰度级数)，以达到符合人眼观察和后续处理的目的。然后对 图像采用维纳滤波器处理，滤波器窗口选取邻域3×3，减少系统中存在的恒定功率加性噪声， 尤其是固定模式噪声对图像质量的影响。经过维纳滤波后的图像会有轻微“振铃”效应，接着 使用中值滤波器对可能存在的椒盐噪声进行有效滤除。最后，针对可能存在的高斯噪声，选 取高斯低通滤波器处理，滤波器窗口大小为7×7，标准差为0.5。自此完成对输入图像的预 处理操作。

步骤二：像素梯度判断。对经过步骤一得到的图像进行像素梯度计算和判断处理。在进 行像素梯度判断之前，选取一定的聚焦区域进行处理，好的聚焦区域可以减少参与运算处理 的数据量，有利于提高聚焦速度。通常情况下，被摄物体大都位于场景的中央，按照公式(1) 中央窗口定义选取中心区域作为聚焦窗口。对中央窗口区域内的像素进行梯度计算和判断处 理。对中心位置位于第x行，第y列的像素f(x,y)，如公式(2)～(5)，计算和判断梯度 的方向主要有平面直角坐标系中0°或180°方向的水平方向、90°或-90°方向的垂直方向和45° 或-135°方向以及135°或-45°方向的两个对角方向共四个梯度方向。计算得到图像中每个像 素点处的4个方向梯度后，然后结合孤立噪声点和局部过亮过暗点的特性设定一个阈值 T＝0.4，利用公式(6)筛选出非孤立噪声和非局部过亮过暗点，作进一步处理。

步骤三：算子权重赋值。对经过步骤二排除孤立噪声点和局部过亮过暗点后的像素进行 算子权重赋值，筛选出的像素已经排除了噪声等因素对结果的影响，利用公式(7)～(8) 对像素的方向梯度与设定阈值T1＝0.2,T2＝1.4进行比较，区分出梯度大的边界区域强边缘 像素和模糊区域数量巨大的梯度相对较小的弱边缘像素，并对强边缘赋值大权重a＝3，弱 边缘赋值小权重值b＝1。

步骤四：算子权重赋值。经过步骤三处理，获得图像中非孤立噪声和非局部过亮过暗点 的强弱边缘像素点及其相应的权重值，利用公式(9)即可计算得到位于第x行，第y列的像 素f(x,y)的梯度值s(x,y)。完成对每个像素点处的梯度和值s(x,y)计算后，最后利用公式(10) 累加聚焦区域内的全部像素点的梯度和值即可得到整幅图像的清晰度评价值。依次对图像序 列中的每一帧图像进行清晰度评价，可以得到全部图像序列的清晰度值，找出其中最清晰的 图像序列号即可完成全部聚焦过程。

为了验证本发明方法的有效性，选取常用时域清晰度评价算子Brenner函数、平方梯度 函数、Tenengrad梯度函数、Laplacian函数、Krish函数、Robert梯度函数、Variance方差函 数以及本发明提供的方法分别对不同情况下的不同离焦程度的31幅标准序列图像和60幅真 实场景图像进行聚焦实验，图4和图5分别是各种评价算子对不同程度离焦的标准图像序列 和真实场景图像得出的清晰度评价值归一化曲线图。

图4为常用时域清晰度评价算子Brenner函数、平方梯度函数、Tenengrad梯度函数、 Laplacian函数、Krish函数、Robert梯度函数、Variance方差函数以及本发明提供的方法对 31幅分辨率为768×512像素不同程度离焦的标准图像序列实验结果图，横坐标代表图像序列 号从1～31，纵坐标代表清晰度归一化评价值。

图5为常用时域清晰度评价算子和本发明提供的方法对60幅图像分辨率为768×576像 素不同程度离焦的真实场景图像序列实验结果图，横坐标代表图像序列号从1～60，纵坐标 代表清晰度归一化评价值。

从图4(a)和图5(a)可以看出，除Robert和Laplacian函数外，常用时域清晰度评价 算子和提出的方法都能从不同模糊程度的正常序列中准确判断出标准图像第16幅和真实场 景图像第26幅最清晰，满足调焦函数要求的单峰性、无偏性、单调性等特点；从图4(b)、 (c)和图5(b)、(c)中可以看到，经过预处理后的提出算法对图像的亮度具有较好的适应 能力，其它评价算子会随着亮度的变化灵敏度有所下降，部分算子甚至会失效；图4(d)、 (e)和图5(d)、(e)可以看到，常用时域算子会随着噪声的干扰加大，灵敏度下降，当噪 声大到一定程度，大部分评价算子失效，无法正确聚焦，而本发明提出的算法仍然具有较宽 的陡峭宽度、较大的清晰度比率、较高的灵敏度和较小的局部极值因子，能够正确判断出最 清晰图像的准确位置，这表明提出方法具有较好的抗噪性能。

为了评估检测方法的复杂度，在相同配置的计算机上使用不同评价算子对不同离焦程度 的31幅标准序列图像进行实验，统计得到对全部图像处理的运行时间(单位s)如表1所示。

表1为在相同配置的计算机上使用不同评价算子对不同离焦程度的31幅标准序列图像 进行实验，图像分辨率为768×512像素，统计得到对全部图像处理的运行时间(单位s)。

评价算子 运行时间(s) 评价算子 运行时间(s) Brenner 11.236451 Laplacian 14.469344 平方梯度 9.289950 Robert 9.870406 Tenengrad 22.827378 Variance 89.195970 Krish 16.944005 Proposed 23.911242

可以看出，本发明提出的清晰度检测算法的复杂度并不高，平均每幅图像处理时间仅 0.7s，在所有常用检测算子中处于中等水平，但灵敏度和抗噪性能提升很大。因此，总的来 说，本发明在在保持较低复杂度的基础上，增加检测梯度方向，区分强、弱边缘的作用，客 观反映了图像的清晰程度，有效提高了算法的灵敏度、抗噪性和抗亮度变化等，为后续用于 实时高精度自动聚焦系统提供了基础。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并 非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变 型都将落在本发明权利要求书的范围内。