基于显著结构度量模型的图像平滑方法

摘要

本发明方法涉及一种基于显著结构度量模型的图像平滑方法，包括以下步骤：首先基于视觉显著的边缘结构所具有的非周期性、局部方向性等特点，定义一种自适应的图像显著结构度量；基于这一度量模型，提出一种优化策略进行图像极值点分布估计；根据所得极值点，提出各向异性的冲击滤波算法计算中值包络，生成平滑后的基图像，完成图像平滑。该方法可实现强度对比与尺度无关的图像平滑效果，使图像中显著的视觉结构得以完整保持甚至增强，相较国际上最新的平滑算法效果提升明显。

说明书

技术领域：

本发明涉及一种图像平滑方法，特别涉及一种基于显著结构度量模型的图 像平滑方法，属于图像处理领域。

背景技术

随着图像滤波技术的不断发展，各类新型图像平滑方法为图像处理中的各 个方面如数字娱乐，检测与识别，编辑与合成等方面提供了非常有益的帮助。 因此，不断改善图像平滑方法性能，扩展其应用领域得到了国外学者的广泛研 究。

传统图像平滑方法由于缺乏认知理论指导，因此难以在平滑过程中对比无 关、尺度无关地保持显著视觉结构，并同时保证高效率、强鲁棒的算法表现。 针对以上问题，根据认知心理学中关于人类认知规律的理论，本专利基于视觉 显著的边缘结构所具有的非周期性、局部方向性等特点，定义了一种自适应的 图像显著结构度量；进而通过这一度量指导经验模式分解过程中的极值点分布 与均值包络的计算。该方法在不增大计算量的同时，可实现强度对比与尺度无 关的图像平滑效果，使图像中显著的视觉结构得以完整保持甚至增强，相较国 际上最新图像平滑算法效果提升明显。

发明内容

本发明的目的是为解决传统图像平滑方法难以在平滑过程中对比无关、尺 度无关地保持显著视觉结构，并同时保证高效率、强鲁棒性的问题，提出一种 基于显著结构度量模型的图像平滑方法。

本发明技术方案的思想是首先基于视觉显著的边缘结构所具有的非周期性、 局部方向性等特点，定义一种自适应的图像显著结构度量；基于这一度量模型， 提出一种优化策略进行图像极值点分布估计；根据所得极值点，提出各向异性 的冲击滤波算法计算中值包络，生成平滑后的基图像，完成图像平滑。

本发明的具体实现步骤如下：

一种基于显著结构度量模型的图像平滑方法，包括以下步骤：

步骤1：提出图像显著结构的度量模型：

M_p＝A_p·D_p·L_p

其中M_p是像素点p的显著性度量；函数A_p、D_p以及L_p是关于视觉显著结构的各 向异性、非周期性以及局部方向性的度量，计算公式如下：

$A_p=\frac{{\lambda }_{1,p}-{\lambda }_{2,p}}{{\lambda }_{1,p}+{\lambda }_{2,p}}$

$D_p=\frac{{\Sigma }_{q\in N\left(p\right)}{A}_q·<{\overrightarrow{ϵ}}_p,{\overrightarrow{ϵ}}_q>}{{\Sigma }_{q\in N\left(p\right)}{A}_q}$

$L_p=|\underset{q\in N\left(p\right)}{\Sigma }{w}_{p,q}·{▿}_x{I}_q|+|\underset{q\in N\left(p\right)}{\Sigma }{w}_{p,q}·{▿}_y{I}_q|$

其中λ_1，p和λ_2，p为像素点p处的结构张量矩阵的特征值，λ_1，p＞＝λ_2，p，λ_1，p为主特 征值，λ_2，p为副特征值，像素点p处的结构张量矩阵S_p的计算公式如下：

$S_p=\left(\begin{array}{cc}\underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_x{I}_q>& \underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_y{I}_q>\\ \underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_y{I}_q>& \underset{q\in N\left(p\right)}{\Sigma }<{▿}_y{I}_q,{▿}_y{I}_q>\end{array}\right)$

其中N(p)表示像素点p的一个邻域；q∈N(p)表示q为N(p)内的一个像素点； 和表示通过Sobel算子算得的沿x方向和y方向的偏导数；I_q为像素点q的 强度值；<·，·>表示内积运算；分别为像素点p和q处的结构张量矩阵对应 的主特征向量；权值w_p，q计算公式如下：

$w_{p,q}=\exp (-\frac{|x_p-x_q|+|y_p-y_q|}{{2\sigma }^2})$

其中(x_p，y_p)为像素点p的坐标；(x_q，y_q)为像素点q的坐标；σ为高斯函数的标准 差；

步骤2：基于显著结构度量模型提出一种优化策略进行图像极值点分布估计， 包括以下过程：

(a)将极值点分布问题抽象为能量函数的优化问题：

${\arg \min }_{l_p}(\underset{p}{\Sigma }{O}_{l_p}+\alpha \underset{q\in N\left(p\right)}{\Sigma }{S}_{l_p,l_q})$

其中标签l_p∈{0，1}指示像素点p是否是极值点，l_p＝1代表是，l_p＝0代表否； q为p的一个邻域N(p)内的一个像素点；α是平衡因子；数据项计算公式如下：

$\left(\begin{array}{c}{O}_{l_p}=(M_p-M_{\mu })+K{\Sigma }_{q\in N\left(p\right)}\mathrm{sign}(I_p-I_q)\mathrm{if}{l}_p=0\\ O_{l_p}=-(M_p-M_{\mu })-K{\Sigma }_{q\in N\left(p\right)}\mathrm{sign}(I_p-I_q)\mathrm{if}{l}_p=1\end{array}\right)$

其中模式控制符K∈{1，-1}，K＝1时对应于极大值检测，K＝-1时对应于极 小值检测；函数sign(·)为标准符号函数，当a＞0时sign(a)＝1，a＜0时 sign(a)＝-1，a＝0时sign(a)＝0；M_p表示像素点p的显著性度量；M_μ为显 著性度量的平均值；I_p和I_q为像素点p和q的强度值；平滑项计算公式如下：

$S_{l_p,l_q}=-\frac{C(l_p.l_q)}{|I_p-I_q|+\in }$

其中函数C(l_p，l_q)当l_p＝l_q定义为l_p·l_q，否则定义为l_p+l_q；∈为一个防止分母 为0的极小正值；

(b)采用图割算法对能量函数优化求解，K＝1时获得极大值分布，K＝-1 时获得极小值分布，l_p＝1的像素点即为极值点；

步骤3：根据步骤2所得极值点分布，提出各向异性的冲击滤波算法计算中 值包络，完成图像平滑，该步骤包括以下过程：

(a)根据极值点分布，通过三次样条插值得到极大值包络E_p和极小值包络e_p；

(b)通过下式计算中值包络：

$h_p=T\left(\frac{1-M_p·\mathrm{sign}\left(G_p\right)}{2}\right)E_p+(1-T\left(\frac{1-M_p·\mathrm{sign}\left(G_p\right)}{2}\right))e_p$

其中象素点p的边缘检测算符G_p通过下式计算：

G_p＝c²I_xx+2csI_xy+s²I_yy

其中c和s为与λ_2，p对应的特征向量的两个分量；I_xx为图像在像素点p处沿x方向 的二阶偏导数；I_yy为图像在像素点p处沿y方向上的二阶偏导数；I_xy为图像在 像素点p处沿x方向和y方向上各计算一次一阶偏导数的结果；函数T(x)可通过 下式计算：

$T\left(x\right)=\frac{(1+\tanh \left(\lambda (x-0.5)\right))}{2}$

其中tanh()为双曲正切函数；λ为控制增强程度的因子；

(c)所得中值包络h_p即可作为平滑图像。

有益效果：

本发明方法在不增大计算量的同时，可实现强度对比与尺度无关的图像平 滑效果，使图像中显著的视觉结构得以完整保持甚至增强，相较国际上最新图 像平滑算法效果提升明显。

附图说明

图1是本发明方法的流程图。

图2是一个示意图，图(a)和图(b)展现了认知心理学中的两个典型例子。

图3是一个效果图，呈现了本发明的显著结构度量结果，其中图(a)是输入 的源图像，图(b)是得到的显著结构度量结果。

图4是一个效果图，呈现了本发明所得平滑结果与采用协方差矩阵度量方 法的结果在效果上的对比，其中图(a)是输入的源图像，图(b)是采用协方差矩阵 度量方法所得平滑结果，图(c)是本发明方法所得平滑结果。

具体实施方式

下面结合附图对本发明方法的实施方式作详细说明。

图1是本发明方法的流程图。如图1所示，本发明主要分为三个部分，9个 步骤：

一、根据认知心理学中周期重复的纹理会抑制人类认知、而具有较好方向 性的结构能增强认知水平的结论，提出了一种图像显著结构度量模型。

步骤1：输入待滤波源图像。根据输入图像，首先计算对其中显著结构的度 量M_p，包括步骤2、步骤3以及步骤4。

认知心理学中关于人类视觉认知的规律表明^[1]：“人类对结构信息的理解是 认知驱动的，它由视觉事件激发，具有变化和方向上的显著性，并可能被实体 间的关系所抑制。”如图2所示，这一认知规律可以从以下观察中得到具体支 持：

●各向异性。视觉显著的结构在强度变化上倾向于形成一个主方向，而不 是在各个方向上均等变化。

●非周期性。与纹理细节往往会在一个局部区域内周期性出现不同，显著 的视觉结构所表现出的强度变化通常不会出现频繁的振荡。图2(a)展示了一个例 子，其中每条黑色线段都具有相同的尺寸和灰度值，然而右侧和下部的两条线 段异常显著，这是由于人们对其他线段的认知被其“从众性”(Social Conformity) 所抑制。

●局部方向性。视觉显著结构所具有的强度变化在一个局部区域内通常具 有一致的方向性，而纹理细节信息则不具有这样的性质。图2(b)证明了这一点， 大多数人都能从这些繁乱的的短线中识别出中央部分鼻子的轮廓，这正得益于 它良好的局部的方向性。

图2是一个示意图，展现了认知心理学中的两个典型例子。

根据上述分析，图像中某一像素点p的显著性度量M_p具有如下形式：

[式1]

M_p＝A_p·D_p·L_p

函数A_p、D_p以及L_p是关于视觉显著结构的各向异性、非周期性以及局部方 向性的度量。

步骤2：各向异性度量A_p可通过下式计算：

[式2]

$A_p=\frac{{\lambda }_{1,p}-{\lambda }_{2,p}}{{\lambda }_{1,p}+{\lambda }_{2,p}}$

其中λ_1，p以及λ_2，p为像素点p处的结构张量矩阵的特征值，这里记较大的特征值 λ_1，p为主特征值，较小的特征值λ_2，p为副特征值。具体来说，像素点p处的结构 张量矩阵通过下式计算：

[式3]

$S_p=\left(\begin{array}{cc}\underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_x{I}_q>& \underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_y{I}_q>\\ \underset{q\in N\left(p\right)}{\Sigma }<{▿}_x{I}_q,{▿}_y{I}_q>& \underset{q\in N\left(p\right)}{\Sigma }<{▿}_y{I}_q,{▿}_y{I}_q>\end{array}\right)$

其中<·，·>表示内积运算；I_q为像素点q的强度值；和分别表示通过 Sobel算子算得的沿x和y方向的偏导数；q为p的一个邻域N(p)内的一个像素， 本实施例中N(p)为边长5像素的正方形区域。[式2]中A_p的值域为[0，1]，其值越 大意味着该像素点处的各向异性程度越高。

结构张量矩阵S_p是半正定矩阵，包含两个特征值λ_1，p以及λ_2，p。

步骤3：局部方向性度量D_p可以通过下式计算：

[式4]

$D_p=\frac{{\Sigma }_{q\in N\left(p\right)}{A}_q·<{\overrightarrow{ϵ}}_p,{\overrightarrow{ϵ}}_q>}{{\Sigma }_{q\in N\left(p\right)}{A}_q}$

其中分别为像素点p和q处的结构张量矩阵对应的主特征向量。A_q为像素点 q处通过[式2]算得的显著性度量值。向量内积的取值范围为[0，1]，它 的值会随着两个向量方向的逐渐靠拢而增加。也就是说，如果两个向量的夹角 趋近于0或π，那么它们的内积趋近于1，反之，如果两个向量的夹角趋近于π/2， 那么内积结果将趋近于0。

步骤4：非周期性度量L_p可通过下式计算：

[式5]

$L_p=|\underset{q\in N\left(p\right)}{\Sigma }{w}_{p,q}·{▿}_x{I}_q|+|\underset{q\in N\left(p\right)}{\Sigma }{w}_{p,q}·{▿}_y{I}_q|$

其中N(p)是像素点p的一个邻域；权值w_p，q为：

[式6]

$w_{p,q}=\exp (-\frac{|x_p-x_q|+|y_p-y_q|}{{2\sigma }^2})$

其中(x_p，y_p)为像素点p的坐标；(x_q，y_q)为像素点q的坐标；σ为高斯函数的标准 差。

本实施例的显著结构度量结果可以有效地从源图像的高对比纹理中提取主 要结构信息。如图3所示，其中图3(a)是输入源图像，图3(b)是得到的显著结构 度量结果。

二、基于前面获得的图像显著结构度量模型，提出了一种优化策略进行图 像极值点分布估计。

步骤5：将极值点分布问题抽象为能量函数的优化问题。

首先采用空间填充曲线将二维像素平面变为一维点列，如Peano曲线、 Hilbert曲线等。本实施例采用Hilbert曲线将二维像素平面变为一维点列。则扩 展的极值点定位策略可被抽象为解一个二值化标签问题，也就是为每个像素分 配一个标签l_p∈{0，1}来指示该点是否是极值点，l_p＝1代表是，l_p＝0代表否。 在此定义下，图像中极值点分布可以通过优化下面的能量函数获得：

[式7]

${\arg \min }_{l_p}(\underset{p}{\Sigma }{O}_{l_p}+\alpha \underset{q\in N\left(p\right)}{\Sigma }{S}_{l_p,l_q})$

其中q为p的一个邻域N(p)内的一个像素；α是平衡因子，用来平衡数据项O与 平滑项S的比重，本发明中设置α＝0.2；数据项衡量了一个像素点是否是 扩展的极值点，具体由下式来定义：

[式8]

$\left(\begin{array}{c}{O}_{l_p}=(M_p-M_{\mu })+K{\Sigma }_{q\in N\left(p\right)}\mathrm{sign}(I_p-I_q)\mathrm{if}{l}_p=0\\ O_{l_p}=-(M_p-M_{\mu })-K{\Sigma }_{q\in N\left(p\right)}\mathrm{sign}(I_p-I_q)\mathrm{if}{l}_p=1\end{array}\right)$

其中K是模式控制符，K＝1时对应于极大值检测，此时算得的l_p表征极大 值点分布；K＝-1时对应极小值检测，此时算得的l_p表征极小值点分布；函数 sign(a)为标准符号函数，当a＞0时sign(a)＝1，a＜0时sign(a)＝-1，a＝0 时sign(a)＝0；M_μ为显著性度量的平均值；I_p和I_q为像素点p和q的强度值。

步骤6：平滑项S鼓励那些位于平滑区域的像素，当其所有邻接像素均没有 被选作极值点时被选作极值点，具体如下式定义：

[式9]

$S_{l_p,l_q}=-\frac{C(l_p,l_q)}{|I_p-I_q|+\in }$

其中函数C(l_p，l_q)当l_p＝l_q定义为l_p·l_q，否则定义为l_p+l_q，在这种定义方式 下，只有当l_p＝l_q＝0时函数C(l_p，l_q)等于0，否则等于1；∈为一个防止分母 为0的极小正值，本发明中设置∈＝0.0001。

[式7]所示的优化问题是一个典型的马尔可夫随机场问题，根据式中的数据 项平滑项以及平衡因子α，可以通过经典的图割算法(BoykovY，Jolly  M P. Interactive graph cuts for optimal boundary®ion segmentation of objects in  ND images[C]//Computer Vision，2001.ICCV2001.Proceedings.Eighth IEEE  International Conference on.IEEE，2001，1：105-112.)进行优化求解，得到极值点 分布，其中l_p＝1的像素点即为极值点。当K＝1时，对[式7]进行优化求解得到 的是极大值分布；当K＝-1时，对[式7]进行优化求解得到的是极小值分布。

三、根据所得极值点，提出各向异性的冲击滤波算法计算中值包络，生成 平滑后的基图像，完成图像平滑。

步骤7：根据极值点分布，通过三次样条插值算法(De Boor C，De Boor C，De  Boor C，et al.A practical guide to splines[M].New York：Springer-Verlag，1978.)得 到极大值包络E_p(此时K＝1)和极小值包络e_p(此时K＝-1)。

步骤8：中值包络可通过下式计算：

[式10]

$h_p=T\left(\frac{1-M_p·\mathrm{sign}\left(G_p\right)}{2}\right)E_p+(1-T\left(\frac{1-M_p·\mathrm{sign}\left(G_p\right)}{2}\right))e_p$

其中象素点p的边缘检测算符G_p可通过下式计算：

[式11]

G_p＝c²I_xx+2csI_xy+s²I_yy

其中c和s为与λ_2，p对应的特征向量的两个分量；I_xx为图像在像素点p处沿x方向 的二阶偏导数；I_yy为图像在像素点p处沿y方向的二阶偏导数；I_xy为图像在像 素点p处沿x方向和y方向各计算一次一阶偏导数的结果；

函数T可通过下式计算：

[式12]

$T\left(x\right)=\frac{(1+\tanh \left(\lambda (x-0.5)\right))}{2}$

其中tanh()为双曲正切函数；λ为控制增强程度的因子，越大的值对应越锐利 的边缘，本发明中设置λ＝0.85。采用[式10]计算均值包络的主要目的是，鼓 励那些视觉显著的结构得到更强程度的增强，而对其它区域按照传统方式计算。 具体来说，对位于高显著性区域的像素，M_p→1，此时[式10]变为：

$\left(\begin{array}{cc}E& \mathrm{ifE}<0\\ e& \mathrm{ifE}>0\\ \frac{E+e}{2}& \mathrm{ifE}=0\end{array}\right)$

相反的，对位于低显著性区域的像素，M_p→0，此时[式10]变为h＝(E+e)/2， 即传统均值包络计算模式。

步骤9：所得中值包络h_p即可作为平滑图像输出。

本实施例方法所得平滑结果与采用协方差矩阵度量方法(Karacan L，Erdem  E，Erdem A.Structure-preserving image smoothing via region covariances[J].ACM  Transactions on Graphics(TOG)，2013，32(6)：176-186.)相比，可以在对图像内容 进行平滑的同时，保持一些小尺度显著结构，例如可以保持图像中字母的清晰 与完整。如图4所示，其中图4(a)是输入的源图像，图4(b)是采用协方差矩阵度 量方法所得平滑结果，图4(c)是本实施例所得平滑结果。

如上所述，本发明提供了一种基于显著结构度量模型的图像平滑方法。根 据认知心理学中周期重复的纹理会抑制人类认知、而具有较好方向性的结构能 增强认知水平的结论，基于图像视觉显著结构所具有的各向异性、非周期性、 局部方向性等特点，提出了一种更加完善的图像显著结构度量模型；在这一模 型的指导下，针对经验模式分解过程中的极值点分布与均值包络计算提出了新 的算法策略，从而完成图像平滑。该方法可实现强度对比与尺度无关的图像平 滑效果，使图像中显著的视觉结构得以完整保持甚至增强。

为了说明本发明的内容及实施方法，本说明书给出了具体实施例。在实施 例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方 法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范 围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明 不应局限于最佳实施例及附图所公开的内容。