一种基于全局能量函数优化的图像层次提取与编辑方法

摘要

本发明提供一种基于全局能量函数优化的图像层次提取与编辑方法，该方法包括：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关系的判断；在判断结果的基础上建立一个全局能量函数，并用改进的差分进化算法求解该函数从而得到最终的层次关系；根据图像的层次关系，编辑所有层次间的偏序关系，当原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜色填充。本发明能够结合局部信息和全局信息，在计算图像层次关系并在得到层次关系的基础上进行图像编辑。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于全局能量函数 优化的图像层次提取与编辑方法。

背景技术

图像编辑是所有图像处理软件中的核心技术。对图像中的层次进 行编辑是图像编辑中一个非常具有挑战性的内容，这需要对图像的语 义信息进行理解。其中的关键在于我们需要得到一幅图像的层次关系, 然后用已有的轮廓填充和颜色填充的方法来编辑图像层次的顺序和颜 色。提取图像中物体的层次关系是图像的场景理解和进一步的高层视 觉任务的一个关键步骤，包括前景/背景分离，单幅图像的深度预测， 2.5维简约图，图像和视频编码，运动分析等。比如，对于图像编码而 言，如果我们已知图像的层次关系,便可以按层次对图像编码，由于图 像中同层像素间存在着大量冗余的颜色纹理信息，按层编码可以大大 压缩存储量。另外，按层编码也可以方便我们在图像容量过大或网速 不好时在浏览器上逐层显示图像，这样可以很好地符合人们的视觉习 惯。

如何提取图像的层次关系目前仍然是一个很具有挑战性的问题， 主流的Photoshop等图像编辑软件都不支持层次关系的自动提取，图像 中的图层信息需要人们自己手工选定，非常不方便。现有的提取图像 层次关系的方法都不能作为通用的技术投入使用，有的方法复杂度较 高，只适合处理简单的人工图像而不利于处理复杂的自然图像；有的 方法只用到了局部特征信息，可以局部判断相邻区域的遮挡关系但缺 少全局偏序关系的约束；有的方法在得到正确分割区域的基础上展开 研究，这对初始图像分割结果提出了很高的要求。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供一种基于全局能量函数优化的 图像层次提取与编辑方法，能够结合局部信息和全局信息，在计算图 像层次关系并在得到层次关系的基础上进行图像编辑。

（二）技术方案

为了实现以上目的，本发明通过以下技术方案予以实现：

一种基于全局能量函数优化的图像层次提取与编辑方法，该方法 包括：

S1：对图像进行超分割得到若干超分割区域，提取各区域中有关 层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关 系的判断；

S2：在判断结果的基础上建立一个全局能量函数，并用改进的差 分进化算法求解该函数从而得到最终的层次关系；

S3：根据图像的层次关系，编辑所有层次间的偏序关系，当原有 的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜 色填充。

其中，所述局部特征包括T角点特征、边缘特征、显著性特征、 颜色特征和纹理特征。

其中，步骤S1具体包括：

S11：用图像分割算法对图像进行超分割，得到图像的超分割区域；

S12：提取图像中的T角点，计算各T角点周围三条边缘的位置关 系和张角大小，判断T角点的头部和尾部，进而对T角点周边的三个 区域做出前景-背景关系判断；

S13：在每条边缘上抽取多个采样点，计算每个采样点的大小特征、 方向特征和凸性特征，以此判断该采样点两侧区域的前景-背景关系， 从而根据每条边缘上所有采样点的判断结果，得到每条边缘两侧区域 最终的前景-背景关系；

S14：计算每个超分割区域的显著性，通过比较两个区域的显著性 来做出前景-背景关系的局部判断；

S15：先在HSV颜色空间中对颜色相近的超分割区域进行聚类， 同时利用灰度共生矩阵得到每个区域的纹理特征向量，将有着相近颜 色和纹理的超分割区域判断为同一层。

其中，所述图像分割算法为伯克利分割算法。

其中，步骤S2具体包括：

S21：根据得到的局部判断信息，建立全局的能量函数；

S22：采用改进的差分进化算法求解该能量函数优化问题；

S23：将求解得到的各区域的相对深度转化为图像的层次信息从而 得到原图像的层次关系。

其中，所述建立全局能量函数，具体包括：给每个超分割区域赋 予一个相对深度，所有区域的相对深度组成的向量作为能量函数的自 变量，能量函数的因变量用来衡量图像中层次偏序关系的冲突大小。

其中，所述采用改进的差分进化算法求解该能量函数优化问题， 具体包括：采用混合进化的策略产生新的解，同时用模拟退火的思想 更新旧解，且每隔固定的代数，对种群中较优的解进行克隆复制和高 斯变异。

（三）有益效果

本发明至少具有如下有益效果：

本发明提供的方法包括对图像层次关系的局部判断和对全局能量 函数优化求解，结合了局部信息和全局信息，且对分割的要求不高， 本发明采用的计算方法复杂度较低，可以准确地计算图像的层次关系， 并在得到层次关系的基础上进行图像编辑。

本发明优化能量函数时用到的改进的差分进化算法，是基于混合 进化策略、模拟退火法和克隆变异的改进差分进化算法。该算法用混 合进化的策略产生新的解，同时用模拟退火的思想来更新旧解。每隔 固定的代数，算法还会对种群中较优的解进行克隆复制和高斯变异。 通过以上这些步骤，增大了算法跳出局部最优解的可能性，同时算法 在全局最优解附近的搜索能力也得到了提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 图获得其他的附图。

附图1是本发明实施例中一种基于全局能量函数优化的图像层次 提取与编辑方法的流程图；

图2是本发明实施例中提取T角点特征的图解模型；

图3是本发明实施例中提取边缘特征的图解模型；

图4是本发明实施例中提取显著性特征的图解模型；

图5是本发明实施例优化能量函数时用到的改进的差分进化算法 的流程图；

图6是本发明实施例的能量函数最优解迭代过程；

图7是本发明一个较为具体的实施例中图像中物体层次提取的方 法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于全局能量函数优化的图 像层次提取与编辑的方法，该方法包括如下步骤：

步骤101：对图像进行超分割得到若干超分割区域，提取各区域中 有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合 并关系的判断。

本步骤具体包括：

S11：用图像分割算法对图像进行超分割，得到图像的超分割区域；

本步骤中，利用伯克利分割算法来分割图像，通过控制伯克利分 割算法中分割规模的参数，对图像进行超分割。则每两个相邻的超分 割区域要么是前景-背景（f-g）关系，要么是同层合并（s-l）关系。

S12：提取图像中的T角点，计算各T角点周围三条边缘的位置关 系和张角大小，判断T角点的头部和尾部，进而对T角点周边的三个 区域做出前景-背景关系判断；

本步骤中，T角点是计算机视觉中研究遮挡关系的重要依据，可以 用于判断周边相应区域遮挡的前后位置关系。对于提取出的每个T角 点，计算该角点周围三条边缘的位置关系和夹角大小，判断出T角点 的头部和尾部，进而利用T角点自身性质对角点周边的三个区域做出 f-g关系的判断。根据T角点信息提取的局部特征用矩阵T来表示。

T=[t₁,···,t_n,···,t_{t_num}]_{k×t_num}

其中K为超分割区域的数目，t_num为T角点的个数，矩阵T每 一项的计算公式如下：

$t_{\mathrm{jn}}=\left(\begin{array}{cc}0& j\ne \mathrm{tfun}\left(n\right),j\ne \mathrm{tfun}`\left(n\right)\\ -2& j=\mathrm{tfun}\left(n\right)\\ 1& j=\mathrm{tfun}`\left(n\right)\end{array}\right)$

其中tfun(n)表示T角点头部一侧的区域，tfun'(n)表示T角点尾部两 侧的区域。

如图2所示，为本发明实施例中提取T角点特征的图解模型。T 角点是分析物体遮挡关系时的重要依据。一般而言物体的边缘是光滑 连续的，之所以会出现边缘中断通常是因为不同物体间的遮挡关系。 遮挡和被遮挡物体的边缘交界点就称为T角点。T角点中被遮挡物体 的边缘称为尾部，遮挡物体的边缘称为头部。图中的两个交点即为T 角点。一般而言T角点的头部的张角要大于尾部与头部间的夹角。根 据这个性质，可以先找出图像中所有的T角点，然后根据每个T角点 附近边缘间的张角关系，判断出头部和尾部。位于T角点头部一侧的 区域被判为前景，位于T角点尾部两侧的区域被判为背景。

S13：在每条边缘上抽取多个采样点，计算每个采样点的大小特征、 方向特征和凸性特征，以此判断该采样点两侧区域的前景-背景关系， 从而根据每条边缘上所有采样点的判断结果，得到每条边缘两侧区域 最终的前景-背景关系；

本步骤中，在每条边缘上抽取多个采样点，计算每个采样点的SLC 特征，以此判断该采样点两侧区域的f-g关系。综合考虑每条边缘上所 有采样点的判断结果，得到该边缘两侧区域最终的f-g关系。

根据边缘信息提取的局部特征用矩阵SLC来表示。

SLC=[slc₁,···,slc_n,···,slc_{slc_num}]_{k×slc_num}

其中K为超分割区域的数目，slc_num为边缘的条数，SLC每一 项的计算公式如下：

${\mathrm{slc}}_{\mathrm{jn}}=\left(\begin{array}{cc}0& j\ne \mathrm{slcfun}\left(n\right),j\ne \mathrm{slcfun}`\left(n\right)\\ -1& j=\mathrm{slcfun}\left(n\right)\\ 1& j=\mathrm{slcfun}`\left(n\right)\end{array}\right)$

其中slcfun(n)表示经过SLC特征判断为前景的区域，slcfun'(n)表示 经过SLC特征判断为背景的区域。

如图3所示，为本发明实施例中提取边缘特征的图解模型。相邻 的两个区域边缘的SLC特征可以用来帮助判断局部的f-g关系。设两 个区域间边缘的长度为length_contour，首先在边缘上以 length_contour×5%的间隔取采样点，在每个采样点上以 length_contour×5%为半径作圆获得特征区域，计算SLC特征，计算公 式如下：

Size(p)=log(area_G/area_F)

Lowerregion(p)=cos(θ_FG)

Convexity(p)=log(conv_F/conv_G)

其中area表示特征区域的面积，θ_FG表示两个特征区域的重心连线 和垂直方向的夹角，conv表示在特征区域内随机投针时，分别落在两 个区域内的线段长度。图中area表示特征区域的面积，θ_FG表示两个特 征区域的重心连线和垂直方向的夹角，conv表示在特征区域内随机投 针时，分别落在两个区域内的线段长度。自然图像中大部分的f-g关系 都满足Size(p)>0,Lowerregion(p)>0,Convexity(p)>0，因此可以根据求得 的这三个特征的值来判断采样点两侧区域的f-g关系。最后，综合考虑 每条边缘上所有采样点的信息，经过统计分析，判断出边缘两侧区域 的f-g关系。

S14：计算每个超分割区域的显著性，通过比较两个区域的显著性 来做出前景-背景关系的局部判断；

本步骤中，计算每个的超分割区域的显著性，用显著性的大小来 对不同区域作f-g关系的局部判断。根据区域显著性提取的局部特征用 矩阵L来表示。

L=[l₁,···,l_n,···,l_{l_num}]_{k×l_num}

其中K为超分割区域的数目，l_num为经过显著性关系判断的f-g 关系数目，L每一项的计算公式如下：

$l_{\mathrm{jn}}=\left(\begin{array}{cc}0& j\ne \mathrm{lfun}\left(n\right),j\ne \mathrm{lfun}`\left(n\right)\\ -0.5& j=\mathrm{lfun}\left(n\right)\\ 0.5& j=\mathrm{lfun}`\left(n\right)\end{array}\right)$

其中lfun(n)表示经过显著性特征判断为前景的区域，lfun'(n)表示经 过显著性特征判断为背景的区域。

如图4所示，为本发明实施例中提取显著性特征的图解模型。可 以用已有的显著性计算方法来计算图像的显著性。图中白色的区域表 示该区域的显著性较高，黑色的区域表示显著性要低一些。一般情况 下显著性高的区域比显著性低的区域更有可能是前景。因此，白色的 区域比黑色的区域有更大的可能被判为局部f-g关系中的前景。

S15：先在HSV颜色空间中对颜色相近的超分割区域进行聚类， 同时利用灰度共生矩阵得到每个区域的纹理特征向量，将有着相近颜 色和纹理的超分割区域判断为同一层。

本步骤用来判断s-l关系，具体的判断标准主要是：有着相近颜色 和纹理的区域有着更大的几率被判为同一层。在HSV颜色空间中对颜 色相近的区域进行聚类，同时利用灰度共生矩阵得到每个区域的纹理 特征向量，把颜色纹理相似的区域判为同一层。

根据颜色特征提取的局部特征用矩阵C来表示。

C=[c₁,···,c_n,···,c_{c_num}]_{k×c_num}

其中K为超分割区域的数目，c_num为图像中经过颜色信息判断 的s-l关系数目，矩阵C每一项的计算公式如下：

$c_{\mathrm{jn}}=\left(\begin{array}{cc}0& j\ne \mathrm{cfun}\left(n\right),j\ne \mathrm{cfun}`\left(n\right)\\ -1& j=\mathrm{cfun}\left(n\right)\\ 1& j=\mathrm{cfun}`\left(n\right)\end{array}\right)$

cfun(n)和cfun'(n)分别表示经过颜色特征判断为s-l关系的两个区 域，由于s-l关系中的两个区域是不分层次先后关系的，这里的cfun(n)和 cfun'(n)的顺序是任意的。

同理，根据纹理特征提取的局部特征用矩阵Z来表示。

Z=[z₁,···，z_n,···,z_{z_num}]_{k×z_num}

其中K为超分割区域的数目，z_num为图像中经过纹理信息判断 的s-l关系数目，矩阵Z每一项的计算公式如下：

$z_{\mathrm{jn}}=\left(\begin{array}{cc}0& j\ne \mathrm{zfun}\left(n\right),j\ne \mathrm{zfun}`\left(n\right)\\ -1& j=\mathrm{zfun}\left(n\right)\\ 1& j=\mathrm{zfun}`\left(n\right)\end{array}\right)$

zfun(n)和zfun'(n)分别表示经过纹理特征判断为s-l关系的两个区 域，这里的zfun(n)和zfun'(n)的顺序也是任意的。

步骤102：在判断结果的基础上建立一个全局能量函数，并用改进 的差分进化算法求解该函数从而得到最终的层次关系。

本步骤具体包括：

S21：根据得到的局部判断信息，建立全局的能量函数；

本步骤中，在局部判断信息的基础上，建立全局能量函数，把求 解层次关系转化为一个能量优化问题,R={1,2,...,k},R表示所有超分割 区域的集合。d=[d₁,d₂,...,d_K]^T,d_i表示第i个超分割区域的layer_index, layer_index的大小表示了区域的深度信息，d_i越小表示该区域的深度 越小，d是全局能量函数的自变量。设f是能量函数的因变量，表示图 像层次关系的解在整幅图像上的冲突大小，f越小说明对应的自变量d 在图像中的冲突越小。

S22：采用改进的差分进化算法求解该能量函数优化问题；

本步骤中，当上述步骤S21中的f取到最小值时，全局冲突达到 最小，表示找到了图像层次关系的正确解。

f由两项组成,f=f_f-g+f_s-l,其中：

$f_{s-l}={\Sigma }_{m=1}^{c\_\mathrm{num}}{q}_{\mu }\left(\right|C_m^{T}d|,{\beta }_1)+{\Sigma }_{m=1}^{z\_\mathrm{num}}{q}_{\omega }\left(\right|Z_m^{T}d|,{\beta }_2)$

p_κ(x,y)=e^(-κ×x×y)

q_κ(x,y)=e^(κ×x×y)

1≤d_i≤K

本方法的目标是在约束条件范围内找到一组layer_index（即向量 d）来最小化能量函数。从而图像层次关系的求解转换为了一个带约束 的最优化问题。由于能量函数中拥有众多子项和约束条件，不方便直 接用偏导法或lingo等常用数学软件直接求解，本方法中采用了改进的 差分进化算法进行求解，这样有助于跳出局部最优解从而得到全局最 优解。本方法采用混合进化的策略产生新的解，同时用模拟退火的思 想来更新旧解。每隔固定的代数，还会对种群中较优的解进行克隆复 制和高斯变异。通过以上这些步骤，增大了跳出局部最优解的可能性， 同时在全局最优解附近的搜索能力也得到了提升。

如图5所示，为本发明实施例中优化能量函数时用到的改进的差 分进化算法的流程图。为克服基本差分进化算法易于陷入局部极值点， 进化后期收敛慢，精度较差等缺点，本发明实施例采用了一种基于混 合进化策略、模拟退火法和克隆变异的改进差分进化算法。该算法用 混合进化的策略产生新的解，同时用模拟退火的思想来更新旧解。每 隔固定的代数，算法还会对种群中较优的解进行克隆复制和高斯变异。 通过以上这些步骤，增大了算法跳出局部最优解的可能性，同时算法 在全局最优解附近的搜索能力也得到了提升。图中算法用到的混合进 化公式为$d_i^{i+1}=\partial ·d_{r_1}^t+\beta ·d_{\mathrm{best}}^t+F_1(d_{r_2}^t-d_{r_3}^t)+F_2(d_{r_4}^t-d_{r_5}^t)$，其中表示迭代次数 为t时，所有候选解中的第i个解，表示候选解种群中的最优解。 用这种新的差分进化公式可以使求解时具有全局搜索能力，不至于陷 入局部最优解中。在基本的差分进化算法中，选择操作主要采用了贪 心策略，即如果产生的新解比旧解好，则更新旧解，否则保持旧解不 变。这种选择策略虽然可以使每次更新的解都比前一次的有优化，但 可能会使搜索陷入局部最优中。因此考虑在选择操作中引入模拟退火 的思想，如果新解比旧解好，则更新旧解；否则也有一定的概率更新 旧解。为进一步增强算法的局部搜索能力，对每一代最优的一部分解 进行克隆操作，再对这些解进行高斯变异，并加入自适应的思想。高 斯变异公式如下：d'_ij=d_ij+λ^t·randn。randn为用高斯分布产生的随机数， λ^t为决定随机扰动范围的参数。考虑到在搜索最优解时，每一代解的 数量级都在不断地改变，因此上式中的参数λ^t也要随之改变。在搜索 的前期阶段，λ^t的值应该大些，从而使解在全局范围内扰动，增强全 局搜索能力。到了搜索的后期，λ^t的值应该越来越小，使解在最优解 的附近扰动，增强局部搜索能力。本方法采用以每代最优解的数量级 来刻画λ^t，从而使λ^t的值自适应地改变，实现自适应的高斯变异。设 magnitude函数用于计算当代最优解的数量级，n为相应的系数，则有：

而如图7所示，为本发明实施例的能量函数最优解迭代过程。图 中横坐标表示迭代的次数，纵坐标表示能量函数的值。当能量函数值 趋于稳定并收敛时，表示找到了最优解，从而可以根据最优解得到图 像的层次关系。

S23：将求解得到的各区域的相对深度转化为图像的层次信息从而 得到原图像的层次关系。

本步骤中，根据解得的最优解可以得到图像的层次关系，从而得 到不同层次间轮廓的遮挡关系。

步骤103：根据图像的层次关系，编辑所有层次间的偏序关系，当 原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充 和颜色填充。

本步骤中，根据上述步骤得到的不同层次间轮廓的遮挡关系，编 辑所有层次间的偏序关系。当偏序关系发生改变时，对原图像中被遮 挡的层次进行轮廓填充，得到新的层次偏序关系。另外，我们可以用 想用的颜色对新得到的层次进行颜色填充，从而实现图像层次编辑。

如图7所示，为本发明实施例中图像中的物体层次提取的方法， 本实施例采用基于图像局部特征的全局能量函数作为求解图像层次关 系的表达框架，先提取各超分割区域的局部特征，并用全局能量函数 约束整幅图像上偏序关系的一致性，最后通过优化全局能量函数得到 图像的层次关系。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解；其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。