一种基于语义信息与边缘约束的前景目标检测方法

摘要

本发明提供一种基于语义信息与边缘约束的前景目标检测方法，分割能量函数模型借助语义标签信息，完成对图像前景与背景的自动分割，从而实现前景目标的检测。该方法流程图见摘要附图，主要包括五大步骤，步骤一：基于语义边缘约束的图像分层分割；步骤二：位置模型的建立；步骤三：外观模型的建立；步骤四：平滑约束的构建；步骤五：分割模型迭代优化。本发明实验验证，具有可行性、准确性和通用性，可用于诸多高层次的图像分析与图像理解中。

说明书

技术领域

本发明涉及一种基于语义信息与边缘约束的前景目标检测方法，分割能量函数模型借助语义标签信息，完成对图像前景与背景的自动分割，从而实现前景目标的检测，具有一定的有效性和通用性，属于计算机视觉领域。

背景技术

前景目标的检测可以通过图象分割技术来实现，图像分割是指利用图像特征，如颜色，纹理等，把图像划分成各具特性的区域并提取出感兴趣目标的技术和过程。

对于图像分割而言，大致可以分为两类，第一类是将图像分割为一些相对较小的超像素区域的超像素分割算法，另一类是将图像分割为前景目标和背景区域的前景背景分割算法。对于第一类图像分割算法而言，超像素分割算法产生的超像素在后续的更深层次的图像操作中类似于图像像素，但是相比于图像像素，超像素区域能够在一定的程度上保证像素点之间的空间支持，大大降低了后续操作的困难程度。因此，超像素区域应该保持图像目标的边界，避免出现分割区域跨界的现象。对于前景背景分割算法，主要是将图像分割为两个部分，一部分被认为是前景目标，另一部分被认为是背景目标，前景背景分割算法可以为后续的图像分析，理解提供完整的前景目标，从而实现前景目标的检测。因此，前景背景分割算法必须保证前景目标的区域必须完整的且具有精确的目标轮廓。在图像分割领域，超像素分割算法和前景背景分割算法一直都是研究的热点，在诸多高层次的图像分析与图像理解算法中有着非常重要的作用。目标识别技术可以从分割获得的前景目标中提取形状特征，人体姿态估计可以从分割获得的前景目标中提取人体的轮廓。

在图像的前景目标检测这一研究方向已经发表了大量的研究算法，其中交互式分割算法是前景目标检测中应用非常成功的算法。但是，交互式分割算法需要利用用户手动标记(通常是围绕图像前景目标的矩形框)标示出图像中前景目标所在的位置，通过最小化目标能量函数完成图像的优化分割，从而实现前景目标的检测。但是这种技术需要人的交互，无法实现自动的图像目标检测。

发明内容

本发明技术解决问题：提供一种基于语义信息与边缘约束的前景目标检测方法，建立自动的前景背景分割能量函数模型，最终实现获取完整且轮廓精确的前景目标的目的

本发明的技术解决方案为：一种基于语义信息与边缘约束的前景目标的检测，实现步骤如下：

(1)基于语义边缘约束的图像分层分割：将输入图像在Lab颜色空间中得到的归一化边缘信息，与在语义标签上得到的语义边缘约束信息进行线性组合得到图像的边缘信息，利用contours2ucm算法将所述图像的边缘信息进行计算，得到衡量输入图像边缘权重的超度量轮廓图UCM，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域；

(2)位置模型的建立：对所述输入图像进行多尺度的显著性检测，得到包围所述输入图像的前景目标的显著性窗口，利用所述显著性窗口的重叠性，得到多个显著性窗口包围下的输入图像像素的位置概率，然后利用步骤(1)得到的图像分层分割区域对输入图像像素的位置概率进行更新，从建立输入图像的位置模型；

(3)外观模型的建立：利用步骤(1)得到的语义边缘约束信息，计算显著性窗口的内、外语义标签的分布特征向量，并计算内、外语义标签的分布特征向量的差值，选择约3/4区域为前景像素点的显著性窗口，计算显著性窗口内、外的像素位置概率，并利用该位置概率得到输入图像的前景与背景的分割阈值；通过分割阈值得到输入图像的前景与背景区域，然后在所述前景区域与背景区域上建立基于Lab颜色空间的高斯混合模型GMM，从而得到外观模型，外观模型由两个高斯混合模型组成，在前景区域中的高斯混合模型定义为A₁，在背景区域中的高斯混合模型定义为A₀；

(4)平滑约束的构建：融合输入图像对比度信息与输入图像超度量轮廓图的边缘权重信息，对输入图像中相邻像素之间的边缘进行平滑约束，实现分割能量模型中平滑项的建立；

(5)结合输入图像的位置模型与外观模型，得到衡量像素前景背景标签标记代价的数据项，通过所述数据项与平滑项，建立分割能量模型，利用迭代式算法优化求解分割能量函数，最终得到图像像素的最优分割标签，实现前景目标的检测。

所述步骤(1)中，线性组合得到图像的边缘信息为：

将像素x_i的归一化边缘信息定义为S_n(x_i)，将像素x_i的语义边缘约束信息定义为S_a(x_i)，基于归一化边缘与语义边缘信息的提取机制，通过S_n(x_i)和S_a(x_i)的线性组合得到图像的边缘信息S_f(x_i)＝S_n(x_i)+δ_a·S_a(x_i)，其中参数δ_a是用来控制语义边缘约束的权重，经过大量反复试验所述δ_a＝400。

所述步骤(1)中，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域的最终结果。

所述步骤(2)中，建立输入图像的位置模型L(x_i|c_i)为：

其中，F(x_i)为像素点的位置概率，σ为阻尼参数，x_i为像素，c_i表示像素的标签，c_i＝1表示像素为前景像素点，c_i＝0表示像素为背景像素点。

所述步骤(3)中，外观模型建立如下：外观模型由两个高斯混合模型组成，在前景区域{x_i|F(x_i)≥f_a}定义为A₁，在背景区域{x_i|F(x_i)＜f_a}定义为A₀，外观模型为，

A(x_i|c_i＝1)＝A₁

A(x_i|c_i＝0)＝A₀

其中高斯混合模型A₁和A₀均建立在Lab颜色空间上，每一个高斯混合模型包括5个高斯分量，F(x_i)为像素点的位置概率，x_i为像素，f_a为初始分割阈值，c_i表示像素的标签，c_i＝1表示像素为前景像素点，c_i＝0表示像素为背景像素点，F(x_i)为像素点的位置概率。

所述步骤(5)中，分割能量模型为：

E(C)＝U(C)+V(C)

其中U(C)是分割能量函数E(C)的数据项，表示像素分配前景背景标签的标记代价；V(C)为分割能量函数E(C)的平滑项，表示相邻像素之间的边缘约束。

所述步骤(5)中，迭代式算法为多次迭代的图分割算法。

本发明与现在技术相比优点在于：

(1)在基于语义边缘约束的图像分层分割算法中，将语义边缘信息与Lab颜色通道上得到的归一化边缘信息有效的结合起来，既减少了杂乱边缘的出现，又使得图像目标能够获得更加完整和连续的轮廓。

(2)在分割能量函数模型的建立过程中，通过位置模型与外观模型构成衡量像素分割标记代价的数据项，既避免了交互式先验信息的输入，也提高了图像的分割精度；融合图像对比度信息与由超度量轮廓图表征的边缘强度信息构成衡量像素约束代价的平滑项，有效地改善了相邻像素之间的平滑约束。

附图说明

图1为基于语义边缘约束的分层分割算法流程图；

图2为基于语义信息与边缘约束的前景目标检测方法流程图；

图3为MSRC21数据集图像分割结果例图；(a)输入图像；(b)分层分割得到的超度量轮廓图；(c)分割能量函数模型中图像像素的前景位置标记代价；(d)外观模型中初始前景背景区域分割；(e)分割结果；(f)分割真值；

图4为Caltech-4数据集图像分割结果例图，(a)输入图像；(b)分层分割得到的超度量轮廓图；(c)分割能量函数模型中图像像素的前景位置标记代价；(d)外观模型中初始前景背景区域分割；(e)分割结果；(f)分割真值。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的具体实施方式作进一步描述：

一、基于语义边缘约束的分层分割

如图1、2所示，本发明一种基于图像语义边缘约束的图像分层分割方法流程如下。

首先在Lab颜色空间上计算不同方向上的梯度信息，获得图像局部的边缘信息；然后在得到的局部边缘结果上，建立边缘之间的相似性，求解所选最小特征值对应的特征向量，在特征向量空间上计算方向梯度信息，得到图像中的显著性边缘；线性组合局部边缘和显著性边缘，得到不同方向上归一化边缘信息。

归一化边缘信息主要通过特征向量反映图像的显著性轮廓，然而，仍然有一些目标的轮廓不能够被顺利检测出来。因此，本发明利用图像语义边缘加强未被检测出来的不同目标之间的目标轮廓。首先利用归一化边缘信息通过contours2ucm算法得到图像的超度量轮廓图，设置不同的阈值，获得图像的分层区域，对每一层的区域提取特征进行描述，通过支持向量机(Support Vector Machine,SVM)对每一层的特征进行训练，分类，得到语义标签；然后考虑到语义标签的杂乱与错误，加入空间一致性约束，加强邻域之间的一致性，对所有区域层次的语义标签概率进行融合，得到图像的语义标签结果；最后在语义标签上统计像素邻域内的语义标签分布直方图，计算图像的语义边缘约束。

本发明将像素x_i的归一化边缘信息定义为S_n(x_i)，将像素x_i的语义边缘信息定义为S_a(x_i)，基于归一化边缘与语义边缘信息的提取机制，本发明通过S_n(x_i)和S_a(x_i)的线性组合得到图像的边缘信息，

S_f(x_i)＝S_n(x_i)+δ_a·S_a(x_i)(1)

得到边缘信息S_f之后，本发明采用contours2ucm计算得到最后的超度量轮廓图UCM。超度量轮廓图是一个衡量边缘权值的图像，图中的线条越不清晰，表示该处的边缘权值越小，即，边缘出现的概率越小；反之，图中出现的线条越清晰，则表示该处的边缘权值越大，即，边缘出现的概率越大。因为超度量轮廓图表征图像的边缘强度，在本发明中，将其权值作为分层区域的层次索引，通过设定不同的阈值，获得不同层次结构的分层分割区域。

通过归一化边缘信息与语义边缘信息的线性组合，增强了无纹理区域和平滑区域处目标的轮廓，避免了图像颜色特征在这些区域出现的误差，获得更完整的和连续的目标边缘轮廓。本步骤的分层分割区域方法还将为后面的分割能量函数的建立提供分层区域空间支持、边缘约束、以及分割所需要的语义标签。

二、基于语义标签的前景目标检测

如图2所示，首先通过显著性检测获得包围图像前景像素的窗口以及显著性，利用窗口的重叠性和分层分割区域的层次性计算图像像素前景目标位置代价，建立分割模型的位置模型；然后利用所选择窗口内外的显著性确定图像的初始分割区域，并且在初始前景区域与背景区域通过高斯混合模型计算图像像素前景背景标记代价，建立分割模型的外观模型；最后在图像对比度信息中融入分层分割得到的边缘强度约束构建分割模型中的平滑项，利用多次迭代图割算法最小化分割能量函数，获得最优的分割结果。

1、位置模型的建立

首先利用显著性检测获得图像的前景目标位置，显著性越大，该像素为前景的可能性越大，反之，显著性越小，该像素为前景的可能性越小。

本发明利用显著性检测算法得到尺度为r的图像的显著性I^r，通过公式(2)，计算包含像素x_i的窗口w的显著性，

其中不同图像尺度上的参数τ_r通过学习得到。在本发明中，尺度r被设定为5个值，16x16，24x24，32x32，48x48和64x64，通过多尺度显著性的结合，能够更好的捕捉到图像前景目标所在的大致位置。

通过显著性检测获得包围图像前景区域的像素窗口，对像素窗口进行融合计算得到图像的前景位置标记概率，在本发明中，对选择的多个重叠的显著性窗口进行均值融合，得到图像像素唯一的前景位置标记代价。在包围这个像素的所有窗口中，计算显著性值的均值作为图像像素的前景目标位置概率，

由于多窗口的均值融合使得图像前景区域概率存在估计错误，因此，本发明利用分层分割区域对其进行更新，获得更加精确的前景位置标记概率，从而完成位置模型的建立。

本发明首先考虑分层分割的每一层区域，统计每一层分割区域内所有的像素点，并且将所有像素点的平均位置概率作为该分割区域的位置概率，然后考虑图像中每一个像素点重叠的区域，所有重叠区域的平均位置概率作为该像素点的位置概率。因此，该图像像素的位置概率被定义为，

其中，M_t(x_j)为像素点x_j在第t层超像素分割区域上的前景目标位置概率，像素点x_j为第t层超像素分割区域上像素点x_i所在的区域内的像素。表示统计像素点x_i所在的区域内所有像素点的前景目标位置概率。T_h为分层分割区域的阈值集合。

位置模型主要是衡量图像中像素被标记为图像前景标签的代价，主要通过图像中像素点的位置来定义。本发明中，根据多窗口的重叠性与分层分割区域的层次性，将分割能量函数模型的位置模型L(x_i|c_i)定义为，

经实验验证，阻尼参数σ＝0.005能够取得更好的前景位置标记概率。

通过该位置模型的定义，可以获得图像中像素点的被标记为前景标签的概率。在本发明中，位置模型不仅能够衡量图像像素点的前景标签标记代价，还可以为后面分割能量函数模型的外观模型的建立提供前景区域与背景区域的输入，有效的避免了交互式分割算法中的人工输入。

2、外观模型的建立

利用步骤一得到的语义标签结果计算所选择的窗口内、外语义标签分布特征向量，并计算其差值。本发明中，图像窗口内外语义标签分布特征向量h₁，h₀之间的差值d被定义为，

当窗口内、外语义标签分布特征向量的差值很大时，窗口内、外区域的语义标签在分布上有着很大差距，即，窗口内、外目标在分布上有很大差距，反之，当窗口内外语义标签分布特征向量的差值很小时，窗口内、外的语义标签在分布上相似度很高，即，窗口内、外目标在分布上的差距很小。

选择大部分区域为前景像素点的显著性窗口，利用显著性窗口内、外的像素的位置概率得到前景与背景的分割阈值；通过阈值得到图像的前景与背景区域。

本发明中，外观模型有两个高斯混合模型组成，在前景区域{x_i|F(x_i)≥f_a}定义为A₁，在背景区域{x_i|F(x_i)＜f_a}定义为A₀。故，外观模型定义为，

其中高斯混合模型A₁和A₀均建立在Lab颜色空间上，每一个高斯混合模型包括5个高斯分量。

在本发明中，利用显著性检测建立图像的位置模型，通过像素在图像中的位置，衡量图像像素的前景标记代价，然后统计图像窗口内、外的语义标签分布特征向量，利用阈值得到图像初始前景区域与背景区域，并在初始前景区域与背景区域上建立高斯混合模型，结合位置模型与外观模型，完成分割模型衡量像素标记前景与背景标签标记代价的数据项，通过基于边缘约束的平滑项，建立分割能量函数。图像像素的最优分割标签C^*被定义为，

本发明采用多次迭代的图割算法求解分割能量函数的标签优化问题。

3、分割能量函数的建立与优化

本发明将前景目标检测问题转化为图像前景背景标签标记问题，图像中每个像素都将被标记为前景目标或背景目标。因此，给定一幅图像X，对于图像中每个像素x∈X＝{x₁,x₂,...,x_N}将其标记为c∈C＝{c₁,c₂,...,c_N}，其中C为标签集合，c_i＝1(i＝1,...,N)表示图像的前景目标，c_i＝0表示图像的背景目标，其中N为图像的像素个数。基于语义标签的图像分割模型的目标能量函数可以被定义为，

E(C)＝U(C)+V(C)(9)

其中U(C)是目标能量函数E(C)的数据项，表示像素分配前景背景标签的标记代价，代价越大，则该像素为前景目标的可能性越大，反之，代价越小，则表示该像素为背景目标的可能性越小。V(C)为目标能量函数E(C)的平滑项，表示相邻像素之间的边缘约束，若相邻像素之间的平滑约束越小，则表示这两个相邻像素之间的相似性越大，同为同一个目标的可能性越高，反之，相邻像素之间的平滑约束越大，则表示这两个相邻像素之间的相似性越小，同为同一个目标的可能性越低。数据项U(C)由一维势函数u_i构成，平滑项V(C)由二维势函数v_ij构成，则U(C)和V(C)被定义为，

其中ε表示八邻域内的相邻像素的边缘集合。

本发明利用位置模型与外观模型建立分割能量函数模型的数据项，利用图像对比度信息与图像超度量轮廓图建立分割能量函数模型的平滑项；利用多次迭代的图割算法求解图像像素的最优分割标签C^*。

本发明分割能量函数模型的推断迭代算法流程总结如下：

(1)建立位置模型，通过语义标签概率分布得到初始前景区域与背景区域的分离阈值f_a，将小于阈值的像素点记为c_i＝0，将大于等于阈值的像素点记为c_i＝1；

(2)在得到的初始前景区域和背景区域上估计Lab颜色空间上的高斯混合模型，并学习优化高斯混合模型参数；

(3)利用图割算法，通过t-link和n-link权值，运用maxflow/min cut算法重新估计图像的前景区域与背景区域；

(4)重复以上步骤(2)和(3)，目标函数能量逐渐递减，直到收敛，得到最优的图像前景与背景分割结果，实现前景目标的检测。

本发明利用MSRC21数据集和Caltech-4数据集实验结果证明本发明算法的可行性、准确性和通用性，实验结果见图3、图4。图3为MSRC21数据集图像的分割结果，(a)为输入图像，(b)为分层分割得到的超度量轮廓图，(c)为分割能量函数模型中图像像素的前景位置标记代价，(d)为外观模型中初始前景背景区域分割，(e)为分割结果，(f)为图像的分割真值；图4为Caltech-4数据集图像的分割结果示例图(a)为输入图像，(b)为分层分割得到的超度量轮廓图，(c)为分割能量函数模型中图像像素的前景位置标记代价，(d)为外观模型中初始前景背景区域分割，(e)为图像目标分割结果，(f)为图像的分割真值。

比较图3(或图4)中的(e)分割结果和(f)图像的分割真值，可以看出，本发明提出的算法的分割准确度较高。

表1是MSRC21数据集关于IOU分值的分割精度比较(％)，“Ours”代表本发明提出算法的分割精度，其余列表示其他算法的分割精度值。通过表1可以看出,本发明的算法在整体精度上要高于其它方法。

表1 MSRC21数据集关于IOU分值的分割精度比较(％)

ClassOursYuanLiuPonceKimMukherjeeFelzenszwalbBike49.037.739.943.329.942.813.7Bird65.545.648.347.729.9-34.3Car53.348.252.359.737.152.520.1Cat63.035.552.331.924.45.633.5Chair56.752.654.339.628.739.424.1Cow75.354.943.252.733.526.144.8Dog57.163.350.841.833.0-43.6Face44.550.845.870.033.240.848.3Flower7660.084.951.940.2-26.8House6762.848.651.032.366.428.4Plane51.334.735.921.625.133.425.0Sheep75.763.366.366.360.845.738.0Sign76.266.859.558.943.2-42.4Tree75.368.558.167.061.255.930.4Average63.253.252.950.236.640.932.4

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。