一种基于前景先验和背景先验的显著性物体检测方法

摘要

本发明提供一种基于前景先验和背景先验的显著性物体检测方法，该方法分别从显著性物体(前景)和背景出发，结合各自先验知识的优势来定义对应的显著性衡量方式。对于显著性物体，首先利用对比先验计算每个子区域(初分割后)的中心－周围颜色对比，然后将该对比度值乘以中心先验，最后通过平滑得到基于前景的显著性图。对于背景，利用边界先验和所定义的8邻域“缝”，动态优化找到每一个像素分别到四条边界的最优“缝”，计算最优“缝”的成本得到基于背景的显著性图。最后将两张显著性图相乘，再经过平滑输出最终的显著性图。本发明得到的显著性图能均匀地突出图像中的显著性物体，有利于后续诸如图像检索、目标跟踪等处理。

说明书

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体涉及一种基于前景先验和背 景先验的显著性物体检测方法。

背景技术

视觉显著性理论认为：人类视觉系统只详细处理图像的某些局部，而对图像的其余 部分几乎视而不见。这种被视觉系统详细处理的局部区域通常被称为显著性区域。静态 图像中，能够引起人类视觉注意的信号刺激主要包括：新异刺激、较强刺激和人所期待 的刺激。据此，视觉注意机制一般分为两个阶段：

(1)快速的、下意识的、自底向上的、数据驱动的显著性提取；

(2)慢速的、任务相关的、自顶向下的、目标驱动的显著性提取。

根据这两个阶段，显著性检测的主要方法大体可以分为两类。第一类方法，采用“自 底向上”思想，即利用局部中心邻域结构，衡量图像区域的显著性。第二类方法，采用 “自顶向下”思想，即利用图像的统计特性的先验知识以及任务需求，实现显著性的建 模。显著性检测的结果被称为“显著性图”，图上亮度越大的区域意味着越容易吸引人 的注意。本发明属于“自底向上”的显著性检测方法。

近些年来，国内外很多知名学者在这方面做了大量的有益成果，其中的方法主要有： Itti等人于1998年提出一种基于生物启发模型和特征整合理论的视觉显著性计算方法。 该方法首先利用线性滤波器分解图像，以获取颜色、亮度、方向等特征图。然后在每个 特征图内部，不同位置按照赢者通吃的准则进行显著性的竞争，最后按照一种纯粹自下 而上的方式组合成一个主显著性图。Ma等人于2003年提出了一种基于图像局部对比度 分析的方法，来产生显著性图。进而通过模拟人类的感知方式，采用模糊增长的策略从 显著性图中提取感兴趣的物体区域。Harel等人于2007年提出了一种基于图结构的视觉 显著性检测方法。该方法首先为每个图像位置提取特征向量，然后利用这些特征向量构 建动标图，最后对这些动标图进行归一化以突出和其它动标图相兼容的显著性组合。 Achanta等人于2009年提出了一种基于频率调整的算法来获取多个尺度的显著性区域检 测结果。Bruce等人提出了一种基于信息论的方法，对显著性、视觉注意、和视觉搜索 过程进行建模。Murray等人于2011年利用滤波器卷积、中心邻域机制和空间合并的方 法获取图像的显著性区域。Perazzi等人于2012年提出将显著性检测视为图像特征上的 高维高斯滤波操作。

专利方面，申请号为CN201110335538.4的中国发明专利申请通过对待检测图像进 行多次小波变换，再采用中心—周边直方图算法获得精确的显著性值；申请号为 CN201210425652.0的中国发明专利提出一种基于尺度选择的自顶向下的视觉显著性提 取方法，包括两个阶段，训练阶段学习得到非线性模型，并找到多尺度合并中的最佳的 尺度；申请号为CN201310044869.1的中国发明专利申请利用颜色对比和颜色分布，综 合这两种特征使得检测结果比较均匀，保持物体的边缘细节，并且能够较强的抑制背景 干扰。

本发明公开的方法不同于上述所有方法，以往的大多数方法的关注点都在何为显著 性物体，而本发明不单单从显著性物体出发，同时也从背景的角度出发，利用由各自具 有的普遍特点所形成的先验知识，结合两个角度各自检测结果的优点，最终将显著性物 体凸显出来，与以上的方法检测结果相比，不仅可以更加均匀完整地突出显著性物体， 而且可以更好地抑制背景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于前景先验和背景先验的 显著性物体检测方法，该方法能有效突出图像中的显著性物体，同时抑制背景，有 利于后续诸如图像检索、目标跟踪等处理。

从显著性物体出发，本发明基于两个先验，即对比先验和中心先验。从大量图 像的统计观察可知，显著性物体普遍与周围的背景有强烈的对比差异，在本发明中 称之为对比先验；其次，显著性物体一般会靠近图像的中心，这既是大量观察得到 的普遍结果，也符合一般摄影的习惯，在本发明中称之为中心先验，然而显著性物 体不靠近图像中心也不是一个很罕见的情况，为此本发明旨在寻求一个更可靠的中 心(即显著性物体的中心)而非图像的中心。从背景出发，本发明基于一个先验，称 之为边界先验。所谓边界先验是指在一幅图像中，靠近边界的部分一般来说都是背 景，这也是根据大量观察和摄影原则得到的，具有比较普遍的适用性，但是本发明 也同时考虑到了少数边界不仅有背景，也有显著性物体切到的情况，因此本发明利 用边界先验但并不局限于该先验。

本发明提供一种基于前景先验和背景先验的显著性物体检测方法，该方法分别 从显著性物体(前景)和背景出发，结合各自先验知识的优势来定义对应的显著性衡量方 式。对于显著性物体，首先利用对比先验计算每个子区域(初分割后)的中心－周围颜色 对比，然后将该对比度值乘以中心先验，最后通过平滑得到基于前景的显著性图。对于 背景，利用边界先验和所定义的8邻域“缝”，动态优化找到每一个像素分别到四条边 界的最优“缝”，计算最优“缝”的成本得到基于背景的显著性图。最后将两张显著性 图相乘，再经过平滑输出最终的显著性图。本发明得到的显著性图能均匀地突出图像中 的显著性物体，有利于后续诸如图像检索、目标跟踪等处理。

本发明所述方法包括如下步骤：

第一步，图像预处理：将输入的彩色图像过分割为许多颜色相似，保边界的超像素， 并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；

所述的图像预处理进一步提升了图像处理的速度和检测结果的均匀。超像素和像 素相比，是一个颜色相似的区域，将其作为处理单元，可以减少单元的个数，而且 可以保证最终同一个单元中的像素的显著性一致，使得检测结果更加均匀。

第二步，基于前景的显著性图：首先利用对比先验计算每个子区域的中心－周围颜 色对比，然后将该对比度值乘以中心先验，最后进行平滑；

所述的步骤二中，首先计算第i个超像素r_i的中心－周围颜色对比S_con(r_i)，具体的 公式为：

$S_{\mathrm{con}}\left(r_i\right)=\underset{j}{\Sigma }{e}^{-{\alpha }_1\left|\right|p_i-p_j{\left|\right|}_{2\times \left|\right|c_i-c_j{\left|\right|}_2}}$

其中p_i、p_j和c_i、c_j分别表示超像素r_i和r_j内部的平均位置和平均颜色，i、j表示超像素 的下标号，‖·‖₂表示L2范数，α₁是一个控制权重影响的参数；

紧接着将该对比度值乘以中心先验，具体的公式为：

$S_{\mathrm{ct}}\left(r_i\right)=e^{-{\alpha }_2{\left|\right|p_i-p_c\left|\right|}_{2\times S_{\mathrm{con}}\left(r_i\right)}}$

其中p_i表示超像素r_i内部的平均位置，p_c表示显著性物体的中心位置，i表示超像素的 下标号，‖·‖₂表示L2范数，α₂是一个控制权重影响的参数；

最后对S_ct(r_i)进行平滑计算得到每一个超像素r_i基于前景先验的显著性值S_c(r_i)，具 体的公式为：

$S_c\left(r_i\right)=\frac{1}{Z_1}\underset{j}{\Sigma }{e}^{-{\beta }_1{\left|\right|c_i-c_j\left|\right|}_{2\times S_{\mathrm{ct}}\left(r_j\right)}}$

其中是一个归一化系数，i、j表示超像素的下标号，‖·‖₂表示L2 范数，β₁是一个控制权重影响的参数。

第三步，基于背景的显著性图：利用边界先验和所定义的8邻域“缝”，动态优化 找到每一个像素分别到四条边界的最优“缝”，计算最优“缝”的成本；

所述的步骤三中，首先定义从图像上边界到某一像素i的一条符合8邻域连接性质 的“缝”：

$s^u={\left\{s_i^u\right\}}_{i=1}^n={\left\{(u\left(i\right),i)\right\}}_{i=1}^n,s.t.\forall i,|u\left(i\right)-u(i-1)|\le 1$

其中s^u是所定义的“缝”包含的像素的集合，u是一个映射函数：[1…,n]→[1…,m]， (n,m)表示i在图像中的位置，其中n表示行，m表示列；

在此基础上，定义具有最小成本的“缝”如下：

$s_{*}^u=\underset{s}{\min }E\left(s^u\right)=\underset{s}{\min }\underset{i=1}{\overset{n}{\Sigma }}e\left(s_i^u\right)$

其中为“缝”所经过的像素，为所具有的能量，由一个基于梯度的能量图来 决定，这个优化问题的解通过一个动态的优化算法得到；

同样，按照上述的方法，得到像素i到图像的下边界、左边界、右边界的具有最小 成本的“缝”，其成本分别表示为和最后得到每一个像素i基于背景先验的显 著性值S_bac(i)，具体的公式为：

$S_{\mathrm{bac}}\left(i\right)=\min (s_{*}^u\left(i\right),s_{*}^d\left(i\right),s_{*}^l\left(i\right){,s}_{*}^r\left(i\right)).$

第四步，显著性图融合：将前两步得到的显著性图相乘，再通过对显著性值进行平 滑操作输出最终的显著性图，该融合策略在凸显显著性物体的同时，还能有效的抑制背 景。

在所述的显著性图融合中，将步骤二和步骤三得到的显著性图相乘：

Sal=S_c×S_bac

最后通过对显著性值进行平滑操作输出最终的显著性图S_map：

$S_{\mathrm{map}}\left(r_i\right)=\frac{1}{Z_2}\underset{j}{\Sigma }{e}^{-{\beta }_2{\left|\right|\mathrm{Sal}\left(r_i\right)-\mathrm{Sal}\left(r_j\right)\left|\right|}_{2\times \mathrm{Sal}\left(r_j\right)}}$

其中Sal(r_i)、Sal(r_j)分别表示超像素r_i、r_j的平均显著性值，是一个归一化系数，i、j表示超像素的下标号，‖·‖₂表示L2范数，β₂是一个控制权重 影响的参数。

与现有技术相比，本发明具有如下的有益效果：

首先，在利用中心先验时并没有直接把图像中心作为显著性物体中心，而是寻求一 个包围显著性物体的凸包，取凸包的中心作为显著性物体中心，使得检测更加准确。

其次，从背景出发，充分利用了四条边界所包含的背景信息，检测结果在抑制背景 方面有很大的优势；

最后，结合了基于前景先验和背景先验各自的优点，将各自得到的显著性图相乘， 再加上最后的平滑操作，这样不仅可以更加均匀完整地突出显著性物体，而且可以更好 地抑制背景。

本发明通过结合利用图像前景和背景的先验，能够比较准确快速地检测出图像中的 显著性物体，能取得令人满意的检测结果，对后续诸如图像检索、目标跟踪等处理过 程有重要意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：

图1为本发明一实施例过分割后图像；

图2为本发明一实施例基于中心先验的凸包；

图3为本发明一实施例基于前景的显著性图；

图4为本发明一实施例基于四条边界和“缝”的累积能量图(从左到右依次是基于 上、下、左、右边界)；

图5为本发明一实施例基于背景的显著性图；

图6为本发明一实施例经过融合策略和平滑后输出的最终的显著性图；

图7为简单阈值分割显著性物体示例(左)和标准检测结果(右)。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技 术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于 本发明的保护范围。

本实施例提供一种基于前景先验和背景先验的显著性物体检测方法，在本实施例中 对于一幅输入图像，按照如下详细步骤进行处理：

1、图像预处理

将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图 像过分割为K=200个超像素，按照式(1)计算超像素内部的平均位置p_i和平均颜色c_i， 将超像素作为处理的最小单位；

$p_i=\frac{{\Sigma }_{I\in r_i}{I}_p}{\left|r_i\right|},c_i=\frac{{\Sigma }_{I\in r}{I}_c}{\left|r_i\right|}---\left(1\right)$

其中I_p为像素I的位置向量(2维向量[x,y])，I_c为像素I的颜色向量(3维向量 [L,a,b])，|r_i|表示超像素r_i中所含像素的个数。

输入图像与过分割结果示例见图1。

2、基于前景的显著性图

首先利用对比先验计算每个超像素r_i的中心－周围颜色对比S_con(r_i)，如式(2)所示：

$S_{\mathrm{con}}\left(r_i\right)=\underset{j}{\Sigma }{e}^{-{\alpha }_1\left|\right|p_i-p_j{\left|\right|}_{2\times \left|\right|c_i-c_j{\left|\right|}_2}}---\left(2\right)$

其中p_i、p_j和c_i、c_j分别表示超像素r_i和r_j内部的平均位置和平均颜色，i、j表示超像素 的下标号，‖·‖₂表示L2范数，α₁是一个控制权重影响的参数。

然后将该对比度值乘以中心先验，如式(3)所示：

$S_{\mathrm{ct}}\left(r_i\right)=e^{-{\alpha }_2{\left|\right|p_i-p_c\left|\right|}_{2\times S_{\mathrm{con}}\left(r_i\right)}}---\left(3\right)$

其中p_i表示超像素r_i内部的平均位置，p_c表示显著性物体的中心位置，i表示超像素的 下标号，‖·‖₂表示L2范数，α₂是一个控制权重影响的参数。

把p_c定义为一个将显著性物体围起来的凸包的中心位置。从Achanta等人于2009 年提出了一种基于频率调整的算法中可知，显著性物体的特征与整张图像的平均特征相 差很大，差的越多，越有可能是显著性部分，因此这里取LAB空间的颜色向量作为特 征，计算每一个超像素r_i的特征c_i和平均特征的距离，取前N个距离最近的超像素，以 这N个超像素的p_i通过常用的凸包生成算法生成一个将显著性物体大部分覆盖的区域， 最后取这个区域内所有像素的平均位置(即p_c)作为显著性物体的中心位置。

最后对S_ct(r_i)进行平滑计算得到每一个超像素r_i基于前景先验的显著性值S_c(r_i)，如 式(4)所示：

$S_c\left(r_i\right)=\frac{1}{Z_1}\underset{j}{\Sigma }{e}^{-{\beta }_1{\left|\right|c_i-c_j\left|\right|}_{2\times S_{\mathrm{ct}}\left(r_j\right)}}---\left(4\right)$

其中是一个归一化系数，i、j表示超像素的下标号，‖·‖₂表示L2 范数，β₁是一个控制权重影响的参数。

本实施例中，获取凸包得到显著性物体的中心p_c，这里N=40，凸包示例见图2。

按照公式(2)计算每个超像素的中心—周围对比，这里α₁=0.005。

将对比先验和中心先验按照公式(3)相乘，并按照公式(4)平滑得到基于前景的显著 性图，这里α₂=0.005、β₁=0.001，将平滑之后的显著性图归一化到[0,1]，结果示例 见图3。

3、基于背景的显著性图

基于边界先验，首先定义从图像上边界到某一像素i的一条符合8邻域连接性质的 “缝”，如式(5)所示：

$s^u={\left\{s_i^u\right\}}_{i=1}^n={\left\{(u\left(i\right),i)\right\}}_{i=1}^n,s.t.\forall i,|u\left(i\right)-u(i-1)|\le 1---\left(5\right)$

其中s^u是所定义的“缝”包含的像素的集合，u是一个映射函数：[1…,n]→[1…,m]， (n,m)表示像素i在图像中的位置，其中n表示行，m表示列。

在此基础上，定义具有最小成本的“缝”如式(6)所示：

$s_{*}^u=\underset{s}{\min }E\left(s^u\right)=\underset{s}{\min }\underset{i=1}{\overset{n}{\Sigma }}e\left(s_i^u\right)---\left(6\right)$

其中为“缝”所经过的像素，为所具有的能量。

e是一张和原图大小一样的能量图，每个位置的值代表原图该位置像素所具有的能量， 这里选取前一步得到基于前景的显著性图的梯度图作为能量图，如式(7)所示：

$e=\left|\frac{{\partial S}_c}{\partial x}\right|+\left|\frac{{\partial S}_c}{\partial y}\right|---\left(7\right)$

其中S_c为基于前景的显著性图，代表S_c分别对水平和垂直两个方向求梯度。

式(6)的求解可以采用动态规划的方法，定义一张累积能量图S₁，将e的第一行赋值 给S₁的第一行，对于S₁的任意位置(x,y)，累积能量图的计算如式(8)所示：

S₁(x,y)=e(x,y)+min(S₁(x-1,y-1),S₁(x-1,y),S₁(x-1,y+1))       (8)

其中e是式(5)所得到的能量图，可以看出S₁(x,y)就是上边界到像素i(x,y)具有最小 成本的“缝”的成本值

基本原理是基于梯度图中显著性物体的边界处的大梯度，每条“缝”都是始于边 界终于图像中的某个像素，也就是说显著性物体内部的点一定要经过边界处的大梯度 点才能到达边界，由于“缝”的成本是累积得到的，如此内部区域的显著性值就会提 升从而被凸显。

同样，按照上述的方法，可以得到像素i到图像的下边界、左边界、右边界的具有 最小成本的，其成本分别表示为和最后得到每一个像素i基于背景先 验的显著性值S_bac(i)，如式(9)所示：

$S_{\mathrm{bac}}\left(i\right)=\min (s_{*}^u\left(i\right),s_{*}^d\left(i\right),s_{*}^l\left(i\right){,s}_{*}^r\left(i\right))---\left(9\right)$

按照公式(5)-(8)计算每一个像素到上、下、左、右边界的具有最小成本的“缝” 的成本结果示例见图4，然后按照公式(9)取其中四个成本中的 最小成本作为基于背景的显著性值，将显著性图归一化到[0,1]，得到的结果示例见图5。

4、显著性图融合

将前两步得到的显著性图相乘，如式(10)所示：

Sal=S_c×S_bac                           (10)

然后通过对显著性值进行平滑，得到最终的显著性图S_map，如式(11)所示：

$S_{\mathrm{map}}\left(r_i\right)=\frac{1}{Z_2}\underset{j}{\Sigma }{e}^{-{\beta }_2{\left|\right|\mathrm{Sal}\left(r_i\right)-\mathrm{Sal}\left(r_j\right)\left|\right|}_{2\times \mathrm{Sal}\left(r_j\right)}}---\left(11\right)$

其中Sal(r_i)、Sal(r_j)分别表示超像素r_i、r_j的平均显著性值，是一个归一化系数，i、j表示超像素的下标号，‖·‖₂表示L2范数，β₂是一个控制权重 影响的参数。

按照公式(10)的策略对两幅显著性图进行相乘融合，并按照公式(11)平滑输出最 后的显著性图，这里β₂=0.001，得到的结果示例见图6，显著性图中越亮的区域意味 着这个区域越可能属于显著的物体。

通过本实施例所得到的显著性图能够明显的突出图像中的显著性物体，抑制背 景噪声，即使是使用最简单的阈值化操作就能从最终的显著性图中分割出显著的物 体，分割示例见图7(左)，和图7(右)的人工标定的Ground Truth效果几乎不相上下。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。