联合显著性检测与判别式学习的目标前景协同分割方法

摘要

本发明公开了一种联合显著性检测与判别式学习的目标前景协同分割方法，包括：步骤1，将图像集中的每幅图像过分割成多个超像素块，并对每个超像素块提取特征；步骤2，将图像集中共有的显著性区域提取出来作为目标前景，而将非显著性区域和具有显著性但不是该图像集中共有的区域作为背景区域，其中采用低秩矩阵分解进行图像的显著性检测，采用逻辑回归来选择共有的显著性区域作为最终的目标。本发明通过低秩矩阵分解可以有效地检测显著性区域，去除背景一致性的影响，而判别式学习可以提取出共有显著性区域。低秩矩阵分解与判别式学习过程在统一的框架下联合优化，两者相互影响，共同提升。最终可以获得共有显著性区域作为目标前景区域。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种联合显著性检测与判别 式学习的目标前景协同分割方法。

背景技术

图像目标分割是计算机视觉中的基本任务，图像分割对很多计算机视 觉任务有着很大的影响，例如图像检索，图像编辑。但是现有无监督方法 很难对单幅图像进行精确分割，分割是受视觉任务驱动的。因此现有技术 提出了交互式分割方法，对单幅图像分割取得了良好的效果，但是基于交 互式分割由于巨大的人力成本，无法应用到大规模的网络图像中。

为了解决上述问题，现有技术还提出了协同分割方法，图像目标协同 分割是对具有相同或相似目标的图像集进行协同分割，获得在给定图像集 中共有目标前景的过程。

现有的图像协同分割算法的基本假设是同时出现在图像集中的共有 区域为目标前景区域，这样的假设存在着明显的问题，因为一致的背景区 域也会作为目标前景分割出来。

发明内容

为了克服现有技术的上述缺陷，本发明提出了一种联合显著性检测与 判别式学习的目标前景协同分割方法，其目的是联合显著性检测过程和判 别式学习过程的各自优点。

本发明提出的联合显著性检测与判别式学习的目标前景协同分割方 法包括：步骤1，将图像集中的每幅图像过分割成多个超像素块，并对每 个超像素块提取特征；步骤2，将图像集中共有的显著性区域提取出来作 为目标前景，而将非显著性区域和具有显著性但不是该图像集中共有的区 域作为背景区域，其中采用低秩矩阵分解进行图像的显著性检测，采用逻 辑回归来选择共有的显著性区域作为最终的目标。

优选地，该方法进一步包括：步骤3，对于表示最终的目标的目标函 数，用增广拉格朗日乘子法和梯度下降法对目标函数进行快速优化求解， 对于给定初始值，利用梯度下降法对逻辑回归函数中的参数进行估计，进 而利用梯度下降法对目标前景的概率进行联合预测，然后根据获得的目标 前景概率，进一步指导低秩矩阵分解过程来进行图像显著性检测，在图像 显著性检测中通过增广拉格朗日乘子法求解，对这两个过程迭代优化，直 至目标函数收敛。

优选地，步骤2进一步包括：根据所提取的特征，在每幅图像上进行 低秩矩阵分解。

优选地，步骤3进一步包括：如果目标函数变化小于阈值，则输出超 像素块目标前景概率，获得目标前景图。

优选地，步骤3进一步包括：如果目标函数变化大于阈值，在目标前 景概率指导下，实现图像的显著性检测，根据显著性检测结果和逻辑回归 模型实现对目标前景概率联合预测，重新判断目标函数变化是否小于阈值， 如果小于，则输出超像素块目标前景概率，获得目标前景图，如果大于， 则继续在目标前景概率指导下，实现图像的显著性检测。

利用本发明提出的联合显著性检测与判别式学习的目标前景协同分 割方法，显著性检测的优点是可以有效地检测出图像中的显著性区域，从 而可以去除图像集合中一致性较强的背景区域的影响，然而并非每幅图像 中的显著性区域都是需要的目标区域，根据协同分割的思想，目标区域需 要重复地出现多幅图像中，因此，本发明引入判别式学习过程，对图像集 中的共有的显著性区域进行协同分割提取。而显著性检测过程和判别式学 习过程两者是相互影响，共同提升的过程。显著性检测过程的输出结果可 以对判别式学习过程提供指导，而判别式学习的输出结果又可以对图像的 显著性检测提供指导信息，本发明将显著性检测过程和判别式学习过程联 合到统一的框架下，进行联合优化，最终获得共有显著性区域作为协同分 割结果。针对上述优化过程，本发明提出了基于增广朗格朗日乘子法和梯 度下降法的联合优化算法。

附图说明

图1是本发明联合显著性检测与判别式学习的目标前景协同分割方法 的原理示意图；

图2是本发明联合显著性检测与判别式学习的目标前景协同分割方法 的详细流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图对本发明做进一步详细说明。

本发明提出了一种联合显著性检测与判别式学习的目标前景协同分 割方法，用以解决具有相似目标的多幅图像背景一致性较强的问题。最终 的目标区域是图像数据集中的共有显著性区域，而那些非显著性区域以及 具有显著性但非共有区域都将作为背景区域。本发明通过低秩矩阵分解可 以有效地检测显著性区域，去除背景一致性的影响，而判别式学习可以提 取出共有显著性区域。低秩矩阵分解与判别式学习过程在统一的框架下联 合优化，两者相互影响，共同提升。最终，可以获得共有显著性区域作为 目标前景区域。

为达到上述目的，本发明的基本思路是将图像的显著性检测与判别式 学习融合到统一的框架中，图像的显著性检测可以有效地去除背景区域一 致性的影响，而判别式学习部分可以有效地提取出共有显著性区域，而具 有显著性但非共有的区域和非显著性区域都将作为背景区域。本发明提出 联合低秩矩阵分解和逻辑回归（logistic regression）在统一的框架中，其中 低秩矩阵分解部分用于图像的显著性检测，而逻辑回归用于选择共有的显 著性区域作为最终的目标，本发明还提出了基于增广朗格朗日乘子法和梯 度下降法的联合优化算法对目标函数进行优化求解。

图1为本发明联合显著性检测与判别式学习的图像目标前景的协同分 割方法的原理示意图，参照图1，本发明的方法主要包括对图像进行过分 割处理、显著性检测以及判别式学习。

其中对图像进行过分割处理是指对于一个包含τ幅具有相同或者相似 目标前景的图像数据集，对第i幅图像进行过分割处理，第i幅图像获得N_i个超像素块。f_ij∈R^D代表第i幅图像第j个超像素块的特征表示，其中R代 表实数，D代表特征的维数，代表第i幅图像的特征 表示。代表第i幅图像中相应超像素块成为目标前景 的概率，通过最终的优化目标函数求得y_i（公式7）。

参照图1，对于一幅图像，背景区域通常位于低维空间中，而显著性区 域通常具有较强的内部一致性并且与背景区域有着较强的对比度。因此在 显著性检测过程中，可以采用低秩矩阵分解的方法来对图像显著性进行检 测，图像i可以表示为一个低秩矩阵和稀疏矩阵求和的形式，即F_i=L_i+S_i， 其中L_i为低秩矩阵，代表着第i幅图像背景区域；而S_i为稀疏噪声矩阵，代 表着第i幅图像显著性区域，稀疏噪声矩阵S_i中的第j列的1-范数 代表着相应超像素块的显著性程度，S_i(t,j)为图像i的 稀疏噪声矩阵S_i中第t行第j列对应的元素值，||S_ij||₁越大，对应的第j个超 像素块的显著性程度越高。

则单幅图像i的低秩矩阵分解过程可以表示为如下形式：

$(L_i^{*},S_i^{*})=\underset{L_i,S_i}{\min }\mathrm{rank}\left(L_i\right)+{\lambda \left|\right|S_i\left|\right|}_0---\left(1\right)$

s.t.F_i=L_i+S_i

其中rank(L_i)为矩阵L_i的秩，||S_i||₀为矩阵S_i非零元素的个数，λ为稀疏项 的权重系数，由于上述问题是非凸优化问题，没有有效的求解方法，因此 采用核范数和1-范数对上述问题进行松弛优化。获得如下松弛形式：

$(L_i^{*},S_i^{*})=\underset{L_i,S_i}{\min }{\left|\right|L_i\left|\right|}_{*}+{\lambda \left|\right|S_i\left|\right|}_1---\left(2\right)$

s.t.F_i=L_i+S_i

其中核范数σ_i为矩阵L_i的奇异值，矩阵S_i的1- 范数在目标函数（2）的框架中，可以自然地融合一 些先验知识，例如位置先验。融合先验知识的模型如下：

$(L_i^{*},S_i^{*})=\underset{L_i,S_i}{\min }{\left|\right|L_i\left|\right|}_{*}+{\lambda \left|\right|S_i\left|\right|}_1---\left(3\right)$

s.t.F_iP_i=L_i+S_i

其中代表第i个图像的每个超像素块的先验概率，由 于图像中间部分的目标对人们更有吸引力，因此本发明采用了以图像中心 为中心的高斯函数的位置先验进行平滑p(x)=exp(-d(x,c)/2σ²)，d(x,c)为超 像素块x与图像中心c的距离，δ=min(M,N)/2.5，M为图像的高，N为图像 的宽。采用位置先验可以有效地去除图像边缘附近的面积较小的显著性较 强的超像素块，这些面积较小的显著性块对于人类视觉来说多为噪声区域。

判别式学习的目的是将图像集中的共有显著性区域提取出来作为目标 前景，而将非显著性区域和具有显著性但非共有区域作为背景区域。本发 明采用逻辑回归函数来对超像素区域成为目标前景的概率进行预测。逻辑 回归函数如下：

$h\left(f_{\mathrm{ij}}\right)=\frac{1}{1+\exp (-{\theta }^T{f}_{\mathrm{ij}})}---\left(4\right)$

其中，θ为逻辑回归函数的模型参数，θ∈R^D+1，R代表实数，D代表特征 的维数，为方便优化求解，逻辑回归中的特征向量表示为增广向量形式， 即h(f_ij)表示第i幅图像第j个超像素块成为显著性区域的概率。 逻辑回归函数对应的损失函数形式如下：

$E_D=-\underset{i=1}{\overset{\tau }{\Sigma }}\underset{j=1}{\overset{N_i}{\Sigma }}[y_{\mathrm{ij}}\log \left(h\left(f_{\mathrm{ij}}\right)\right)+(1-y_{\mathrm{ij}})\log (1-h\left(f_{\mathrm{ij}}\right))]+{r\left|\right|\theta \left|\right|}^2---\left(5\right)$

其中||θ||²为防止模型学习过拟合而引入的正则项，r为正则项的权重。在参 数学习过程中，根据显著性检测的结果对y_ij进行初始化，利用随机梯度下 降法来对逻辑回归模型参数进行学习，其中具体 迭代优化过程为${\theta }^{t+1}={\theta }^t-{\alpha }_{\mathrm{step}1}\frac{{\mathrm{dE}}_D}{\mathrm{d\theta }},$α_step1为迭代更新步长。

按照以下方式来获得统一的目标的函数：

为了将低秩矩阵分解获得的显著检测结果与判别式项预测的目标前景 概率融合到统一框架下，本发明引入了正则项：

$E_R=\underset{i=1}{\overset{\tau }{\Sigma }}\underset{j=1}{\overset{N_i}{\Sigma }}{(y_{\mathrm{ij}}-{\alpha }_i{\left|\right|S_{\mathrm{ij}}\left|\right|}_1)}^2---\left(6\right)$

其中起到对第i图像的超像素块的显著性进行归一化的作 用。

正则项有以下三方面作用，（1）在逻辑回归学习过程中，通过设置E_R=0， 即利用最小化损失函数（公式5）可以完成对逻辑回归模型 参数的学习。（2）在预测过程中，逻辑回归函数与显著性检测结果通过 正则项实现对目标前景概率的联合预测。（3）在对图像显著性检测时， 目标前景概率将通过正则项对低秩矩阵分解提供指导信息。

最终，获得统一的目标函数如下：

$(L_i^{*},S_i^{*},y_i^{*})=\underset{L_i,S_i,y_i}{\min }\underset{i=1}{\overset{\tau }{\Sigma }}({\left|\right|L_i\left|\right|}_{*}+{\lambda \left|\right|S_i\left|\right|}_1)+{\mu }_1{E}_D+{\mu }_2{E}_R---\left(7\right)$

s.t.F_iP_i=L_i+S_i,i∈τ

其中μ₁为判别式项的权重系数，μ₂为正则项的权重系数，E_D为逻辑回归函 数对应的损失函数（公式5），E_R为正则项（公式6）。通过设置不同的 权重，可以获得不同的有代表性的模型，当μ₁,μ₂同时设置为0的时候， 目标函数退化为显著性检测模型（公式3）。分步优化过程，即利用显著 性检测结果对逻辑回归函数的参数学习，直接依据逻辑回归函数进行最终 目标前景概率预测也是统一目标函数（公式7）的一种特殊情况。

考虑到目标函数（公式7）是非凸函数，本发明采用现有的梯度下降法 和增广拉格朗日乘子法（Augmented Lagrange Multiplier,ALM）进行迭 代优化，其中模型参数可以通过交叉验证取得，经验参数如下，λ=0.07， μ₁=0.05，μ₂=1，r=10^-5。

图2为本发明的联合显著性检测与判别式学习的目标前景协同分割方 法的详细流程图，该方法包括以下各步骤：

步骤S200，对数据进行预处理，对每幅图像进行过分割处理，采用基 于均值漂移的经典图像分割方法，提取超像素块对应的特征向量 例如可以计算每个超像素块的D维颜色直方图特 征，对颜色空间进行划分为D个区域，计算第j个超像素块落在第k个区域 的像素数n_k，最终可以获得归一化的颜色直方图表示其中N_ij为第i个图像第j个超像素块的像素数。

步骤S210，根据公式（3）对单幅图像进行低秩矩阵分解，获得每幅图 像的显著性检测结果，利用非精确增广拉格朗日乘子法求解公式8即可， 在该步骤求解过程中参数μ₂=0。并利用该显著性检测结果对模型优化过程 进行初始化。

步骤S220，利用梯度下降法对逻辑回归函数的参数进行估计，通过设 置E_R=0，即y_ij=α_i||S_ij||₁，对公式（5）利用梯度下降法可以 获得逻辑回归函数的模型参数，具体迭代优化过程为 θ^t+1=θ^t-α_step1{[h(f_ij)-y_ij]f_ij+2rθ^t}，当θ变化小于一定阈值时，迭代 过程结束，α_step1为迭代更新步长。

步骤S230，在获得逻辑回归模型的参数后，可以根据逻辑回归函数以 及显著性检测结果通过正则项实现对每个超像素块成为目标前景的概率 y=[y₁,y₂,...,y_τ]进行预测，其中F=[F₁,....,F_τ]，F为整个图像集 图像的特征表示，$\frac{{\mathrm{dE}}_R}{\mathrm{dy}}=2(y-s),$$S=[{\alpha }_1{\left|\right|S_{11}\left|\right|}_1,{\alpha }_1{\left|\right|S_{12}\left|\right|}_1...,{\alpha }_{\tau }{\left|\right|S_{\tau N_{\tau }}\left|\right|}_1].$具体迭代 优化过程为$y^{t+1}=y^t-{\alpha }_{\mathrm{step}2}({\mu }_1\frac{{\mathrm{dE}}_D}{\mathrm{dy}}+{\mu }_2\frac{{\mathrm{dE}}_R}{\mathrm{dy}}),$当y变化小于一定阈值时，迭代 过程结束，α_step2为迭代更新步长。

步骤S240，判断目标函数（公式7）函数变化是否小于一定阈值，如 果是执行步骤S260，如果不是，执行步骤S250,S220,S230。

步骤S250，当目标函数变化超过一定阈值时，在获得图像i中超像素块 作为目标前景的概率y_i后，通过正则项可以进一步指导低秩矩阵分解过程， 利用增广拉格朗日乘子法对低秩矩阵分解过程的目标函数进行优化，低秩 矩阵分解过程的目标函数如下：

$(L_i^{*},S_i^{*})=\underset{L_i,S_i}{\min }{\left|\right|L_i\left|\right|}_{*}+{\lambda \left|\right|S_i\left|\right|}_1+\mathrm{tr}\left(Y^T(F_i{P}_i-L_i-S_i)\right)+\frac{\beta }{2}{\left|\right|F_i{P}_i-L_i-S_i\left|\right|}_F^2+{\mu }_2\underset{j=1}{\overset{N_i}{\Sigma }}{(y_{\mathrm{ij}}-{\alpha }_i{\left|\right|S_{\mathrm{ij}}\left|\right|}_1)}^2---\left(8\right)$

其中Y为拉格朗日乘子，β为惩罚因子，对于矩阵A，F-范数为 ||A||_F=∑_i∑_j|A_ij|²，tr(□)为矩阵的迹，为了提高计算效率，本发明采用了非 精确增广拉格朗日乘子法对公式（8）进行优化，优化过程包括步骤：

步骤1，输入特征矩阵F_i，先验矩阵P_i，目标前景概率y_i；参数λ，β=10^-6， β_max=10⁶，μ₂，α_i，D。

步骤2，初始化，其中J(Y)=max(||Y||₂,λ^-1||Y||_∞)，λ₁为Y^TY的最大特征值，||Y||_∞=max_i,j|Y(i,j)|，|Y(i,j)|代表矩阵Y中第i行第j列 元素。

步骤3，$(U,\Sigma ,V)=\mathrm{svd}(F_i{P}_i-S_i^k+{\left({\beta }^k\right)}^{-1}{Y}^k).$

步骤4，$L_i^{K+1}={\mathrm{UT}}_{{\left({\beta }^k\right)}^{-1}}\left[\Sigma \right]V^T$

步骤5，$ϵ=\frac{\lambda -{2\alpha }_i{\mu }_2{y}_n+{2\alpha }_i^2{\mu }_2{\Sigma }_{t=1,\ne m}^D\left|S_i(t,n)\right|}{\beta +{2\alpha }_i^2{\mu }_2}$

步骤6，$x=\frac{\beta }{\beta +{2\alpha }_i^2{\mu }_2}(F_i{P}_i-L_i^{k+1}+{\left({\beta }^k\right)}^{-1}{Y}^k)$

步骤7，$S_i^{k+!}(m,n)=T_{ϵ}\left[x(m,n)\right]$

步骤8，$Y^{k+1}=Y^k+{\beta }^k(F_i{P}_i-L_i^{k+1}-S_i^{k+1})$

步骤9，β^K+1=min(ρβ^k,β_max)

步骤10，k←k+1

步骤11，当大于一定阈值时，执行步骤3，否则执行步 骤12。

步骤12，输出：

其中，

步骤S260，输出超像素块作为目标前景的概率y。根据y=[y₁,y₂,...,y_τ]， 可以获得第i幅图像中相应超像素块成为目标前景的概率y_i。

步骤S270，对第i幅图像的前景概率y_i进行归一化处理，

根据第i幅第j个超像素块作为前景的概率y_ij，获得 第i幅图像目标前景的灰度图像，第j个超像素块中像素的灰度值为 I_ij=255*y_ij，进而可以求得阈值M为图像的高度， N为图像的宽度，I_i(m,n)为第i幅图像第m行第n列像素的灰度值。根据阈 值进行二值化操作，当像素点的灰度值超过阈值时，该像素将作为目标前 景像素点，最终获得每幅图像的目标前景。

利用本发明的方法可以有效地解决协同分割过程中一致性背景的问 题，而传统方法的基本假设是同时出现在图像集中的区域为目标前景区域， 当图像集中的背景区域具有较强一致性的时候，背景也将被误分为目标前 景。本发明联合显著性检测与判别式学习的统一目标函数,能够将显著性检 测过程与目标前景判别过程联合到统一的框架中，两者相互影响，共同促 进提升。其中显著性检测过程基于低秩矩阵分解算法实现。在单幅图像中， 背景区域通常分布在低维空间中，而显著性区域通常具有较强的内部一致 性并且与背景区域有着较强的对比度，因此可以采用低秩矩阵分解的方法 来对图像显著性进行检测；目标前景判别过程通过基于逻辑回归的判别式 学习方法来实现，将图像集中共有的显著性区域提取出来作为目标前景， 而将非显著性区域和具有显著性但不是该图像集中共有的区域作为背景 区域，本发明采用逻辑回归函数对超像素区域成为目标前景的概率进行预 测；同时引入正则项，将上述两个过程有机地结合起来，联合到统一的框 架下，获得最终的目标函数。本发明用增广拉格朗日乘子法和梯度下降法 对目标函数进行快速优化求解，对于给定显著性检测结果，可以利用梯度 下降法对逻辑回归函数中的参数进行估计，进而可以利用梯度下降法对目 标前景的概率进行联合预测；然后根据获得的目标前景概率，可以进一步 指导低秩矩阵分解过程来进行图像显著性检测，该部分通过增广拉格朗日 乘子法求解；上述两个过程迭代优化，直至目标函数收敛。本发明可以得 到原始问题的次优解。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已， 并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。