一种用于多前景共分割的前景谱图生成方法

摘要

本发明公开了一种用于多前景共分割的前景谱图生成方法，属于数字图像处理领域。本发明首先对图像组的各图像进行对象分割；基于对象构建有向图，有向图中的每一个顶点表示一个对象，以任一顶点为始点，存在与其对象最相似的K条有向边，且属于同一图像的顶点补连接，基于同一始点的不同有向边所对应的各终点属于不同的图像；接着对有向图进行有向图聚类，得到多类前景信息；分别求取各类前景信息的前景概率，基于景概率获取对象概率值；最后基于各图像的各像素点所在的对象，将对象的概率值赋予各像素点，若一个像素点对应多个对象，则将最大的概率值赋予该像素点，从而得到对应的前景谱图。本发明的应用，其自适应能力强，准确率高。

说明书

技术领域

本发明属于图像处理技术领域，特别涉及对数字图像的多前景共分割处理方法。

背景技术

数字图像共分割旨在从包含某一共同对象的多幅图像中分割出共同的前景对象。该方法是一种针对多幅图像的分割方法，相对于单幅图像的分割方法，其人工参与程度低，分割结果更准确，应用领域更广。到目前为止，已有多种共分割方法被提出，用于解决各种实际问题。其中一个难点是如何在原始图像拥有多个共同对象时实现多个共同对象的共分割。

对多类前景的共分割是假设某一组图像包含多个共同前景。其中的某一幅图像包含某一个或多个前景。多类前景的共分割方法旨在从该组图像中分割出所有的前景信息。相对于单类前景的共分割问题，多类前景的共分割需要建立多个类的前景信息，因此多类前景的共分割方法实现更困难。

现有的多前景的共分割方法主要是采用热扩散分割方法实现前景的共分割。该方法存在的问题是热扩散分割效果较差，无法满足实际的需要。同时这些模型需要训练样本的参与以完成前景信息的获取，限制了实际的应用空间。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种用于多前景共分割的前景谱图生成方法，以提高多前景共分割处理的自适应性、准确性。

本发明的用于多前景共分割的前景谱图生成方法，包括下列步骤：

对图像组的各图像进行对象分割；

基于得到的对象构建第一向图，有向图中的每一个顶点表示一个对象，以任一顶点为始点，存在K条有向边，所对应的终点为与该始点所表示的对象最相似的K个对象所对应的顶点；且且属于同一图像的顶点之间不存在有向边，基于同一始点的不同有向边所对应的各终点属于不同的图像；

对第一有向图进行有向图聚类，得到多类前景信息；

分别求取各类前景信息的前景概率，基于所述前景概率获取对象概率值；

基于各图像的每个像素点所在的对象，将对象的概率值赋予各像素点，若一个像素点对应多个对象，则将最大的概率值赋予该像素点，生成各图像的前景谱图。

针对现有的有向图聚类的不足，本发明对有向图的聚类进行了改进，即对第一有向图进行有向图聚类的过程为：

（1）生成前景信息：

获取第一有向图中具有最大入度的顶点u，当顶点u的入度大于设定阈值T时，获取与u存在有向边的所有终点，记为第一顶点集合；

将第一有向图中的有向边反向，得到第二有向图，在所述第二有向图中获取与所述顶点u存在有向边的所有终点，记为第二顶点集合；

由第一顶点集合和第二顶点集合的交集构成当前类前景信息；

（2）对第一有向图进行更新：删除以当前类前景信息中各顶点为终点的有向边；

（3）基于更新后的第一有向图，重复步骤（1）和（2），得到各类前景信息，直到有向图中的最大入度小于或等于设定阈值T。

综上所述，由于采用了上述技术方案，本发明的有益效果是：自适应能力强，结果准确率高，处理速度快。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的实现流程图；

图2是本发明的有向图示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

参见图1，对输入的一组图像，基于对象分割方法分别将图像I_l,l＝1,…,M分割为对象的集合其中N_l是图像I_l对应的对象的数量。对象分割的方法可以采用现有任一方法，在本具体实施方式中，选用文献“Fanman Meng,Hongliang Li,Guanghui Liu,and King NgiNgan.Object co-segmentation based on shortest path algorithm and saliency model.IEEETransactions on Multimedia,14(5):1429–1441,Oct.2012”所公开的基于最短路径和显著模型的对象共分割方法。

基于分割得到的各图像的对象P^l，构建有向图G。所构建的有向图G中的每一个顶点v_lm代表对象，其中l＝1,…,M，m＝1,…,N_l，各顶点之间由有向边e连接，顶点v_lm、v_pq的连接表示为e＝(v_lm,v_pq)，方向从节点v_lm指向v_pq，如图2所示。对于任一顶点v_lm，其只指向与其最相似的K个（其具体取值取决于实际应用需求）对象所对应的顶点，同时，连接需要满足如下约束：

（1）属于同一图像的顶点之间不存在有向边，即有向边e＝(v_lm,v_pq)中，l≠p；

（2）基于同一始点的不同有向边所对应的各终点属于不同的图像，即对两条有向边e＝(v_lm,v_pq)和e'＝(v_lm,v_p'q')，有p≠p'。

对第一有向图进行有向图聚类，得到多类前景信息，有向图聚类的具体方法可以是现有的任一方式，也可以是基于本发明提出的新有向图聚类方法，其具体实现过程为：

S100：求取每一个顶点的入度，记当前最大入度的顶点为u，即u＝argmax_udeg^-(u)，其中deg^-(u)表示顶点u的入度；

S200：判断deg^-(u)是否大于设定阈值T，若是，则执行步骤（3）；若否，则结束有向图聚类操作；

S300：通过深度优先搜索算法，获取以顶点u为始点的各有向边的终点，记为顶点集合D⁺(u)，其中T为预设阈值，具体取值取决于实际应用需求；

S400：将有向图G中的各有向边反向，得到有向图在有向图中，通过深度优先搜索算法，获取以顶点u为始点的各有向边的终点，记为顶点集合D^-(u)；

S500：获取顶点集合S_k＝D⁺(u)∩D^-(u)，得到第k类前景信息，即记第k类前景信息为S_k。具体实现时，k初始化为1，每获取一次S_k，k自加1；

S600：对构建的有向图G进行更新：删除以S_k中各顶点为终点的有向边，即设置S_k中所有顶点的入度为0；基于更新后的有向图G，继续执行步骤S100。

通过上述步骤，获取到多类前景信息其中N_S为聚类的集合数量。

基于第i类前景信息S_i（i＝1,2,...,N_s）分别求取对应的前景信息C_i，可以采用现有的或本发明的下述具体方法：

取第i类前景信息S_i的各对象的显著值的累加值，与所述S_i的对象个数之比为第i类前景概率C_i，用公式表示为：其中R_lm为对象的显著值，表示S_i中的各关联对象，|S_i|表示集合S_i中元素的个数。

基于各类前景概率获取对象概率值，可以采用现有的或本发明的下述具体步骤：

（1）对每个集合求取其每个对象的颜色直方图特征，组合生成矩阵为其中N_i为集合S_i中的元素数量，对矩阵H基于下述公式进行低秩分解：

$>\underset{L,E}{\min }=\mathrm{rank}\left(L\right)+\lambda {\left|\right|E\left|\right|}_0$>

s.t.H＝L+E

其中，L为低秩矩阵，E为误差矩阵，rank(L)为矩阵L的秩，||·||₀表示0笵数，λ表示低秩分解中低秩矩阵与误差矩阵的平衡参数。

记误差矩阵E中各列元素之和最小的列为i^*，取矩阵列向量为S_i的颜色直方图特征A_i，即

（2）基于公式b_ij＝d(f_ij,A_{min_k})×C_{min_k}求取各对象概率值b_ij，其中所述b_ij表示第i类前景信息S_i中的第j个对象O_ij的对象概率值，i＝1,2,...,N_s；f_ij为对象O_ij的颜色直方图特征；函数$>d(x,y)=\underset{a=1}{\overset{\beta }{\Sigma }}\min (f_x\left(a\right),f_y\left(a\right)),$>其中β为颜色直方图特征的长度；min_k为函数d(f_ij,A_k)在N_s类前景信息中，取得最小值时所对应的类别；A_{min_k}、A_k分别表示对应类别前景信息的颜色直方图特征。

最后，基于各图像的每个像素点所在的对象，将对象的概率值赋予各像素点，若一个像素点对应多个对象，则将最大的概率值赋予该像素点，生成各图像的前景谱图。

实施例

步骤一：多各图像进行对象的分割，基于对象构建有向图；

步骤二：基于构建的有向图进行有向图聚类，得到多类前景信息

步骤三：基于各S_i，求取对应的前景概率C_i；

步骤四：基于对应的前景概率，根据公式b_ij＝d(f_ij,A_{min_k})×C_{min_k}获取对象概率值b_ij；

步骤五：基于对象概率值得到各图像的前景谱图；

步骤六：在获取前景谱图后，将前景谱图作为马儿可夫随机场分割中的一元项，接着采用graph-cuts算法分割出对象，具体的分割过程可参考文献“Y.Y.Boykov andM.P.Jolly,”Interactive graph cuts for optimal boundary & region segmentation of objects inn-dimages,”in International Conference on Computer Vision,2001”公开的基于图割的交互式图像分割方法。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。