首页> 中国专利> 一种基于先验模型约束的抗干扰轮廓跟踪方法

一种基于先验模型约束的抗干扰轮廓跟踪方法

摘要

本发明提供一种基于先验模型约束的抗干扰轮廓跟踪方法,该方法采用SLIC算法和均值漂移聚类算法建立待跟踪视频图像的初始先验模型作为目标模型,采用目标模型的目标特征分布对当前帧图像进行水平集演化,采用SLIC算法和均值漂移聚类算法确定当前帧图像的目标区域,并根据当前图像遮挡情况进行先验模型的更新;本发明方法去除了图像跟踪过程中图像中非目标信息的干扰,使得先验模型对目标的描述更准确。保证模型的准确性。

著录项

  • 公开/公告号CN106780564A

    专利类型发明专利

  • 公开/公告日2017-05-31

    原文格式PDF

  • 申请/专利权人 辽宁工程技术大学;

    申请/专利号CN201710071152.4

  • 申请日2017-02-09

  • 分类号G06T7/246(20170101);G06T7/11(20170101);G06K9/62(20060101);

  • 代理机构沈阳东大知识产权代理有限公司;

  • 代理人梁焱

  • 地址 125105 辽宁省葫芦岛市龙湾南大街188号

  • 入库时间 2023-06-19 02:24:43

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-05-14

    授权

    授权

  • 2017-06-23

    实质审查的生效 IPC(主分类):G06T7/246 申请日:20170209

    实质审查的生效

  • 2017-05-31

    公开

    公开

说明书

技术领域

本发明属于计算机视觉技术领域,具体涉及一种基于先验模型约束的抗干扰轮廓跟踪方法。

背景技术

目标跟踪技术自提出以来一直是计算机视觉研究领域的热点问题之一,可以简单的定义为估计目标物围绕一个特定场景作规则或不规则运动时,在图像平面留下的一系列运动轨迹。即通过对视频序列中的物体做一系列的提取、识别、分类操作,获得其形态、位置、轮廓等信息。再利用配准技术做分析处理完成对感兴趣物体的跟踪。作为一个热门的研究领域,目标跟踪融合了多个领域中的一些先进技术。如图形图像处理、目标检测、行为感知等。由于许多高性能计算机的出现,摄影机、监控器的普及,对监控防护视频图像的分析处理的需求,使得越来越多的人关注目标跟踪。

目标跟踪是计算机视觉领域的重要组成部分,在智能交通、机器人视觉、运动捕捉等方面有着广泛的应用。近几年专家学者提出了许多优秀的目标跟踪算法以避免光照变化、目标形变、局部遮挡(甚至全局遮挡)、复杂背景等因素的影响。而跟踪算法如何处理目标轮廓变化是目标跟踪领域的热点问题之一。

由于水平集能够较好地优化目标的拓扑结构,许多研究人员利用水平集方法进行目标的轮廓提取、跟踪。Freedman和Zhang:分别利用Bhattacharyya距离和Kullback-Leibler距离确定目标的布局,从而定位出最佳候选区域。在此基础上,两人结合前景/背景匹配流提出组合流法(combination flow method)。但这两种算法依赖于初始目标的选取,当初始轮廓与物体的实际轮廓差异较大时,算法需要多次迭代才能收敛。Chiverton等人提出基于学习模型的在线轮廓跟踪算法,通过初始目标的形态建立先验目标模型,利用目标模型约束轮廓跟踪过程。Ning等人通过初始圈定目标的形态信息建立先验模型,采用水平集方法隐式表示前景/背景区域的目标信息,通过Bhattacharyya相似性度量确定前景/背景中目标的分布区域,实现较为准确的跟踪。Rathi等人在粒子滤波的框架下,采用几何活动轮廓模型对目标发生形变、快速运动进行跟踪,该算法不仅能够获取目标仿射变换,而且还能较准确地估计目标的非仿射变换。

但上述五种方法存在以下几点问题:复杂背景问题:当视频图像中发生光照变化、图像中静态物体变为运动物、运动目标变为恒定不动的物体时,利用背景做减法容易造成视频图像序列中的前景与背景无法区分。如果在图像序列其后的几帧甚至几十帧中始终维持静止,算法就要实时准确地更新背景模型,从而重新划分图像中的前景信息和背景信息保证检测前景信息的准确性。与此同时,当图像中有小区域性无关扰动时,如:枝叶的摆动、车辆启动、风扇的转动,都会导致前景和背景区域的紊乱。如今,研究人员对复杂背景有了新的解释,如地铁站中,不仅会发生灯光明亮十分明显的变化、多个物体随机性移动、障碍物与目标发生局部、甚至全局遮挡,而且背景信息中还包含与目标及其相似的物体的干扰给跟踪算法带来许多困难。有时在前景区域中,当目标的一些特征与其周围环境特征较为相似时,在目标检测过程中出现目标不连续,这也将加大目标跟踪算法的跟踪难度。

目标形变问题:实际跟踪时目标通常为非刚性物体,随着跟踪的不断深入目标自身形态发生变化,目标跟踪以目标的识别和匹配为前提,当目标处于形变状态时能否重新识别目标是一个需要解决的问题。若识别失败则很难再准确匹配目标特征,直接导致目标丢失。一般来说,目标的形变较为复杂、没有规律性,给跟踪带来一定程度的困难。

目标遮挡问题:目标遮挡通常分为:目标位置不发生改变,遮挡物对目标进行局部遮挡;当障碍物固定不变时,目标位置发生变化。对于目标遮挡,跟踪算法通常需要注意几个问题:被遮挡目标的位置区域、目标被遮挡的面积大小、遮挡时间的长短、目标特征与遮挡物的特征相似等。当目标受到大面积或长时间遮挡时,如果不及时地进行模型更新很容易导致跟踪漂移。如果目标与遮挡物的表观特征相似,跟踪时会将遮挡物同样作为目标被标定,当遮挡物运动远离目标时跟踪框也会随着遮挡物运动,这样就使得跟踪成功率降低。

目标旋转问题:目标旋转通常分面内旋转和面外旋转,这两种旋转都会导致目标的外观模型发生改变。面内旋转是当运动目标旋转发生在平行于摄像头的二维平面内时,区别于整体平面的运动,目标发生旋转时往往导致图像帧中的每个像素点的运动轨迹都有所差异,因此不能将目标看做一个整体做运动。一般情况下,在内存中图像按行(列)以矩阵的方式存储,当发生旋转时需要利用仿射变换模型引入新的参数来描述这种变化,并重新调整目标位置。面外旋转是指当运动目标旋转发生在不平行于摄像头的二维平面内时,跟踪是在三维空间内进行的,而使用二维图像的处理方式往往造成目标的局部特征丢失,通过三维立体建模的方式得到其余数据,增加了算法实现的难度。

发明内容

针对现有技术的不足,本发明提出一种基于先验模型约束的抗干扰轮廓跟踪方法。

本发明的技术方案是:

一种基于先验模型约束的抗干扰轮廓跟踪方法,包括以下步骤:

步骤1:读取待跟踪视频图像序列,将前T1帧待跟踪视频图像序列作为训练图像序列;

步骤2:采用EMD模型匹配算法确定训练图像序列的目标区域,采用SLIC算法和均值漂移聚类算法建立待跟踪视频图像的初始先验模型;

步骤2.1:标定出当前训练图像序列中第一帧图像的目标区域;

步骤2.2:采用EMD模型匹配算法跟踪当前训练图像序列,确定当前训练图像序列中的初始目标区域;

步骤2.3:对当前训练图像序列中的初始目标区域进行拓展,采用SLIC算法对当前训练图像序列的扩展区域进行超像素分割,得到当前训练图像的训练样本集;

步骤2.3.1:对当前训练图像序列中的初始目标区域进行拓展:以当前训练图像序列中的初始目标区域的中心为中心点,以其初始目标区域对角线的K倍作为对角线长度对各帧图像的初始目标区域进行扩展,得到当前训练图像的扩展区域,所述当前训练图像的扩展区域包括目标区域和背景区域;

步骤2.3.2:利用SLIC算法对当前训练图像的扩展区域进行超像素分割,获得各帧图像扩展区域的Nt个超像素块,将各帧图像的Nt个超像素块作为训练样本,构成当前训练图像的训练样本集,其中,t=1,...,T1

步骤2.4:利用均值漂移聚类算法建立当前训练样本集的超像素块的簇集合,对超像素块的簇集合进行目标区域划分,得到属于目标区域的各个聚类簇clst(i),即得到待跟踪视频图像的初始先验模型,其中,i=1,...,n,n为当前训练图像的训练样本集聚类簇个数;

步骤2.4.1:对当前训练图像的训练样本集中的所有超像素块进行聚类,获得n个聚类簇,得到当前训练样本集的超像素块的簇集合;

步骤2.4.2:判断各个聚类簇clst(i)所属当前训练图像的区域:若聚类簇clst(i)的S(i)个超像素块均属于目标区域,则该聚类簇clst(i)属于目标区域,执行步骤2.4.4,若聚类簇clst(i)的S(i)个超像素块均属于背景区域,则该聚类簇clst(i)属于背景区域,执行步骤2.4.4,否则,执行步骤2.4.3,其中,i=1,...,n;

步骤2.4.3:计算聚类簇clst(i)的置信度若聚类簇clst(i)的置信度大于0,则该聚类簇clst(i)属于目标区域,执行步骤2.4.4,否则,该聚类簇clst(i)属于背景区域,执行步骤2.4.4;

所述当前训练样本集的超像素块的聚类簇clst(i)的置信度的计算公式如下所示:

其中,Y(i)为第i聚类簇中属于当前训练样本集的目标区域的超像素块个数,E(i)为第i聚类簇中属于当前训练样本集的背景区域的超像素块个数,S(i)=Y(i)+E(i);

步骤2.4.4:得到属于目标区域的各个聚类簇clst(i),即待跟踪视频图像的初始先验模型。

步骤3:读取第T1+1帧待跟踪视频图像序列作为当前第t′帧图像,其中,t′=T1+1,...,T,T为待跟踪视频图像序列个数;

步骤4:将待跟踪视频图像的初始先验模型作为初始目标模型,基于特征空间函数确定初始目标模型的目标特征分布;

步骤4.1:将待跟踪视频图像的初始先验模型作为初始目标模型,建立初始目标模型的目标特征灰度直方图;

步骤4.2:选取初始目标模型的目标特征中的m个特征,采用特征空间函数对初始目标模型的像素集合{pixeli’}中各个像素点pixeli’进行量化处理,得到初始目标模型的目标特征分布,其中,i′∈1,...n′,n′为初始目标模型中像素点总数。

步骤5:采用当前目标模型的目标特征分布对当前第t′帧图像进行水平集演化,得到当前第t′帧图像的目标候选区域,采用SLIC算法和均值漂移聚类算法确定当前第t′帧图像的目标区域,并计算当前第t′帧图像的目标区域置信度Ct′

步骤5.1:采用当前目标模型的目标特征分布对当前第t′帧图像进行水平集演化,得到当前第t′帧图像与当前目标模型相匹配的候选区域,作为当前第t′帧图像的目标候选区域;

步骤5.2:对当前第t′帧图像的目标候选区域进行拓展,采用SLIC算法对当前第t′帧图像的扩展区域进行超像素分割,得到当前第t′帧图像的超像素块;

步骤5.2.1:对当前第t′帧图像的目标候选区域进行拓展:以当前第t′帧图像的目标候选区域的中心为中心点,以其目标候选区域对角线的K倍作为对角线长度对当前第t′帧图像的目标候选区域进行扩展,得到当前第t′帧图像的扩展区域,所述当前第t′帧图像的扩展区域包括目标区域和背景区域;

步骤5.2.2:利用SLIC算法对当前第t′帧图像的扩展区域进行超像素分割,获得当前第t′帧图像扩展区域的Nt′个超像素块。

步骤5.3:利用均值漂移聚类算法建立当前第t′帧图像的扩展区域的超像素块的簇集合,对超像素块的簇集合进行目标区域划分,得到属于当前第t′帧图像的目标区域的各个聚类簇clst(it′),即得到当前第t′帧图像的目标区域,并计算当前第t′帧图像的目标区域置信度Ct′

步骤5.3.1:当前第t′帧图像的扩展区域的所有超像素块进行聚类,获得nt′个聚类簇,得到当前第t′帧图像的超像素块的簇集合;

步骤5.3.2:判断当前第t′帧图像的各个聚类簇clst(it′)所属当前第t′帧图像的区域:若聚类簇clst(it′)的S(it′)个超像素块均属于目标区域,则该聚类簇clst(it′)属于目标区域,执行步骤5.3.4,若聚类簇clst(it′)的S(it′)个超像素块均属于背景区域,则该聚类簇clst(it′)属于背景区域,执行步骤5.3.4,否则,执行步骤5.3.3,其中,it′=1,...,nt′

步骤5.3.3:计算聚类簇clst(it′)的置信度若聚类簇clst(it′)的置信度大于0,则该聚类簇clst(it′)属于目标区域,执行步骤5.3.4,否则,该聚类簇clst(it′)属于背景区域,执行步骤5.3.4;

所述当前第t′帧图像的聚类簇clst(it′)的置信度的计算公式如下所示:

其中,Y(it′)为第it′聚类簇中属于当前第t′帧图像的目标区域的超像素块个数,E(it′)为第it′聚类簇中属于当前第t′帧图像的背景区域的超像素块个数,S(it′)=Y(it′)+E(it′);

步骤5.3.4:得到属于当前第t′帧图像的目标区域的各个聚类簇clst(it′),即当前第t′帧图像的目标区域;

步骤5.3.5:累计当前第t′帧图像的目标区域中大于0的聚类簇clst(it′)置信度,得到当前第t′帧图像的目标区域置信度Ct′

步骤6:根据当前第t′帧图像的目标区域置信度Ct′判断当前第t′帧图像是否发生遮挡,并根据其遮挡情况,确定当前第t′帧图像的初始目标轮廓,对当前第t′帧图像的初始目标轮廓进行水平集演化,得到当前第t′帧图像的精准目标轮廓;

步骤6.1:计算当前第t′帧图像的遮挡参数θt′,若当前第t′帧图像的遮挡系数θt′小于遮挡阈值θ0,则当前第t′帧图像的目标区域发生遮挡,执行步骤6.2,否则,执行步骤6.3;

所述当前第t′帧图像的遮挡参数θt′的计算公式如下所示:

步骤6.2:将当前目标模型与当前第t′帧图像的目标区域的交集作为当前第t′帧图像的初始目标轮廓,执行步骤6.4;

步骤6.3:将当前目标模型作为当前第t′帧图像的初始目标轮廓;

步骤6.4:对当前第t′帧图像的初始目标轮廓进行水平集演化,得到当前第t′帧图像的精准目标轮廓;

步骤7:判断当前图像帧数t′是否达到待跟踪视频图像序列个数T,若是,执行步骤11,否则,执行步骤8;

步骤8:根据当前第t′帧图像的目标区域置信度Ct′判断当前第t′帧图像是否发生严重遮挡,并根据其遮挡情况,对当前待跟踪视频图像的先验模型进行更新;

步骤8.1:若当前第t′帧图像的遮挡系数θt′小于严重遮挡阈值θ1,则当前第t′帧图像的目标区域发生严重遮挡,执行步骤8.2,否则,执行步骤8.4;

步骤8.2:将当前第t′帧图像替换当前待跟踪视频图像的先验模型中第t′-1帧图像,并在当前t′帧图像目标区域的聚类簇中选取补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇,得到更新的待跟踪视频图像的先验模型的目标区域的聚类簇;

步骤8.3:计算更新的待跟踪视频图像的先验模型的目标区域的聚类簇的置信度,得到更新后的待跟踪视频图像的先验模型,执行步骤9;

步骤8.4:判断当前图像帧数t′是否为k的倍数,若是,则将当前第t′帧图像的精准目标轮廓替换当前训练图像序列的第一帧图像,更新训练图像序列,执行步骤8.5,否则,执行步骤8.6;

步骤8.5:采用SLIC算法和均值漂移聚类算法确定更新的训练图像序列的目标区域,建立更新后的待跟踪视频图像的先验模型,执行步骤9;

步骤8.6:将当前待跟踪视频图像的先验模型作为更新后的待跟踪视频图像的先验模型;

步骤9:令t′=t′+1作为当前第t′帧图像;

步骤10:将更新后的待跟踪视频图像的初始先验模型作为当前目标模型,基于特征空间函数确定当前目标模型的目标特征分布,返回步骤5。

步骤10.1:将更新后的待跟踪视频图像的初始先验模型作为当前目标模型,建立当前目标模型的目标特征灰度直方图;

步骤10.2:采用特征空间函数对当前目标模型的像素集合{pixeli″}中各个像素点pixeli″进行量化处理,得到当前目标模型的候选目标特征分布,其中,i″∈1,...n″,n″为当前目标模型中像素点总数;

步骤10.3:根据当前目标模型的候选目标特征分布和当前目标模型的目标特征分布进行加权融合,得到更新后的当前目标模型的目标特征分布,返回步骤5;

所述当前目标模型的目标特征分布的更新公式如下:

其中,qt′为当前目标模型的候选目标特征分布,q为当前目标模型的目标特征分布,为更新后的当前目标模型的目标特征分布,a为更新权重。

步骤11:得到待跟踪视频图像序列的跟踪结果。

所述在当前t′帧图像目标区域的聚类簇中选取补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇的原则为:

若当前第t′帧图像目标区域的聚类簇个数大于m,则任意选取m个聚类特征作为补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇,否则,将当前第t′帧图像所有目标区域的聚类簇作为补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇。

本发明的有益效果:

本发明提出一种基于先验模型约束的抗干扰轮廓跟踪方法,本发明方法通过建立训练样本集聚类构建的目标先验模型,除去图像中非目标信息的干扰,使得先验模型对目标的描述更准确。在轮廓提取的过程中引入决策判定方法,用来判断是否需要引入先验模型。若需要,则在水平集分割的过程中融合在形状子空间和颜色空间的演化结果。在模型更新中对目标是否发生严重遮挡作判断,提出一种新的在线模型更新算法,在特征集中加入适当特征补偿,保证模型的准确性。

附图说明

图1为本发明具体实施方式中基于先验模型约束的抗干扰轮廓跟踪方法的流程图;

图2为本发明具体实施方式中当前训练图像序列中第一帧图像的目标区域;

图3为本发明具体实施方式中当前训练图像的扩展区域;

图4为本发明具体实施方式中当前训练图像的扩展区域超像素分割图;

图5为本发明具体实施方式中待跟踪视频图像的初始先验模型;

图6为本发明具体实施方式中当前第t′帧图像的精准目标轮廓图;

图7为本发明具体实施方式中无形状约束的轮廓跟踪算法、形状约束无特征补偿的轮廓跟踪算法以及本发明方法跟踪不同帧数下图像的中心误差的示意图;

图8为DMLS算法对视频图像进行跟踪的结果;

其中,(a)为DMLS算法对视频图像进行跟踪的第2帧的结果;

(b)为DMLS算法对视频图像进行跟踪的第59帧的结果;

(c)为DMLS算法对视频图像进行跟踪的第98帧的结果;

(d)为DMLS算法对视频图像进行跟踪的第127帧的结果;

(e)为DMLS算法对视频图像进行跟踪的第159帧的结果;

图9为LDM算法对视频图像进行跟踪的结果;

其中,(a)为LDM算法对视频图像进行跟踪的第2帧的结果;

(b)为LDM算法对视频图像进行跟踪的第59帧的结果;

(c)为LDM算法对视频图像进行跟踪的第98帧的结果;

(d)为LDM算法对视频图像进行跟踪的第127帧的结果;

(e)为LDM算法对视频图像进行跟踪的第159帧的结果;

图10为JRACS算法对视频图像进行跟踪的结果;

其中,(a)为JRACS算法对视频图像进行跟踪的第2帧的结果;

(b)为JRACS算法对视频图像进行跟踪的第59帧的结果;

(c)为JRACS算法对视频图像进行跟踪的第98帧的结果;

(d)为JRACS算法对视频图像进行跟踪的第127帧的结果;

(e)为JRACS算法对视频图像进行跟踪的第159帧的结果;

图11为本发明算法对视频图像进行跟踪的结果;

其中,(a)为本发明算法对视频图像进行跟踪的第2帧的结果;

(b)为本发明算法对视频图像进行跟踪的第59帧的结果;

(c)为本发明算法对视频图像进行跟踪的第98帧的结果;

(d)为本发明算法对视频图像进行跟踪的第127帧的结果;

(e)为本发明算法对视频图像进行跟踪的第159帧的结果。

具体实施方式

下面结合附图对本发明具体实施方式加以详细说明。

本实施方式的计算机环境:CPU为Intel Core i7,内存为16GB。

一种基于先验模型约束的抗干扰轮廓跟踪方法,如图1所示,包括以下步骤:

步骤1:读取待跟踪视频图像序列,将前T1帧待跟踪视频图像序列作为训练图像序列。

本实施方式中,选取T1=5。

步骤2:采用EMD模型(earth mover's distance)匹配算法确定训练图像序列的目标区域,采用SLIC算法和均值漂移聚类算法建立待跟踪视频图像的初始先验模型。

步骤2.1:标定出当前训练图像序列中第一帧图像的目标区域,如图2所示。

步骤2.2:采用EMD模型匹配算法跟踪当前训练图像序列,确定当前训练图像序列中的初始目标区域。

步骤2.3:对当前训练图像序列中的初始目标区域进行拓展,采用SLIC算法对当前训练图像序列的扩展区域进行超像素分割,得到当前训练图像的训练样本集。

步骤2.3.1:对当前训练图像序列中的初始目标区域进行拓展:以当前训练图像序列中的初始目标区域的中心为中心点,以其初始目标区域对角线的K倍作为对角线长度对各帧图像的初始目标区域进行扩展,得到当前训练图像的扩展区域,如图3所示,当前训练图像的扩展区域包括目标区域和背景区域。

步骤2.3.2:利用SLIC算法(简单线性迭代聚类simple linear iterative clustering)对当前训练图像的扩展区域进行超像素分割,如图4所示,获得各帧图像扩展区域的Nt个超像素块,将各帧图像的Nt个超像素块作为训练样本,构成当前训练图像的训练样本集,其中,t=1,...,T1

步骤2.4:利用均值漂移聚类算法(MS,Mean shitt)建立当前训练样本集的超像素块的簇集合,对超像素块的簇集合进行目标区域划分,得到属于目标区域的各个聚类簇clst(i),即得到待跟踪视频图像的初始先验模型,其中,i=1,...,n,n为当前训练图像的训练样本集聚类簇个数.

步骤2.4.1:对当前训练图像的训练样本集中的所有超像素块进行聚类,获得n个聚类簇,得到当前训练样本集的超像素块的簇集合。

本实施方式中,获得n个聚类簇clst(i),每个簇包括簇中心fc(i)、簇半径rc(i)及簇成员表示t帧中的第x个超像素特征向量。

步骤2.4.2:判断各个聚类簇clst(i)所属当前训练图像的区域:若聚类簇clst(i)的S(i)个超像素块均属于目标区域,则该聚类簇clst(i)属于目标区域,执行步骤2.4.4,若聚类簇clst(i)的S(i)个超像素块均属于背景区域,则该聚类簇clst(i)属于背景区域,执行步骤2.4.4,否则,执行步骤2.4.3。

步骤2.4.3:计算聚类簇clst(i)的置信度若聚类簇clst(i)的置信度大于0,则该聚类簇clst(i)属于目标区域,执行步骤2.4.4,否则,该聚类簇clst(i)属于背景区域,执行步骤2.4.4。

本实施方式中,当前训练样本集的超像素块的聚类簇clst(i)的置信度的计算公式如式(1)所示:

其中,Y(i)为第i聚类簇中属于当前训练样本集的目标区域的超像素块个数,E(i)为第i聚类簇中属于当前训练样本集的背景区域的超像素块个数,S(i)=Y(i)+E(i)。

聚类簇clst(i)的置信度表示簇clst(i)是否属于目标区域,当时,聚类簇clst(i)属于目标区域,值越大表明聚类簇clst(i)越偏向于目标区域。

步骤2.4.4:得到属于目标区域的各个聚类簇clst(i),即待跟踪视频图像的初始先验模型,如图5所示。

步骤3:读取第T1+1帧待跟踪视频图像序列作为当前第t′帧图像,其中,t′=T1+1,...,T,T为待跟踪视频图像序列个数。

步骤4:将待跟踪视频图像的初始先验模型作为初始目标模型,基于特征空间函数确定初始目标模型的目标特征分布。

步骤4.1:将待跟踪视频图像的初始先验模型作为初始目标模型,建立初始目标模型的目标特征灰度直方图。

步骤4.2:选取初始目标模型的目标特征中的m个特征,采用特征空间函数对初始目标模型的像素集合{pixeli′}中各个像素点pixeli′进行量化处理,得到初始目标模型的目标特征分布,其中,i′∈1,...n′,n′为初始目标模型中像素点总数。

本实施方式中,选取初始目标模型的目标特征中的m=10个特征。

初始目标模型的目标特征分布q1={qu},u∈1,...m,qu为第u个目标特征分布,其中,第u个目标特征分布qu的计算公式如式(2)所示:

其中,δ为Kronecker delta函数。

步骤5:采用当前目标模型的目标特征分布对当前第t′帧图像进行水平集演化,得到当前第t′帧图像的目标候选区域,采用SLIC算法和均值漂移聚类算法确定当前第t′帧图像的目标区域,并计算当前第t′帧图像的目标区域置信度Ct′

步骤5.1:采用当前目标模型的目标特征分布对当前第t′帧图像进行水平集演化,得到当前第t′帧图像与当前目标模型相匹配的候选区域,作为当前第t′帧图像的目标候选区域。

本实施方式中,采用Bhattacharyya相似性度量方法根据当前目标模型的目标特征分布对当前第t′帧图像进行水平集演化。

步骤5.2:对当前第t′帧图像的目标候选区域进行拓展,采用SLIC算法对当前第t′帧图像的扩展区域进行超像素分割,得到当前第t′帧图像的超像素块。

步骤5.2.1:对当前第t′帧图像的目标候选区域进行拓展:以当前第t′帧图像的目标候选区域的中心为中心点,以其目标候选区域对角线的K倍作为对角线长度对当前第t′帧图像的目标候选区域进行扩展,得到当前第t′帧图像的扩展区域,所述当前第t′帧图像的扩展区域包括目标区域和背景区域。

步骤5.2.2:利用SLIC算法对当前第t′帧图像的扩展区域进行超像素分割,获得当前第t′帧图像扩展区域的Nt′个超像素块。

步骤5.3:利用均值漂移聚类算法建立当前第t′帧图像的扩展区域的超像素块的簇集合,对超像素块的簇集合进行目标区域划分,得到属于当前第t′帧图像的目标区域的各个聚类簇clst(it′),即得到当前第t′帧图像的目标区域,并计算当前第t′帧图像的目标区域置信度Ct′

步骤5.3.1:当前第t′帧图像的扩展区域的所有超像素块进行聚类,获得nt′个聚类簇,得到当前第t′帧图像的超像素块的簇集合。

步骤5.3.2:判断当前第t′帧图像的各个聚类簇clst(it′)所属当前第t′帧图像的区域:若聚类簇clst(it′)的S(it′)个超像素块均属于目标区域,则该聚类簇clst(it′)属于目标区域,执行步骤5.3.4,若聚类簇clst(it′)的S(it′)个超像素块均属于背景区域,则该聚类簇clst(it′)属于背景区域,执行步骤5.3.4,否则,执行步骤5.3.3,其中,it′=1,...,nt′

步骤5.3.3:计算聚类簇clst(it′)的置信度若聚类簇clst(it′)的置信度大于0,则该聚类簇clst(it′)属于目标区域,执行步骤5.3.4,否则,该聚类簇clst(it′)属于背景区域,执行步骤5.3.4。

本实施方式中,当前第t′帧图像的聚类簇clst(it′)的置信度的计算公式如式(3)所示:

其中,Y(it′)为第it′聚类簇中属于当前第t′帧图像的目标区域的超像素块个数,E(it′)为第it′聚类簇中属于当前第t′帧图像的背景区域的超像素块个数,S(it′)=Y(it′)+E(it′)。

步骤5.3.4:得到属于当前第t′帧图像的目标区域的各个聚类簇clst(it′),即当前第t′帧图像的目标区域。

步骤5.3.5:累计当前第t′帧图像的目标区域中大于0的聚类簇clst(it′)置信度,得到当前第t′帧图像的目标区域置信度Ct′

步骤6:根据当前第t′帧图像的目标区域置信度Ct′判断当前第t′帧图像是否发生遮挡,并根据其遮挡情况,确定当前第t′帧图像的初始目标轮廓,对当前第t′帧图像的初始目标轮廓进行水平集演化,得到当前第t′帧图像的精准目标轮廓。

步骤6.1:计算当前第t′帧图像的遮挡参数θt′,若当前第t′帧图像的遮挡系数θt′小于遮挡阈值θ0,则当前第t′帧图像的目标区域发生遮挡,执行步骤6.2,否则,执行步骤6.3。

本实施方式中,遮挡阈值θ0=0.4。

本实施方式中,当前第t′帧图像的遮挡参数θt′的计算公式如式(4)所示:

步骤6.2:将当前目标模型与当前第t′帧图像的目标区域的交集作为当前第t′帧图像的初始目标轮廓,执行步骤6.4。

步骤6.3:将当前目标模型作为当前第t′帧图像的初始目标轮廓。

步骤6.4:对当前第t′帧图像的初始目标轮廓进行水平集演化,得到当前第t′帧图像的精准目标轮廓,如图6所示。

步骤7:判断当前图像帧数t′是否达到待跟踪视频图像序列个数T,若是,执行步骤11,否则,执行步骤8。

步骤8:根据当前第t′帧图像的目标区域置信度Ct′判断当前第t′帧图像是否发生严重遮挡,并根据其遮挡情况,对当前待跟踪视频图像的先验模型进行更新。

步骤8.1:若当前第t′帧图像的遮挡系数θt′小于严重遮挡阈值θ1,则当前第t′帧图像的目标区域发生严重遮挡,执行步骤8.2,否则,执行步骤8.4。

本实施方式中,严重遮挡阈值θ1=0.7。

步骤8.2:将当前第t′帧图像替换当前待跟踪视频图像的先验模型中第t′-1帧图像,并在当前t′帧图像目标区域的聚类簇中选取补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇,得到更新的待跟踪视频图像的先验模型的目标区域的聚类簇。

本实施方式中,在当前t′帧图像目标区域的聚类簇中选取补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇的原则为:

若当前第t′帧图像目标区域的聚类簇个数大于m=10,则任意选取m个聚类特征作为补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇,否则,将当前第t′帧图像所有目标区域的聚类簇作为补偿聚类特征加入当前待跟踪视频图像的先验模型的目标区域的聚类簇。

步骤8.3:计算更新的待跟踪视频图像的先验模型的目标区域的聚类簇的置信度,得到更新后的待跟踪视频图像的先验模型,执行步骤9。

步骤8.4:判断当前图像帧数t′是否为k的倍数,若是,则将当前第t′帧图像的精准目标轮廓替换当前训练图像序列的第一帧图像,更新训练图像序列,执行步骤8.5,否则,执行步骤8.6。

本实施方式中,令k=10。

步骤8.5:采用SLIC算法和均值漂移聚类算法确定更新的训练图像序列的目标区域,建立更新后的待跟踪视频图像的先验模型,执行步骤9。

步骤8.6:将当前待跟踪视频图像的先验模型作为更新后的待跟踪视频图像的先验模型;

步骤9:令t′=t′+1作为当前第t′帧图像。

步骤10:将更新后的待跟踪视频图像的初始先验模型作为当前目标模型,基于特征空间函数确定当前目标模型的目标特征分布,返回步骤5。

步骤10.1:将更新后的待跟踪视频图像的初始先验模型作为当前目标模型,建立当前目标模型的目标特征灰度直方图。

步骤10.2:采用特征空间函数对当前目标模型的像素集合{pixeli″}中各个像素点pixeli″进行量化处理,得到当前目标模型的候选目标特征分布,其中,i″∈1,...n″,n″为当前目标模型中像素点总数。

步骤10.3:根据当前目标模型的候选目标特征分布和当前目标模型的目标特征分布进行加权融合,得到更新后的当前目标模型的目标特征分布,返回步骤5。

本实施方式中,当前目标模型的目标特征分布的更新公式如式(5)所示:

其中,q′t′为当前目标模型的候选目标特征分布,qt′为当前目标模型的目标特征分布,为更新后的当前目标模型的目标特征分布,a∈[0.8,0.95]为更新权重。

步骤11:得到待跟踪视频图像序列的跟踪结果。

本实施方式中,采用了无形状约束的轮廓跟踪算法、形状约束无特征补偿的轮廓跟踪算法以及本发明方法进行轮廓跟踪,得到的三种方法不同帧数下中心误差的示意图如图7所示。

时效性是验证轮廓跟踪算法效率的重要指标,为保证本发明方法的一致性,在相同跟踪重叠率的情况下无形状约束的轮廓跟踪算法、形状约束无特征补偿的轮廓跟踪算法以及本发明方法进行轮廓跟踪三种方法的时效性如表1所示。

表1 在相同跟踪重叠率的情况下无形状约束的轮廓跟踪算法、形状约束无特征补偿的轮廓跟踪算法以及本发明方法进行轮廓跟踪三种方法的时效性

注:“-”表示算法在跟踪图像序列帧时无法达到限定的跟踪重叠率。

由表1可知,虽然传统的无形状约束轮廓跟踪算法运算速度快(大约8帧/s),但在实验中跟踪的重叠率较低,只有当迭代次数增加到14次时,算法的重叠率能达到0.8,但无法达到0.85。而加入了形状约束的轮廓跟踪算法不仅可以通过增加迭代次数提高跟踪重叠率,而且与无形状约束算法相比可以达到相同跟踪重叠率,减少了算法收敛的迭代次数,提高了算法的运行速率。但当目标发生较严重遮挡时,形状先验模型不能有效地描述目标区域,对约束模型加入特征补偿,进一步提高了算法的跟踪重叠率。

对比采用DMLS(density matching and level set)算法对视频图像进行跟踪的结果,如图8所示,LDM(learning distribution metric)算法对视频图像进行跟踪的结果,如图9所示,JRACS(joint registration and active contour segmentation)算法对视频图像进行跟踪的结果,如图10所示。

以及本发明方法(Anti-interference contour tracking under prior model constraint)简称AC-PMC对视频图像进行跟踪的结果,如图11所示。

由图8至图11可知,4种算法的跟踪重叠率都保持在60%以上,并且中心误差比较小,其中,本发明方法AC-PMC算法的跟踪效果是最佳。当视频图中鱼发生形变且伴有旋转时,DMLS算法的跟踪重叠率较低,而LDM算法和JRACS算法虽然跟踪重叠率较高,但有时会出现局部信息丢失现象。本发明方法AC-PMC算法通过训练样本集聚类构建的目标先验模型,除去图像中非目标信息的干扰,使得先验模型对目标的描述更准确。在视频序列中目标外观区分度较高时,模型匹配出的大体轮廓较为准确,再经过水平集曲线演化得到精确的目标轮廓。

采用上述四种算法的跟踪重叠率和平均中心误差如表2所示。

表2 上述四种算法的跟踪重叠率和平均中心误差

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号