首页> 中国专利> 一种结合运动信息的目标主动轮廓跟踪方法

一种结合运动信息的目标主动轮廓跟踪方法

摘要

本发明公开了一种基结合运动信息的目标主动轮廓跟踪方法,以超像素为基本单元,分别对目标与背景区域的表观特征和运动特征进行建模,并采用决策树算法将两者融合起来,克服了传统的主动目标轮廓跟踪方法对于表观特征的依赖性,在目标与背景颜色,纹理等特征相似,但具有明显相对运动的场景中跟踪精度有明显提升,具有很好的应用前景。

著录项

  • 公开/公告号CN107273905A

    专利类型发明专利

  • 公开/公告日2017-10-20

    原文格式PDF

  • 申请/专利权人 电子科技大学;

    申请/专利号CN201710446147.7

  • 发明设计人 周雪;冯媛媛;邹见效;徐红兵;

    申请日2017-06-14

  • 分类号G06K9/46(20060101);G06K9/62(20060101);

  • 代理机构51220 成都行之专利代理事务所(普通合伙);

  • 代理人温利平

  • 地址 611731 四川省成都市高新区(西区)西源大道2006号

  • 入库时间 2023-06-19 03:37:16

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-05-08

    授权

    授权

  • 2017-11-17

    实质审查的生效 IPC(主分类):G06K9/46 申请日:20170614

    实质审查的生效

  • 2017-10-20

    公开

    公开

说明书

技术领域

本发明属于计算机视觉技术领域,更为具体地讲,涉及一种结合运动信息的目标主动轮廓跟踪方法。

背景技术

在计算机视觉领域中,目标主动跟踪技术占有十分重要的地位,它通过对视频中序列图像的处理,获得感兴趣目标在连续序列图像中位置随时间变化的轨迹。目标主动跟踪技术的应用十分广泛,如军事制导,视频监控,智能交通,人机交互,公共安全等。目标主动跟踪的表达形式有矩形,椭圆形,轮廓等,采用轮廓的形式能很好的表达目标形状与尺寸的变化信息,为高层行为的识别与理解提供方便,因此,目标主动轮廓跟踪一直是目标跟踪领域的一个研究热点。目标主动轮廓跟踪算法主要分为参数主动轮廓模型和几何主动轮廓模型。

参数主动轮廓模型以上世纪八十年代Kass等人提出Snake模型为代表,该方法用参数显示的表达曲线,通过求解一个能量变分模型的最小值来实现轮廓分割。Snake模型具有良好的跟踪特定区域目标轮廓的能力,常被用来进行医学图像的分割,但存在以下缺点:对图像边界的捕捉范围很小,对初始轮廓的要求很高,对参数设置非常敏感,不能灵活处理拓扑变化,而且容易错误的收敛到局部极值点。

几何活动轮廓模型以Osher等人提出的水平集(Level Set)方法为代表,它以隐式方法的来描述轮廓,用一个n+1维的水平集函数的零值来表达一个n维的曲线,因此能够灵活处理目标拓扑变化。水平集方法广泛应用于图像处理和计算机视觉领域,例如图像分割,目标跟踪,形状检测与识别等。传统的水平集方法将水平集函数初始化为符号距离函数,并且每隔一段时间需要进行重新初始化,导致计算复杂,耗时很大。李纯明等人提出了DRLSE(Distance Regularized Level Set Evolution)模型,将水平集初始化为二值函数,然后通过构造一个带距离约束的能量惩罚项使得水平集函数近似的保持为符号距离函数,从而保证了稳定的数值解,并且避免了重新初始化,大大的减小了计算量。

将水平集运用到目标主动跟踪领域,通常需要将目标的先验知识,如颜色,梯度,纹理,形状等表观特征加入到水平集演化方程中,来约束曲线进化到目标边缘处。由于单个像素的特征提取容易受噪声干扰产生不稳定性,可以考虑采用超像素对图像进行分割。超像素将图像划分成颜色,纹理等表观特征相似的邻近像素的集合,具有计算效率高,保持图像边界等优点,使用超像素作为图像处理的基本单元,比直接考虑单个像素更为有效。

除此之外,目标的运动也是一种非常有效的可用于跟踪的特征,特别是在目标与背景具有明显相对运动的场景中,运动特征可作为颜色,纹理等表观特征的有效补充,得到更加精确的轮廓跟踪结果。光流法通常被用来刻画运动信息,由光流法得到的光流场能够代表每个像素点的运动速度大小和方向,在具有明显相对运动的场景中,运动目标区域和背景区域的光流场幅值大小具有明显的差异,利用光流场能够有效地区分出运动目标与背景。

发明内容

本发明的目的在于克服现有技术的不足,提出一种结合运动信息的目标主动轮廓跟踪方法,以克服表观特征目标轮廓跟踪对于颜色,梯度等特征的依赖性,在目标表观特征不够明显,但是具有明显相对运动的场景中能达到良好的跟踪效果。

为实现上述发明目的,本发明结合运动信息的目标主动轮廓跟踪方法,其特征在于,包括以下步骤:

(1)、初始化SVM(支持向量机)分类器

针对序列图像第一帧图像,首先手动标定初始轮廓,初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest,简称ROI);然后,对感兴趣区域进行超像素分割,得到一系列的超像素;

对于每一个超像素,提取感兴趣的颜色特征和纹理特征向量,并将两者进行合并,得到该超像素的d维表观特征向量;

记感兴趣区域的初始轮廓内像素点为正,初始轮廓外像素点为负,统计每个超像素内的所有像素点,若超过半数像素点为正,记为1,则将该超像素标记为正样本,否则标记为负样本,记为-1;

将每个超像素的n维表观特征向量作为输入,其标记作为输出对SVM分类器进行训练,得到初始化的SVM分类器;同时,将每个超像素的n维表观特征向量作为输入,其标记作为输出作为一组训练样本存入样本池中;

将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像;

(2)、基于SVM分类器和局部信息的判别式表观模型构建

将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓,初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest,简称ROI);然后,对感兴趣区域进行超像素分割,得到一系列的超像素;

对于每个超像素,提取感兴趣的颜色特征和纹理特征向量,并将两者进行合并,得到每个超像素的d维表观特征向量;

2.1)、基于SVM分类器的置信图计算

将第i个超像素spi′的n维表观特征向量输入到SVM分类器中,得到该超像素的样本标记值,即基于SVM分类器的置信图值ConfMapsvm_i

2.2)、基于局部信息的置信图计算

首先,计算每个超像素属于目标和属于背景的概率,具体计算步骤如下:

2.2.1)、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记,如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内,则记为Lj为1,否则为-1;

2.2.2)、记当前帧图像感兴趣区域第i个超像素为spi′,其中心坐标为(xi′,yi′);上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj),设置阈值为TR

2.2.3)、记当前帧图像感兴趣区域第i个超像素spi′属于目标轮廓内的似然概率为p(spi′|obj),属于背景的似然概率为p(spi′|bck),令:p(spi′|obj)=p(spi′|bck)=0;

2.2.4)、对于当前帧图像感兴趣区域第i个超像素spi′,遍历上一帧图像感兴趣区域的超像素spj,并进行以下运算:

2.2.4.1)、令m=n=0,j=1

2.2.4.2)、如果则:

当Lj为1时:

num1=p(spi′|obj)+pij

m=m+1

当Lj为-1:

num2=p(spi′|bck)+pij

n=n+1

如果不成立,则转到步骤

2.2.4.3)、计算属于目标轮廓内的似然概率p(spi′|obj)、属于背景的似然概率p(spi′|bck):

其中,pij定义为超像素spi′与spj的相似度,记spi′和spj的表观特征向量分别为fi′,fj,则pij的计算公式为:

pij=exp(-||fi′-fj||2),

其中,||fi′-fj||2表示特征向量fi′,fj的欧式距离;

2.2.4.4)、如果没有遍历完上一帧图像感兴趣区域的超像素spj,则j=j+1,返回步骤2.2.4.2),否则,结束,得到第i个超像素spi′属于目标轮廓内的似然概率p(spi′|obj),属于背景的似然概率p(spi′|bck);

定义第i个超像素spi′基于局部信息的置信图值为:

置信图值的取值范围为[-1,1],并且具有以下的对称判别属性:

2.3)、融合得到表观特征的置信图

对于第i个超像素spi′,基于局部信息的置信图值ConfMaplocal_i的权值为w1_i,基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i,令:

w1_i=ε*|ConfMaplocal_i|

w2_i=1-ε*|ConfMaplocal_i|

其中,ε为常量,根据具体跟踪场景设置,可以取0.5,融合后的置信图值ConfMapi为:

ConfMapi=w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i

将当前帧图像的所有超像素按照步骤2.1)~2.3)进行处理,得到融合后的置信图,然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值,得到表观特征的置信图;

(3)、基于运动信息的光流灰度图计算

采用稠密光流计算法来计算当前帧图像上每一个像素点的光流,得到光流场是一个双通道图像,分别为x方向和y方向上的位移;通过孟塞尔颜色系统(Munsell ColorSystem)实现可视化,得到光流彩色图,其中,不同的颜色代表不同运动方向,颜色深浅代表运动速度的快慢;再通过以下公式将光流彩色图转换成光流灰度图:

I=0.2989*R+0.5870*G+0.1140*B

其中R,G和B分别代表彩色空间三个通道的像素点像素值;

(4)、基于决策树的融合权重计算

将表观特征的置信图像素点的取值为-1到1等分的10个区间,分别用0~9表示,光流灰度图像素点的取值为0到255等分的8个区间,分别用0~7表示;

使用决策树对像素点进行预测分类,如果一个像素点位置在表观特征的置信图中的像素点像素值在:

区间0、1,则该像素点置为背景;

区间2,同时,该像素点位置在光流灰度图中像素点像素值在区间0,则该像素点置为目标,否则,则该像素点置为背景;

区间3、4,同时,该像素点位置在光流灰度图中像素点像素值在区间0、1,则该像素点置为目标,否则,则该像素点置为背景;

区间5、6,同时,该像素点位置在光流灰度图中像素点像素值在区间0-3,则该像素点置为目标,否则,则该像素点置为背景;

区间7、8,同时,该像素点位置在光流灰度图中像素点像素值在区间0-5,则该像素点置为目标,否则,则该像素点置为背景;

区间9,则该像素点置为目标;

将属于目标的像素点标记为1,属于背景的像素点标记为-1,可以得到最终的置信图即融合置信图;

(5)、水平集轮廓演化

采用基于边缘的DRLSE(Distance Regularized Level Set Evolution)模型进行水平集轮廓演化,演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次;

然后,再由边缘梯度函数和曲率共同引导,得到目标轮廓。

(6)、更新样本池,并重新初始化SVM(支持向量机)分类器

依据目标轮廓,对感兴趣区域的超像素进行标记:如果超过半数像素点为正即落入目标轮廓内,记为1,则将该超像素标记为正样本,否则标记为负样本,记为-1,然后作为一组训练样本存入样本池中;

样本池容纳的最大训练样本个数为Sz,采用排队的方式进行更新,新来的训练样本排在队列的末端,直到训练样本个数超过Sz,则删除排在队列前端的训练样本,训练样本总个数Sz保持不变;

用样本池中的训练样本对SVM分类器进行训练,得到更新的初始化的SVM分类器;

将下一帧作为当前帧,返回步骤(2)。

本发明的目的是这样实现的。

本发明结合运动信息的目标主动轮廓跟踪方法,以超像素为基本单元,分别对目标与背景区域的表观特征和运动特征进行建模,并采用决策树算法将两者融合起来,克服了传统的主动目标轮廓跟踪方法对于表观特征的依赖性,在目标与背景颜色,纹理等特征相似,但具有明显相对运动的场景中跟踪精度有明显提升,具有很好的应用前景。

附图说明

图1是本发明结合运动信息的目标主动轮廓跟踪方法的一种具体实施方式流程图;

图2是融合基于SVM分类器的置信图以及基于局部信息的置信图得到表观特征的置信图的三个典型实例过程图;

图3是感兴趣区域图像、光流彩色图和灰度一具体实例图,其中,(a)感兴趣区域图像,(b)基于孟塞尔颜色系统显示的光流彩色图,(c)光流灰度图;

图4是决策树示意图;

图5是决策树判断生成置信图示意图,其中,(a)感兴趣区域图像;(b)调整后的光流灰度图,c)基于表观特征得到的置信图,d)基于决策树判断融合后的置信图;

图6是一个序列图像的轮廓跟踪结果和跟踪精度图,其中,(a)为轮廓跟踪结果,(b)为跟踪精度;

图7是另一个序列图像的轮廓跟踪结果和跟踪精度图,其中,(a)为轮廓跟踪结果,(b)为跟踪精度;

图8是另一个序列图像的轮廓跟踪结果和跟踪精度图,其中,(a)为轮廓跟踪结果,(b)为跟踪精度。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。

本发明在水平集的框架下设计了一种结合运动信息和表观特征的目标主动轮廓跟踪方法。在表观特征建模部分,以超像素为基本单元提取目标与背景的颜色特征和纹理特征,考虑到实际场景中的目标或背景存在多种表观模式(多种颜色或纹理),使用两类分类器很难得到正确分类结果,本发明提出一种基于局部信息的置信图计算方法,并将其与SVM分类器得到的置信图进行自适应权重融合,得到更为可靠的表观特征置信图。在运动特征建模部分,引入光流法来刻画目标的运动信息,得到的光流场能够代表每个像素点的运动速度大小和方向。最后使用决策树将目标的表观特征和运动特征结合起来生成置信图,嵌入到水平集轮廓演化的框架中。

本发明的主要特点在于:1)考虑到单个像素容易受噪声干扰产生不稳定性,提出以超像素作为图像处理的基本单元,提取颜色特征向量和LBP纹理特征向量。2)表观特征建模部分,考虑到实际场景中的目标或背景可能存在多种表观模式(如颜色等),导致SVM分类器的准确度下降,提出了一种基于局部信息的置信图计算方法,超像素的置信图计算只与它邻近区域的有限个超像素保持关系,能在一定程度上避免其它因素的干扰。3)运动特征建模部分,使用稠密光流计算方法获取光流场,采用孟塞尔颜色系统实现光流场的可视化,并将其转化成光流灰度图。4)将表观特征置信图和光流灰度图作为两个属性训练决策树,利用决策树对感兴趣区域的像素点进行预测生成置信图,引导水平集函数的演化。

图1是本发明结合运动信息的目标主动轮廓跟踪方法的一种具体实施方式流程图。

在本实施例中,如图1所示,本发明结合运动信息的目标主动轮廓跟踪方法包括以下步骤:

步骤S1:初始化SVM(支持向量机)分类器;

步骤S2:基于SVM分类器和局部信息的判别式表观模型构建;

步骤S3:基于运动信息的光流灰度图计算;

步骤S4:基于决策树的融合权重计算;

步骤S5:水平集轮廓演化;

步骤S6:更新样本池,并重新初始化SVM分类器,返回对下一帧图像进行目标主动轮廓跟踪。

下面结合附图对本发明所涉及的各个步骤进行详细说明:

1、初始化SVM(支持向量机)分类器

针对序列图像第一帧图像,首先手动标定初始轮廓,初始轮廓的最大外接矩形向外扩大50(即p=50)个像素点后的区域作为感兴趣区域(Region of Interest,简称ROI);然后,对感兴趣区域进行超像素分割,得到一系列的超像素。在本实施例中,采用SLIC超像素分割,其算法可参考文献:R.Achanta,A.Shaji,K.Smith and A.Lucchi.SLICSuperpixels Compared to State-of-the-Art Superpixel Methods[J].IEEE Trans.onPattern Analysis and Machine Intelligence,2012,34(11):2274-2282。

对于每个超像素,提取感兴趣的颜色特征和纹理特征向量,并将两者进行合并,得到该超像素的d维表观特征向量。在本实施中,对于超像素,提取颜色特征和纹理特征向量为:将RGB图像的超像素转换到HSV颜色空间,对颜色进行量化,将h划分为8等份,s划分为4等份,v划分为4等分,然后统计每个超像素内所有像素点落入每个区间的数目,得到128(8×4×4)维归一化颜色特征向量;将RGB图像的超像素转为灰度图,计算其LBP(LocalBinary Pattern,局部二值模式)值,将LBP值等分为8个区间,同样基于超像素直方图统计得到8维的归一化LBP特征向量即纹理特征向量。

将颜色特征和纹理特征向量进行合并,得到136(即d=136)维的表观特征向量。

训练SVM分类器需要采集正负样本,记感兴趣区域的初始轮廓内像素点为正,初始轮廓外像素点为负,统计每个超像素内的所有像素点,若超过半数像素点为正,记为1,则将该超像素标记为正样本,否则标记为负样本,记为-1。

将每个超像素的n维表观特征向量作为输入,其标记作为输出对SVM分类器进行训练,得到初始化的SVM分类器;同时,将每个超像素的128维表观特征向量作为输入,其标记1或-1作为输出作为一组训练样本存入样本池中。

将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像。

2、基于SVM分类器和局部信息的判别式表观模型构建

将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓,进行第一张图像相同的感兴趣区域确定、超像素分割以及感兴趣的颜色特征和纹理特征向量提取,得到每个超像素的136(即d=136)维表观特征向量。

2.1、基于SVM分类器的置信图计算

将第i个超像素spi′的136维表观特征向量输入到SVM分类器中,得到该超像素的样本标记值,即基于SVM分类器的置信图值ConfMapsvm_i

2.2、基于局部信息的置信图计算

由于实际应用场景中往往存在很多目标与背景表观特征相似的区域,或者目标与背景存在多种表观模式,如多种颜色等,导致分类器的准确度下降,本发明提出了一种基于局部信息的置信图计算方法以克服该问题。

首先,计算每个超像素属于目标和属于背景的概率,具体计算步骤如下:

2.2.1、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记,如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内,则记为Lj为1,否则为-1;

2.2.2、记当前帧图像感兴趣区域第i个超像素为spi′,其中心坐标为(xi′,yi′);上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj),设置阈值为TR

2.2.3、记当前帧图像感兴趣区域第i个超像素spi′属于目标轮廓内的似然概率为p(spi′|obj),属于背景的似然概率为p(spi′|bck),令:p(spi′|obj)=p(spi′|bck)=0;

2.2.4、对于当前帧图像感兴趣区域第i个超像素spi′,遍历上一帧图像感兴趣区域的超像素spj,并进行以下运算:

2.2.4.1、令m=n=0,j=1

2.2.4.2、如果则:

当Lj为1时:

num1=p(spi′|obj)+pij

m=m+1

当Lj为-1:

num2=p(spi′|bck)+pij

n=n+1

如果不成立,则转到步骤

2.2.4.3、计算属于目标轮廓内的似然概率p(spi′|obj)、属于背景的似然概率p(spi′|bck):

其中,pij定义为超像素spi′与spj的相似度,记spi′和spj的表观特征向量分别为fi′,fj,则pij的计算公式为:

pij=exp(-||fi′-fj||2),

其中,||fi′-fj||2表示特征向量fi′,fj的欧式距离;

2.2.4.4、如果没有遍历完上一帧图像感兴趣区域的超像素spj,则j=j+1,返回步骤2.2.4.2,否则,结束,得到第i个超像素spi′属于目标轮廓内的似然概率p(spi′|obj),属于背景的似然概率p(spi′|bck);

定义第i个超像素spi′基于局部信息的置信图值为:

置信图值的取值范围为[-1,1],并且具有以下的对称判别属性:

2.3、融合得到表观特征的置信图

为了得到更加精准,更加具有鲁棒性的置信图,考虑将SVM分类器得到的置信图与基于局部信息得到的置信图融合起来。

对于第i个超像素spi′,基于局部信息的置信图值ConfMaplocal_i的权值为w1_i,基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i,令:

w1_i=ε*|ConfMaplocal_i|

w2_i=1-ε*|ConfMaplocal_i|

其中,ε为常量,根据具体跟踪场景设置,可以取0.5,融合后的置信图值ConfMapi为:

ConfMapi=w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i

将当前帧图像的所有超像素按照步骤2.1)~2.3)进行处理,得到融合后的置信图,然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值,得到表观特征的置信图。

图2分别显示了3个序列的ROI,基于SVM分类器得到的置信图,基于局部信息得到的置信图,以及将两者自适应权重融合后得到的置信图即表观特征的置信图。可以看出SVM分类器对于目标与背景颜色单一的简单场景分类效果较好,对于目标与背景存在多种颜色的复杂场景分类效果下降;基于局部信息的置信图计算在多种场景中分类效果都比较稳定,但在目标轮廓边缘处容易产生错误的划分,并且比较依赖上一帧的轮廓跟踪结果。本发明将两种置信图进行融合,在多种场景都具有不错的分类效果和稳定性。

4、基于运动信息的光流灰度图计算

光流是空间运动物体在二维成像平面上像素点的瞬时运动速度,表达了相邻帧图像之间物体的运动信息。本发明采用的是稠密光流计算法来计算图像上每一个像素点的光流,参考文献:Sun D,Roth S,Black M J.Secrets of Optical Flow Estimation andTheir Principles.IEEE International Conference on Computer Vision and PatternRecognition,2010:2432-2439。

从而得到光流场是一个双通道图像,分别为x方向和y方向上的位移;通过孟塞尔颜色系统(Munsell Color System)实现可视化,得到光流彩色图,其中,不同的颜色代表不同运动方向,颜色深浅代表运动速度的快慢;再通过以下公式将光流彩色图转换成光流灰度图:

I=0.2989*R+0.5870*G+0.1140*B

其中R,G和B分别代表彩色空间三个通道的像素点像素值。

图3分别显示了感兴趣区域图像,通过孟塞尔颜色系统实现可视化的光流彩色图,以及转换后的光流灰度图。

4、基于决策树的融合权重计算

将表观特征的置信图像素点的取值为-1到1等分的10个区间,分别用0~9表示,光流灰度图像素点的取值为0到255等分的8个区间,分别用0~7表示;

使用如图4所示的决策树对像素点进行预测分类,如果一个像素点位置在表观特征的置信图中的像素点像素值在:

区间0、1,则该像素点置为背景;

区间2,同时,该像素点位置在光流灰度图中像素点像素值在区间0,则该像素点置为目标,否则,则该像素点置为背景;

区间3、4,同时,该像素点位置在光流灰度图中像素点像素值在区间0、1,则该像素点置为目标,否则,则该像素点置为背景;

区间5、6,同时,该像素点位置在光流灰度图中像素点像素值在区间0-3,则该像素点置为目标,否则,则该像素点置为背景;

区间7、8,同时,该像素点位置在光流灰度图中像素点像素值在区间0-5,则该像素点置为目标,否则,则该像素点置为背景;

区间9,则该像素点置为目标;

将属于目标的像素点标记为1,属于背景的像素点标记为-1,可以得到最终的置信图即融合置信图。

图5显示了感兴趣区域的光流灰度图,表观特征置信图,以及由两者训练生成的决策树判断得到的置信图。由图5可以看出,由于背景区域的绳子部分与目标一起移动,导致光流灰度图的背景区域也包含了一些运动赋值较大的地方;表观特征置信图的目标区域白色部分与背景中的某些白色部分极为相似,导致计算结果将目标的某些部分错误的划分成背景。通过决策树判断,将目标的运动特征与表观特征相结合,生成的置信图融合了两者的优点,目标与背景区域的划分更为准确,更加具有鲁棒性。

5、水平集轮廓演化

本发明的水平集轮廓演化方程采用基于边缘的DRLSE(Distance RegularizedLevel Set Evolution)模型,演化方程为:

将式中的第三项改为利用置信图引导,得到本发明的水平集演化方程:

演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次。

水平集函数的演化分2次进行,首先在置信图ConfMap的引导下迭代100(即k=100)次,当ConfMap>0时,曲线具有向外扩张的趋势;当ConfMap<0时,曲线具有向内收缩的趋势,因此置信图的引导能使曲线快速收敛到目标轮廓边缘处。

然后由边缘梯度函数和曲率共同引导,得到目标轮廓。演化公式为:

边缘梯度函数的引导能使曲线收敛到图像的局部梯度最大值,即目标真实轮廓边缘处,曲率的引导能使曲线保持光滑性,一共迭代50次。

水平集轮廓演化属于现有技术,在此不再赘述。

为了实施本发明的具体思想,我们在多个视频序列上做了大量的比较实验。并与2种轮廓跟踪算法进行了比较,一种是Superpixel Tracking,本发明将其简记为SPT。参见文献:S.Wang,H.C.Lu,F.Yang,et al.Superpixel Tracking[C].IEEE InternationalConference on Computer Vision,2011,1323-1330.该算法提取超像素的颜色特征,采用均值漂移聚类计算置信图,本文基于该置信图进行level set跟踪。另一种是基于光流场和水平集的目标轮廓跟踪(Optical Flow Levelset),简记为OFL。参考文献:方宇强,戴斌,宋金泽,单恩忠.基于光流和水平集的运动目标分割方法研究[C].2009中国智能自动化会议论文集,2009:1541-1547.该方法利用光流场建立水平集函数的能量泛函,引导level set的演化。图6~8给出了三个序列的轮廓跟踪结果和跟踪精度图,通过比较实验进一步验证了本发明方法的有效性。

6、更新样本池,并重新初始化SVM(支持向量机)分类器

经过初始化的SVM分类器具有一定的分类能力,但不能适应目标表观特征的变化,因此需要对样本进行实时更新。

依据目标轮廓,对感兴趣区域的超像素进行标记:如果超过半数像素点为正即落入目标轮廓内,记为1,则将该超像素标记为正样本,否则标记为负样本,记为-1,然后作为一组训练样本存入样本池中;

样本池容纳的最大训练样本个数为Sz,采用排队的方式进行更新,新来的训练样本排在队列的末端,直到训练样本个数超过Sz,则删除排在队列前端的训练样本,训练样本总个数Sz保持不变。

将下一帧作为当前帧,返回步骤2,对下一帧进行目标主动轮廓跟踪。

尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号