法律状态公告日
法律状态信息
法律状态
2019-09-24
授权
授权
2017-07-14
实质审查的生效 IPC(主分类):G06K9/00 申请日:20170223
实质审查的生效
2017-06-20
公开
公开
技术领域
本发明涉及机器视觉和模式识别领域,特别是一种多模板时空关联的局部反联合稀疏表示目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域的重要研究方向,目前已在公共交通智能监控系统、安防系统、人机交互等领域中得到广泛应用。由于跟踪场景复杂,目标表观模型常因受到外界物体的干扰及自身形变的影响发生较大且不可预估的变化,使得实现持续、稳定且鲁棒的目标跟踪面临巨大挑战。为解决上述问题,需要对待跟踪目标建立适当的表示模型,以克服目标在运动过程中的光照变化、尺度变化、局部遮挡等复杂情况。
随着压缩感知技术的发展,基于稀疏表示的目标建模方法逐渐成为视觉跟踪中目标表示的一个重要分支。该方法对待跟踪目标在过完备字典上进行稀疏分解,通过较少的非零系数表示目标的主要信息。根据字典的构建方法,可以将基于稀疏表示建模的目标跟踪分为两类:稀疏表示跟踪和反稀疏表示跟踪。
前者是利用动态目标模板和琐碎模板构建过完备字典,对每个候选目标分别进行稀疏表示。初始目标模板往往由视频前几帧已确定为正确的待跟踪目标构成,模板中的样本随着跟踪的进行不断更新使表示模型能够适应目标的外观变化。该方法将琐碎模板对候选目标进行表示的部分作为稀疏表示的残差并用来表示各个候选目标相对于模板的变化,跟踪结果由对应最小残差的候选目标确定。这种方法在光照变化等情况下具有较好的跟踪效果,但是当目标发生部分遮挡时,琐碎模板的表示具有二义性,既有可能是目标被遮挡的部分,也有可能是候选区域中包涵的背景,从而造成跟踪漂移甚至跟踪失败。
反稀疏表示方法则利用候选目标构建过完备字典,对动态目标模板进行稀疏表示,通过表示系数对候选目标进行相似性度量。该方法不存在琐碎模板表示的二义性,并且也不会因为候选目标数量庞大影响跟踪速度,关键问题是如何在表示模型中充分利用目标模板中的信息从而更精确地度量各个候选目标。基于反稀疏表示的目标建模是一种新方法,由B Zhuang等人(2014)提出,他们利用候选目标构造的字典对正模板和负模板分别进行稀疏表示,并通过原子在构建不同正负模板时的权重对他们进行相似性度量。该方法中正负模板的数量总和仍然非常庞大,因此同样需要求解多次稀疏约束的目标函数。随后DWang等人(2015)提出对最新更新的一个目标模板进行稀疏表示,并由稀疏表示系数权重对候选目标进行度量,但是该方法容易引起累计误差,若在一次模板更新中引入错误的模板,该模板会对随后的跟踪结果产生累计偏差。
目前采用的基于稀疏表示的跟踪方法,不仅琐碎模板存在二义性,而且在粒子滤波框架下,为保证搜索阶段获取到目标的正确位置,对候选目标的采集数量非常庞大,因此该跟踪方法需要求解大量基于稀疏约束的目标函数,无法保证跟踪的实时性,同时在模板的在线学习更新中,没有考虑到提取模板时的时序信息;基于反稀疏表示的跟踪方法,同样需要求解多次稀疏约束的目标函数,计算复杂,且容易产生累计偏差。
发明内容
基于以上技术问题,本发明提供了一种多模板时空关联的局部反联合稀疏表示目标跟踪方法,旨在挖掘不同模板间的时空关联信息,从而解决目标在局部遮挡、光照变化、尺度变化等复杂场景下的跟踪问题,同时降低了计算复杂度。
本发明的技术方案如下:
一种多模板时空关联的局部反联合稀疏表示目标跟踪方法,所述方法包括以下步骤:
步骤1:对每一帧输入图像中目标的状态
步骤2:根据目标模板集
步骤3:将每一个候选目标fn(x,y)划分为K个图像块,得到候选目标局部图像块
步骤4:根据目标模板局部图像块
步骤5:将候选目标局部图像块集
步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩阵
步骤7:利用稀疏系数矩阵
步骤8:对重要候选目标集
步骤9:更新目标模板,重复上述步骤进行第c+1帧图像的跟踪。
进一步的,目标的状态sm用6个变量进行表示{xm,ym,θm,sm,αm,φm},其中xm表示目标状态的横坐标、ym表示纵坐标、θm表示旋转角度、sm表示尺度、αm表示纵横比和φm表示歪斜度,目标模板的时序标号m由目标模板对应的帧号由小到大进行排列确定。
进一步的,第c帧的状态利用运动模型进行更新,采用的公式如下:
式中,{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态,{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态,grand是一组满足高斯分布的随机数(0-1),{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度。
进一步的,对候选目标fn(x,y)和目标模板tm(x,y,m)均采用相同尺寸滑窗以相同步长划分成K个图像块,K表示图像块的个数;
进一步的,所述步骤4中,计算时序权重矩阵
式中,
进一步的,所述步骤5中,
子字典Dk的构建方式如下:
式中,k表示图像块的序号,K表示图像块的个数,n表示候选目标的序号,N表示候选目标的总个数,
局部目标模板样本集Tk由目标模板局部图像块集
进一步的,所述步骤6中,目标函数为:
式中,W表示时序权重矩阵
式中,约束项
其中l0,2范数约束定义为:
将l0,2范数约束替换为平滑l0,2范数项进行优化求解所采用的含参数高斯函数Fσ(X)为:
其中,
式中,σ表示高斯函数方差,i∈[1,N]表示每个稀疏表示系数矩阵
进一步的,重要候选目标集
步骤1.将稀疏表示系数矩阵
式中,TH为自适应阈值;
将||Xk[i,:]||2,i∈[1,N]按从大到小顺序排序,计算累计能量分布,能量值到达90%时对应的||Xk[i,:]||2的数值大小即为TH的取值;
步骤2.将同一候选目标的局部图像块对应的贡献指示值Ik相加,得到各个候选目标的贡献值
步骤3.将前r个贡献值最大的候选目标放入重要候选目标集
进一步的,所述步骤8中,按下式对重要候选目标的状态进行加权:
式中,
进一步的,目标模板更新方式为:将当前跟踪结果对应的目标tc(x,y,c)作为新加入的目标模板,记为tM(x,y,M),随机剔除目标模板tj(x,y,j),的时序标号为j,目标模板时序标号小于j的保持不变,其余目标模板的时序标号减1,所有目标模板的时序标号范围保持在[1,M]。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明构建反联合稀疏表示模型,充分挖掘各个目标模板之间的内在关联信息,避免由于前面跟踪的漂移对后续跟踪造成的累计误差影响;同时该模型还考虑到了不同观测时间下各个目标模板对目标表现模型建模中的重要性差异,使目标表观模型对跟踪过程中目标的外观变化更加鲁棒;
该模型利用候选目标构建过完备字典,对目标模板样本进行联合稀疏表示,可以在只求解一次目标函数的基础上,获得对所有候选目标的相似度度量,大大降低了稀疏约束目标函数的求解次数;
为防止目标局部变化对候选目标似然估计造成影响,本发明对同一目标不同局部图像块分别建模,在对每个候选目标进行相似性度量时,首先根据其对应的各个图像块在目标模板重构中的权重进行候选目标的筛选,然后再对重要候选目标加权决定最终的跟踪结果,该方法可以在目标存在局部遮挡变化场景中提高跟踪的成功率及准确度;
解决了非平滑非凸条件下目标函数求解困难的问题,本发明利用带参数的高斯函数实现矩阵中非零行向量的计数功能,由于高斯函数具有可导性,该方法降低了优化求解算法的计算复杂度,提高跟踪效率。
附图说明
图1为该发明的方法流程图;
图2为该发明中目标模板集
图3为该发明中的采样得到的候选目标集
图4为该发明中筛选出的重要候选目标集
图5为在视频序列”Football”上应用本发明的实验结果;
图6为视频序列”Quadrocopter”上应用本发明的实验结果;
图7为视频序列”Trellis”上应用本发明的实验结果。
具体实施方式
本说明书中公开的所有特征,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合附图对本发明作详细说明。
附图1是该发明的总体流程图:
步骤1:对每一帧输入图像中目标的状态
步骤2:根据目标模板集
式中,{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态,{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态,grand是一组满足高斯分布的随机数(0-1),{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度;
步骤3:将每一个候选目标fn(x,y)划分为K个图像块,得到候选目标局部图像块
步骤4:根据目标模板局部图像块
式中,
步骤5:将候选目标局部图像块集
式中,k表示图像块的序号,K表示图像块的个数,n表示候选目标的序号,N表示候选目标的总个数,
将目标模板局部图像块集
式中,
步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩阵
式中,W表示时序权重矩阵
式中,约束项
其中l0,2范数约束定义为:
将l0,2范数约束替换为平滑l0,2范数项进行优化求解所采用的含参数高斯函数Fσ(X)为:
其中,
式中,σ表示高斯函数方差,i∈[1,N]表示每个稀疏表示系数矩阵
步骤7:利用稀疏系数矩阵
1).将稀疏表示系数矩阵
式中,TH为自适应阈值;
将||Xk[i,:]||2,i∈[1,N]按从大到小顺序排序,计算累计能量分布,能量值到达90%时对应的||Xk[i,:]||2的数值大小即为TH的取值;
2).将同一候选目标的局部图像块对应的贡献指示值Ik相加,得到各个候选目标的贡献值
3).将前r个贡献值最大的候选目标放入重要候选目标集
步骤9:对重要候选目标集
式中,
步骤9:更新目标模板,重复上述步骤进行第c+1帧图像的跟踪,目标模板更新方式为:将当前跟踪结果对应的目标tc(x,y,c)作为新加入的目标模板,记为tM(x,y,M),随机剔除目标模板tj(x,y,j),的时序标号为j,目标模板时序标号小于j的保持不变,其余目标模板的时序标号减1,所有目标模板的时序标号范围保持在[1,M]。
下面,结合具体实施例来对本发明做进一步详细说明。
具体实施例
实施例1
附图5为在“Football”序列上的实验结果。该视频中目标在运动过程发生旋转,被周围物体部分遮挡,并且背景杂乱。利用本发明所采用的多模板时空关联的局部反联合稀疏表示目标跟踪方法,可以更加充分地挖掘各个目标模板相似的部分,从而利用未被遮挡的目标图像块表示模型对候选目标进行筛选。实验表明该方法对目标的局部变化较为鲁棒。
实施例2
附图6为在“Quadrocopter”序列上的实验结果。该视频中的目标运动速度较快,红外成像导致目标分辨率较低。在跟踪过程中,利用目标运动模型对下一帧目标可能出现的位置和状态进行预测,将候选目标选择问题建模为重构目标模板贡献大小问题,并对多个候选目标打分,联合决定最终的跟踪结果,实验结果表明该方法可以很好地解决目标快速运动问题及分辨率低的问题。
实施例3
附图7为在“Trellis”序列上的实验结果。目标表观模型受光照变化、尺度变化以及目标旋转等的影响。基于余弦距离的度量方法具有对光照变化鲁棒性强的特点,并且该视频中目标是渐变的,可以更加充分地利用最近邻模板对候选目标进行选择,同时对多模板进行多任务学习可以防止错误模板的引入对跟踪造成的累计误差影响。实验结果证明本发明能够克服目标的光照变化、尺寸改变以及旋转。
如上所述即为本发明的实施例。本发明不局限于上述实施方式,任何人应该得知在本发明的启示下做出的结构变化,凡是与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。
机译: 基于时空约束的跨镜头多目标跟踪方法及装置
机译: 一种三维时空分割的视频区域跟踪方法
机译: 一种三维时空分割的视频区域跟踪方法