法律状态公告日
法律状态信息
法律状态
2022-07-01
专利权的转移 IPC(主分类):G06T 7/277 专利号:ZL2017114077873 登记生效日:20220617 变更事项:专利权人 变更前权利人:天津理工大学 变更后权利人:天津大学滨海工业研究院有限公司 变更事项:地址 变更前权利人:300384 天津市西青区宾水西道391号 变更后权利人:300461 天津市滨海新区临港经济区嘉陵江道48号3号楼214室
专利申请权、专利权的转移
2020-05-01
授权
授权
2018-07-17
实质审查的生效 IPC(主分类):G06T7/277 申请日:20171222
实质审查的生效
2018-06-22
公开
公开
技术领域
本发明属于一张计算机视觉领域,特别涉及一种在发生遮挡和尺度变化情况下行人跟踪算法。
背景技术
目标跟踪是计算机视觉领域一个重要的研究课题,在视频监控、人机交互、机器人、军事制导等领域都有广泛的应用前景。基于图像序列的目标跟踪是在没有任何先验知识的前提下,根据第一帧中给定的目标边框确定目标位置及其运动轨迹。虽然近年来目标跟踪领域取得了快速的发展,但仍然面临着很多挑战:背景干扰、运动模糊、目标形变、光照变化、快速移动、遮挡、低分辨率、旋转和尺度变化等,,这些都会导致目标跟踪过程中发生漂移甚至跟踪失败。其中遮挡和尺度问题是限制目标跟踪算法发展的关键性因素,如何解决算法在目标发生遮挡和尺度变化的情况下跟踪失败已成为目标跟踪领域的一个关键性问题。
目标跟踪算法可以分为生成式跟踪算法和判别式跟踪算法两类。生成式目标跟踪首先要建立目标的表观模型,然后搜索图像中与该模型最相似的区域作为目标。判别式算法是把跟踪问题视为目标与背景的二分类问题,通过机器学习的方法将目标与背景分离开。生成式算法在跟踪过程中仅仅考虑了目标信息,忽略了背景信息,在背景干扰的情况下很容易导致跟踪失败。而判别式目标跟踪则充分利用背景信息,可以很好地克服生目标跟踪算法的缺陷。判别式算法可以分为基于在线Boosting的方法,基于支持向量机的方法、基于随机学习的方法、基于相关滤波的方法以及基于判别分析的方法。2010年相关滤波的引入,使得目标跟踪算法取得了快速的发展。算法在跟踪速度上取得了很大的突破。
发明内容
本发明的目的在于克服上述现有技术中存在的不足,而提供一种在发生遮挡和尺度变化情况下行人跟踪算法,该算法可有效地提高在发生遮挡和尺度变化的情况下对行人进行跟踪的准确性。
为了实现上述目的,本发明的方案是:一种在发生遮挡和尺度变化情况下行人跟踪算法,其特征在于:把核相关滤波作为卡尔曼滤波中的检测算法,根据上一帧中目标的运动趋势预测目标当前的运动状态,然后通过卡尔曼滤波在预测的位置进行目标检测,对检测结果进行遮挡判断,在未发生遮挡的情况下,通过卡尔曼滤波对检测结果进行校准;发生遮挡时,直接对预测结果进行校准。
上述在发生遮挡和尺度变化情况下行人跟踪算法的具体步骤如下:
(1)选择要跟踪的视频序列,其中包括视频序列、groundfruth文本文件和frames文本文件;
(2)通过第一帧信息对相关滤波进行初始化,最小化损失函数求出α=(K+λI)-1y,其中I为单位矩阵,y表示训练样本的标签,K为核矩阵Kij=κ(xi,xj),κ(*,*)为核函数,x为训练样本;
(3)从第二帧开始,通过卡尔曼滤波对目标位置进行预测:
①状态向量预测:
②状态向量协方差预测:P(k+1|k)=H(k)P(k|k)HT(k)+Q(k),其中P(k|k)为第k帧的状态向量,Q(k)为系统噪音,初始化为四维单位矩阵;
(4)通过核相关滤波计算新一帧的目标位置:
以预测得到的目标位置为初始位置,通过滑动窗口的方式根据尺度因子的设置从图像中提取大量样本,用线性插值的方式将样本调整为滤波器的尺寸,离散傅里叶转换结合相关滤波计算出所有样本的响应值
(5)判断遮挡:
当最大响应值大于给定的阈值1同时与上一帧的最大响应值的差值小于给定的阈值2,则判定为未发生遮挡,核相关滤波器的跟踪结果有效,更新滤波器;否则,不保留核相关滤波的跟踪结果。
(6)卡尔曼校准:
①计算卡尔曼加权矩阵:
K(k+1)=P(k+1|k)FT(k+1)·(F(k+1)P(k+1|k)FT(k+1)+Λ(k+1)-1)
其中F为测量矩阵,F=[1,0,0,0;0,1,0,0],Λ=[36,0;0,36];
②更新状态向量:
其中X=pos’,表示第五步得到的目标位置构造的列向量;
③更新状态向量协方差:
P(k+1|k+1)=(I-K(k+1)F(k+1))P(k+1,k)。
本发明具有如下的优点和有益效果:
1、本发明采用原始KCF算法无论跟踪结果是否准确,都会对滤波器进行更新,从而出现在目标发生遮挡或跟踪发生漂移时,滤波器被错误信息干扰,导致跟踪失败。
2、本发明根据KCF滤波的跟踪结果判断是否发生遮挡,在发生遮挡的情况下,不再更新滤波器,使得滤波器保留正确的目标信息,在发生遮挡时,依靠卡尔曼滤波对目标的运动状态进行预测,在目标重新出现在视野内时,KCF可以继续进行跟踪。
附图说明
图1是本发明跟踪准确率示意图。
具体实施方式
一种在发生遮挡和尺度变化情况下行人跟踪算法,通过Kalman滤波对目标位置进行预测,将预测结果用于KCF框架,精确定位目标;根据KCF跟踪响应值判断目标是否发生遮挡。发生遮挡时,KCF的跟踪结果无效,滤波器不更新,用Kalman滤波的预测结果进行校准;未发生遮挡时,更新滤波器,同时用滤波器的跟踪结果进行Kalman校准,得到最终的目标位置。
其具体步骤如下:
(1)选择要跟踪的视频序列,其中包括视频序列、groundfruth文本文件和frames文本文件;
(2)通过第一帧信息对相关滤波进行初始化,最小化损失函数求出α=(K+λI)-1y,其中I为单位矩阵,y表示训练样本的标签,K为核矩阵Kij=κ(xi,xj),κ(*,*)为核函数,x为训练样本;
(3)从第二帧开始,通过卡尔曼滤波对目标位置进行预测:
①状态向量预测:
②状态向量协方差预测:P(k+1|k)=H(k)P(k|k)HT(k)+Q(k),其中P(k|k)为第k帧的状态向量,Q(k)为系统噪音,初始化为四维单位矩阵;
(4)通过核相关滤波计算新一帧的目标位置:
以预测得到的目标位置为初始位置,通过滑动窗口的方式根据尺度因子的设置从图像中提取大量样本,用线性插值的方式将样本调整为滤波器的尺寸,离散傅里叶转换结合相关滤波计算出所有样本的响应值
(5)判断遮挡:
当最大响应值大于给定的阈值1同时与上一帧的最大响应值的差值小于给定的阈值2,则判定为未发生遮挡,核相关滤波器的跟踪结果有效,更新滤波器;否则,不保留核相关滤波的跟踪结果。
(6)卡尔曼校准:
①计算卡尔曼加权矩阵:
K(k+1)=P(k+1|k)FT(k+1)·(F(k+1)P(k+1|k)FT(k+1)+Λ(k+1)-1)
其中F为测量矩阵,F=[1,0,0,0;0,1,0,0],Λ=[36,0;0,36];
②更新状态向量:
其中X=pos’,表示第五步得到的目标位置构造的列向量;
③更新状态向量协方差:
P(k+1|k+1)=(I-K(k+1)F(k+1))P(k+1,k)。
本发明是一种在发生遮挡和尺度变化情况下仍旧具有鲁棒性的行人跟踪算法,通过建卡尔曼滤波与核相关滤波相结合对行人的运动趋势进行预测-跟踪-校准。先通过卡尔曼滤波进行预测,预测结果作为核相关滤波器的输入,核相关滤波器最大响应值处作为检测结果,再通过卡尔曼滤波对检测结果进行校正。在算法中加入检测遮挡机制,当相邻两帧得到的相关滤波最大响应值相差较大时,判定为遮挡,这种情况下,核相关滤波的跟踪结果失效,直接用卡尔曼滤波的预测值进行校正。
本发明以OTB-50数据集中的图像序列Girl2为例,通过对视频序列每隔10帧截图展示算法的跟踪结果为:
1、在这个过程中目标被遮挡后,本算法根据卡尔曼滤波还是可以精准的估计目标的位置,并在目标重新出现时,准确定位目标。
2、当视频中目标有较明显的形变同时目标的尺度也在发生变化时,本算法配合尺度估计,在目标发生尺度变化时,依旧可以准确跟踪目标。例如目标被行人和台阶遮挡,成功跟踪目标。
3、图1为本算法跟踪准确率图,从图中可以看出,取阈值为20时,跟踪准确率达到90%以上,在阈值为25时,跟踪准确率达100%。
需要说明的是,以上所述仅为本发明优选实施例,仅仅是解释本发明,并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动,同样在本发明保护范围之内。
机译: 用于车辆的行人碰撞检测装置,具有控制单元,该控制单元确定保险杠罩的振动特性的变化并且基于该变化确定车辆与行人的碰撞是否发生
机译: 用于控制车辆的发动机罩的打开的装置,特别是用于在与行人发生碰撞的情况下保护行人的头部的装置
机译: 在两个或多个设备或外壳中压力发生很大变化的情况下,从设备和容器中排出的冷凝物要经过调节,或者在两个或多个设备中压力变化很大的情况下导致设备和外壳中出现冷凝物