一种视频目标跟踪中的全遮挡处理方法

摘要

本发明属于计算机视觉与模式分析技术领域，具体为一种视频目标跟踪中的全遮挡处理方法。在视频目标跟踪过程中，目标常常会被其它物体完全遮挡一段时间。本发明提出了一种有效探测目标重新出现的时刻并及时再次捕获目标的方法。该方法在目标被完全遮挡后的每隔几帧即选出一个最佳匹配作为可能的重新出现的目标。然后利用遮挡物与刚重新出现的目标在作后向匹配时的不同特性检验该匹配是否真的是重新出现的目标。如果是则将该匹配所在的帧确定为目标重新出现的时刻，该最佳匹配的位置即为目标重新出现的位置。大量实景视频流的实验结果证实了本发明方法的有效性。

说明书

技术领域

本发明属于计算机视觉与模式分析技术领域，具体涉及一种视频目标跟踪中的全遮挡处理方法。

背景技术

目标跟踪在人机交互、自动监视、视频检索、交通监测以及车辆导航中有着广泛的应用。目标跟踪的任务是确定目标在视频流各帧中的几何状态，包括位置、尺寸以及取向等。由于不限定被跟踪目标的外观，而且目标的外观在跟踪过程中可以变化，再加上复杂前景与背景的干扰，目标跟踪方法面临着诸多挑战，是计算机视觉领域的研究热点之一。

目标跟踪方法可分为三类，一类是点跟踪(point tracking)^[1，2]，第二类是核跟踪(kernel tracking)^[3～7，10]，第三类是侧影跟踪(silhouette tracking)^[8，9]。本发明提出的目标跟踪方法属于核跟踪方法。该方法用外观模型(亦即模板)来表征目标，目标在每一帧中的几何信息通常用仿射变换参数来描述^[10]。

对于核跟踪方法，最大的挑战之一就是如何处理目标被遮挡这一问题^[3，5-7]。这一问题之所以难以解决是因为目标与遮挡物都可以是任意外观，且遮挡时间也可以是任意的。遮挡可以分为两种类型：部分遮挡与全遮挡。许多文献^[3，5，11]都给出了解决部分遮挡的方案，但是未给出处理全遮挡的方法。

处理全遮挡的关键在于如何有效探测目标重新出现的时刻并及时再次捕获目标。一个简单的方法是设一个相似度阈值，一旦找到的图像区域与模板之间的相似度超过这个阈值，则认为目标重新出现了。这个方法的问题在于相似度阈值很难确定，因为不同的跟踪视频流所需要的阈值差异很大。文献[6]和[7]通过寻找在预先规定的时长里与模板最匹配的图像区域规避了这个问题。然而，这个方法只能处理全遮挡时长小于其规定时长的情况。另外，如果遮挡物与目标外观很相似，该方法会被干扰。

参考文献

[1]C.Rasmussen，and G.Hager.Probabilistic data association methods for trackingcomplex visual objects.IEEE Trans.on Pattern Analysis and Machine Intelligence，23(6)：560-576，2001.

[2]C.Hue，J.L.Cadre，P.Prez.Sequential Monte Carlo methods for multiple targettracking and data fusion.IEEE Trans.on Signal Processing，50(2)：309-325，2002.

[3]A.D.Jepson，D.J.Fleet，and T.F.EI-Maraghi.Robust online appearance model forvisual tracking.IEEE.Trans.on Pattern Analysis and Machine Intelligence，25(10)：1296-1311，2003.

[4]D.Comaniciu，V.Ramesh，and P.Meer.Kernel-based object tracking，IEEETrans.on Pattern Analysis and Machine Intelligence，25(5)：564-577，2003

[5]S.K.Zhou，R.Chellappa，and B.Moghaddam.Visual tracking and recognitionusing appearance-adaptive models for particle filters.IEEE Trans.on ImageProcessing，13(11)：1491-1506，2004.

[6]H.T.Nguyen，M.Worring，and R.van den Boomgaard.Occlusion robust adaptivetemplate tracking.Proc.IEEE Int’l Conf.Computer Vision，1：678-683，2001.

[7]H.T.Nguyen，and A.W.M.Smeulders.Fast occluded object tracking by a robustappearance filter.IEEE Trans.on Pattern Analysis and Machine Intelligence，26(8)：1099-1104，2004.

[8]Y.Chen，Y.Rui，and T.Huang.Jpdaf based HMM for real-time contour tracking.Proc.IEEE Conf.on Computer Vision and Pattern Recognition，1：543-550，2001.

[9]A.Yilmaz，X.Li，and M.Shan.Contour based object tracking with occlusionhandling in video acquired using mobile cameras.IEEE Trans.on PatternAnalysis and Machine Intelligence，26(11)：1531-1536，2004.

[10] S.Baker，and I.Matthews.Lucas-Kanade 20 years on：a unifying framework.Int’l Journal Computer Vision，53(3)：221-255，2004.

[11]J.Pan，and B.Hu.Robust occlusion handling in object tracking.IEEE CVPRWorkshop on OTCBVS 2007，to be published.

发明内容

本发明的目的在于提出一种视频目标跟踪中的全遮挡处理方法。

本发明的关键在于如何有效探测目标重新出现的时刻并及时再次捕获目标。

当目标被部分遮挡时，本发明采用文献[11]提出的方法跟踪目标。当目标表面遮挡比例超过一定阈值r(一般可取0.8-0.95)，认为目标已进入全遮挡，即采用本发明提出的全遮挡处理方法探测目标重新出现的时刻并在出现时捕获目标。

具体来说，在目标进入全遮挡后，用模板在每帧中通过坐标变换^[7]寻找具有最佳匹配的图像区域，并每隔K帧选取一个最佳匹配作为候选目标；对该候选目标经过一个验证过程；如果通过了验证，则该候选目标就是重新出现的目标，该候选目标所在的位置则是重新出现的目标所在的位置；如果没有通过验证，则继续下一个K帧的最佳匹配选取与验证。

由于验证过程的存在，K的取值可以较小，例如为2-6，而不必像文献[6]或文献[7]那样取为20或25帧。较小的K值能够及时发现重新出现的目标。这里的关键在于如何设计一个有效的验证过程。本发明利用遮挡物与刚重新出现的目标在作后向匹配时的不同特性，检验该匹配是否真的是重新出现的目标。以下具体描述本发明的方法。

在第k个包含K帧的帧组中，最佳匹配的坐标变换参数a_m以及帧序号n_m通过下式得到：