融合描述式和判别式建模的目标跟踪方法

摘要

本发明公开一种融合描述式和判别式建模的目标跟踪方法，包括以下步骤：1.t＝1，在第1帧图像中的被跟踪目标及其邻近背景上随机抽取多尺度小图像块集合并训练两对二类支持向量机和一类支持向量机作为被跟踪目标的模型；2.在第t+1帧图像中随机抽取多尺度小图像块集合并通过被跟踪目标的模型确定第t+1帧图像中小图像块属于被跟踪目标的置信度，用新一帧图像中小图像块的置信度及其中心坐标构造置信图；在置信图上用均值移动算法获得被跟踪目标在新一帧图像中的新位置；根据图像块置信度和被跟踪目标的新位置，对当前帧中的小图像块分类，并根据分类结果更新被跟踪目标的模型；3.若未到视频文件的结尾，递增t，返回步骤2；4.终止。

说明书

技术领域

本发明属于计算机视觉技术领域，涉及一种对目标进行跟踪的方法

背景技术

目标检测与跟踪是计算机视觉的主要研究方向之一，它在人机交互、智能监视、医学图像分析、移动机器人视觉导航、视频图像分析等领域中有着广泛的应用。一个准确鲁棒的目标跟踪器对于后续的分析将产生极大帮助。

现有的目标跟踪算法，从数学方法上通常可以分为两类：产生式方法和判别式方法。产生式方法学习被跟踪目标的外观，得到被跟踪目标外观的描述性模型。产生式方法通过更新描述式模型来适应被跟踪目标外观的变化，而忽略背景对目标的影响。因此，产生式算法在背景和目标比较相似时，跟踪结果容易偏离真正的目标位置。判别式方法通过学习背景和被跟踪目标的分类面，获得对被跟踪目标外观和背景外观的判别性模型。判别式方法通过更新判别式模型，即分类面，来适应被跟踪目标和背景外观的变化。判别式方法由于同时关注被跟踪目标外观和背景外观，往往能更有效地从背景中识别出目标。但是现有的判别式方法通常仅仅关注目标和背景的判别性的模型，因而也容易产生模型偏差，而所采用的更新方法又很难体现目标的真实变化，因此经常会出现严重的“模型飘移”问题，导致被跟踪目标的丢失。

发明内容

针对现有技术的现状，本发明的目的是提出一种结合了描述式(或称产生式)和判别式目标建模方法优点的跟踪一般物体的方法，使对给出的图像序列能自动进行对目标的定位与跟踪，从图像序列中获得被跟踪目标在每一帧图像中的位置。

为实现以上目的，本发明提供的一种融合描述式和判别式建模的目标跟踪方法，基于两个尺度小图像块集合并且用二类支持向量机和一类支持向量机共同对被跟踪目标建模，该方法包括步骤如下：

步骤S1：对视频文件的第1帧图像做初始化处理；即，设帧号t＝1，从视频文件中读取第1帧图像，人工或者利用目标检测算法确定被跟踪目标及其局部背景在第1帧图像中的位置，即初始位置；在被跟踪目标及其局部背景上随机抽取两个尺度的小图像块集合；按照用户指定的特征类型计算各小图像块的特征；利用两个尺度的小图像块的特征训练两对二类支持向量机和一类支持向量机，用第一尺度小图像块集合训练得到的二类支持向量机2-SVC(1，s1)和一类支持向量机1-SVC(1，s1)，以及用第二尺度小图像块集合训练得到的二类支持向量机2-SVC(1，s2)和一类支持向量机1-SVC(1，s2)共同构成被跟踪目标的模型，其中，s1和s2分别表示第一尺度和第二尺度，2-SVC表示为二类支持向量机，1-SVC表示为一类支持向量机；

步骤S2：确定被跟踪目标在第t+1帧图像中的位置；即，从视频文件中读取第t+1帧图像，随机抽取两个尺度的小图像块集合；计算各小图像块的特征；利用基于两个尺度小图像块的被跟踪目标的模型2-SVC(t，s1)、1-SVC(t，s1)和2-SVC(t，s2)、1-SVC(t，s2)确定被跟踪目标在第t+1帧中的位置，并根据被跟踪目标在第t+1帧中的位置将被跟踪目标模型由2-SVC(t，s1)、1-SVC(t，s1)和2-SVC(t，s2)、1-SVC(t，s2)更新为2-SVC(t+1，s1)、1-SVC(t+1，s1)和2-SVC(t+1，s2)、1-SVC(t+1，s2)；输出被跟踪目标在第t+1帧图像中的位置；

步骤S3：若第t+1帧不是视频文件的最后一帧，t＝t+1，返回步骤S2，若第t+1帧是视频文件的最后一帧，则至步骤S4；

步骤S4：结束目标跟踪。

其中，对视频文件的第1帧图像做初始化处理的具体步骤如下：

步骤S11：设帧号t＝1，用目标框和背景框在视频文件的第1帧图像中选定需要被跟踪的目标以及被跟踪目标附近的背景的初始位置；

步骤S12：指定小图像块第一尺度，分别在目标框和背景框的环矩形区域中随机采样，得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第一尺度小图像块集合；表示图像中被跟踪目标的第一尺度小图像块是正样本，表示图像中被跟踪目标局部背景的第一尺度小图像块是负样本；

步骤S13：指定小图像块第二尺度，分别在目标框和背景框的环形区域中随机采样，得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第二尺度小图像块集合；表示图像中被跟踪目标的第二尺度小图像块是正样本，表示图像中被跟踪目标局部背景的第二尺度小图像块是负样本；

步骤S14：对一对第一尺度小图像块集合中的各小图像块，指定一种特征的直方图作为各小图像块的特征，对各小图像块进行计算并得到第一尺度小图像块特征；

步骤S15：对一对第二尺度小图像块集合中的各小图像块，指定一种特征的直方图作为各小图像块的特征，对各小小图像块的特征进行计算并得到第二尺度小图像块特征；

步骤S16：利用一对第一尺度小图像块集合训练二类支持向量机，获得第一尺度下目标和背景的判别分类面，亦称第一尺度二类支持向量机2-SVC(1，s1)；利用一对第一尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第一尺度下目标的描述性特征分布，亦称第一尺度一类支持向量机1-SVC(1，s1)；这一对第一尺度二类支持向量机2-SVC(1，s1)和第一尺度一类支持向量机1-SVC(1，s1)构成第一帧图像中第一尺度下的被跟踪目标模型；

步骤S17：利用一对第二尺度小图像块集合训练二类支持向量机，获得第二尺度下目标和背景的判别分类面，亦称第二尺度二类支持向量机2-SVC(1，s2)；利用一对第二尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第二尺度下目标的描述性特征分布，亦称第二尺度一类支持向量机1-SVC(1，s2)；这一对第二尺度二类支持向量机2-SVC(1，s2)和第二尺度一类支持向量机1-SVC(1，s2)构成第一帧图像中第二尺度下的被跟踪目标模型。

其中，确定被跟踪目标在第t+1帧图像中的位置的具体步骤如下：

步骤S21：读取被跟踪目标位置未知的第t+1帧图像；

步骤S22：对第t+1帧图像随机抽取第一尺度的图像块，得到第t+1帧图像中第一尺度小图像块集合；

步骤S23：计算第t+1帧图像中第一尺度小图像块集合中所有小图像块的特征；

步骤S24：利用在第t帧图像中在第一尺度小图像块集合上训练得到的二类支持向量机2-SVC(t，s1)和一类支持向量机1-SVC(t，s1)对第t+1帧图像的第一尺度小图像块集合分类；

步骤S25：取二类支持向量机2-SVC(t，s1)和一类支持向量机1-SVC(t，s1)对第t+1帧图像的第一尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第一尺度小图像块属于目标的置信度；所有第一尺度小图像块的置信度和第一尺度小图像块在第t+1帧图像中的中心像素坐标构成第一尺度图像块集合的置信图；

步骤S26：利用第一尺度小图像块集合的置信图，在第t+1帧图像中排除非目标区域，得到可能目标区域，在这个可能目标区域中随机抽取第二尺度的小图像块，得到第t+1帧图像的第二尺度小图像块集合；

步骤S27：计算第t+1帧图像中第二尺度小图像块集合中所有小图像块的特征；

步骤S28：利用在第t帧图像中第二尺度小图像块集合上训练得到的二类支持向量机2-SVC(t，s2)和一类支持向量机1-SVC(t，s2)对第t+1帧图像的第二尺度小图像块集合分类；

步骤S29：取二类支持向量机2-SVC(t，s2)和一类支持向量机1-SVC(t，s2)对第t+1帧图像的第二尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第二尺度小图像块属于目标的置信度；所有第二尺度小图像块的置信度和第二尺度小图像块在第t+1帧图像中的中心像素坐标构成第二尺度图像块集合的置信图；

步骤S210：利用第t+1帧图像中的第二尺度小图像块集合的置信图，修正第t+1帧图像中的第一尺度小图像块集合的置信图；

步骤S211：在修正后的第t+1帧图像中第一尺度小图像块集合的置信图上，利用均值移动算法确定被跟踪目标在第t+1帧图像中的位置，将目标框移至该新位置并输出显示；

步骤S212：根据第t+1帧图像中被跟踪目标的位置重新随机采样以获得一对新的第一尺度小图像块集合和一对新的第二尺度小图像块集合，利用被跟踪目标模型2-SVC(t，s1)、1-SVC(t，s1)和2-SVC(t，s2)、1-SVC(t，s2)计算新的小图像块集合中各小图像块属于被跟踪目标的置信度，从而确定每个小图像块的分类结果，再利用每个图像块的分类结果更新得到第t+1帧中被跟踪目标的模型2-SVC(t+1，s1)、1-SVC(t+1，s1)和2-SVC(t+1，s2)、1-SVC(t+1，s2)。

其中，所述非目标区域是置信度为非正的第一尺度小图像块所覆盖的区域。

其中，所述利用第二尺度小图像块集合的置信图，修正第一尺度小图像块的置信图是对所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度求最大值，如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为非正数，则第一尺度小图像块的置信度为所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值，如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为正数，则第一尺度小图像块的置信度与所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值之和为第一尺度小图像块的新的置信度。

其中，所述被跟踪目标的小图像块集合由多个具有相同尺度的在目标框中采样得到的小图像块构成。

其中，所述局部背景的小图像块集合由多个具有相同尺度的在背景框以内目标框以外即环矩形区域中采样得到的小图像块组成。

其中，所述两个尺度小图像块包括第一尺度小图像块和第二尺度小图像块，第一尺度小图像块的尺度为固定值，第二尺度小图像块的尺度与目标框大小成正比。

其中，所述更新两个尺度下的二类支持向量机2-SVC(t，s1)、2-SVC(t，s2)和一类支持向量机1-SVC(t，s1)、1-SVC(t，s2)是对在第t帧图像中学习得到的两个尺度下的二类支持向量机2-SVC(t，s1)、2-SVC(t，s2)和一类支持向量机1-SVC(t，s1)、1-SVC(t，s2)保留其前k帧图像中的样本，去掉前第k+1帧图像中的样本，并加入第t+1帧图像中的新样本重新训练二类支持向量机和一类支持向量机得到第t+1帧图像中的两个尺度下的二类支持向量机2-SVC(t+1，s1)、2-SVC(t+1，s2)和一类支持向量机1-SVC(t+1，s1)、1-SVC(t+1，s2)。

本发明的有益效果：本发明结合描述式和判别式目标建模方法的优点，有效地利用二类支持向量机较强的判别能力区分出目标和背景，同时为增强克服“模型飘移”问题的能力，用一类支持向量机获得对目标的描述式模型。本发明对背景不断变化，摄像机不固定，目标外观和尺度不断发生变化的情形也适用，且能取得良好的效果。大量的实验结果表明，本发明的方法在跟踪的稳定性和精度方面明显优于现有的一些主流方法。本发明的方法既利用了判别式方法能够针对一幅图像最优地区分目标和背景的能力，又利用产生式方法对目标本身的描述更准确的优点，使得方法能更好地适应目标和背景的变化，大大减轻了“模型漂移”问题对方法的不利影响。

附图说明

图1是本发明融合描述式和判别式方法的目标跟踪方法的流程图。

图2是图1中对视频文件中第一帧图像做初始化处理的流程图。

图3是图2中对视频文件中新取出的第t+1帧图像的处理流程图。

图4是两个尺度小图像块示意图。

图5a、图5b、图5c是两个尺度小图像块集合的置信图示意图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

请参考图1示出的本发明流程图。

在以下各步骤中，t表示一个视频文件的帧序号，t＝1表示第1帧图像，t＝2表示第2帧图像，以此类推。s₁和s₂分别表示第一尺度和第二尺度。

步骤S1.初始化。图2示出方法初始化的流程图，其中，2-SVC(t，s1)、2-SVC(t，s2)和1-SVC(t，s1)、1-SVC(t，s2)分别表示利用从第1帧图像中随机采样得到的小图像块集合训练得到的两类支持向量机和一类支持向量机，s1和s2分别表示第一和第二尺度。

步骤S11.设t＝1。用目标框和背景框在视频文件的第1帧图像中选定需要被跟踪的目标以及被跟踪目标附近的背景。

步骤S12.指定小图像块第一尺度，分别在目标框和背景框(环矩形区域)中随机采样，得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第一尺度小图像块集合。随机采样得到的第一尺度小图像块集合由固定大小的小图像块(通常是9像素×9像素至11像素×11像素)组成，第一尺度小图像块的采样率为8％～16％，完全位于目标窗内部的小图像块被标记为正样本，其余的小图像块被标记为负样本，如图4所示。图4右上方的椭圆代表第一尺度小图像块中的正样本集合，正样本均来自中间图像中的目标窗，右下方的椭圆代表第一尺度小图像块中的负样本集合，负样本均来自中间图像中目标窗以外的环矩形图像区域。图中给出的第一尺度小图像块的尺度是11像素×11像素。

步骤S13.指定小图像块第二尺度，分别在目标框和背景框(环矩形区域)中随机采样，得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第二尺度小图像块集合。随机采样得到的第二尺度小图像块集合由与目标窗大小有关的小图像块组成，通常第二尺度小图像块的大小是目标窗尺度的1/8至1/2倍，第二尺度小图像块的采样率为2％～5％，完全位于目标窗内部的小图像块被标记为正样本，其余的小图像块被标记为负样本，如图4所示。图4左上方的椭圆代表第二尺度小图像块中的正样本集合，正样本均来自中间图像中的目标窗，左下方的椭圆代表第二尺度小图像块中的负样本集合，负样本均来自中间图像中目标窗以外的环矩形图像区域。图中给出的第二尺度小图像块的尺度是21像素×21像素。

步骤S14.对一对第一尺度小图像块集合中的各小图像块，指定一种特征，比如指定颜色或者纹理等的直方图作为各小图像块的特征，计算各小图像块的特征，后继帧也采用同样的特征。

步骤S15.对一对第二尺度小图像块集合中的各小图像块，指定一种特征，比如指定颜色或者纹理等的直方图作为各小图像块的特征，计算各小图像块的特征，后继帧也采用同样的特征。

步骤S16.利用一对第一尺度小图像块集合训练二类支持向量机，获得第一尺度下目标和背景的判别分类面，其中p表示小图像块。利用第一尺度下表示被跟踪目标的小图像块集合训练一类支持向量机，获得第一尺度下目标的描述性模型，其中p表示小图像块。和构成第一尺度目标模型。

步骤S17.利用一对第二尺度小图像块集合训练二类支持向量机，获得第二尺度下目标和背景的判别分类面，其中p表示小图像块。利用第二尺度下表示被跟踪目标的小图像块集合训练一类支持向量机，获得第一尺度下目标的描述性模型，其中p表示小图像块。。和构成第二尺度目标模型。

第i尺度下的一类支持向量机和二类支持向量机输出之和为第i尺度融合分类器

${h_t}^{s_i}\left(p\right)=h_{t,2-\mathrm{SVC}}^{s_i}\left(p\right)+h_{t,1-\mathrm{SVC}}^{s_i}\left(p\right),$

其中，i∈{1，2}。

步骤S2.确定被跟踪目标在第t+1帧中的位置，并更新目标模型。图3示出本发明方法处理新取得的一帧(即第t+1帧)的流程图，其中，2-SVC(t，s1)、2-SVC(t，s2)和1-SVC(t，s1)、1-SVC(t，s2)分别表示利用从第t帧图像中随机采样得到的小图像块集合训练得到的两类支持向量机和一类支持向量机，s1和s2分别表示第一二尺度和第二尺度，2-SVC表示为二类支持向量机，1-SVC表示为一类支持向量机。

步骤S21.读取第t+1帧图像。

步骤S22.根据第t帧图像中目标窗的位置，在目标位置未知的第t+1帧图像中的同样位置及其附近随机抽取第一尺度小图像块集合

步骤S23.计算第t+1帧图像中第一尺度小图像块集合中所有小图像块的特征。

步骤S24.利用在第t帧图像中在第一尺度小图像块集合上训练得到的融合分类器对第t+1帧图像的第一尺度小图像块集合分类。

步骤S25.计算第一尺度小图像块集合中每个第一尺度小图像块p作为正样本的置信度

${c_{t+1}}^{s_1}(x_p,y_p)=\left(\begin{array}{cc}1,& {h_t}^{s_1}\left(p\right)>1;\\ {h_t}^{s_1}\left(p\right),& -1<{h_t}^{s_1}\left(p\right)<1;\\ -1,& {h_t}^{s_1}\left(p\right)<-1,\end{array}\right)$

其中(x_p，y_p)是小图像块p的中心。集合构成第t+1帧图像中第一尺度小图像块置信图(图5a)

步骤26：利用第一尺度小图像块集合的置信图，在第t+1帧图像中排除非目标区域，得到可能目标区域。可能目标区域中既有未被第一尺度小图像块覆盖的像素，也有被第一尺度小图像块覆盖并满足下述不等式的像素：

$\left(\underset{(u,v)\in {\left\{p\right\}}_{t+1}^{s_1}}{\Sigma }{c_{t+1}}^{s_1}(u,v)\right)>0,$

其中(u，v)是小图像块$p\in {\left\{p\right\}}_{t+1}^{s_1}$覆盖的像素。注意：对于第一尺度小图像块的置信图，如果覆盖的像素(u，v)不是任何图像块$p\in {\left\{p\right\}}_t^{s_1}$的中心，那么${c_{t+1}}^{s_1}(u,v)=0.$在这个可能目标区域中随机抽取第二尺度的小图像块，得到第t+1帧图像的第二尺度小图像块集合

步骤S27.计算第t+1帧图像中第二尺度小图像块集合中所有小图像块的特征。

步骤S28.利用第t帧图像针对第二尺小图像块的融合分类器对第二尺度小图像块集合分类。

步骤S29.计算第二尺度小图像块集合中每个第二尺度小图像块p作为正样本的置信度

${c_{t+1}}^{s_2}(x_p,y_p)=\left(\begin{array}{cc}1,& {h_t}^{s_2}\left(p\right)>1;\\ {h_t}^{s_2}\left(p\right)& -1<{h_t}^{s_2}\left(p\right)<1;\\ -1,& {h_t}^{s_2}\left(p\right)<-1,\end{array}\right)$

其中(x_p，y_p)是小图像块p的中心。集合构成第t+1帧图像中第二尺度小图像块置信图(图5b)。

步骤S210.利用第二尺度小图像块置信图来修正第一尺度小图像块置信图。由于第一尺度小图像块p可能被多个第二尺度小图像块覆盖，其中覆盖第一尺度小图像块p的中心(u，v)且具有最大置信度的第二尺度小图像块的置信度c_m被用来修正第一尺度小图像块p的置信度。

这里，m表示最大值之意。图5c所示为修正后的第一尺度小图像块置信图。

步骤S211.确定被跟踪目标在第t+1帧中的位置。在第t+1帧中修正后的第一尺度小图像块集合的置信图上，以第t帧中目标的位置为初始位置，利用均值移动算法得到第t+1帧中目标的位置，具体步骤如下。

步骤S2111设：循环变量k＝0，q₀是第t帧图像中目标窗的中心，是该中心在第t+1帧图像中的图像坐标，q_k是第t帧图像中第k次循环时目标窗的中心，是在第t+1帧图像中以为中心的一个半径为δ的圆形邻域。

步骤S2112

$(x_{q_{k+1}},y_{q_{k+1}})=\frac{1}{N_{q_k}}\underset{p\in S_{\mathrm{qk}}}{\Sigma }(x_p,y_p),$

这里，表示中具有非零置信度的小图像片的个数，第t+1帧图像中的小图像片p具有非零置信度，(x_p，y_p)表示小图像片p的中心在第t+1帧图像中的图像坐标。k＝k+1，循环执行步骤S2.11.2，直至收敛。收敛时的即为目标窗在第t+1帧图像中的中心位置。

步骤S212：在线更新两类支持向量机和一类支持向量机。

步骤S2121获取新样本。在第t+1帧图像中随机采样，获得两种尺度的小图像块集合。利用第一尺度小图像块的融合分类器和第二尺度小图像块的融合分类器计算第t+1帧图像中所有第一尺度小图像块和第二尺度小图像块的置信度，并按下式标记样本的正负。

这里，R_t+1表示第t+1帧图像中的目标窗，若小图像块p是第一尺度的，则i＝1，若小图像块p是第二尺度的，则i＝2。

步骤S2122去除旧样本。对于二类支持向量机，由于背景方差往往较大，故只利用第t+1帧图像的正负样本更新二类支持向量机。对于一类支持向量机，去除前K帧图像以前的帧中的正样本并加入第t+1帧图像中的正样本，利用所有这些样本更新一类支持向量机。这里，K是更新容量参数。

步骤S3.若第t+1帧不是视频文件的最后一帧，t＝t+1，返回第S2步。否则，至步骤S4。

步骤S4.结束目标跟踪。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。