一种基于扩展的局部不变特征描述的目标跟踪方法

摘要

本发明公开了一种基于扩展的局部不变特征描述的目标跟踪方法，包括以下步骤：步骤1，目标图像初始化，选定包含被跟踪目标矩形A(x,y)的初始位置；步骤2，通过粒子滤波进行目标跟踪，选取一定粒子数量，每个粒子表示一帧中的跟踪矩形，并获得每个粒子的初始权重和位置信息；步骤3，计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度，相似程度越高的粒子赋予较大的权值，反之权值较小；通过权重对每个粒子所代表的跟踪矩形中心进行加权，得到最终的跟踪矩形中心，也即获得目标在第n+1帧图像的位置。本发明通过对每个特征点进行特征向量描述，通过颜色比对信息进行编码，对局部二元模式进行扩展，将纹理的分布进行了更细的划分。

说明书

技术领域

本发明涉及目标跟踪的技术领域，具体涉及一种基于扩展的局部不变特征描述的目标跟踪方法。

背景技术

在视频跟踪研究中，基于粒子滤波的目标跟踪方法由于其在解决非线性问题方面的优异特性，以及相对开放的跟踪框架对各种特征描述方法的兼容能力，在视频跟踪中得到了广泛的应用。

然而，传统的粒子滤波用的是颜色直方图，并且由于二元模式仅仅表征简单的大小关系，无法反应纹理变化的差异程度，且容易受到噪声的影响。

发明内容

本发明的目的在于提供一种基于扩展的局部不变特征描述的目标跟踪方法，通过扩展局部二元特征，更好的表征纹理分布的细节，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于扩展的局部不变特征描述的目标跟踪方法，通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像，其特征在于，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，选定包含被跟踪目标矩形A(x,y)的初始位置；

步骤2，通过粒子滤波进行目标跟踪，选取一定粒子数量，每个粒子表示一帧中的跟踪矩形，并获得每个粒子的初始权重和位置信息；

步骤3，计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度，相似程度越高的粒子赋予较大的权值，反之权值较小；

其中，步骤3中，通过有序比对特征求得相似程度和权重，包括以下步骤：

步骤31，将第n帧的跟踪目标矩形A(x,y)图像平均分成若干个区域，每个区域随机选择一个像素点作为特征点，对每个特征点进行特征向量描述，获得跟踪目标矩形A(x,y)所有特征点的特征向量，然后进行归一化得到最终特征向量，完成对目标矩形A(x,y)图像的特征描述；

在进行特征向量描述过程中，通过对局部二元模式进行扩展，通过颜色比对信息进行编码，将颜色比对的结果分成3类；

步骤32，根据步骤31的方法，获得第n+1帧的跟踪目标矩形TA(x,y)图像的归一化最终特征向量；

步骤33，计算第n+1帧跟踪目标矩形TA(x,y)图像与第n帧跟踪目标矩形A(x,y)图像的相似度；

步骤34，更新当前粒子的权重：对所有粒子重复步骤31～33的操作，计算出新的权重，再进行归一化得到最终权重；

步骤35，通过权重对每个粒子所代表的跟踪矩形中心进行加权，得到最终的跟踪矩形中心，也即获得目标在第n+1帧图像的位置；

步骤36，从第2帧开始，每一帧都通过上述步骤计算出与之相邻的前一帧对应的跟踪参数{(Tx_n,Ty_n)|n＝1,L,N-1}，获得目标在每一帧的跟踪结果，实现根据视频序列图像的第n帧的跟踪目标矩形的位置，计算第n+1帧的跟踪目标矩形的位置。

作为进一步改进，所述步骤2中，选取粒子数量M＝50，每个粒子表示一个跟踪矩形，且第n帧的跟踪矩形的大小和第n+1帧的目标矩形的大小完全相同，每个粒子只需要3个参数其中表示跟踪矩形的权重，表示跟踪矩形的中心坐标，标号m∈{1,L,M}表示粒子的序号；

从步骤1的第n帧，n＝1时的目标矩形A(x,y)，中心像素设为(x₀,y₀)，以及周围的背景区域B(x,y)，则在第n+1帧图像上，以(x₀,y₀)为中心，随机选取50个位置作为粒子的中心坐标：

其中ε₁,ε₂均为[-1,1]内的随机数，β是一个常数，表示单帧像素偏移的范围，此取值50，然后给每个粒子的权重赋初值，初始权重设为1/M；

根据上述步骤，获得每个粒子的初始权重和位置信息。

作为进一步改进，所述步骤31中，任取一个粒子记此粒子所表示的跟踪矩形为TA(x,y)；

将图像A(x,y)上平均分成100个区域，每个区域大小都一样，在每个区域随机选择一个像素点作为特征点，记为{(x₁,y₁),L,(x₁₀₀,y₁₀₀)}，在图像TA(x,y)上相同的位置也可得到100个的特征点，记为{(x′₁,y′₁),L,(x′₁₀₀,y′₁₀₀)}，其中(x_i,y_i)和(x′_i,y′_i)是一一对应的，i∈{1,2,L,100}；

对每个特征点进行特征向量描述，通过颜色比对信息进行编码，对局部二元模式进行扩展，将颜色比对的结果分成3类，具体步骤如下：

任取一个特征点(x_n,y_n)，在图像A(x,y)上，以(x_n,y_n)为中心在图像A(x,y)选择其四周紧邻的8个像素记为作为该点的对比像素，然后进行第一个模式比对：

其中m∈{1,2,L,8}表示像素点顺序号，th1表示第一个差异阈值，这里取值10，r1(m)表示像素点(x^m,y^m)在第一个模式下的编码，最终8个像素点会获得一个8位的二进制数{r1(1),r1(2),L,r1(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第一个模式下的特征值，记为RT1，

进行第二个模式的比对：

r2(m)表示像素点(x^m,y^m)在第一个模式下的编码，同样8个像素点会获得一个8位的二进制数{r2(1),r2(2),L,r2(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第二个模式下的特征值，记为RT2，

进行第三个模式的比对：

其中r3(m)表示像素点(x^m,y^m)在第三个模式下的编码，同样8个像素点会获得一个8位的二进制数{r3(1),r3(2),L,r3(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第三个模式下的特征值，记为RT3，

实现通过差异阈值th1对颜色比对结果进行三种情况的分类，更好的表征纹理分布的细节，

最终特征点(x_n,y_n)一共得到一个长度为三的特征向量{RT1,L,RT3}；

对图像A(x,y)上所有的特征点，都按照上述方法进行处理，获得各自的特征向量，把所有的特征向量排列在一起，获得一个长度为100×3＝300的特征向量{RT1,L,RT300}，然后进行归一化得到最终特征向量，记为YXT1，也即完成对图像A(x,y)的特征描述。

作为进一步改进，所述步骤32中，依据将颜色比对的结果分成3类的具体步骤，对图像TA(x,y)上100个特征点进行描述，得到一个长度为300的归一化特征向量，记为YXT2。

作为进一步改进，所述步骤33中，采用Bhattacharyya系数计算YXT1与YXT2的相似度，

接着根据相似度计算当前粒子的观测概率密度

其中δ是个常数。

作为进一步改进，所述步骤34中，更新当前粒子的权重的步骤：

对于所有的50个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重

作为进一步改进，所述步骤35中，通过权重对每个粒子所代表的跟踪矩形中心进行加权，得到最终的跟踪矩形中心：

也即获得目标在第n+1帧图像的位置。

作为进一步改进，所述步骤35中，从第n帧，n＝2,开始，每一帧都通过计算出与之相邻的前一帧对应的跟踪参数{(Tx_n,Ty_n)|n＝1,L,N-1}，获得目标在每一帧的跟踪结果。

本发明的有益效果：相对局部二元模式仅仅表征简单的大小关系，无法反应纹理变化的差异程度，且容易受到噪声的影响；本发明通过对每个特征点进行特征向量描述，通过颜色比对信息进行编码，对局部二元模式进行扩展，将纹理的分布进行了更细的划分，通过差异阈值th1对颜色比对结果进行三种情况的分类，不再是局部二元模式下单纯的大于和小于，从而更好的反应纹理变化的细节。

下面结合附图与具体实施方式，对本发明进一步详细说明。

附图说明

图1为基于扩展的局部不变特征描述的目标跟踪方法的流程示意图；

具体实施方式

实施例1，参见图1，本实施例提供的基于扩展的局部不变特征描述的目标跟踪方法，通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，选定包含被跟踪目标矩形A(x,y)的初始位置；

步骤2，通过粒子滤波进行目标跟踪，选取一定粒子数量，每个粒子表示一帧中的跟踪矩形，并获得每个粒子的初始权重和位置信息；

步骤3，计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度，相似程度越高的粒子赋予较大的权值，反之权值较小；

其中，步骤3中，通过有序比对特征求得相似程度和权重，包括以下步骤：

步骤31，将第n帧的跟踪目标矩形A(x,y)图像平均分成若干个区域，每个区域随机选择一个像素点作为特征点，对每个特征点进行特征向量描述，获得跟踪目标矩形A(x,y)所有特征点的特征向量，然后进行归一化得到最终特征向量，完成对目标矩形A(x,y)图像的特征描述；

在进行特征向量描述过程中，通过对局部二元模式进行扩展，通过颜色比对信息进行编码，将颜色比对的结果分成3类；

步骤32，根据步骤31的方法，获得第n+1帧的跟踪目标矩形TA(x,y)图像的归一化最终特征向量；

步骤33，计算第n+1帧跟踪目标矩形TA(x,y)图像与第n帧跟踪目标矩形A(x,y)图像的相似度；

步骤34，更新当前粒子的权重：对所有粒子重复步骤31～33的操作，计算出新的权重，再进行归一化得到最终权重；

步骤35，通过权重对每个粒子所代表的跟踪矩形中心进行加权，得到最终的跟踪矩形中心，也即获得目标在第n+1帧图像的位置；

步骤36，从第2帧开始，每一帧都通过上述步骤计算出与之相邻的前一帧对应的跟踪参数{(Tx_n,Ty_n)|n＝1,L,N-1}，获得目标在每一帧的跟踪结果，实现根据视频序列图像的第n帧的跟踪目标矩形的位置，计算第n+1帧的跟踪目标矩形的位置。

实施例2，参见图1，本实施例提供的基于扩展的局部不变特征描述的目标跟踪方法，以相邻两帧图像第n(≥1)帧和第n+1帧为例，用粒子滤波的思想进行目标跟踪，也即根据第n帧的目标矩形的位置，计算第n+1帧的跟踪矩形的位置。所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，人工选定包含被跟踪目标矩形A(x,y)的初始位置；

步骤2，通过粒子滤波进行目标跟踪，选取粒子数量M＝50，每个粒子表示一个跟踪矩形，且第n帧的跟踪矩形的大小和第n+1帧的目标矩形的大小完全相同，每个粒子只需要3个参数其中表示跟踪矩形的权重，表示跟踪矩形的中心坐标，标号m∈{1,L,M}表示粒子的序号；

第n帧，n＝1时的目标矩形A(x,y)，中心像素设为(x₀,y₀)，以及周围的背景区域B(x,y)，则在第n+1帧图像上，以(x₀,y₀)为中心，随机选取50个位置作为粒子的中心坐标：

其中ε₁,ε₂均为[-1,1]内的随机数，β是一个常数，表示单帧像素偏移的范围，此取值50，然后给每个粒子的权重赋初值，初始权重设为1/M；

根据上述步骤，获得每个粒子的初始权重和位置信息。

步骤3，计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度，相似程度越高的粒子赋予较大的权值，反之权值较小；

其中，步骤3中，通过有序比对特征求得相似程度和权重；

本实施例任取一个粒子为例说明本发明提出的通过有序比对特征求得相似程度和权重的步骤，包括以下步骤：

步骤31，记此粒子所表示的跟踪矩形为TA(x,y)；

将第n帧的跟踪目标矩形A(x,y)上平均分成100个区域，每个区域大小都一样，在每个区域随机选择一个像素点作为特征点，记为{(x₁,y₁),L,(x₁₀₀,y₁₀₀)}，在图像TA(x,y)上相同的位置也可得到100个的特征点，记为{(x′₁，y′₁),L,(x′₁₀₀,y′₁₀₀)}，其中(x_i,y_i)和(x′_i,y′_i)是一一对应的，i∈{1,2,L,100}；

对每个特征点进行特征向量描述，通过颜色比对信息进行编码，对局部二元模式进行扩展，将颜色比对的结果分成3类，具体步骤如下：

本实施例任取一个特征点(x_n,y_n)为例进行说明，在图像A(x,y)上，以(x_n,y_n)为中心在图像A(x,y)选择其四周紧邻的8个像素记为{(x¹,y¹),L,(x⁸,y⁸)}作为该点的对比像素，然后进行第一个模式比对：

其中m∈{1,2,L,8}表示像素点顺序号，th1表示第一个差异阈值，这里取值10，r1(m)表示像素点(x^m,y^m)在第一个模式下的编码，最终8个像素点会获得一个8位的二进制数{r1(1),r1(2),L,r1(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第一个模式下的特征值，记为RT1，

进行第二个模式的比对：

r2(m)表示像素点(x^m,y^m)在第一个模式下的编码，同样8个像素点会获得一个8位的二进制数{r2(1),r2(2),L,r2(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第二个模式下的特征值，记为RT2，

进行第三个模式的比对：

其中r3(m)表示像素点(x^m,y^m)在第三个模式下的编码，同样8个像素点会获得一个8位的二进制数{r3(1),r3(2),L,r3(8)}，将其转化为十进制数所得的值即为像素点(x_n,y_n)的在第三个模式下的特征值，记为RT3，

这三个模式将纹理的分布进行了更细的划分，实现通过差异阈值th1对颜色比对结果进行三种情况的分类，不再是局部二元模式下单纯的大于和小于，能够更好的表征纹理分布的细节。

最终特征点(x_n,y_n)一共得到一个长度为三的特征向量{RT1,L,RT3}；

对图像A(x,y)上所有的特征点，都按照上述方法进行处理，获得各自的特征向量，把所有的特征向量排列在一起，获得一个长度为100×3＝300的特征向量{RT1,L,RT300}，然后进行归一化得到最终特征向量，记为YXT1，也即完成对图像A(x,y)的特征描述。

步骤32，依据将颜色比对的结果分成3类的具体步骤，对图像TA(x,y)上100个特征点进行描述，得到一个长度为300的归一化特征向量，记为YXT2。

步骤33，计算第n+1帧跟踪目标矩形TA(x,y)图像与第n帧跟踪目标矩形A(x,y)图像的相似度；

具体采用Bhattacharyya系数计算YXT1与YXT2的相似度，

接着根据相似度计算当前粒子的观测概率密度

其中δ是个常数。

步骤34，更新当前粒子的权重的步骤：

对于所有的50个粒子重复步骤31～33的操作，计算出新的权重，然后再进行归一化得到最终权重

步骤35，通过权重对每个粒子所代表的跟踪矩形中心进行加权，得到最终的跟踪矩形中心：

也即获得目标在第n+1帧图像的位置。

步骤36，从第n帧，n＝2,开始，每一帧都通过计算出与之相邻的前一帧对应的跟踪参数{(Tx_n,Ty_n)|n＝1,L,N-1}，获得目标在每一帧的跟踪结果。

本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似方法，而得到的其他基于扩展的局部不变特征描述的目标跟踪方法，均在本发明的保护范围之内。