一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

摘要

本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，本发明包括预处理深度图像、搜索跟踪目标、实时更新跟踪模板；搜索跟踪目标过程分为粗略搜索和精细搜索两个阶段，减少了样本的数目，进而提高算法的运行速度。本发明使用深度图像进行目标跟踪，能在保护跟踪目标隐私的同时，实时跟踪目标，对光照、遮挡及复杂背景等因素具有较强的鲁棒性。本发明实时更新跟踪模板提高了跟踪的准确性，在跟踪目标的匹配值较低时，本发明不更新跟踪模板并对下一帧图像扩大搜索范围，避免了跟踪目标移动过快或变化过大造成的目标丢失。

说明书

技术领域

本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，属计算机视 觉领域。

背景技术

在彩色图像的实时目标跟踪技术中，跟踪效果往往受光照、遮挡及复杂背景等因素的干 扰，跟踪性能大受影响。因此，目标跟踪仍然是个具有挑战性的问题。

获取深度图像或深度视频序列的设备主要有双目视觉摄像机、激光扫描仪、Kinect设备 等。其中,Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字，是 一种3D体感摄影机(开发代号“ProjectNatal”)，同时它导入了即时动态捕捉、影像辨识、 麦克风输入、语音辨识、社群互动等功能。随着Kinect的推出，通过Kinect采集的深度信 息可不受场景光照和阴影的影响，为跟踪领域的研究提供了新的契机。

现有的实时目标跟踪算法中存在跟踪不准确、运算速度慢、目标移动过快或变化过大造 成目标丢失、执行效率低等缺点。

发明内容

针对现有技术的不足，本发明提供了一种基于深度图像或深度视频序列的实时跟踪目标 的计算方法；

该算法大致分为三步：(1)预处理深度图像，包括腐蚀、膨胀、边缘提取、距离变换等； (2)利用粗搜索到精搜索的搜索方法，确定预处理后的深度图像中跟踪目标的位置；(3)实 时更新跟踪模板。在该部分的研究中，常用的技术为模板匹配，加权平均等。

术语解释：

求补：将图像进行取反。

腐蚀：利用一定尺寸的模版对图像进行与操作。

膨胀：利用一定尺寸的模版对图像进行或操作。

填充：在图像上利用紧邻像素恢复像素的缺失值。

重构：在对图像进行膨胀腐蚀操作后，基于原图像的图像恢复操作。

边缘提取：在图像上利用不同的边缘算子提取图像的边缘信息。

距离变换：在图像上计算任意点到目标点的距离。

归一化：在图像上通过数学关系式，使数据分布在一定区间范围内。

本发明的技术方案为：

一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，具体步骤包括：

(1)采集深度图像，并对采集的深度图像进行预处理，所述预处理包括依次进行求补、 腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化；

由于环境噪声和设备噪声的存在，深度图像的质量不理想，所以需要对获取的深度图像 进行预处理。

(2)在第1帧深度图像中，手动标记初始跟踪目标A₁；在初始跟踪目标A₁附近取若干 个训练样本X_1t，训练样本X_1t中心点的选取方法为：在以初始跟踪目标A₁为圆心、(1-20) 个像素点为半径的圆内随机取若干个像素点；在远离初始跟踪目标A₁处取若干个训练样本 Y_1j，训练样本Y_1j中心点的选取方法为：在以初始跟踪目标A₁为圆心、(20-100)像素点为 内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点；任一训练样本X_1t、任 一训练样本Y_1j均与初始跟踪目标A₁大小相同；训练样本B_1i包括所有的训练样本X_1t及所 有的训练样本Y_1j，i＝t+j，将每一个训练样本B_1i分别与初始跟踪目标A₁进行模板匹 配并分类，模式匹配并分类公式如式(Ⅰ)所示：

$C_{1i}=\frac{{\Sigma }_m{\Sigma }_n(B_{1i_{mn}}-{\bar{B}}_{1i})(A_{1_{mn}}-{\bar{A}}_1)}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(B_{1i_{mn}}-{\bar{B}}_{1i}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(A_{1_{mn}}-{\bar{A}}_1\right)}^2\right)}}---\left(I\right)$

式(Ⅰ)中，C_1i为第一帧深度图像中初始跟踪目标A₁与训练样本B_1i的匹配值，为A₁的均值，为B_1i的均值，为B_1i的矩阵，m为的行，n为的列；为A₁的矩阵，m为的行，n为的列；

当C_1i的值大于阈值S时，训练样本B_1i属于正样本，S的取值范围为(0.4-0.8)，否 则，属于负样本；

分类完毕后，将获取的所有正样本加权平均，得到S₁，并与初始跟踪目标A₁加权， 加权公式如式(Ⅱ)所示，得到第1帧图像的跟踪模板；

T₁＝α₁×S₁+α₂×A₁(Ⅱ)

式(Ⅱ)中，T₁为第1帧图像的跟踪模板；α₁+α₂＝1，α₁的取值范围为(0.5-0.8)；

(3)设定步骤(1)获取o帧深度图像，p＝2，2≤p≤o，执行以下步骤：

A、在第p帧深度图像中，对应第p-1帧图像中A_p-1的相同位置为中心、(30-100)个像 素点为半径、(5-10)个像素点为步长的圆内获取测试样本D_pl的中心，测试样本D_pl与跟 踪模板T_p-1大小相同；将测试样本D_pl与T_p-1进行模板匹配，模板匹配公式如式(Ⅲ)所示：

$C_{pl}^{\prime }=\frac{{\Sigma }_m{\Sigma }_n(D_{{\mathrm{pl}}_{mn}}-{\bar{D}}_{pl})(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(D_{{\mathrm{pl}}_{mn}}-{\bar{D}}_{pl}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(III\right)$

式(Ⅲ)中，C′_pl为第p帧深度图像中测试样本D_pl与跟踪模板T_p-1的匹配值，为 T_p-1的均值，为D_pl的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；l为正整数；

选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本，以最大的匹配值对应的测试样 本位置为中心、(5-10)个像素点为半径、1个像素点为步长的圆内取测试样本D′_pl的中心， 将测试样本D′_pl与T_p-1进行模板匹配，模板匹配公式如式(Ⅳ)所示：

$C_{pl}^{\prime \prime }=\frac{{\Sigma }_m{\Sigma }_n(D_{{\mathrm{pl}}_{mn}}^{\prime }-{\bar{D}}_{pl}^{\prime })(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(D_{{\mathrm{pl}}_{mn}}^{\prime }-{\bar{D}}_{pl}^{\prime }\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(IV\right)$

式(Ⅳ)中，C″_pl为第p帧深度图像中测试样本D′_pl与跟踪模板T_p-1的匹配值，为 T_p-1的均值，为D′_pl的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；

选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标 A_p；

判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S，S的取值范围为(0.4-0.8)，如 果大于，则进入步骤B，否则，T_p＝T_p-1；T_p为第p帧图像的跟踪模板，进入步骤C；

B、在跟踪目标A_p附近取若干个训练样本X_pt，训练样本X_pt中心点的选取方法为：在 以跟踪目标A_p为圆心、(1-20)个像素点为半径的圆内随机取若干个像素点；在远离跟踪目 标A_p处取若干个训练样本Y_pj，训练样本Y_pj中心点的选取方法为：在以跟踪目标A_p为圆 心、(20-100)像素点为内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点； 任一训练样本X_pt、任一训练样本Y_pj均与跟踪目标A_p大小相同；训练样本B_pi包括所有的 训练样本X_pt及所有的训练样本Y_pj，i＝t+j，将每一个训练样本B_pi分别与跟踪模板T_p-1进行模板匹配并分类，模式匹配并分类公式如式(Ⅴ)所示：

$C_{pi}=\frac{{\Sigma }_m{\Sigma }_n(B_{{\mathrm{pi}}_{mn}}-{\bar{B}}_{pi})(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(B_{{\mathrm{pi}}_{mn}}-{\bar{B}}_{pi}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(V\right)$

式(Ⅴ)中，C_pi为第p帧深度图像中每一个训练样本B_pi与跟踪模板T_p-1的匹配值，为T_p-1的均值，为B_pi的均值，为矩阵，m为的行，n为的列；为 矩阵，m为的行，n为的列；

当C_pi的值大于阈值S时，训练样本B_pi属于正样本，S的取值范围为(0.4-0.8)，否则， 属于负样本；

分类完毕后，将获取的所有正样本加权平均，得到S_p，并与初始跟踪目标A₁加权， 加权公式如式(Ⅵ)所示，得到第p帧图像的跟踪模板；

T_p＝α₁×S_p+α₂×A₁(Ⅵ)

式(Ⅵ)中，T_p为第p帧图像的跟踪模板；

C、判断p是否等于o，如果是，结束，否则，p加1，进入步骤A。

根据本发明优选的，所述距离变换采用欧氏距离变换，欧氏距离变换公式如式(Ⅶ)所 示：

$D=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(VII\right)$

式(Ⅶ)中，D为两点之间的欧氏距离，(x₁，y₁)为独立的像素点，(x₂，y₂)为离(x₁，y₁)最近 的非零像素点。

根据本发明优选的，步骤A中，如果通过公式(Ⅳ)求取的最大的匹配值不大于阈值S， T_p＝T_p-1，T_p为第p帧图像的跟踪模板，进入步骤C，并在搜索下一帧图像的跟踪目标时 扩大测试样本D_pl中心点的选取范围，其选取范围的半径可扩大(1-50)个像素点。

本发明的有益效果为：

1、本发明所述方法应用于深度图像，能在保护跟踪目标隐私的同时，实时跟踪目标。

2、由于深度图像不受场景光照、阴影等复杂背景的影响，因此，本发明对光照、阴影等 复杂背景有很强的鲁棒性，并且实验表明，本发明对遮挡有较强的鲁棒性；

3、本发明执行效率高，在预测跟踪目标时，本发明提出的方法采用了粗搜索到精搜索的 搜索方法，减少了测试样本的数目，提高了算法的运行速度；

4、本发明具有较高的跟踪准确度，在跟踪目标的匹配值较低时，本发明不更新跟踪模板 并对下一帧图像扩大搜索范围，避免了跟踪目标移动过快或变化过大造成的目标丢失。

具体实施方式

下面结合实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，具体步骤包括：

(1)采集深度图像，并对采集的深度图像进行预处理，所述预处理包括依次进行求补、 腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化；

由于环境噪声和设备噪声的存在，深度图像的质量不理想，所以需要对获取的深度图像 进行预处理。

(2)在第1帧深度图像中，手动标记初始跟踪目标A₁；在初始跟踪目标A₁附近取若干 个训练样本X_1t，训练样本X_1t中心点的选取方法为：在以初始跟踪目标A₁为圆心、10个 像素点为半径的圆内随机取20个像素点；在远离初始跟踪目标A₁处取若干个训练样本Y_1j， 训练样本Y_1j中心点的选取方法为：在以初始跟踪目标A₁为圆心、30像素点为内半径、50 个像素点为外半径的圆环内随机取20个像素点；任一训练样本X_1t、任一训练样本Y_1j均与 初始跟踪目标A₁大小相同；训练样本B_1i包括所有的训练样本X_1t及所有的训练样本Y_1j， i＝t+j，将每一个训练样本B_1i分别与初始跟踪目标A₁进行模板匹配并分类，模式匹配 并分类公式如式(Ⅰ)所示：

$C_{1i}=\frac{{\Sigma }_m{\Sigma }_n(B_{1i_{mn}}-{\bar{B}}_{1i})(A_{1_{mn}}-{\bar{A}}_1)}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(B_{1i_{mn}}-{\bar{B}}_{1i}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(A_{1_{mn}}-{\bar{A}}_1\right)}^2\right)}}---\left(I\right)$

式(Ⅰ)中，C_1i为第一帧深度图像中初始跟踪目标A₁与训练样本B_1i的匹配值，为A₁的均值，为B_1i的均值，为B_1i的矩阵，m为的行，n为的列；为A₁的矩阵，m为的行，n为的列；

当C_1i的值大于阈值S时，训练样本B_1i属于正样本，S的取值为0.6，否则，属于负 样本；

分类完毕后，将获取的所有正样本加权平均，得到S₁，并与初始跟踪目标A₁加权， 加权公式如式(Ⅱ)所示，得到第1帧图像的跟踪模板；

T₁＝α₁×S₁+α₂×A₁(Ⅱ)

式(Ⅱ)中，T₁为第1帧图像的跟踪模板；α₁＝0.7，α₂＝0.3；

(3)设定步骤(1)获取o帧深度图像，p＝2，2≤p≤o，执行以下步骤：

A、在第p帧深度图像中，对应第p-1帧图像中A_p-1的相同位置为中心、50个像素点为 半径、5个像素点为步长的圆内获取测试样本D_pl的中心，测试样本D_pl与跟踪模板T_p-1大 小相同；将测试样本D_pl与T_p-1进行模板匹配，模板匹配公式如式(Ⅲ)所示：

$C_{pl}^{\prime }=\frac{{\Sigma }_m{\Sigma }_n(D_{{\mathrm{pl}}_{mn}}-{\bar{D}}_{pl})(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(D_{{\mathrm{pl}}_{mn}}-{\bar{D}}_{pl}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(III\right)$

式(Ⅲ)中，C′_pl为第p帧深度图像中测试样本D_pl与跟踪模板T_p-1的匹配值，为 T_p-1的均值，为D_pl的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；

选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本，以最大的匹配值对应的测试样 本位置为中心、5个像素点为半径、1个像素点为步长的圆内取测试样本D′_pl的中心，将测 试样本D′_pl与T_p-1进行模板匹配，模板匹配公式如式(Ⅳ)所示：

$C_{pl}^{\prime \prime }=\frac{{\Sigma }_m{\Sigma }_n(D_{{\mathrm{pl}}_{mn}}^{\prime }-{\bar{D}}_{pl}^{\prime })(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(D_{{\mathrm{pl}}_{mn}}^{\prime }-{\bar{D}}_{pl}^{\prime }\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(IV\right)$

式(Ⅳ)中，C″_pl为第p帧深度图像中测试样本D′_pl与跟踪模板T_p-1的匹配值，为 T_p-1的均值，为D′_pl的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；

选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标 A_p；

判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S，S的取值为0.6，如果大于，则 进入步骤B，否则，T_p＝T_p-1；T_p为第p帧图像的跟踪模板，进入步骤C；

B、在跟踪目标A_p附近取20个训练样本X_pt，训练样本X_pt中心点的选取方法为：在以 跟踪目标A_p为圆心、10个像素点为半径的圆内随机取20个像素点；在远离跟踪目标A_p处 取20个训练样本Y_pj，训练样本Y_pj中心点的选取方法为：在以跟踪目标A_p为圆心、30像 素点为内半径、50个像素点为外半径的圆环内随机取20个像素点；任一训练样本X_pt、任一 训练样本Y_pj均与跟踪目标A_p大小相同；训练样本B_pi包括所有的训练样本X_pt及所有的训 练样本Y_pj，i＝t+j，将每一个训练样本B_pi分别与跟踪模板T_p-1进行模板匹配并分类， 模式匹配并分类公式如式(Ⅴ)所示：

$C_{pi}=\frac{{\Sigma }_m{\Sigma }_n(B_{{\mathrm{pi}}_{mn}}-{\bar{B}}_{pi})(T_{p-1_{mn}}-{\bar{T}}_{p-1})}{\sqrt{\left({\Sigma }_m{\Sigma }_n{\left(B_{{\mathrm{pi}}_{mn}}-{\bar{B}}_{pi}\right)}^2\right)\left({\Sigma }_m{\Sigma }_n{\left(T_{p-1_{mn}}-{\bar{T}}_{p-1}\right)}^2\right)}}---\left(V\right)$

式(Ⅴ)中，C_pi为第p帧深度图像中每一个训练样本B_pi与跟踪模板T_p-1的匹配值， 为T_p-1的均值，为B_pi的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；

当C_pi的值大于阈值S时，训练样本B_pi属于正样本，S的取值为0.6，否则，属于负 样本；

分类完毕后，将获取的所有正样本加权平均，得到S_p，并与初始跟踪目标A₁加权， 加权公式如式(Ⅵ)所示，得到第p帧图像的跟踪模板；

T_p＝α₁×S_p+α₂×A₁(Ⅵ)

式(Ⅵ)中，T_p为第p帧图像的跟踪模板；α₁＝0.7，α₂＝0.3；

C、判断p是否等于o，如果是，结束，否则，p加1，进入步骤A。

实施例2

根据实施例1所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，其 区别在于，所述距离变换采用欧氏距离变换，欧氏距离变换公式如式(Ⅶ)所示：

$D=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(VII\right)$

式(Ⅶ)中，D为两点之间的欧氏距离，(x₁，y₁)为独立的像素点，(x₂，y₂)为离(x₁，y₁)最近 的非零像素点。

实施例3

根据实施例1所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，其区 别在于，步骤A中，如果通过公式(Ⅳ)求取的最大的匹配值不大于阈值S，T_p＝T_p-1， T_p为第p帧图像的跟踪模板，进入步骤C，并在搜索下一帧图像的跟踪目标时扩大测试样本 D_pl中心点的选取范围，其选取范围的半径可扩大(1-50)个像素点。