面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法

摘要

本发明涉及一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法，包括：a、设定跟踪区域，作为目标参考模板，获取其

说明书

技术领域

本发明涉及一种计算机视觉算法，具体地说是一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法。

背景技术

增强现实技术将虚拟提示信息叠加到真实场景中，在复杂装备维修中为用户提供了直观灵活的操作提示，并可为那些不熟悉复杂装备检测维修的用户提供准确实时的维修帮助，对于缩短装备维护周期、提高维修效率、降低成本具有重要意义。

跟踪维修对象区域并能在用户头部发生相对运动时准确估计摄像机姿态，在增强现实辅助维修系统中被称作跟踪注册技术。维修对象区域跟踪是摄像机姿态估计的基础，通过局部区域跟踪而不是全场景跟踪可有效提高跟踪注册的实时性；根据摄像机与维修对象之间的相对运动关系，跟踪注册可分为由外而内的跟踪和由内而外的跟踪。较为常用的方法包括基于特征点、基于轮廓和基于核的方法。由于维修对象多为人造物，存在大量的规则平面，为实现基于单应性矩阵的摄像机姿态估计提供了便利条件，但人造物又普遍存在特征点信息量少、特征提取不充分等问题，上述三种方法对跟踪过程中维修对象外观显著改变、背景内容改变及光照遮挡等情况存在局限性，迫切需要采用多特征信息融合、自动更新匹配模板等技术解决目标遮挡、视角变化和维修对象形态变化时的健壮性跟踪及跟踪的自适应修正等问题。

基于压缩感知理论的目标跟踪方法是一种较新方法，其原理为用压缩感知特征描述背景与目标，迭代寻找与标准目标特征最相似的候选区域，其相似度判断依托朴素贝叶斯分类器。这个跟踪框架采用随机测量矩阵进行特征提取，对随机测量矩阵进行改进可实现多特征提取，实时性较高，但其迭代过程采用遍历查找方式，未充分利用运动目标的动力学特性。当目标运动速度较快或存在部分遮挡时，跟踪结果易发生偏移甚至丢失。虽然可以通过扩大搜索范围减小目标丢失率，但又会极大的损失实时性。粒子滤波跟踪依赖目标状态转移模型和重采样技术对目标状态进行预测，其计算主要消耗在似然函数上，因此在粒子滤波框架下与压缩感知特征提取相结合进行目标跟踪，可避免大范围的搜索过程，进一步提高目标对象跟 踪的实时性。在粒子滤波框架下，每个粒子的观测模型和参考模板与候选目标之间的相似度区分能力直接影响跟踪精度。现有的粒子滤波跟踪中的特征主要采用统计特征计算颜色直方图或方向梯度直方图，通过求Bhattacharyya距离计算粒子代表的参考目标和候选目标之间的相似度，这种方法鲁棒性和实时性均不高。

发明内容

本发明的目的就是提供一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法，以解决传统观测方法鲁棒性低和实时性不高的问题。

本发明是这样实现的：一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法，包括以下步骤：

a、初始化：设定跟踪区域，作为目标参考模板，利用m×n的压缩感知随机测量矩阵获取其m×1的纹理特征和灰度均值特征，作为目标参考特征向量，随机采样N个粒子S＝{(sⁿ,ωⁿ)|n＝1,...,N}，初始化其权重ω＝1/N；

b、采集当前帧场景视频，进入跟踪过程，包括：

b-1、粒子选择：对t-1时刻的所有粒子按照归一化权重值从大到小进行排序，将位置靠前的粒子归一化权重值与N乘积的四舍五入整数值作为新的粒子数量，并将该权重值赋予这些粒子，依次遍历所有粒子直到得到N个新的粒子；

b-2、状态转移：选择系统状态转移方程为二阶自回归模型，根据t-2时刻和t-1时刻的粒子状态预测t时刻的粒子状态；

b-3、状态观测：根据t-1时刻由纹理特征和灰度均值特征相似度分别计算得到粒子权重均值和t时刻的纹理特征和灰度均值特征相似度，再计算粒子所代表的候选目标区域与目标参考模板之间的观测似然函数，得出粒子的权重值；根据初始目标参考特征向量、t-1时刻所采用的目标参考特征向量和t时刻所采用的目标参考特征向量更新t+1时刻的目标参考特征向量；

b-4、状态估计：选择权重值最大的粒子所代表的状态作为系统状态的最优估计，即为跟踪结果；

b-5、如果用户选择维修步骤完成，则退出；否则回到步骤b-1，进入下一循环过程。

本发明的步骤b-3中的粒子权重值的计算方法包括以下步骤：

b-3-1、利用m×n的压缩感知随机测量矩阵，分别获取待跟踪平面目标和候选跟踪区域m×1的纹理特征和灰度均值特征，以此作为候选目标特征向量，并依据下列的公式(1)对m×1的目标参考特征向量与候选目标特征向量进行L2范数归一化：

$\left|\right|v|{|}_2=\underset{i=1}{\overset{m}{\Sigma }}{\left(v_i\right)}^2=1---\left(1\right)$

b-3-2、依据下列的公式(2)计算目标参考特征向量与候选目标特征向量中每个元素之差的绝对值是否在允许的阈值τ的范围内：

$f\left(i\right)=\left(\begin{array}{cc}1& |v_i^r-v_i|>\tau \\ 0& |v_i^r-v_i|\le \tau \end{array}\right)---\left(2\right)$

其中，为目标参考特征向量的第i个元素，v_i为候选目标特征向量的第i个元素；

b-3-3、依据下列的公式(3)统计f(i)＝1出现的比例，得到目标参考特征向量与候选目标特征向量的相似度为：

$\rho =\underset{i=1}{\overset{m}{\Sigma }}f\left(i\right)/m---\left(3\right)$

b-3-4、由计算粒子代表的候选目标区域与目标参考模板之间的观测似然函数，依据下列的公式(4)计算得出粒子权重值：

$\left(\begin{array}{c}p\left(Z_t\right|X_t^k)\propto (1-{\alpha }_t)e^{-\lambda {\left({\rho }_a^k\right)}^2}+{\alpha }_t{e}^{-\lambda {\left({\rho }_b^k\right)}^2}\\ {\alpha }_t=\frac{<{\hat{p}}_a\left(Z_{t-1}\right|X_{t-1})>}{<{\hat{p}}_a\left(Z_{t-1}\right|X_{t-1})>+<{\hat{p}}_b\left(Z_{t-1}\right|X_{t-1})>}\end{array}\right)---\left(4\right)$

其中，为第k个粒子的候选目标纹理特征向量与参考模板纹理特征向量之间的相似度；为第k个粒子的候选目标灰度均值特征向量与参考模板灰度均值特征向量之间的相似度；为t时刻第k个粒子的权重值；为t-1时刻根据纹理特征计算得到的所有粒子权重均值；为t-1时刻根据灰度均值特征计算得到的所有粒子权重均值。

本发明中的粒子权重值是由计算粒子代表的候选目标区域与目标参考模板之间的观测 似然函数得出，在粒子滤波跟踪中，粒子代表着目标状态，即目标在图像中的坐标位置及区域，粒子的权重值越大，表明粒子代表的区域为目标的概率最高。

本发明的步骤b-3中的t+1时刻的目标参考特征向量的更新方法包括以下步骤：

b-3-5、依据下列的公式(5)计算更新速度因子：

$\mu =\frac{\left|\right|H_t-H_{t-1}|{|}_2}{\left|\right|H_{t-1}|{|}_2}---\left(5\right)$

其中，H_t为第t时刻平面目标与初始时刻平面目标之间的单应性矩阵，H_t-1为第t-1时刻平面目标与初始时刻平面目标之间的单应性矩阵；

b-3-6、依据下列的公式(6)和公式(7)对t+1时刻的目标特征向量进行更新：

$\left(\begin{array}{c}{V}_{t+1}={\mathrm{\beta V}}_0+(1-\beta )V_c\\ V_c={\mathrm{\beta V}}_{t-1}+(1-\beta )V_t\end{array}\right)---\left(6\right)$

$\beta =\mu \frac{1-{\rho }_{0,t-1}}{1-{\rho }_{0,t-1}+1-{\rho }_{t-1,t}}---\left(7\right)$

其中，V₀为初始目标参考向量，V_t为当前帧目标参考特征向量，V_t+1为下一帧目标参考特征向量，1-ρ_0,t-1表示初始目标参考特征向量与t-1时刻目标参考特征向量的相似度，1-ρ_t-1,t表示t-1时刻目标参考特征向量与t时刻目标参考特征向量的相似度，μ为更新速度因子。

本发明通过观测似然函数来计算粒子权重均值，其方式简洁，可有效提高跟踪的实时性；同时，采用了两个特征相互补偿，可有效提高跟踪的鲁棒性。本发明中目标参考特征向量的更新方法综合考虑初始目标参考特征向量，前一帧所采用的目标参考特征向量和当前帧所采用的目标参考特征向量的影响因素，作为更新下一帧目标参考特征向量的依据，同时考虑目标形态变化的大小来改变更新速度，可解决目标遮挡后又重新出现后无法继续跟踪等问题，进一步提高了平面目标粒子滤波跟踪的鲁棒性。

本发明提高了增强现实辅助维修系统对平面目标跟踪的鲁棒性和实时性。

附图说明

图1是压缩感知多特征提取示意图。

图2是基于本发明的跟踪效果图。

图3是基于本发明的跟踪算法的X向跟踪误差图。

图4是基于本发明的跟踪算法的Y向跟踪误差图。

具体实施方式

本实施例是在一个视频文件中实现对电路板目标的跟踪，硬件平台为Intel Core i5，4GB DDR3 SDRAM，软件环境为Windows 8.1 64 bit。以平面目标中心在视频场景中的坐标作为系统的状态变量，选择系统状态转移方程为二阶自回归模型：

X_t＝AX_t-1+BX_t-2+v_t

参数设置包括：粒子数目N＝100，λ＝20，τ＝0.002，m＝50，a_t＝0＝0.5，A＝[2,2]，B＝[1,1]。

本发明平面目标粒子滤波跟踪的状态观测方法分为以下步骤：

a、初始化：设定跟踪区域，作为目标参考模板，利用m×n的压缩感知随机测量矩阵获取其m×1的纹理特征和灰度均值特征，作为目标参考特征向量，随机采样N个粒子S＝{(sⁿ,ωⁿ)|n＝1,...,N}，初始化其权重ω＝1/N；

b、采集当前帧场景视频，进入跟踪过程，包括：

b-1、粒子选择：对t-1时刻的所有粒子按照归一化权重值从大到小进行排序，将位置靠前的粒子归一化权重值与N乘积的四舍五入整数值作为新的粒子数量，并将该权重值赋予这些粒子，依次遍历所有粒子直到得到N个新的粒子。

b-2、状态转移：选择系统状态转移方程为二阶自回归模型，根据t-2时刻和t-1时刻的粒子状态预测t时刻的粒子状态。

b-3、状态观测：根据t-1时刻由纹理特征和灰度均值特征相似度分别计算得到粒子权重均值和t时刻的纹理特征和灰度均值特征相似度，再计算粒子所代表的候选目标区域与目标参考模板之间的观测似然函数，得出粒子的权重值；根据初始目标参考特征向量、t-1时刻所采用的目标参考特征向量和t时刻所采用的目标参考特征向量更新t+1时刻的目标参考特征向量。

b-4、状态估计：选择权重值最大的粒子所代表的状态作为系统状态的最优估计，即为跟踪结果。

b-5、如果用户选择维修步骤完成，则退出；否则回到步骤b-1，进入下一循环过程。

本发明的方法应用于步骤b-3中的状态观测的具体过程是：

压缩跟踪(Compressive Tracking,CT)算法利用压缩感知(Compressive Sensing，CS)理论 对高维Harr-like特征进行降维。对于一个X∈R^n×1的原始特征，可由V＝PX投影得到压缩后的特征V∈R^m×1。其中，P∈R^m×n(m＜＜n)为特征提取矩阵。该压缩过程在候选目标区域以平均概率随机选取2～4的图像块，特征提取矩阵P的非零元素值符号在“+”和“-”之间等概率随机选取，得到的特征值即为几块区域的加权和。当非零元素符号全部为“+”或“-”时，表现为灰度均值特征；当非零元素同时存在“+”和“-”时，表现为图像块的差异性即纹理特征。多特征压缩跟踪对特征提取矩阵进行了改进。首先利用压缩跟踪的方法生成特征提取矩阵P₁，然后再根据P₁生成新的特征提取矩阵P₂，使得P₂提取的灰度均值特征占71％，纹理特征占29％。其通过对特征提取矩阵P₁的非零元素符号实施变号得到P₂，变号规则为：当三个元素符号全部为“+”或全部为“-”时，变为“+-+”；当三个元素符号既存在“+”也存在“-”时，变为“+++”。这样，在增加很小计算量的前提下，使得压缩后的特征最终表现为纹理与灰度均值特征互补的双特征。以三个图像块为例，P₂生成过程如图1所示。

对视频文件中的电路板目标的粒子权重值的计算方法是：

首先，利用上述方法中m×n的压缩感知随机测量矩阵分别获取待跟踪平面目标和候选跟踪区域m×1的纹理特征和灰度均值特征，以此作为目标参考特征向量和候选目标特征向量，并依据下列公式(1)对m×1的目标参考特征向量与候选目标特征向量进行L₂范数归一化：

$\left|\right|v|{|}_2=\underset{i=1}{\overset{m}{\Sigma }}{\left(v_i\right)}^2=1---\left(1\right)$

其次，依据下列公式(2)计算目标参考特征向量与候选目标特征向量中每个元素之差的绝对值是否在允许的阈值τ的范围内，

$f\left(i\right)=\left(\begin{array}{cc}1& |v_i^r-v_i|>\tau \\ 0& |v_i^r-v_i|\le \tau \end{array}\right)---\left(2\right)$

其中，为目标参考特征向量的第i个元素，v_i为候选目标特征向量的第i个元素。

再次，依据下列公式(3)统计f(i)＝1出现的比例，得到目标参考特征向量与候选目标特征向量的相似度为：

$\rho =\underset{i=1}{\overset{m}{\Sigma }}f\left(i\right)/m---\left(3\right)$

最后，由计算粒子代表的候选目标区域与目标参考模板之间的观测似然函数，依据下列 的公式(4)计算得出粒子权重值：

$\left(\begin{array}{c}p\left(Z_t\right|X_t^k)\propto (1-{\alpha }_t)e^{-\lambda {\left({\rho }_a^k\right)}^2}+{\alpha }_t{e}^{-\lambda {\left({\rho }_b^k\right)}^2}\\ {\alpha }_t=\frac{<{\hat{p}}_a\left(Z_{t-1}\right|X_{t-1})>}{<{\hat{p}}_a\left(Z_{t-1}\right|X_{t-1})>+<{\hat{p}}_b\left(Z_{t-1}\right|X_{t-1})>}\end{array}\right)---\left(4\right)$

其中：为第k个粒子的候选目标纹理特征向量与参考模板纹理特征向量之间的相似程度；为第k个粒子的候选目标灰度均值特征向量与参考模板灰度均值特征向量之间的相似程度；为t时刻第k个粒子的权重值；为t-1时刻根据纹理特征计算得到的所有粒子权重均值；为t-1时刻根据灰度均值特征计算得到的所有粒子权重均值。

目标参考特征向量的更新方法包括以下步骤：

首先，依据下列公式(5)计算更新速度因子：

$\mu =\frac{\left|\right|H_t-H_{t-1}|{|}_2}{\left|\right|H_{t-1}|{|}_2}---\left(5\right)$

其中，H_t为第t时刻平面目标与初始时刻平面目标之间的单应性矩阵，H_t-1为第t-1时刻平面目标与初始时刻平面目标之间的单应性矩阵。

其次，依据下列公式(6)和公式(7)对目标特征向量进行更新：

$\left(\begin{array}{c}{V}_{t+1}={\mathrm{\beta V}}_0+(1-\beta )V_c\\ V_c={\mathrm{\beta V}}_{t-1}+(1-\beta )V_t\end{array}\right)---\left(6\right)$

$\beta =\mu \frac{1-{\rho }_{0,t-1}}{1-{\rho }_{0,t-1}+1-{\rho }_{t-1,t}}---\left(7\right)$

其中，V₀为初始目标参考向量，V_t为当前帧目标参考特征向量，V_t+1为下一帧目标参考特征向量，1-ρ_0,t-1表示初始目标参考特征向量与t-1时刻目标参考特征向量的相似度，1-ρ_t-1,t表示t-1时刻目标参考特征向量与t时刻目标参考特征向量的相似度，μ为更新速度因子。

如图2所示的跟踪效果，电路板视频包括了电路板平移、旋转、翻转和尺度变化等复杂运动过程，以x和y方向的跟踪误差小于15像素为标准，分别统计基于颜色直方图的粒子滤波跟踪算法、压缩跟踪算法和基于本发明的跟踪算法在电路板视频中电路板翻转前和在全部电路板视频帧的跟踪成功率如表1所示，前200帧的跟踪误差如图3、图4所示。

表1：跟踪成功率对比表

由表1和图3、图4可见，基于颜色直方图的粒子滤波跟踪方法因在跟踪精度上较差导致其成功率较低，基于本发明的跟踪算法与压缩跟踪算法在目标形态未发生重大变化时跟踪性能相当，但因其在目标重新出现后能够继续跟踪目标，在全部视频帧上统计跟踪成功率则比压缩跟踪算法高。

针对电路板视频，三种算法实时性比较结果见表2。

表2：跟踪算法实时性对比表

由表2可见，在640×480的视频中，当粒子数为100时，基于本发明的跟踪算法比基于颜色直方图的粒子滤波跟踪算法和压缩跟踪算法实时性均高，证明了本发明的发明能够提高平面目标跟踪的实时性。