基于Lp范数正则化的增量子空间目标跟踪方法

摘要

本发明公开了一种基于Lp范数正则化的增量子空间目标跟踪方法，包括以下步骤：读入视频序列图像,手动标记第一帧目标的图像；利用Ross的方法获取观测值；对前5帧图像直接计算残差来确定当前帧的目标装态，并收集样本，采用Ross的方法获取初始的子空间和均值向量；从第6帧开始，在增广拉格朗日的框架下对观测样本建立目标函数，并进行最小化计算；评估每个候选样本成为当前帧真实目标的置信度，并收集样本；当收集的样本达到5个时，采用Ross的方法增量更新子空间和均值向量。本发明在保证有一定实时性的前提下，对目标在遮挡、光照、运动模糊等挑战下都具有较强的抗干扰性，并能在一个统一的框架下，观测不同稀疏度对跟踪的影响。

说明书

技术领域：

本发明属于机器视觉领域，特别涉及一种基于L_p范数正则化的增量子空间目标跟 踪方法。

背景技术：

视频中的目标跟踪在视频监控、人机交互、行为分析等领域中都有重要的应用。尽 管在近十年内，各国专家学者提出了很多方法，在该领域内取得了很多激动人心的进展，但 是对目标进行实时鲁棒的跟踪依然是一项极具挑战的工作。原因之一就是视频是一种动态 的时间序列，目标在行进过程中，其姿态会发生变化，并可能会遭遇光照、遮挡、相似物体的 干扰。同时在行进过程中，摄像机的抖动或者目标的快速运动也会造成目标外观的模糊，更 是进一步加剧了目标跟踪的难度。

近几年基于子空间协作表示的提出，在很大程度上降低了目标跟踪的难度。针对 视频序列的目标，Ross^[1]等提出利用目标的主成分信息构建子空间，并采用增量更新的方 式，使子空间中的目标信息能够适应目标的形态改变而有效更新，并通过子空间中主成分 信息的线性组合，对候选样本进行协作表示。针对Ross^[1]方法欠缺处理离群子(如遮挡)的 机制，Xiao^[2]等进一步提出利用一种矩形模板来模拟跟踪过程中产生的离群子，并在对候 选样本的评估和子空间的更新中，定量的考虑离群子的存在，在一定程度上提高了跟踪的 效果。

但是，基于子空间协作表示的方法，需要充分利用到子空间中每一个特征成分去 进行目标重构，不可避免地引入冗余的特征成分。另外，对遮挡的处理仍然具有不妥之处， 如[2]中的矩形模板，具有同时重构前景和背景的能力，当利用到每一个矩形模板进行协作 表示时，势必会进一步恶化此二义性，造成目标的偏移甚至丢失。

发明内容：

本发明是为了克服上述现有技术中缺陷，提供了一种基于L_p范数正则化的增量子 空间目标跟踪方法。

为了实现上述目的，本发明提供如下基于L_p范数正则化的增量子空间目标跟踪方 法：

步骤一、读入第一帧图像Image₁，手动标记视频序列第一帧的目标图像，降采样目 标图像并转为列向量d为目标图像的特征维数。初始化子空间D和奇异值对角矩 E为空矩阵；

步骤二、读入下一帧Image_t+1(t≥1)，基于Ross^[1]的方法获取t+1帧候选样本的运 动状态集合并将对应图像作为目标函数中的观测值的集合其中m为样本的个数；

步骤三、标记第i个观测样本同时确定当前t+1帧帧号，若t+1≤5，则 计算观测样本与第t帧真实目标状态的残差，得出t+1帧的真实目标 状态并收集样本I_t+1，转入步骤八；否则直接转入步骤四；

步骤四、对观测样本构建目标函数，并对重构样本与观测样本的残差 直接进行拉普拉斯建模||e||₁，以容纳目标跟踪中受到的离群子干扰；针对储存 目标信息的PCA子空间的目标系数利用L_p范数正则化其目标系数项|| c||_p，以在重构样本时，消除冗余特征的干扰；在增广拉格朗日算法下构建本专利提出的目 标函数；

步骤五、基于APG算法，对目标函数进行最小化计算，获得收敛的残差e^*和目标系 数c^*；

步骤六、评估所有候选样本成为真实目标状态的置信度，获得第t+1帧的最佳目标 状态

步骤七、获取到目标状态后，进一步收集样本

步骤八、若收集的样本I达到五个，则采用Ross^[1]的更新方法对子空间进行更新， 并重置收集的样本个数为0；若未达到5个，则不更新目标子空间；

步骤九、若视频未结束，则转入步骤二，读入下一帧图像；否则跟踪结束。

与现有技术相比，本发明具有如下有益效果：

1.通过步骤四在增广拉格朗日算法下构建本专利提出的目标函数，能有效加强抵 御离群子的能力，避免对子空间冗余的特征进行选择。同时，我们也能在这个统一的框架 下，在不影响其他因素的情况下观测不同p范数(0≤p≤1)对跟踪器的影响；

2.通过步骤四在迭代加速近邻梯度算法的框架下，利用软阈值操作和广义软阈值 操作进行外观函数中相应状态参数最小化计算，能够快速有效地获取候选样本相应的状态 参数；

3.结合增量子空间更新技术以及运动模型中的粒子滤波技术、对候选样本进行可 靠的评估，并共同构建了一个鲁棒的学习系统。针对不同的挑战，本发明都具有较高的鲁棒 性，达到了稳定的高跟踪精度。

因此，本发明在视频监控、人机交互、行为分析等领域都有广泛的应用前景。

附图说明：

图1为本发明的基于L_p范数正则化的增量子空间目标跟踪方法的流程示意图；

图2为本发明针中候选样本采样的示意图；

图3为本发明目标表示的示意图；

图4为本发明求解目标函数最小化算法的流程图；

图5为本发明在目标函数最小化中求解L_p正则化的目标系数而引入的广义软阈值 算法的流程图；

图6为本发明对几种常见干扰下的跟踪效果图。

具体实施方式

下面结合附图和具体实施方式，对本发明基于L_p范数正则化的增量子空间目标跟 踪方法的流程示意图做进一步的说明。

参考图1，本发明基于L_p范数正则化的增量子空间目标跟踪方法包含以下步骤：

步骤一、读入第一帧图像Image₁，手动标记视频序列第一帧的目标图像，降采样目 标图像并转为列向量d为目标图像的特征维数。初始化子空间D和奇异值对角矩 E为空矩阵；

步骤二、读入下一帧Image_t+1(t≥1)，基于Ross^[1]的方法获取t+1帧候选样本集合 并将对应图像作为目标函数中的观测值的集合其中m为样本 的个数；

步骤三、标记第i个观测样本同时确定当前t+1帧帧号，若t+1≤5，则 计算观测样本与第t帧真实目标状态的残差，得出t+1帧的真实目标 状态并收集样本I_t+1，转入步骤八；否则直接转入步骤四；

步骤四、对观测样本构建目标函数，并对重构样本与观测样本的残差 直接进行拉普拉斯建模||e||₁，以容纳目标跟踪中受到的离群子干扰；针对储存 目标信息的PCA子空间的目标系数利用L_p范数正则化其目标系数项|| c||_p，以在重构样本时，消除冗余特征的干扰；在增广拉格朗日算法下构建本专利提出的目 标函数；

步骤五、基于APG算法，对目标函数进行最小化计算，获得收敛的残差e^*和目标系 数c^*；

步骤六、评估所有候选样本成为真实目标状态的置信度，获得第t+1帧的最佳目标 状态

步骤七、获取到目标状态后，进一步收集样本

步骤八、若收集的样本I达到五个，则采用Ross^[1]的更新方法对子空间及其均值向 量进行更新，并重置收集的样本个数为0；若未达到5个，则不更新目标子空间；

步骤九、若视频未结束，则转入步骤二，读入下一帧图像；否则跟踪结束。

上述技术方案中，步骤二对候选样本的采样方法如图2所示，左图实线框为第t帧 的目标状态跟踪框，右图虚线框为t+1帧通过Ross随机游走方法获取的候选样本跟踪框(观 测样本)，具体方法为：

1.以第t帧目标为中心，用六个仿射参数来描述候选样本的运动状态:x＝{l_x， l_y，θ，s，α，φ}。这六个仿射参数分别表示水平位置平移l_x,垂直位置平移l_y,转角θ,尺度s, 高宽比α,斜度φ,并独立服从高斯分布；

2.进行状态转移，获取t+1帧所有的运动状态x_t+1：p(x_t+1|x_t)＝N(x_t+1；x_t，Φ)，其中 Φ为对角协方差矩阵，其对角元素为六个仿射参数的标准差，N表示高斯分布。的运动 状态对应的图像块便作为观测值

上述技术方案中，步骤三中，若当前桢号t+1≤5时，则计算观测样本与第t帧 真实目标状态的残差并通过如下评价函数来评估对应候选样本的置 信度：

p(y|x)＝exp(-||e||₁)

p(y|x)值最大的候选样本设为当前的目标状态并收集样本：

$I_{t+1}=y_{t+1}^{*}.$

上述技术方案中，步骤四的外观表示示意图如图3所示。针对观测样本构建 目标函数，为了方便描述，我们将观测样本简写为y，则具体步骤为：

1.针对由目标PCA基向量构成的子空间，需避免冗余特征的干扰，采用L_p范数对子 空间的映射系数进行稀疏化，则有以下最小化函数：

$c^{*}=\arg \underset{c}{min}\left\{\right||y-Dc|{|}_2^2+\rho \left|\right|c\left|{|}_p\right\}$

其中y为输入的观测样本，D为当前的PCA子空间，c为观测样本对应的目标系数，用 于在子空间中挑选目标的特征成分，ρ为稀疏调节参数；

2.针对跟踪过程中目标产生的离群子(如遮挡)处理，舍弃矩形模板的协作表示方 法，针对残差y-Dc，直接进行拉普拉斯建模，通过残差的非0部分来识别离群子的存在，则 有：

$c^{*}=\arg \underset{c}{min}\left\{\right||y-Dc|{|}_1+\rho \left|\right|c\left|{|}_p\right\}$

3.令e＝y-Dc,并作为约束条件，则有：

$\left(\begin{array}{ccc}{c}^{*}=\arg \underset{c}{min}\left\{\right|\left|e\right|{|}_1+\mu \left|\right|c\left|{|}_p\right\}& s.t.& y=Dc+e\end{array}\right)$

在增广拉格朗日算法的框架下可以得到以下目标函数：

$L_{\tau }(e,c,\gamma )=\left|\right|e|{|}_1+\rho |\left|c\right|{|}_p+<\gamma ,y-Dc-e>+\frac{\tau }{2}\left|\right|y-Dc-e|{|}_2^2$

其中<·>表示内积操作，γ表示拉格朗日乘子，τ是惩罚参数，用来惩罚目标的重 构误差，{τ_k}为单调递增序列。

上述技术方案中，步骤五针对目标函数进行最小化计算，求取对应的最优参数c^*和e^*，所使用的迭代加速近邻梯度APG算法如图4所示，具体步骤包括：

1.输入观测样本y，目标的PCA子空间D；

2.设置初始变量，其中残差项初始变量e₀＝e_-1＝0，目标系数初始变量c₀＝c_-1＝0， 变量t₀＝t_-1＝1,τ₀＝10；

3.开始进行迭代操作，将步骤四中目标函数转化为取其中凸可微部分作为APG算法中的 令k作为当前的迭代次数，固定残差项e和目标系数项 c中的某一项进行迭代计算。取作为APG算法中目标系数项c的辅助变量，为APG 算法中残差项e的辅助变量，令k从0开始迭代到c和e收敛为止。有以下迭代过程：

其中γ_k和τ_k分别为第k次迭代获取的拉格朗日乘子和惩罚参数。为一常

数，确保{τ_k}单调递增，并取t为整个迭代过程用于更新和的 中间变量,ξ为APG算法中的利普希茨常数，取ξ＝10。上述迭代过程中，残差项的最小化问题 $g_{k+1}^e+\frac{1}{\xi }{▿}_{e}F(g_{k+1}^c,g_{k+1}^e)|{|}_2^2,$可以通过软阈值 算法求解，有$e_{k+1}^{*}=$$S_{1/\tau \xi }(g_{k+1}^e-\frac{1}{\xi }{▿}_{e}F(g_{k+1}^c,g_{k+1}^e\left)\right),$${▿}_{e}F(g_{k+1}^c,g_{k+1}^e)=-(y-{\mathrm{Dg}}_{k+1}^c-$$g_{k+1}^e+\frac{\gamma }{\tau }),$软阈值操作为：S_θ(x)＝sign(x) max(|x|-θ，0)。上述迭代过程中，目标系数项的最小化问题 $g_{k+1}^c+\frac{1}{\xi }{▿}_{c}F(g_{k+1}^c,g_{k+1}^e)|{|}_2^2,$可以通过广义软 阈值操作迭代求解，求解过程为：

a)输入中间变量和c_k，并令λ＝ρ/ τξ，其中${▿}_{c}F(g_{k+1}^c,g_{k+1}^e)=-D^T(y-{\mathrm{Dg}}_{k+1}^c-g_{k+1}^e+\frac{\gamma }{\tau })$设定范数值为p，这边取 p＝0.5；

b)计算阈值：${\tau }_{gst}=({\left(2\lambda \left(1-p\right)\right)}^{\frac{1}{2-p}}+\lambda p({\left(2\lambda \left(1-p\right)\right)}^{\frac{p-1}{2-p}};$

c)对向量取绝对值，且向量中小于阈值τ_gst的元素取0；

d)进行迭代计算，设置当前迭代次数i＝0，并令开始迭代直到收敛为 止，则有：

e)输出

4.输出求解过后最优的目标系数项c^*和残差项e^*。

上述技术方案中，步骤六当t+1＞5时，有如下的评价机制来评估候选样本的置信 度：

p(y|x)＝exp(-σE(c^*，e^*))

其中$E(c^{*},e^{*})=(1/2)\left|\right|y-{\mathrm{Dc}}^{*}-e^{*}|{|}_2^2+\delta |\left|e^{*}\right|{|}_1.$σ是常数，用来控制高斯 核的形状，取σ＝10。δ为常数，用来调节残差的惩罚程度，取δ＝0.5。该式前半部分用来描述 实际情况下的目标表示误差，后半部分用来衡量残差的离群程度。

上述技术方案中，步骤七用于更新子空间的样本收集方法为：

$I_j=\left(\begin{array}{cc}{y}_j^{*}& \left|e_j\right|=0\\ {\mu }_j& otherwise\end{array}\right)$

其中μ_j为子空间更新中获取的均值向量μ的第j个元素值。为t+1帧确定出的目 标状态的第j个元素值。观测目标状态对应的残差向量e，值为非0的位置可考虑 为离群子存在，利用子空间中的均值向量对应位置来替换，值为0的位置考虑为未受离群子 干扰，直接利用当前确定的最优样本的值。

上述技术方案中，步骤八利用基于Ross^[1]的方法来增量更新PCA子空间，即每收集 到5个样本后，添加进当前的PCA子空间获取新的子空间与目标的均值向量。每一次更新后 子空间的主成分数量便增加5个，当子空间主成分超过16个之后，取前16个作为新的子空 间，并保持最大数量16个不变，具体步骤为：

1.给定t+1帧子空间D，将D中的基向量组成数据矩A＝[I₁，I₂，...，I_b]，同理将步骤 六收集到的样本组成数据矩B＝[I_n+1，I_n+2，...，I_n+m](m＝5)，A对应的均值向量B对应的 均值向量令C＝[AB]；

2.计算均值向量${\bar{I}}_B=\frac{1}{m}{\Sigma }_{i=n+1}^{n+m}{I}_i,{\bar{I}}_c=\frac{n}{n+m}{\bar{I}}_A+\frac{m}{n+m}{\bar{I}}_B;$

3.生成矩阵$\hat{B}=[(I_{n+1}-{\bar{I}}_B)...(I_{n+m}-{\bar{I}}_B)\sqrt{\frac{nm}{n+m}}({\bar{I}}_B-{\bar{I}}_A)];$

4.正交化计算$\tilde{B}=orth(\hat{B}-{\mathrm{DD}}^T\hat{B}),$计算$R=\left(\begin{array}{cc}E& D^T\hat{B}\\ 0& \tilde{B}(\hat{B}-{\mathrm{DD}}^T\hat{B})\end{array}\right);$

5.对R进行SVD奇异值分解：

6.获取新的子空间新的奇异值对角矩及新的均值向量 $\mu ={\bar{I}}_c.$

参考文献

1.D.Ross,J.Lim,R.LinandM.Yang.Incrementallearningforrobust visualtracking.InternationalJournalofComputerVision,Springer,77(1), pp.125-141,2008.

2.Z.Xiao,H.Lu,andD.Wang.L2-RLSBasedObjectTracking,Circuitsand SystemsforVideoTechnology,IEEETransactionon,24(8),pp.1301-1308,2014.