首页> 中国专利> 基于分块多示例学习算法的目标跟踪方法和系统

基于分块多示例学习算法的目标跟踪方法和系统

页面导航

摘要
著录项
法律信息
说明书
相似文献

摘要

本发明公开了一种基于分块多示例学习算法的目标跟踪方法，包括：将目标图像分为若干个分块图像片；通过多示例学习算法得出每个分块图像片的弱分类器池，并从弱分类器池中选出分类能力强的若干个弱分类器构成强分类器；目标跟踪过程中，结合所有分块图像片的强分类器计算目标图像的综合分类器分数，并根据计算出的综合分类器分数确定目标位置。上述基于分块多示例学习算法的目标跟踪方法目标跟踪性能较高、跟踪过程稳定，能够解决严重的光照、位姿变化及遮挡等问题。本发明还公开一种基于分块多示例学习算法的目标跟踪系统。

著录项

公开/公告号CN105976401A

专利类型发明专利
公开/公告日2016-09-28

原文格式PDF
申请/专利权人河北工业职业技术学院;
展开▼

申请/专利号CN201610339958.2
发明设计人王振杰;李月朋;杨朝晖;梁海军;
展开▼

申请日2016-05-20
分类号G06T7/20(20060101);G06K9/62(20060101);
代理机构13120 石家庄国为知识产权事务所;
代理人苏英杰
地址 050091 河北省石家庄市红旗大街626号
入库时间 2023-06-19 00:32:58

法律信息

法律状态公告日

法律状态信息

法律状态
2019-03-12

授权

授权
2016-10-26

实质审查的生效 IPC(主分类):G06T7/20 申请日:20160520

实质审查的生效
2016-09-28

公开

公开

说明书

技术领域

本发明涉及数字图像处理技术领域，特别是涉及一种基于分块多示例学习算法的目标跟踪方法和系统。

背景技术

目标跟踪技术是机器视觉领域备受关注的课题之一。近年来，许多国内外的学者致力于目标跟踪技术的研究并取得了一些引人瞩目的成果。然而，目标跟踪仍面临诸多挑战，如：噪声、光照、位姿改变、运动突变和遮挡等问题。为解决上述问题，Babenko提出基于多示例学习(Multiple Instance Learning，MIL)算法的目标跟踪方法。该方法将样本表示为由多个示例组成的带标记的包(正包或负包)。当一个包中至少有一个示例为正时，该包被标记为正包。反之，当一个包中所有示例均为负时，该包被标记为负包。多示例学习算法结合目标和背景信息(正包和负包中的示例)训练获得判别分类器，并利用所得判别分类器将目标从背景中分离出来。

然而，MIL算法计算耗时大，易发生跟踪结果漂移，目标跟踪性能不够高，且无法解决严重的光照、位姿变化及遮挡等问题。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种目标跟踪性能更高、跟踪过程更稳定的基于分块多示例学习算法的目标跟踪方法和系统。

为解决上述技术问题，本发明所采取的技术方案是：一种基于分块多示例学习算法的目标跟踪方法，包括以下步骤：

将目标图像分为若干个分块图像片；

通过多示例学习算法得出每个所述分块图像片的弱分类器池，并从所述弱分类器池中选出分类能力强的若干个弱分类器构成强分类器；

目标跟踪过程中，结合所有所述分块图像片的强分类器计算目标图像的综合分类器分数，并根据计算出的综合分类器分数确定目标位置。

优选的，采用最大化弱分类器与极大似然概率的内积的原则从所述弱分类器池中选出分类能力强的若干个弱分类器构成强分类器。

优选的，结合所有所述分块图像片的强分类器计算目标图像的综合分类器分数的方法为：

根据对应的强分类器计算各个所述分块图像片的分类器分数；

计算各个分类器分数的平均值，得出目标图像的综合分类器分数。

优选的，作为目标的候选样本的所述综合分类器分数最大且大于第二阈值时，目标跟踪过程中无光照、位姿改变及遮挡现象；

作为目标的候选样本的所述综合分类器分数最大且小于所述第二阈值大于第一阈值时，若部分所述分块图像片的分类器分数大于所述第二阈值，则目标被其他物体遮挡；若所有所述分块图像片的分类器分数均小于所述第二阈值大于所述第一阈值，则存在光照和位姿改变；其中，所述第一阈值小于所述第二阈值；

当作为目标的候选样本的所述综合分类器分数小于所述第一阈值，且所有所述分块图像片的分类器分数均小于所述第一阈值时，目标跟踪失败；

当连续多帧内作为目标的候选样本的所述综合分类器分数均小于所述第二阈值，且所有所述分块图像片的分类器分数均小于所述第二阈值时，目标跟踪失败。

优选的，目标跟踪成功后根据当前跟踪状态对分类器参数进行学习更新；

其中，当目标跟踪过程中无光照、位姿改变及遮挡现象时，学习更新率取0.5；当目标跟踪过程中存在光照、位姿改变时，学习更新率取0.85；当目标被其他物体遮挡时，学习更新率取0.25。

一种基于分块多示例学习算法的目标跟踪系统，包括目标图像划分模块、分类器处理模块和目标位置确定模块；

所述目标图像划分模块，用于将目标图像分为若干个分块图像片；

所述分类器处理模块，用于通过多示例学习算法得出每个所述分块图像片的弱分类器池，并从所述弱分类器池中选出分类能力强的若干个弱分类器构成强分类器；

所述目标位置确定模块，用于在目标跟踪过程中，结合所有所述分块图像片的强分类器计算目标图像的综合分类器分数，并根据计算出的综合分类器分数确定目标位置。

优选的，所述分类器处理模块采用最大化弱分类器与极大似然概率的内积的原则从所述弱分类器池中选出分类能力强的若干个弱分类器构成强分类器。

优选的，所述目标确定模块结合所有所述分块图像片的强分类器计算目标图像的综合分类器分数的方法为：

根据对应的强分类器计算各个所述分块图像片的分类器分数；

计算各个分类器分数的平均值，得出目标图像的综合分类器分数。

优选的，作为目标的候选样本的所述综合分类器分数最大且大于第二阈值时，所述目标位置确定模块判定目标跟踪过程中无光照、位姿改变及遮挡现象；

作为目标的候选样本的所述综合分类器分数最大且小于所述第二阈值大于第一阈值时，若部分所述分块图像片的分类器分数大于所述第二阈值，则所述目标位置确定模块判定目标被其他物体遮挡；若所有所述分块图像片的分类器分数均小于所述第二阈值大于所述第一阈值，则所述目标位置确定模块判定存在光照和位姿改变；

当作为目标的候选样本的所述综合分类器分数小于所述第一阈值，且所有所述分块图像片的分类器分数均小于所述第一阈值时，所述目标位置确定模块判定目标跟踪失败；

当连续多帧内作为目标的候选样本的所述综合分类器分数均小于所述第二阈值，且所有所述分块图像片的分类器分数均小于所述第二阈值时，所述目标位置确定模块判定目标跟踪失败。

优选的，所述基于分块多示例学习算法的目标跟踪系统还包括学习更新模块；所述学习更新模块用于在目标跟踪成功后根据当前跟踪状态对所述分类处理模块的分类器参数进行学习更新；

采用上述技术方案所产生的有益效果在于：将目标图像分为多个分块图像片，针对每个分块图像片应用多示例学习算法训练判别分类器，而目标跟踪过程中结合所有分块图像片的综合分类器分数确定目标位置，从而能够进一步提高目标跟踪性能。进一步，根据每个分块图像片的分类器分数及所有分块图像片的综合分类器分数还能够检测并区分跟踪过程中的光照、位姿变化及遮挡问题。而且设置不同的学习更新率，分类器能够根据不同情况实现自适应更新，从而实现持续、稳定的目标跟踪。

附图说明

图1是本发明基于分块多示例学习算法的目标跟踪方法的流程示意图；

图2是本发明基于分块多示例学习算法的目标跟踪系统结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

现有的多示例学习算法的基本思想是在Online Boosting框架下实现多示例学习算法。该算法分别在目标和背景区域采集示例组成带有标记的包作为训练样本，即：{(X₁,y₁),…,(X_i,y_i),…,(X_m,y_m)}。其中，X_i＝{x_i1,x_i2,,x_in}为由示例{x_i1,x_i2,,x_in}组成的包，y_i为该包的标记。当y_i＝1时该包为正包，当y_i＝0时该包为负包。

正包由在当前帧目标位置领域内采集的示例组成：其中为目标当前位置，r为采集示例的圆半径。在背景处采集示例组成负包：其中r,β(r＜β)为采集组成负包的示例的圆环的内、外半径。用Haar-like特征描述正、负包中的示例，即：V＝(v₁,…,v_N)^T。对正、负包中示例的特征学习得到N个弱分类器，构成弱分类器池φ＝(h₁,…h_k,…,h_N)^T。弱分类器采用贝叶斯公式计算。

假设所有特征均服从高斯分布即且满足p(y＝1)＝p(y＝0)。则对正、负包中所有示例的第k个特征进行学习得到第k个弱分类器为：

$h_{k} (x) = l o g (\frac{p (y = 1 | v_{k} (x))}{p (y = 0 | v_{k} (x))}) - - - (1)$

根据最大对数似然概率原则在弱分类器池中选择分类能力强的K(K<<N)个弱分类器构成强分类器，用于在后续视频图像中跟踪目标。即：

式中l为对数似然概率：

p(y_i|X_i)为包概率，多示例学习算法采用Noisy-OR(NOR)模型：

$p (y_{i} | X_{i}) = 1 - \underset{j}{Π} (1 - p (y_{i} | x_{i j})) - - - (4)$

p(y_i|x_ij)为包中示例概率：

p(y_i|x_ij)＝σ(H(x_ij))>

其中为sigmoid函数。

选择出来的分类能力强的若干个弱分类器构成强分类器：

$H (x) = Σ_{k = 1}^{K} h_{k} (x) - - - (6)$

在新一帧图像中，强分类器在候选样本集中将分类器分数最大的样本作为最终跟踪目标：

$l_{n}^{*} = l (\arg >\underset{x \in X^{s}}{m a x}>H(x))---(7)$

其中候选样本集在上一帧跟踪结果的领域内选择，即：

跟踪到目标后，在线实时更新弱分类器以适应光照、位姿等变化，更新规则如下：

$\begin{matrix} μ_{k}^{1} = {λμ}_{k}^{1} + (1 - λ) μ^{1} \\ σ_{k}^{1} = \sqrt{λ {(σ_{k}^{1})}^{2} + (1 - λ) {(σ^{1})}^{2} + λ (1 - λ) {(μ_{k}^{1} - μ^{1})}^{2}} \\ μ_{k}^{0} = {λμ}_{k}^{0} + (1 - λ) μ^{0} \\ σ_{k}^{0} = \sqrt{λ {(σ_{k}^{0})}^{2} + (1 - λ) {(σ^{0})}^{2} + λ (1 - λ) {(μ_{k}^{0} - μ^{0})}^{2}} \end{matrix} - - - (8)$

其中，0＜λ＜1为学习率，v_k(x_i)分别为正、负包中示例特征的均值。分别是正、负包中示例的方差。

现有的多示例学习算法解决了目标跟踪过程中的歧义性问题，然而其仍存在一定的缺点：每次选择分类能力强的弱分类器时需要计算包概率和示例概率M次，故该算法实时性较差；采用固定的学习率更新分类器，当发生光照或位姿变化时易造成更新不足，当发生遮挡时易发生“过更新”。

参见图1，一个实施例中，本发明基于分块多示例学习算法的目标跟踪方法可以包括以下步骤：

S100，将目标图像分为若干个分块图像片。

其中，为满足跟踪性能要求和实时性，可以将目标图像均匀分为9个分块图像片，即O＝{o₁,…,o_i,…,o₉}。其中，O代表目标图像，o_i代表第i个分块图像片，1≤i≤9。当然，在其他实施例中，还可以将目标图像分为其他数目的分块图像片，对此不做限制。

S200，通过多示例学习算法得出每个分块图像片的弱分类器池，并从弱分类器池中选出分类能力强的若干个弱分类器构成强分类器。

其中，在每个分块图像片o_i的小邻域范围内采集示例组成正包在其环域中采集示例组成负包对包中示例训练得到图像片的弱分类器i＝1,…,9,k＝1,…,N。在弱分类器池中选择K＝2(K<<N)个弱分类器构成强分类器H_i,(i＝1,…,9)用于后续视频图像。

优选的，本步骤中采用最大化弱分类器与极大似然概率的内积的原则从弱分类器池中选出分类能力强的弱分类器作为强分类器，能够避免每次选择弱分类器时需要多次选择包概率和示例概率。

S300，目标跟踪过程中，结合所有分块图像片的强分类器计算目标图像的综合分类器分数，并根据计算出的综合分类器分数确定目标位置。

其中，结合所有所述分块图像片的强分类器计算目标图像的综合分类器分数的方法为：

首先，根据对应的强分类器计算各个分块图像片的分类器分数。

然后，计算各个分类器分数的平均值，得出目标图像的综合分类器分数。

目标跟踪过程中，在上一帧图像的目标位置邻域内采集样本构成候选样本集X^s。对每个候选样本分块，利用相应的强分类器H_i计算候选样本的分块图像片分类器分数i＝1,…,9,j＝1,…,N_s，其中N_s为候选样本总数。对于一个候选样本，统计其所有图像片的分类器分数得到综合分类器分数在候选样本集中综合分类器分数最大的候选样本为目标。

目标跟踪过程中的光照、位姿变化，及遮挡问题影响了跟踪性能。本实施例中，依据目标的综合分类器分数及每个分块图像片的分类器分数检测并区分正常跟踪、光照、位姿改变、遮挡问题及跟踪失败等跟踪状态。设定两个比较阈值，分别为第一阈值th₁和第二阈值th₂，且第一阈值th₁小于第二阈值th₂。则目标跟踪状态分以下几种情况：

1)作为目标的候选样本的综合分类器分数最大且大于第二阈值th₂时，目标跟踪过程中无光照、位姿改变及遮挡现象。

2)作为目标的候选样本的综合分类器分数最大且小于第二阈值th₂大于第一阈值th₁时(即)，若该样本的部分分块图像片的分类器分数大于第二阈值th₂，此时目标被其他物体遮挡。其中，遮挡部分的分块图像片的分类器分数小于第二阈值th₂甚至小于第一阈值th₁。

3)作为目标的候选样本的综合分类器分数最大且小于第二阈值th₂大于第一阈值th₁时，若该样本的所有分块图像片的分类器分数均小于第二阈值th₂大于第一阈值th₁，则存在光照、位姿改变。

4)当跟踪到的作为目标的候选样本的综合分类器分数小于第一阈值th₁，且所有分块图像片的分类器分数均小于第一阈值th₁时，目标跟踪失败。

5)当连续多帧内作为目标的候选样本的综合分类器分数均小于第二阈值th₂，且其所有分块图像片的分类器分数均小于第二阈值th₂时，目标跟踪失败。

进一步的，为实现持续、稳定的目标跟踪，在目标跟踪成功后，可以根据当前跟踪状态对分类器参数进行更新。现有的多示例学习算法以固定的学习率更新参数。当存在光照或位姿改变时，过小的学习率会使分类器更新不及时从而造成后续跟踪失败。当目标被其他物体遮挡时，过大的学习率导致分类器更新过程中引入遮挡物的干扰。

本实施例中，提出分类器自适应更新方法。跟踪成功后，根据当前跟踪状态设定不同的学习率。

$λ = (\begin{matrix} 0.85 & {th}_{1} < S_{\max}^{j} < {th}_{2}, \\ {th}_{1} < S_{i}^{j} < {th}_{2} >for>all>i;0.5 & S_{\max}^{j} > {th}_{2};0.25 & {th}_{1} < S_{\max}^{j} < {th}_{2},S_{i}^{j} > {th}_{2} >for>some>i---(9) \end{matrix})$

其中，当目标跟踪过程中无光照、位姿改变及遮挡现象等问题时，学习更新率取0.5，此时分类器依赖跟踪到的目标进行更新同时考虑目标模板。当目标跟踪过程中存在光照、位姿改变时，目标外观变化较为明显，学习更新率取0.85，分类器更新过程更多的依赖于当前跟踪结果以适应外观改变。当目标被其他物体遮挡时，学习更新率取0.25，为避免引入非目标物体的特征，分类器主要根据上一帧目标特征进行更新。针对目标跟踪过程中的不同状态分别采用不同的学习更新率更新分类器，解决了跟踪过程中的光照、位姿变化及遮挡问题，保证长时间、稳定跟踪目标。

上述基于分块多示例学习算法的目标跟踪方法，将目标图像分为多个分块图像片，针对每个分块图像片应用多示例学习算法训练判别分类器，而目标跟踪过程中结合所有分块图像片的综合分类器分数确定目标位置，从而能够进一步提高目标跟踪性能。进一步，根据每个分块图像片的分类器分数及所有分块图像片的综合分类器分数还能够检测并区分跟踪过程中的光照、位姿变化及遮挡问题。而且设置学习更新率，分类器能够根据不同情况实现自适应更新，从而实现持续、稳定的目标跟踪。

基于同一发明构思，本发明还提出一种基于分块多示例学习算法的目标跟踪系统。由于该基于分块多示例学习算法的目标跟踪系统与前述基于分块多示例学习算法的目标跟踪方法实现原理相同，故重复之处不再赘述。

参见图2，一个实施例中，基于分块多示例学习算法的目标跟踪系统可以包括目标图像划分模块100、分类器处理模块200和目标位置确定模块300。其中，目标图像划分模块100，用于将目标图像分为若干个分块图像片。分类器处理模块200，用于通过多示例学习算法得出每个分块图像片的弱分类器池，并从弱分类器池中选出分类能力强的若干个弱分类器构成强分类器。目标位置确定模块300，用于在目标跟踪过程中，结合所有分块图像片的强分类器计算目标图像的综合分类器分数，并根据计算出的综合分类器分数确定目标位置。

一个实施例中，分类器处理模块200采用最大化弱分类器与极大似然概率的内积的原则从弱分类器池中选出分类能力强的若干个弱分类器构成强分类器，能够避免每次选择弱分类器时需要多次选择包概率和示例概率。

具体的，目标确定模块200结合所有分块图像片的强分类器计算目标图像的综合分类器分数的方法可以为：首先，根据对应的强分类器计算各个分块图像片的分类器分数；然后，计算各个分类器分数的平均值，得出目标图像的综合分类器分数。

另外，目标跟踪过程中的光照、位姿变化，及遮挡问题影响了跟踪性能。本实施例中，依据目标的综合分类器分数及每个分块图像片的分类器分数检测并区分正常跟踪、光照、位姿改变、遮挡问题及跟踪失败等跟踪状态。设定两个比较阈值，分别为第一阈值th₁和第二阈值th₂，且第一阈值th₁小于第二阈值th₂。则目标跟踪状态分以下几种情况：

1)作为目标的候选样本的综合分类器分数最大且大于第二阈值th₂时，目标位置确定模块400判定目标跟踪过程中无光照、位姿改变及遮挡现象。

2)作为目标的候选样本的综合分类器分数最大且小于第二阈值th₂大于第一阈值th₁时(即)，若该样本的部分分块图像片的分类器分数大于第二阈值th₂，则目标位置确定模块400判定目标被其他物体遮挡。其中，遮挡部分的分块图像片的分类器分数小于第二阈值th₂甚至小于第一阈值th₁。

3)作为目标的候选样本的综合分类器分数最大且小于第二阈值th₂大于第一阈值th₁时，若该样本的所有分块图像片的分类器分数均小于第二阈值th₂大于第一阈值th₁，则目标位置确定模块400判定存在光照、位姿改变。

4)当跟踪到的作为目标的候选样本的综合分类器分数小于第一阈值th₁，且所有分块图像片的分类器分数均小于第一阈值th₁时，目标位置确定模块400判定目标跟踪失败。

5)当连续多帧内作为目标的候选样本的综合分类器分数均小于第二阈值th₂，且其所有分块图像片的分类器分数均小于第二阈值th₂时，目标位置确定模块400判定目标跟踪失败。

进一步的，参见图2，基于分块多示例学习算法的目标跟踪系统还可以包括学习更新模块400。学习更新模块400用于在目标跟踪成功后根据当前跟踪状态对分类处理模块200的分类器参数进行学习更新。其中，当目标跟踪过程中无光照、位姿改变及遮挡现象时，学习更新率取0.5。当目标跟踪过程中存在光照、位姿改变时，学习更新率取0.85。当目标被其他物体遮挡时，学习更新率取0.25。

上述基于分块多示例学习算法的目标跟踪系统，将目标图像分为多个分块图像片，针对每个分块图像片应用多示例学习算法训练判别分类器，而目标跟踪过程中结合所有分块图像片的综合分类器分数确定目标位置，从而能够进一步提高目标跟踪性能。进一步，根据每个分块图像片的分类器分数及所有分块图像片的综合分类器分数还能够检测并区分跟踪过程中的光照、位姿变化及遮挡问题。而且设置学习更新模块，能够使得分类器根据不同情况实现自适应更新，从而实现持续、稳定的目标跟踪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

去获取专利，查看全文>

相似文献

专利
中文文献
外文文献

1. 基于分块多示例学习算法的目标跟踪方法和系统 [P] . 中国专利： CN105976401B . 2019.03.12
2. 基于改进多示例学习算法的运动目标跟踪方法 [P] . 中国专利： CN103325125B . 2016.08.10
3. OBJECT TRACKING METHOD BASED ON AN AVERAGE MOVEMENT ALGORITHM FOR OBJECT SET UPDATE CAPABLE OF EXTRACTING AN OBJECT WITHIN AN IMAGE [P] . 韩国专利： KR20110113948A . 2011-10-19

机译：基于平均运动算法的目标集更新能力的目标跟踪方法
4. METHOD FOR TRACKING OF TACTICAL OBJECT USING UNBIASED DATA FUSION ALGORITHMS [P] . 韩国专利： KR20150055248A . 2015-05-21

机译：基于无偏数据融合算法的战术目标跟踪方法
5. TARGET TRACKING SYSTEM, STORAGE MEDIUM STORING PROGRAM FOR THE SAME, AND TARGET TRACKING METHOD, ANGLE TRACKING APPARATUS, STORAGE MEDIUM STORING PROGRAM FOR THE SAME, AND ANGLE TRACKING METHOD, AND TARGET TRACKING APPARATUS, STORAGE MEDIUM STORING PROGRAM FOR THE SAME, AND TARGET TRACKING METHOD [P] . 美国专利： US2013050014A1 . 2013-02-28

机译：目标跟踪系统，相同的存储介质存储程序和目标跟踪方法，角度跟踪设备，相同的存储介质存储程序和角度跟踪方法以及目标跟踪设备，存储介质的存储和目标程序方法