基于ECO算法的抗遮挡视觉目标跟踪方法及装置

摘要

本发明提供了一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，该方法包括以下步骤：读取视频或图像序列的第一帧图像，确定跟踪目标；将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，利用训练好的相关滤波器获取当前帧图像的目标位置及其置信度概率；将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用；更新ECO算法的样本集；更新相关滤波器。本发明目标样本集精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性。

说明书

技术领域

本发明涉及计算机视觉应用目标跟踪领域，尤其涉及一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互，无人驾驶等。

过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，然而其网络的深度使其难以部署在微型嵌入式平台。另外，在实时的长时跟踪情况下，目标通常会受到形变，遮挡，背景混淆，相似目标干扰等情况。ECO利用样本集和滤波器在一定程度上解决了形变，背景混淆，相似目标干扰等问题，对于遮挡和大幅度形变，还仍有不足。

发明内容

本发明的目的在于提供一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，旨在用于解决ECO目标跟踪算法在面对目标遮挡或形变或相似目标干扰情况下样本获取不正确，导致训练效果受影响的问题。

本发明是这样实现的：

一方面，本发明提供一种基于ECO算法的抗遮挡视觉目标跟踪方法，包括以下步骤：

S1、读取视频或图像序列的第一帧图像，确定跟踪目标；

S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；

S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；

S4、将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；

S5、根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；

S6、根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；

S7、使用样本融合更新策略，更新ECO算法的样本集；

S8、利用获取的样本集训练ECO算法，更新相关滤波器；

S9、循环执行步骤S3～S8，直至当前视频或图像序列处理完。

进一步地，所述步骤S4具体包括：

(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；

(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；

(3)使用ORB算法对St和S(t-3)进行稀疏配准。

进一步地，所述步骤S5具体包括：

(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；

(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；

(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；

(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。

进一步地，所述步骤S6具体包括：

(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；

(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；

(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；

(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。

进一步地，所述步骤S7中使用的样本融合更新策略具体为：

设定样本集中最大样本数量，则若：

(1)样本集未满，将新样本放到空余处；

(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；

(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；

(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。

另一方面，本发明还提供一种基于ECO算法的抗遮挡视觉目标跟踪装置，包括：

跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；

滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；

目标位置获取模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；

配准模块，用于将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；

差分模块，用于根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；

目标框样本确定模块，用于根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；

样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；

滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；

循环控制模块，用于控制目标位置获取模块、配准模块、差分模块、目标框样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。

进一步地，所述配准模块具体用于：

(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；

(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；

(3)使用ORB算法对St和S(t-3)进行稀疏配准。

进一步地，所述差分模块具体用于：

(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；

(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；

(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；

(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。

进一步地，所述目标框样本确定模块具体用于：

(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；

(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；

(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；

(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。

进一步地，所述样本集更新模块使用的样本融合更新策略具体为：

设定样本集中最大样本数量，则若：

(1)样本集未满，将新样本放到空余处；

(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；

(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；

(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。

与现有技术相比，本发明具有以下有益效果：

本发明提供的这种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，结合图像配准以及区域生长等算法，将当前帧图像与三帧前图像配准差分后得到差分图，根据差分图可得目标被遮挡以及形变程度，并重新分割目标框，本发明的分割方法不依赖物体本身的变化，分割的精度较高，分割之后使得形变样本得以补充，遮挡样本得以分割，生成了精确的目标样本集，且根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用并生成可用样本目标框，即根据目标的被遮挡程度选择相应的目标框确定策略来生成样本，使目标样本集更加精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性，尤其，不含深度网络的特性使其能高速运行在嵌入式平台，达到35FPS。

附图说明

图1为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪方法的流程图；

图2为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪装置的方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于ECO算法的抗遮挡视觉目标跟踪方法，包括以下步骤：

S1、读取视频或图像序列的第一帧图像，人为设定或通过目标检测算法确定跟踪目标。

S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；具体包括：

先对跟踪目标所在候选区域z提取多尺度特征x，包括hog特征以及颜色cn特征，将提取的特征进行pca降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：

其中X(n,m)为降维后的离散特征，N、M对应二维离散特征的行数和列数；进一步将傅里叶变换之后的特征值插到连续域，公式如下：

其中X

其中，f

求解相关滤波器则通过最小化损失函数来实现，公式如下：

其中y

S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。

S4、将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；该步骤具体包括：

(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；

(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；

(3)使用ORB算法对St和S(t-3)进行稀疏配准。

由于该步骤要用到三帧前的图像，所以该步骤一般是从第四帧图像开始的，下面的步骤S5、步骤S6也是同样的。该步骤取当前帧图像和三帧前图像目标周围一定区域是为了将目标周围一定的背景区域包含进去，方便后续做配准以及差分，目标周围一定区域优选为目标周围10～16倍区域。

S5、根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；具体包括：

(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；

(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；

(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；

(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。

该步骤首先对当前帧图像和三帧前图像的重叠区域进行差分生成差分矩阵，然后根据差分矩阵可得目标被遮挡以及形变程度，并重新分割目标框，得到了更加精确的目标框，以提高滤波器训练的精度。

S6、根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；具体包括：

(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；

(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；

(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；

(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。

该步骤根据分割后的目标框从跟踪目标框外的配准点生成的区域占目标框的比例来确定目标框样本，当占比为0％时，代表目标无遮挡，直接使用ECO算法跟踪得到的目标框作为目标框样本训练相关滤波器；当占比较小在10％以下时，代表目标有轻微遮挡，该目标框的参考性较大，切除外部遮挡后可作为目标框样本训练相关滤波器；当占比中等处于10％～30％之间时，代表目标有一定程度遮挡，该目标框的参考性一般，可将三帧前的目标框再次作为目标框样本训练相关滤波器；当占比较大在30％以上时，代表目标遮挡严重，当前目标框样本参考性不大，直接放弃该目标框样本。采用以上的样本生成策略能进一步提高目标样本集的精确性，提高滤波器训练的鲁棒性、精确性以及快速性。

S7、使用样本融合更新策略，更新ECO算法的样本集；样本融合更新策略具体为：

设定样本集中最大样本数量，则若

(1)样本集未满，将新样本放到空余处；

(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；

(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；

(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。

S8、利用获取的样本集训练ECO算法，更新相关滤波器。

S9、循环执行步骤S3～S8，直至当前视频或图像序列处理完。

基于同一发明构思，本发明实施例还提供一种基于ECO算法的抗遮挡视觉目标跟踪装置，由于该装置解决技术问题的原理与上述方法实施例相似，故该装置的实施可以参照上述方法的实施，重复之处不再赘述。

如图2所示，为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪装置，该装置包括：

跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；

滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；

目标位置获取模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；

配准模块，用于将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；

差分模块，用于根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；

目标框样本确定模块，用于根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；

样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；

滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；

循环控制模块，用于控制目标位置获取模块、配准模块、差分模块、目标框样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。

在一个实施例中，所述配准模块具体用于：

(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；

(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；

(3)使用ORB算法对St和S(t-3)进行稀疏配准。

在一个实施例中，所述差分模块具体用于：

(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；

(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；

(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；

(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。

在一个实施例中，所述目标框样本确定模块具体用于：

(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；

(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；

(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；

(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。

在一个实施例中，所述样本集更新模块使用的样本融合更新策略具体为：

设定样本集中最大样本数量，则若：

(1)样本集未满，将新样本放到空余处；

(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；

(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；

(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。

综上所述，本发明实施例提供的这种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，结合图像配准以及区域生长等算法，将当前帧图像与三帧前图像配准差分后得到差分图，根据差分图可得目标被遮挡以及形变程度，并重新分割目标框，本发明的分割方法不依赖物体本身的变化，分割的精度较高，分割之后使得形变样本得以补充，遮挡样本得以分割，生成了精确的目标样本集，且根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用并生成可用样本目标框，即根据目标的被遮挡程度选择相应的目标框确定策略来生成样本，使目标样本集更加精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性，尤其，不含深度网络的特性使其能高速运行在嵌入式平台，达到35FPS。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。