一种基于数论变换的目标跟踪方法及装置

摘要

本公开涉及一种基于数论变换的相关滤波目标跟踪方法及装置，该方法包括：获取跟踪目标在上帧图像中的目标位置框；对目标位置框进行多个尺度的缩放，得到尺度的采样位置框；根据每个采样位置框分别在本帧图像上采样，得到尺度的采样图像；将采样图像缩放至上帧图像的目标位置框的大小，得到尺度的候选图像；针对每一候选图像，提取候选图像的图像特征并进行快速数论变换，得到第一变换特征；将第一变换特征与第一模板进行相关运算，与第二模板相乘，得到第一运算结果；对第一运算结果进行快速数论逆变换，得到候选图像的响应值；根据候选图像的响应值，基于最大响应值对应的候选图像的尺度和位置，确定目标在本帧图像中的目标尺度和目标位置框。

说明书

技术领域

本公开涉及目标跟踪技术领域，具体地，涉及一种目标跟踪方法及装置。

背景技术

目前的基于相关滤波的目标跟踪算法的主要流程是，步骤一，在首帧给出跟踪目标的位置和尺度，计算出跟踪目标的HOG特征，其中，首帧尺度默认为1，再用自相关函数对HOG特征进行处理，得出跟踪目标的目标模板；步骤二，后续帧图像传入之后，根据跟踪目标在上帧图像所在的位置，在本帧图像上截取附近的图像，计算HOG特征并进行自相关计算，得出本帧图像的高斯响应值，步骤三；将上帧图像的目标模板与本帧图像的高斯响应值进行互相关计算，响应值最大的位置则是跟踪目标在本帧图像中的位置；步骤四，根据得到的跟踪目标在本帧图像中的位置，再次计算高斯响应值并作为本帧图像对应的目标模板，在下一帧图像传入时从步骤二进行处理。

上述目标跟踪算法存在的缺点是：不能适应目标的尺度变化，当跟踪目标尺度变化较大时，初始给定的位置框难以持续稳定地跟踪目标，甚至出现目标跟丢的情况，大量的相关运算夹杂着傅里叶变换计算在硬件上的资源使用较大，且存在一定的误差。

发明内容

本公开的目的是提供一种目标跟踪方法及装置，以解决现有技术中目标跟踪算法存在的问题。

为了实现上述目的，本公开第一方面提供一种目标跟踪方法，包括：

获取跟踪目标在本帧图像的上帧图像中的目标位置框；

根据尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放，得到每个尺度对应的采样位置框；

根据每个尺度对应的采样位置框分别在本帧图像上采样，得到每个尺度对应的采样图像；

将所述采样图像缩放至所述上帧图像的目标位置框的大小，得到每个尺度对应的候选图像；

针对每一所述候选图像，提取所述候选图像的图像特征，并对所述图像特征进行快速数论变换，得到第一变换特征；

获取基于上帧图像确定的第一模板和第二模板；

将所述第一变换特征与所述第一模板进行相关运算，并将相关运算结果与所述第二模板相乘，得到第一运算结果；

对所述第一运算结果进行快速数论逆变换，将逆变换结果作为所述候选图像对应的响应值；

根据每一所述候选图像对应的响应值确定最大响应值，并基于所述最大响应值对应的候选图像的尺度和位置，确定所述跟踪目标在本帧图像中对应的目标尺度和目标位置框。

可选地，所述方法还包括：

判断所述最大响应值是否大于预设阈值；

若所述最大响应值不大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板、基于上帧图像确定的第一模板以及基于首帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板、基于上帧图像确定的第二模板以及基于首帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，所述方法还包括：

若所述最大响应值大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板与基于上帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板与基于上帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，所述根据尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放，包括：

获取所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度；

根据所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度，通过卡尔曼滤波预测所述跟踪目标在本帧图像中的尺度，得到预测尺度；

从预设尺度池中选择所述预测尺度的邻近数值范围内的尺度，组成本帧图像对应的尺度池；

根据所述本帧图像对应的尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放。

本公开第二方面提供一种目标跟踪装置，包括：

目标位置框获取模块，用于获取跟踪目标在本帧图像的上帧图像中的目标位置框；

采样位置框获取模块，用于根据尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放，得到每个尺度对应的采样位置框；

图像采样模块，用于根据每个尺度对应的采样位置框分别在本帧图像上采样，得到每个尺度对应的采样图像；

图像缩放模块，用于将所述采样图像缩放至所述上帧图像的目标位置框的大小，得到每个尺度对应的候选图像；

数论变换模块，用于针对每一所述候选图像，提取所述候选图像的图像特征，并对所述图像特征进行快速数论变换，得到第一变换特征；

模板获取模块，用于获取基于上帧图像确定的第一模板和第二模板；

相关运算模块，用于将所述第一变换特征与所述第一模板进行相关运算，并将相关运算结果与所述第二模板相乘，得到第一运算结果；

响应确定模块，用于对所述第一运算结果进行快速数论逆变换，将逆变换结果作为所述候选图像对应的响应值；

目标确定模块，用于根据每一所述候选图像对应的响应值确定最大响应值，并基于所述最大响应值对应的候选图像的尺度和位置，确定所述跟踪目标在本帧图像中对应的目标尺度和目标位置框。

可选地，所述装置还包括模板更新模块，用于：

判断所述最大响应值是否大于预设阈值；

若所述最大响应值不大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板、基于上帧图像确定的第一模板以及基于首帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板、基于上帧图像确定的第二模板以及基于首帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，所述模板更新模块还用于：

若所述最大响应值大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板与基于上帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板与基于上帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，所述采样位置框获取模块包括：

历史尺度获取模块，用于获取所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度；

尺度预测模块，用于根据所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度，通过卡尔曼滤波预测所述跟踪目标在本帧图像中的尺度，得到预测尺度；

尺度池确定模块，用于从预设尺度池中选择所述预测尺度的邻近数值范围内的尺度，组成本帧图像对应的尺度池；

尺度缩放模块，用于根据所述本帧图像对应的尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放。

本公开提供的技术方案具有以下技术效果：

在本技术方案中，引入尺度自适应技术，通过构建尺度池，利用尺度池中的多个尺度来搜寻最优的目标尺度，使得目标位置框随目标尺度变化而变化，从而更加稳定地跟踪目标。此外，相关计算中存在许多快速傅里叶变换，其中有大量浮点计算，利用快速数论变换取代，替换为整数运算，不仅减少了硬件的资源占用，并且避免了舍入误差。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是一示例性实施例中的目标跟踪方法的流程图；

图2是一示例性实施例中的目标跟踪方法的又一流程图；

图3是一示例性实施例中的目标跟踪方法的又一流程图；

图4是一示例性实施例中的目标跟踪装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

为解决背景技术中提出的技术问题，本公开实施例提供一种目标跟踪方法，通过尺度池实现尺度的自适应，使得跟踪目标的位置框随尺度变化而变化，从而更加稳定地跟踪目标，并且减少硬件的资源占用。

图1示出了一示例性实施例中的目标跟踪方法的流程图。参照图1，该目标跟踪方法包括：

S101，获取跟踪目标在本帧图像的上帧图像中的目标位置框。

其中，在首帧时，由用户给定跟踪目标的尺度和位置，得到跟踪目标在首帧图像中的目标位置框，可以理解的，首帧不需要跟踪目标，在后续帧传入之后基于首帧给定的跟踪目标再开始跟踪。其中，首帧尺度默认为1。

其中，跟踪目标在本帧图像的上帧图像中的目标位置框可以基于本公开实施例中的步骤S101~S109确定。

S102，根据尺度池中的多个尺度分别对目标位置框进行对应尺度的缩放，得到每个尺度对应的采样位置框。

其中，该尺度池中包括多个尺度。

在一些实施例中，该尺度池可以是预设的固定尺度池。

在一些实施例中，该尺度池可以是自适应变化的尺度池。

在一示例性实施例中，上述步骤可以具体包括：获取跟踪目标在上上帧图像和上帧图像中对应的目标尺度；根据跟踪目标在上上帧图像和上帧图像中对应的目标尺度，通过卡尔曼滤波预测跟踪目标在本帧图像中的尺度，得到预测尺度；从预设尺度池中选择该预测尺度的邻近数值范围内的尺度，组成本帧图像对应的尺度池；根据本帧图像对应的尺度池中的多个尺度分别对目标位置框进行对应尺度的缩放。

S103，根据每个尺度对应的采样位置框分别在本帧图像上采样，得到每个尺度对应的采样图像。

其中，根据每个尺度对应的采样位置框分别在本帧图像上采样，采样过程具体为：从本帧图像上截取对应采样位置框中的图像，作为对应尺度的采样图像。

S104，将采样图像缩放至上帧图像的目标位置框的大小，得到每个尺度对应的候选图像。

S105，针对每一候选图像，提取该候选图像的图像特征，并对该图像特征进行快速数论变换，得到第一变换特征。

需要说明的是，本公开中的快速数论变换是以一维快速数论变换作为基础进行的。对于二维的图像特征，可以先对图像特征中的每一行分别进行一维数论变换，再对每列分别进行一维数论变换，再将行和列的数论变换结果组合在一起。HOG特征是三维的图像特征，对于三维的图像特征，例如128×128×64的HOG特征，可以将其视为64个大小为128×128的二维矩阵，因此只需针对每个二维矩阵按照前述方式进行多次一维数论变换即可。所以无论是二维或三维的图像特征，均以一维数论变换为基础，那么只需理解一维数论变换的具体过程。

可以理解的，一维数论变换针对的是一维的数列，本公开中，一维的数列可能是图像特征中的每一行或每一列的值。

本公开中，一维数论变化的过程包括：针对一维数列进行蝴蝶变换，得到蝴蝶变换结果，再对蝴蝶变换结果进行位逆序置换，从而得到一维数论变换结果。

示例性地，一维数列包括x0~x7，对该一维数列进行蝴蝶变换，得到蝴蝶变换结果：

X0、X4、X2、X6、X1、X5、X3、X7

可选地，快速数论变换以取余运算为主体，一维数列中的值以及变换过程中的值（包括蝴蝶变换中的每次运算的结果）需要进行取余运算，例如模数为M，则一维数列中的值以及每次运算的结果需要按M取余，使得变换过程中的值在0到M-1的范围内，可以有效避免溢出。

然后，对蝴蝶变换结果进行位逆序置换。示例地，位逆序置换公式如下：

其中，n表示蝴蝶变换结果中每个值对应的位序，R(n)表示置换后的位序，R(0)=0，k表示一维数列的长度所对应的2的幂数，在上述示例中，一维数列的长度为8，则k=3，

沿用上述示例，则对蝴蝶变换结果进行位逆序置换可得：

R(0)=0；R(1)=4；R(2)=2；R(3)=6；R(4)=1；R(5)=5；R(6)=3；R(7)=7

于是得到一维数论变换结果：

X0、X1、X2、X3、X4、X5、X6、X7

S106，获取基于上帧图像确定的第一模板和第二模板。

其中，获取基于上帧图像确定的第一模板，记为XF，以及获取基于上帧图像确定的第二模板，记为α。

可以理解的，在针对每帧图像确定跟踪目标在该帧图像中的目标尺度和目标位置框后，需要基于该目标位置框更新第一模板XF和第二模板α。其中，第一模板XF和第二模板α的更新策略在后文说明。

S107，将第一变换特征与第一模板进行相关运算，并将相关运算结果与第二模板相乘，得到第一运算结果。

将候选图像的第一变换特征记为YF，针对每一候选图像的第一变换特征YF，将该第一变换特征YF与第一模板XF进行相关运算，并将相关运算结果点与第二模板α进行点乘，从而得到第一运算结果。

S108，对第一运算结果进行快速数论逆变换，将逆变换结果作为该候选图像对应的响应值。

其中，快速数论逆变换的过程可以参照前文中的正变换过程进行逆向处理，在此不再详细说明。

S109，根据每一候选图像对应的响应值确定最大响应值，并基于最大响应值对应的候选图像的尺度和位置，确定跟踪目标在本帧图像中对应的目标尺度和目标位置框。

其中，最大响应值对应的候选图像的尺度即为目标尺度。

在上述过程中，引入尺度自适应技术，通过构建尺度池，利用尺度池中的多个尺度来搜寻最优的目标尺度，使得目标位置框随目标尺度变化而变化，从而更加稳定地跟踪目标。此外，相关计算中存在许多快速傅里叶变换，其中有大量浮点计算，利用快速数论变换取代，替换为整数运算，不仅减少了硬件的资源占用，并且避免了舍入误差。

进一步地，在跟踪过程中，受到目标的非刚性形变、尺度变化、光照变化以及遮挡等因素影响，容易出现跟踪漂移。因此，在跟踪过程中必须对跟踪的模板进行更新。可以理解的，候选图像的响应值反映候选图像与样本模板的匹配程度，因此可以合理利用响应值调整模板更新策略，在低响应值的情况下加强模板中的首帧信息，可以提高本技术方案对目标遮挡的稳健性。

图2示出了一示例性实施例中的目标跟踪方法的又一流程图，如图2所示，在该方法中，第一模板和第二模板可通过如下过程实现更新：

S201，在确定跟踪目标在本帧图像中对应的目标尺度和目标位置框之后，判断最大响应值是否大于预设阈值；若最大响应值不大于预设阈值，则转至步骤S202。

S202，基于跟踪目标在本帧图像中对应的目标尺度和目标位置框，从本帧图像中截取目标图像。

S203，提取该目标图像的图像特征，并对该图像特征进行快速数论变换，得到第二变换特征，并将该第二变换特征作为第一参考模板。

其中，第一参考模板记为XF’。

S204，对第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板。

其中，将第一参考模板XF’与第一参考模板XF’进行自相关运算，将自相关运算结果作为第二参考模板，记为α’。

S205，对第一参考模板、基于上帧图像确定的第一模板以及基于首帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板。

S206，对第二参考模板、基于上帧图像确定的第二模板以及基于首帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

图3示出了一示例性实施例中的目标跟踪方法的又一流程图。在可选的实施例中，在步骤S201中，若最大响应值大于预设阈值，则执行图3所示的步骤。

S301，基于跟踪目标在本帧图像中对应的目标尺度和目标位置框，从本帧图像中截取目标图像。

S302，提取该目标图像的图像特征，并对该图像特征进行快速数论变换，得到第二变换特征，并将该第二变换特征作为第一参考模板。

S303，对第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板。

S304，对第一参考模板与基于上帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板。

S305，对第二参考模板与基于上帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

基于图2和图3所示的流程，能够在确定跟踪目标在本帧图像中对应的目标尺度和目标位置框之后，基于本帧图像确定新的第一模板和第二模板，以用于在下一帧图像时参与运算。

可以理解的，在上述过程中，当本帧图像的最大响应值大于预设阈值时，仅需要基于本帧图像的第一参考模板XF’与上帧图像的第一模板XF，来得到本帧图像的第一模板XF，以及基于本帧图像的第二参考模板α’与上帧图像的第二模板α，来得到本帧图像的第二模板α。当本帧图像的最大响应值不大于预设阈值时，则需要基于本帧图像的第一参考模板XF’、上帧图像的第一模板XF以及首帧图像的第一模板XF，来得到本帧图像的第一模板XF，以及基于本帧图像的第二参考模板α’、上帧图像的第二模板α以及首帧图像的第二模板α，来得到本帧图像的第二模板α。由于在低响应值的情况下加强了模板中的首帧信息，可以提高对于目标遮挡的稳健性。

基于同一发明构思，图4示出了一示例性实施例中的目标跟踪装置的框图，如图4所示，该目标跟踪装置400包括：

目标位置框获取模块401，用于获取跟踪目标在本帧图像的上帧图像中的目标位置框；

采样位置框获取模块402，用于根据尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放，得到每个尺度对应的采样位置框；

图像采样模块403，用于根据每个尺度对应的采样位置框分别在本帧图像上采样，得到每个尺度对应的采样图像；

图像缩放模块404，用于将所述采样图像缩放至所述上帧图像的目标位置框的大小，得到每个尺度对应的候选图像；

数论变换模块405，用于针对每一所述候选图像，提取所述候选图像的图像特征，并对所述图像特征进行快速数论变换，得到第一变换特征；

模板获取模块406，用于获取基于上帧图像确定的第一模板和第二模板；

相关运算模块407，用于将所述第一变换特征与所述第一模板进行相关运算，并将相关运算结果与所述第二模板相乘，得到第一运算结果；

响应确定模块408，用于对所述第一运算结果进行快速数论逆变换，将逆变换结果作为所述候选图像对应的响应值；

目标确定模块409，用于根据每一所述候选图像对应的响应值确定最大响应值，并基于所述最大响应值对应的候选图像的尺度和位置，确定所述跟踪目标在本帧图像中对应的目标尺度和目标位置框。

可选地，该目标跟踪装置400还包括模板更新模块，用于：

判断所述最大响应值是否大于预设阈值；

若所述最大响应值不大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板、基于上帧图像确定的第一模板以及基于首帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板、基于上帧图像确定的第二模板以及基于首帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，该模板更新模块还用于：

若所述最大响应值大于所述预设阈值，则基于所述跟踪目标在本帧图像中对应的目标尺度和目标位置框，从所述本帧图像中截取目标图像；

提取所述目标图像的图像特征，并对所述图像特征进行快速数论变换，得到第二变换特征，并将所述第二变换特征作为第一参考模板；

对所述第一参考模板进行自相关运算，将自相关运算结果作为第二参考模板；

对所述第一参考模板与基于上帧图像确定的第一模板进行加权叠加，得到基于本帧图像确定的第一模板；

对所述第二参考模板与基于上帧图像确定的第二模板进行加权叠加，得到基于本帧图像确定的第二模板。

可选地，该采样位置框获取模块402包括：

历史尺度获取模块，用于获取所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度；

尺度预测模块，用于根据所述跟踪目标在上上帧图像和上帧图像中对应的目标尺度，通过卡尔曼滤波预测所述跟踪目标在本帧图像中的尺度，得到预测尺度；

尺度池确定模块，用于从预设尺度池中选择所述预测尺度的邻近数值范围内的尺度，组成本帧图像对应的尺度池；

尺度缩放模块，用于根据所述本帧图像对应的尺度池中的多个尺度分别对所述目标位置框进行对应尺度的缩放。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。例如。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。