一种改进核相关过滤波（KCF）算法的AR目标跟踪方法

摘要

本申请实施例提供了一种改进核相关过滤波（KCF）算法的AR目标跟踪方法。该方法包括：视频图像预处理；结合梯度特征HOG、纹理特征LBP进行特征融合；基于改进特征融合的KCF算法的目标区域跟踪；利用rBRIEF算法对窗口目标和当前视频帧进行图像匹配；计算出三维注册矩阵并叠加虚拟信息完成增强现实的的三维注册。利用该方法可以，且不会出现跟踪不稳定、易丢失而影响跟踪效果的问题。

说明书

技术领域

本申请涉及图像识别技术领域，特别是涉及改进核相关过滤波(KCF)算法的AR目标跟踪方法。

背景技术

AR(Augmented Reality，增强现实)技术

三维跟踪注册技术，利用图形图像识别，将虚拟信息与真实场景准确无误的进行融合配准。KCF(Kernelized Correlation Filter,核相关滤波)算法

然而，本申请的发明人发现现有技术现有相关研究：ZhouT等人

[1]叶双清,李丽兰.增强现实人机交互控制的专利技术综述[J].科技经济导刊,2019,27(22):226.

[2]韩玉仁,李铁军,杨冬.增强现实中三维跟踪注册技术概述[J].计算机工程与应用,2019,55(21):26-35.

[3]Li Y,Yin D.An augmented reality tracking registration method basedon TLD[J].Journal of systemsimulation,2014,26(09):2062-2067+2072.

[4]Li Y,Zhu J.A Scale Adaptive Kernel Correlation Filter Tracker withFeature Integration[C]. European Conference on Computer Vision.2014.

[5]Zhang G,Zeng Zi,Zhang S,et al.SIFT Matching with CNN Evidences forParticular Object Retrieval[J].Neurocomputing,2017,238(238):399-409.

[6]Zhou T,Zhu M,Zeng D,Yang H,Mauro Gaggero.Scale Adaptive KernelizedCorrelation Filter Tracker with Feature Fusion[J].Mathematical Problems inEngineering,2017.

[7]Henriques J F,Caseiro R,Martins P,et al.High-Speed Tracking withKernelized Correlation Filters[J].IEEE Transactions on PatternAnalysisandMachine Intelligence,2015,37(3):583-596.

[8]Bay H,Ess A,Tuytelaars T,et al.Speeded-Up Robust Features(SURF)[J].Computer Vision& Image Understanding,2008,110(3):346-359.

[9]Li y,Feng N,Tan S.Augmented reality based on KCF and improved ORB[J].Computer engineering,2019(8).

发明内容

本申请实施例的目的在于提供一种改进核相关过滤波(KCF)算法的AR目标跟踪方法，以提高配准精度。

第一方面，本申请实施例提供了一种改进核相关过滤波(KCF)算法的AR目标跟踪方法，该方法包括：

视频图像预处理；其中，所述视频图像为载入的包含环境信息数据和摄像头数据的视频结合梯度特征HOG、纹理特征LBP进行特征融合，实现纹理特征和梯度特征互补基于改进特征融合的KCF算法的目标区域跟踪，增强图像轮廓信息的捕获；

利用rBRIEF算法对窗口目标和当前视频帧进行图像匹配，确定待注册的目标区域；

计算出三维注册矩阵并叠加虚拟信息完成增强现实的的三维注册。

可选的，对视频图像预处理中的图像归一化处理，包括：

基于预定规则将彩色图像转化为灰度图像，其中所述图像为RGB格式。

利用Gamma校正法对图像进行归一化处理。

可选的，对所述像素信息集中的像素点进行采集，包括：

按照预定规则将原始图像像素点划分成第一子集；

按照预定规则将匹配图像像素点划分成第二子集；

对所述第一子集和所述第二子集，进行图像匹配对应。

可选的，对所述RANSAC随机采样一致性算法所述剔除错误匹配的特征点，包括：采用随机采样一致性算法RANSAC，进行误匹配点剔除。

随机抽取所述第一子集和所述第二子集中四对匹配点，进行迭代计算。

本申请实施例提供的一种改进核相关过滤波(KCF)算法的AR目标跟踪方法，使用图像矫正算法，实现彩色图像的归一化处理；利用梯度特征、纹理特征相融合算法，实现纹理特征和梯度特征互补，以增强对图像轮廓信息的捕获；利用特征描述算法确定候选点，计算出所述特征点的特征能描述符；采用随机一致性算法，实现误匹配点的剔除，提升配准率。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种改进核相关过滤波(KCF)算法的AR目标跟踪方法的第一种示意图；

图2为改进KCF的增强现实系统中特征融合及特征检测的实现过程的一种示意图；

图3为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的方法进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中采用的改进KCF算法为假定已经给出了两个样本集X、Y，给出的两个样本集，使用核计算，通过学习的方式训练目标检测器，并以其位置确定目标区域。但是目标样本和待匹配样本中所有匹配点的最大相关值即峰值的待求解，为了解决这个问题通常采用卷积运算来确定两个函数平移最为相似的峰值点。

可以理解的，待匹配样本X，在移动模板Y(x,y)后，都会朝着目标样本最相近的点移动。首先需要对目标样本进行学习训练，将其训练为目标检测器，在待匹配样本X，在移动模板Y(x,y)后，得到搜索子图，并判断是否与目标检测器预测的位置是否一致，并用新的检测结果去更新目标检测器。依次找出这两个样本集中的所有对应的点；根据直方图计算出不同特征点的梯度特征和纹理特征，计算出得到两个样本特征的直方距离D(p

在增强现实三维跟踪注册过程中，需要不断的提高跟踪匹配速度、虚拟融合显示的质量，实时在非刚性形变和光照强化变换下，即使更新目标样本，并将虚实场景无缝融合。但是按照上述的方法样本数据在经过归一化处理之后，考虑到在复杂的环境，只用单一的特征去跟踪目标显然不能得到良好的效果。样本需结合梯度特征HOG、纹理特征LBP进行特征融合，实现纹理特征和梯度特征互补。梯度特征在非刚性形变和光照强化变换下对目标跟踪效果很好，但当目标被遮挡时，梯度特征就会发生飘逸。而纹理特征在这种环境下正好与梯度特征形成互补，纹理特征不仅十分抗噪声还能及时更新目标的模板。

考虑到特征检测中在对图像像素点在各个方向上的二阶倒数，计算量较大，导致特征检测效率低，特在特征提取中加入实时的梯度信息(包括大小和方向)，以增强对图像轮廓信息的捕获。

因此，基于以上的问题，在保证匹配精度的同时能够在更短的时间内获得更高的拼接成功率是亟待解决的问题。

下面将参考附图并结合实施例来详细说明本申请。

请参见图1，其示出了本申请实施例提供的一种改进的ICP点云快速拼接方法的第一种示意图。该方法包括：

S11，视频图像预处理；其中，所述视频图像为载入的包含环境信息数据和摄像头数据的视频；增强现实三维跟踪注册技术技术是对现实场景中的图像或者物体进行跟踪与定位，跟踪是在真实场景中根据目标位置的变化来实时获取传感器位姿，并按照当前视角重新建立空间坐标系并将虚拟场景渲染到真实环境中准确位置；注册是虚拟场景准确定位到真实环境中。增强现实三维跟踪注册技术主要分为两类：基于计算机视觉的跟踪注册技术和基于硬件传感器的跟踪注册技术。在基于计算机视觉的跟踪注册技术中，黑白两色的矩形方块为图像匹配的识别标志物，预先放置在现实场景中，利用摄像机获取顶点信息，根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。当无标识物时，利用特征点集相互之间的匹配关系来对摄像机的空间位姿进行跟踪；也可以根据输入的视频帧画面搜索模型外轮廓边缘信息或点特征，并与预先给定的模型边缘信息进行匹配，实现对目标位姿的跟踪注册；还可以利用视觉SLAM技术加入回环检测实现跟踪注册。基于硬件传感器的跟踪注册技术是利用全球定位系统、惯性跟踪器、电磁式和机械式传感器获取被测目标在空间随时间变化的位置、速度和加速度等数据。

增强现实三维跟踪注册技术的发展趋势是进一步优化特征检测、跟踪匹配的算法检测速率及跟踪效率，应用图像识别和处理技术提高特征点的捕获能力和精度。

在本申请实施例中利用摄像机获取拍摄前采集的环境信息和拍摄过程中摄像机镜头的数据以后，将彩色图像转为灰度图像，对上述数据进行归一化处理，并发送至追踪服务器中，供后续的数据处理。

S12，结合梯度特征HOG、纹理特征LBP进行特征融合，实现纹理特征和梯度特征互补；

HOG(Histogram of Oriented Gradient，方向梯度)特征用来计算机视觉和图像处理中体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征；首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。LBP(Local Binary Pattern，局部二值模式)描述图像局部纹理特征的算子，用于纹理特征提取。在目标跟踪中，视频图像的不同特征有着不同的特性，每个特性都有自己的优点和缺点。在复杂的环境，只用单一的特征去跟踪目标显然不能得到良好的效果。梯度特征在非刚性形变和光照强化变换下对目标跟踪效果很好，但当目标被遮挡时，梯度特征就会发生飘逸。而纹理特征在这种环境下正好与梯度特征形成互补，纹理特征不仅十分抗噪声还能及时更新目标的模板。

由于梯度特征HOG和纹理特征LBP有着相似的计算方法，且都有着较高的维度，使用传统的加法进行特征融合会使得计算复杂度特别高。故而加入AdaBoost算法改进滤波器，通过BC(Bhattacharyya coefficient)系数来计算两个特征的直方距离，获取计算权重系数，令第一次迭代时生成一个弱的滤波器，通过boosting权值计算公式得到更新的权值，最终得到一个强滤波器。

本申请实施例，并行计算特征融合，具体求解步骤如下：

步骤1：特征融合并行计算，公式为：

步骤2：采用BC(Bhattacharyya coefficient)系数来计算两个特征的直方距离，计算公式为：

步骤3：通过直方图距离来计算权重系数，设定，计算公式为：

步骤4：使用AdaBoost算法改进滤波器，令第一次迭代时，设定权值，生成一个弱的滤波器，公式为：

其中M表示多特征滤波器的数量，H表示弱滤波器模板，通过boosting权值计算公式得到一个更新的权值，公式为：

最终得到一个强滤波器。

S13，基于改进特征融合的KCF算法的目标区域跟踪，增强图像轮廓信息的捕获；特征捕获算法中SURF算法对SIFT算法有改进，不采用DOG图像，采用Hessian矩阵行列式近似图像，但Hessian矩阵需要计算图像像素点在各个方向上的二阶倒数，计算量较大，导致特征检测效率低。本申请实施例，基于改进特征融合的KCF算法在特征捕获时可以理解为在实时FAST算法的特征提取程中加入实时的梯度信息以增强对图像轮廓信息的捕获。

在确保特征信息检测过程中快速检测捕获点，并将其选中为角点，尺度不变。具体操作步骤如下：

步骤1：选定像素点i，以r为半径，在圆周上选取n个像素点，判断i是否为角点，公式为：

其中，j(i＝1，2，3…n)。I

步骤2：对步骤1选择的候选特征点进行图像的梯度计算，公式为：

G(x，y)＝|G

步骤3：高斯平滑卷积处理。对灰度图像进行高斯平滑卷积处理，生产不同尺度的多层图像金字塔，任意一层的图像金字塔可以表示为公式：

步骤4：对于i层图像任意点的特征点进行检测，矩阵计算公式为：

S14，利用rBRIEF算法对窗口目标和当前视频帧进行图像匹配，确定待注册的目标区域； SURF算法的特征描述需要计算Haar特征形成64纬特征向量，这大大降低了特征匹配的效率。因此本申请实施例，采用rBRIEF算法，计算出一个二进制的特征描述符用于特征的描述。具体操作步骤如下：

步骤1：选定特征点为中心点，取SxS的邻域窗口大小。在窗口内随机选取一对(两个)点，比较二者像素的大小，进行二进制赋值，公式为：

步骤2：在窗口中随机选取N对随机点，重复步骤1的二进制赋值，形成一个二进制编码，这个编码就是对特征点的描述，即特征描述子。

S15，计算出三维注册矩阵并叠加虚拟信息完成增强现实的的三维注册。

设定注册区域上点P(X，Y，Z)，摄像机的摄影点Q(U，V)，则带注册区域空间坐标与摄像机的摄影点坐标之间的变换关系如公式为：

利用求得的摄像机参数矩阵得到初始的三维注册矩阵，叠加虚拟信息，完成增强现实的三维注册。

在增强现实系统中，由于待注册区域局部遮挡和光照强度变化，使得无法正常追踪、注册目标，为了得到待注册目标的完整数据模型，需要特征点的检测中加入梯度信息和尺度空间理论对特征进行融合，利用RANSAC算法提升配准率，最后就可以根据匹配结果计算出的匹配注册坐标系，将各个视角得到的点集合并到统一的坐标系下实现虚实信息的叠加显示。这就是AR三维跟踪注册技术，其实质是解决待注册的目标区域被遮挡和发生光照强度变化的情况下，能够准确、快速的获取待注册的目标区域、对目标进行特征点的检测、在保证对旋转、尺度缩放、亮度保持不变性的同时，还保证了提取的速度。改进KCF算法的增强现实方法对特征进行融合，加入核计算，拥有鉴别式追踪模块，实现了相关数据检测、追踪功能，和经典的配准算法如KCF。

可以理解的，经典的配准算法KCF对将目标区域作为搜索窗口，根据一定的准则通过学习的方式训练一个目标检测器，判断跟踪到的是目标还是周围的背景信息，使用轮转矩阵对样本进行采集，使用快速傅里叶变化对算法进行加速计算。KCF因为在跟踪过程当中目标框是已经设定好的，从始至终大小为发生变化，但是在跟踪序列当中目标大小时有发生变化，这个就会导致跟踪器跟踪过程当中目标框漂移，从而导致跟踪失败。其次，KCF对在跟踪过程当中当目标被遮挡时候的处理问题没有进行很好的解决。

本申请实施例，将原来的配准算法KCF进行改进，解决了目标框实时跟新及标被遮挡的问题，具体的实现流程参见图2，实施步骤为：

步骤1：初始化待注册的目标区域，载入视频并对视频图像进行预处理；

步骤2：将目标区域作为搜索窗口，计算该窗口的纹理直方图和梯度直方图；

步骤3：采用特征融合的KCF算法对目标区域进行跟踪；

步骤4：对跟踪的结果进行特征点检测，利用rBRIEF算法将窗口目标与当前帧的图像进行匹配，确定待注册的目标区域；

步骤5：判断跟踪区域是否失效，如果没有失效，计算出三维注册矩阵并叠加虚拟信息完成增强现实的的三维注册，否则返回步骤3；

步骤6：结束。

本申请实施例提供的一种改进KCF算法的AR目标跟踪方法，将纹理特征与梯度特征进行融合，实现了特征融合互补，并对目标框进行实时更新，增强对图像轮廓信息的捕获；利用改进的FAST算法对跟踪到的目标进行特征点的检测，利用rBRIEF算法进行特征的提取与匹配，在保证对旋转、尺度缩放、亮度保持不变性的同时，还保证了提取的速度。通过改进KCF算法获取的图像信息颜色特征受图像遮挡和光照变化的影响，对图像使用Gamma校正法进行归一化处理，实现了对本申请实施例，算法输入值的优化处理。

可选的，该方法还包括：

基于预定规则对图像格式的设置，其中，所属图像大多数都是基于RGB格式，利用Gamma 校正法对图像进行归一化处理，取经验值Gamma＝0.5，将彩色图像转为灰度图像。

可以理解的，颜色特征对图像发生遮挡和光照变化并不敏感，所属图像大多数是RGB 格式，将彩色图像转为灰度图像，快速提高目标跟踪、特征检测与匹配速率，减少图像局部遮挡和光照强度变化所造成的影响，抑制噪声的干扰。

可选的，对所述像素信息集中的像素点进行采集，包括：

按照预定规则将原始图像像素点划分成第一子集；按照预定规则将匹配图像像素点划分成第二子集；对第一子集和第二子集进行特征点进行匹配对应。

可选的，对所述RANSAC随机采样一致性算法所述剔除错误匹配的特征点，包括：采用随机采样一致性算法RANSAC，进行误匹配点剔除。随机抽取所述第一子集和所述第二子集中四对匹配点，进行迭代计算。

RANSAC(RANdom SAmple Consensus，随机抽样一致)算法，可以从一组包含“局外点”的待测数据集中，通过迭代方式估计数学模型的参数，通过概率估计结果。当“局外点”不能适应该模型时，将其数据作为噪声，即错误的匹配点剔除。

本申请实施例还提供了一种电子设备，参见图3，为本申请实施例的电子设备的一种示意图，包括：处理器401及存储器402；

上述存储器，用于存放计算机程序；

上述处理器用于执行上述存储器存放的计算机程序，

本申请实施例的电子设备还包括通信接口402和通信总线404，其中，处理器401，通信接口 402，存储器403通过通信总线404完成相互间的通信，

存储器403，用于存放计算机程序；

处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：

对视频图像预处理；

结合梯度特征HOG、纹理特征LBP进行特征融合处理；

基于改进特征融合的KCF算法的目标区域跟踪，实现图像轮廓信息的捕获；

利用rBRIEF算法对窗口目标和当前视频帧进行图像匹配；

计算出三维注册矩阵并叠加虚拟信息完成增强现实的的三维注册。

可选的，处理器用于执行存储器上所存放的程序时，还能够实现上述改进KCF算法的 AR目标跟踪方法。

上述存储器可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，在本申请实施例中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。