基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法

摘要

本发明公开了一种基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，利用压缩跟踪算法对目标人脸进行粗略定位，从而缩小了人脸检测算法的搜索范围，进而提高目标人脸检测算法准确性和实时性；利用人脸检测算法，实现目标人脸的准确定位，同时实现目标人脸的尺度自适应跟踪；利用目标人脸检测算法，解决目标人脸离开镜头再次进入时，跟踪失效的问题；利用目标人脸运动过程在时间上的连续性，实现目标人脸检测算法检测失败情况下的跟踪连续性问题。本发明通过以上方法能够保证摄像头对目标人脸进行准确有效的多姿态，尺度自适应跟踪，可广泛的应用于视频监控、人机交互、虚拟现实以及各种安防系统之中如：ATM机监控门禁系统等。

说明书

技术领域

本发明涉及图像模式识别领域，尤其涉及一种基于压缩跟踪算法的尺度自适应人脸跟踪算法。

背景技术

近年来，科研人员在人脸跟踪技术取得了巨大的进步。在网络教学、视频会议、监视与监控等特定场合都需要对目标人脸进行实时的跟踪，数据传递以及分析。远程教学、视频通讯、可视电话、身份确认、人机交互等方面都与人脸跟踪息息相关。

目前，已经有不少比较经典的人脸跟踪算法，例如Camshift跟踪算法、基于序列蒙特卡罗的粒子滤波方法、Mean shift算法等，这些算法虽然都能够对目标人脸进行准确的跟踪，但是，当目标人脸的姿态发生改变时，跟踪容易失效。

为解决实时的对多姿态人脸进行有效跟踪的问题，Kaihua Zhang提出了一种基于压缩感知(compressive sensing，CS)理论的压缩跟踪(Compressive Tracking，CT)算法。CT算法很好的解决了对多姿态人脸进行实时跟踪的问题，同时具有运算量小，跟踪速度快，实时性强等优点，但是，在对目标进行跟踪的过程中存在尺度不能自适应的问题。同时，当目标离开镜头后，再次进入，跟踪失效。

发明内容

本发明要解决的技术问题是：针对上述技术问题，提出一种基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，有效实现对多姿态目标人脸的尺度自适应跟踪。

本发明为解决上述技术问题，采用如下技术方案：

一种基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，其特征在于结合人脸检测算法和CT算法对目标人脸进行检测跟踪；首先在视频显示窗口上，对目标人脸进行检测，框选出目标人脸，然后启动CT算法对被框选的目标人脸进行跟踪定位；在CT算法的基础上，再通过基于Adaboost和Haar特征的人脸检测算法，对目标人脸进行精确的定位。

上述技术方案中，包括如下主要步骤：

步骤S1：打开摄像头，读入视频数据流，同时，启动目标人脸检测算法实现对视频流中目标人脸的检测；

步骤S2：以检测到的目标人脸尺度为基准，生成一个尺寸大于目标人脸的生成窗口；

步骤S3：用生成的窗口初始化CT算法，构建CT算法正负样本的贝叶斯分类器，同时，启动CT算法，对目标人脸进行粗略的跟踪；

步骤S4：将CT算法的跟踪框作为目标人脸的检测窗口；

步骤S5：判断检测窗口是否触碰到视频显示窗口的边界，如果判断为是，返回步骤S1；反之，在检测窗口内启动基于Adaboost和Haar特征的人脸检测算法，对检测窗口内部的目标人脸进行检测；

步骤S6：判断步骤S5中是否检测到人脸，如果判断为是，记录下当前帧中，目标人脸的大小及位置，并将其作为显示框；反之，利用记录下来的前一帧中目标人脸大小及位置，生成当前帧的显示框；

其中，各参数定义如下：检测窗口：目标人脸的检测区域，同时也是CT算法的跟踪框；跟踪框：CT算法的跟踪框；显示框：算法最终输出的跟踪效果。

上述技术方案中，步骤S1目标人脸的检测指从复杂背景中识别出特定的人脸。

上述技术方案中，步骤S2生成窗口以检测到的目标人脸中心点为基准，长宽为对应目标人脸长宽尺度的1.2～1.8倍，以保证CT算法对目标人脸跟踪的准确性。

上述技术方案中，步骤S3中启动CT算法对目标人脸进行粗略的跟踪，包括生成随机测量矩阵、压缩跟踪贝叶斯分类器的构建与更新，具体按如下步骤进行：

步骤S31：第t个时刻当第t帧图片读入的时候，通过对目标人脸及其周围的背景进行采样，从而获取到若干张目标人脸正样本以及目标人脸周围的背景负样本；然后通过一个稀疏的测量矩阵对正负样本进行特征提取，再用提取到的特征训练贝叶斯分类器，相当于初始化正负样本的贝叶斯分类器，为下一步CT算法的启动做铺垫；

步骤S32：当第t+1帧图片读入的时候，将第t帧图片中目标人脸的位置与大小作为基准，在其周围进行采样，生成n个检测框，然后对这n个检测框进行特征提取，特征提取所采用的稀疏测量矩阵和步骤S1对视频流中目标人脸的检测中所涉及的稀疏测量矩阵相同；再使用第t帧初始化的贝叶斯分类器对n个检测框所提取的这些特征进行分类，分类得到的最大比例的窗口即为跟踪框；这样就获取到了新的目标窗口。

上述技术方案中，所述的n个检测框的生成过程为：以目标人脸所在矩形区域位置的左上角为圆心，以4个像素为半径，选取45个正样本；以8个像素为内半径，25个像素为外半径选取50个负样本。

上述技术方案中，步骤S5中基于Adaboost和Haar特征的人脸检测算法包括如下具体步骤：

步骤S51：将人脸用Haar-Like特征来进行描述，使用积分图的方法来对人脸的特征的特征值进行计算；

步骤S52：使用Adaboost算法来进行分类，从而挑选最能代表人脸的特征，也即Haar-Like矩形特征块，然后将这些弱分类器进行组合，进而构建出一个强分类器；

步骤S53：将训练得到的强分类器进行串联，从而组成一个级联结构的层叠分类器。

上述技术方案中，上述基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，基于windows 7操作系统下的Visual Studio 2010，以及版本为2.4.4的开源OpenCV库。

上述技术方案中，摄像头的打开、视频的读入、以及视频框的形成，都是基于OpenCV库的库函数。

相对于现有技术中对目标人脸跟踪过程中，单纯压缩跟踪算法虽然能够实现多姿态人脸的连续跟踪，但是尺度却不能自适应；而单纯的人脸检测算法，在检测过程中，虽然能够做到对目标人脸跟踪的尺度自适应，但是，由于人脸检测算法不能保证每一帧都能检测到目标人脸，跟踪画面会出现不连续现象，以及当画面中出现多张人脸时，非目标人脸对目标人脸的跟踪存在干扰等问题。本发明提出的基于压缩跟踪的尺度自适应多姿态人脸跟踪算法，结合了压缩跟踪算法能够对多姿态人脸进行连续、快速、有效跟踪和基于Adaboost学习算法的人脸检测算法能对人脸进行快速有效检测的优点，实现了对多姿态人脸进行尺度自适应跟踪。利用压缩跟踪算法对目标人脸进行粗略定位，从而缩小了人脸检测算法的搜索范围，进而提高目标人脸检测算法准确性和实时性；利用人脸检测算法，实现目标人脸的准确定位，同时实现目标人脸的尺度自适应跟踪；利用目标人脸检测算法，解决目标人脸离开镜头再次进入时，跟踪失效的问题；利用目标人脸运动过程在时间上的连续性，实现目标人脸检测算法检测失败情况下的跟踪连续性问题。本发明通过以上方法能够保证摄像头对目标人脸进行准确有效的多姿态，尺度自适应跟踪，可广泛的应用于视频监控、人机交互、虚拟现实以及各种安防系统之中如：ATM机监控门禁系统等。

附图说明

图1是本发明的基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法流程图。

具体实施方式

为了进一步说明本发明的技术方案，下面将结合附图1对本方案进行详细的说明。

如图1所示本发明的基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，在实现过程中，首先在视频的显示窗口上，对目标人脸进行检测，框选出目标人脸，然后启动压缩跟踪算法对被框选的目标人脸进行跟踪定位。在压缩跟踪算法的基础上，再通过人脸识别算法，对目标人脸进行精确的定位。为方便问题的说明，现做如下定义：

检测窗口：目标人脸的检测区域；

跟踪框：跟踪算法的跟踪框；

显示框：算法最终输出的跟踪效果。

上述方案中，需要的技术平台是windows 7操作系统下的Visual Studio 2010，以及版本为2.4.4的开源OpenCV库。

上述方案中，摄像头的打开，视频的读入,以及视频框的形成，都是基于OpenCV库的库函数。

上述方案中，人脸识别算法是用的OpenCV库中的人脸识别算法。

上述方案中，具体包括如下步骤：

步骤S1：打开摄像头，读入视频数据流，同时，启动目标人脸检测算法实现对视频流中目标人脸的检测。

目标人脸检测指从复杂背景中识别出特定的人脸。

步骤S2：以检测到的目标人脸为基准，生成一个尺寸略大于目标人脸的窗口。

为进一步说明生成窗口的具体实现方法，补充如下步骤：

步骤S21：经试验发现，CT算法在对目标进行跟踪的过程中，目标人脸越大，跟踪越准确。因此在生成窗口的过程中，本发明以检测到的目标人脸中心点为基准，长宽为对应目标人脸长宽尺度的1.2～1.8倍，以保证CT算法对目标人脸跟踪的准确性。

步骤S3：用生成初始化CT算法，构建CT算法正负样本的贝叶斯分类器，同时，启动CT算法，对目标人脸进行粗略的跟踪。压缩跟踪算法如下：

步骤S31：当第t帧图片读入的时候，通过对目标人脸及其周围的背景进行采样，从而获取到若干张正样本(目标人脸)以及负样本(目标人脸周围的背景)。然后通过一个稀疏的测量矩阵对正负样本进行特征提取(即实现降维)，再用提取到的特征训练贝叶斯分类器，相当于初始化正负样本的贝叶斯分类器，为下一步压缩跟踪算法的启动做铺垫。

步骤S32：当第t+1帧图片读入的时候，将第t帧图片中目标人脸的位置与大小作为基准，在其周围进行采样，一次性生成n个检测框，然后对这n个检测框进行特征提取(采用的稀疏测量矩阵和步骤S1中的相同)。再使用第t帧初始化的贝叶斯分类器这些特征进行分类，分类得到的最大比例的窗口即为目标窗口。这样就获取到了新的目标窗口。

为进一步说明压缩跟踪算法的具体实现方法，补充如下步骤：

步骤S321：生成随机测量矩阵

一个十分典型的随机测量矩阵为随机高斯矩阵，矩阵元素满足N(0,1)分布。但是，当需要对维度较高的图像空间进行降维时，这个矩阵在稀疏程度上不能满足实际的需求，CT算法中采用了一种非常稀疏的mxn(m行，n列)随机测量矩阵R，矩阵中元素r_ij(表示随机测量矩阵的第i行，第j列)

当s＝2时，1-1/s＝1/2，也即是随机测量矩阵中有1/2的元素为零，计算量变为原来的1/2；

当s＝3时，1-1/s＝2/3，也即是随机测量矩阵中有2/3的元素为零，计算量变为原来的2/3；

通过这个矩阵，就大大的降低了计算量。在CT算法中选取了s＝m/4，矩阵R的每一行只需要计算c个元素的值(c表示随机生成的采样块的数目，小于4，一般为2或者3)。所以它的计算复杂度为O(cn)。另外，我们只需要存储R的非零元素即可，所以所需存储空间也很少。

步骤S322：压缩跟踪贝叶斯分类器的构建与更新

压缩跟踪算法中所采用的分类器为贝叶斯分类器，在经过随机测量矩阵的降维处理以后，获取得到对应的特征值，假定各个元素都是独立分布的。则分类器H(v)的分类标准为：

其中，y∈(0,1)为分类样本标签，y的值0，1分别表示正样本和负样本，v_i表示第i个给定样本，P(v_i|y＝1)和P(v_i|y＝0)分别表示给定样本为正样本和负样本的概率。假定两类样本的先验条件相同，即P(y＝0)＝0.5＝P(y＝1)。Diaconis和Freedman证明了高维随机向量的随机投影几乎都是高斯分布的。因此，假定在分类器H(v)中的条件概率P(v_i|y＝1)和P(v_i|y＝0)也属于高斯分布，并且可以用四个参数来描述：

式中，分别表示正负样本，上标为1表示正样本分类器，上标为0表示负样本分类器，_i表示第_i个，和分别表示均值为方差为的高斯分布和均值为方差为的高斯分布。对应对于贝叶斯分类器的参数更新，有：

公式中：λ为学习因子，且λ>0。

步骤S4：将CT算法的跟踪框作为目标人脸的检测窗口。

由于CT算法的跟踪框的尺寸略大于目标人脸，因此，当目标人脸靠近摄像头时，依然能够保证目标人脸处于检测窗口的内部，从而保证目标人脸靠近摄像头过程中的尺度自适应。

步骤S5：判断检测窗口是否触碰到视频窗口的边界，如果判断为是，返回步骤S1；反之，在检测窗口内启动基于Adaboost算法和Haar-Like特征的人脸检测算法，对检测窗口内部的目标人脸进行检测。

通过边界的判定，对目标人脸跟踪与检测过程进行合理的切换，解决CT算法在跟踪目标人脸过程中出现的跟踪失效问题(利用CT算法对目标物品进行跟踪的过程中，当目标离开镜头后，再次进入时，会出现跟踪失效的问题)。

为进一步说明基于Adaboost算法和Haar-Like特征的人脸检测算法，补充如下步骤：

步骤S51：将人脸用Haar-Like特征来进行描述，使用积分图的方法来对人脸的特征的特征值进行计算。

步骤S52：使用Adaboost算法来进行分类(这相当于一次弱分类)，从而挑选最能代表人脸的特征(Haar-Like矩形特征块)，然后将这些弱分类器进行组合，进而构建出一个强分类器。

步骤S53：将训练得到的强分类器进行串联，从而组成一个级联结构的层叠分类器，通过级联的方式，能够有效的提高检测的速度。

步骤S6：判断步骤S5中是否检测到人脸，如果判断为是，记录当前帧中，目标人脸的大小及位置，并将其作为显示框；反之，利用记录下来的前一帧中目标人脸大小及位置，生成当前帧的显示框。

本发明的基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，其特征在于：两个算法——压缩跟踪(Compressive Tracking)算法和人脸检测算法的有机结合，优势得到互补。在算法实现过程中，主要利用了windows 7平台下的Visual Studio 2010以及版本为2.4.4的开源OpenCV库来对算法进行实现。

由于OpenCV库中，基于Adaboost算法和Haar-Like特征人脸检测算法的正面人脸检测角度范围大致为[-20。，20。],当人脸的偏转角度超过这个范围时，检测会失效，进而使得跟踪过程出现断续。

考虑到检测失效的主要原因是人脸偏转角度过大，而偏转过程中，人脸相对于镜头的距离并未发生较为明显的变化，因此，可以将前一帧中目标人脸的大小作为当前帧中目标人脸的大小。而CT算法对于目标人脸的姿态变化具有较好的鲁棒性，即姿态的变化不会较为明显的影响到跟踪效果，因此，可以假设相邻两帧图像中，目标物品与跟踪框中心点间的相对位置是不变的，进而通过前一帧中，目标物品与跟踪框的中心点间的相对位置，以及当前帧中跟踪框中心点的位置来确定当前帧中目标物品的位置。

综上，本发明所提出的基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法，利用压缩跟踪算法能够实时，快速的对目标人脸进行跟踪，然后在压缩跟踪的基础上，加入人脸检测算法，对目标人脸进行检测，从而实现跟踪。该算法基本克服了将压缩跟踪算法应用与人脸跟踪过程中，尺度不能自适应的问题和单一人脸检测算法不能排除画面中非目标人脸对目标人脸跟踪的干扰，以及单一人脸检测实现跟踪过程中，由于没有检测到目标人脸使得跟踪不连续的问题。本发明的提出，使得摄像头中目标人脸的跟踪更加简单快速，具有很好的拓展性与实用性。