用于视频序列的多角度多目标快速人脸跟踪方法

摘要

一种视频处理技术领域的用于视频序列的多角度多目标快速人脸跟踪方法，通过多角度人脸快速检测以及对人脸区域建立颜色直方图，计算待检测图像的颜色概率图，用Camshift算法的迭代结果，更新人脸区域位置，同时更新由卡尔曼滤波器建立的人脸运动模型，同时，当目标遮挡时则进行人脸预测：如果出现人脸遮挡，由卡尔曼滤波器预测人脸区域位置，再更新人脸运动模型。本发明能够快速排除非人脸区域，使视频序列的实时多角度多人脸目标跟踪成为可能；同时，通过引入卡尔曼滤波器，在视频序列中出现目标遮挡时，利用卡尔曼滤波器的预测结果，更新被遮挡目标的位置，可以较好地克服由遮挡带来的跟踪困难。

说明书

技术领域

本发明涉及的是一种视频处理技术领域的方法，具体是一种用于视频序列的多角度多目标快速人脸跟踪方法。

背景技术

视频序列中的人脸检测与跟踪技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等都有广泛的应用。

经过对现有技术的检索发现，基于级联结构的AdaBoost人脸检测方法，目前被认为是有效的人脸检测方案，如中国专利文献号CN101350062A，公开日2009-1-21，记载了一种“基于视频的快速人脸检测方法”，该技术通过预处理利用视频帧间的时空域特征进行前景区域的人脸检测，将人脸检测过程分为审查模式和跟踪模式两种不同的模式。如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。该方案利用训练好的正面人脸分类器，对前景预测区域进行人脸检测，以达到提高检测速度的目的。但是，对于视频序列中的多个角度人脸目标，仅仅依靠AdaBoost检测和前景预测方法，通过对视频中的每一帧用不同角度的人脸分类器进行检测，难以达到视频跟踪实时性的要求。

发明内容

本发明针对现有技术存在的上述不足，提供一种用于视频序列的多角度多目标快速人脸跟踪方法，能够快速排除非人脸区域，使视频序列的实时多角度多人脸目标跟踪成为可能；同时，通过引入卡尔曼滤波器，在视频序列中出现目标遮挡时，利用卡尔曼滤波器的预测结果，更新被遮挡目标的位置，可以较好地克服由遮挡带来的跟踪困难。

本发明是通过以下技术方案实现的，本发明包括步骤：

第一步、多角度人脸快速检测：对视频序列中的待检测帧进行肤色分割，用不同角度的人脸分类器对肤色区域进行人脸检测，并融合人脸检测结果。

所述的肤色分割是指：利用肤色特征，将待检测帧由RGB颜色空间转化到HSV颜色空间，然后按照人脸肤色模型，提取出肤色区域并剔除非肤色区域。

所述的肤色特征是指：人体皮肤的颜色相对于其他物体是人体表面最为显著的特征之一，能够利用肤色这一特征将人体与其他物体区分开来。

所述的人脸肤色模型是指：利用肤色在通常的光照条件下，会集聚在色彩空间中某个特定的区域内的特性，通过对肤色图像采样建立一个分布函数或寻找肤色分布的合适阈值，就能够将肤色区域从背景图像中提取出来。

所述的人脸检测是指：先利用积分图计算候选区域内的肤色面积，当肤色面积小于设定的阈值，则排除该肤色面积对应的区域，否则利用AdaBoost算法训练得到的人脸分类器对候选区域进行检测，如果检测结果为真，则候选区域为人脸区域；否则，候选区域为非人脸区域。

所述的肤色面积为S_skin＝ii_A+ii_D-(ii_B+ii_C)，其中：S_skin表示矩形区域ABCD内肤色面积，取值范围为0到255×矩形ABCD的宽度×矩形ABCD的高度，ii_t为在点t处的积分图，取值范围为0到255×待检测图像宽度×待检测图像高度。

第二步、当两个人脸目标区域没有出现重叠，则对每一个对人脸区域建立H通道颜色直方图并计算H通道颜色直方图，然后用Camshift迭代算法计算人脸目标位置，更新卡尔曼滤波器人脸目标运动模型，否则执行第三步；

所述的计算H通道颜色直方图，是指：由H通道颜色直方图计算待检测图像的颜色概率图，以颜色亮度的高低作为判定质心位置准则，用Camshift迭代算法在颜色概率图中计算搜索区域的质心位置，动态调整目标窗口大小，并卡尔曼滤波器建立的人脸运动模型。

第三步、目标遮挡时的人脸跟踪：如果任意两个人脸目标出现重叠，由卡尔曼滤波器预测被遮挡人脸的位置，同时利用卡尔曼预测的人脸位置来更新卡尔曼滤波器参数。

与现有技术相比，本发明能够显著提高检测、跟踪的速度，实现多角度、多人脸的实时跟踪，对480×320的视频，每秒跟踪速度可达35帧以上。对于一般场景中的多角度、多人脸跟踪，准确率可达95％以上。

附图说明

图1为本发明流程图。

图2为待测图例；

其中：a为对正面人脸检测图例；b为对左半边人脸检测图例；c为对右半边人脸检测图例；d为对正面、侧面人脸检测融合后的图例。

图3为处理后图例；

其中：a为经过肤色分割后的图例；b为颜色概率图。

图4为实施例部分跟踪结果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括如下步骤：

第一步、多角度人脸快速检测：对待检测帧进行肤色分割，利用积分图快速剔除非肤色区域，对肤色区域进行人脸检测，用不同角度的人脸分类器检测图像，融合最后的人脸检测区域。

第二步、未出现目标遮挡时的人脸跟踪：对人脸区域建立颜色直方图，计算待检测图像的颜色概率图，用Camshift算法的迭代结果，更新人脸区域位置，同时更新由卡尔曼滤波器建立的人脸运动模型。

第三步、目标遮挡时的人脸预测：如果出现人脸遮挡，由卡尔曼滤波器预测人脸区域位置，再更新人脸运动模型。

上述多角度人脸快速检测步骤如下：

利用肤色特征，将图像由RGB颜色空间转化到HSV颜色空间，克服了RGB颜色空间对光照亮度变化比较敏感的缺陷，按照人脸肤色模型，提取出肤色区域，如图3a所示。在用多角度人脸检测器检测图像前，先计算候选区域内的肤色面积，如果肤色面积小于设定的阈值，则马上排除该区域，以提高检测的速度；否则利用AdaBoost算法训练得到的人脸分类器对候选区域进行检测，如果检测结果为真，则候选区域为人脸区域；否则，候选区域为非人脸区域。

而候选区域的肤色面积，可以直接由积分图求得S_skin＝ii_A+ii_D-(ii_B+ii_C)，如图3a所示，其中：S_skin表示矩形区域ABCD内肤色面积，取值范围为[0，255×矩形ABCD的宽度×矩形ABCD的高度]，ii_t为在点t处的积分图，取值范围为[0，255×待检测图像宽度×待检测图像高度]。

最后融合各个角度人脸检测器检测得到的人脸区域，检测结果如图2所示，图2中的a、b、c和d分别表示正面、左侧、右侧人脸和最后融合各个角度的人脸检测结果。

上述未出现目标遮挡时的人脸跟踪方法具体实现方法如下：

判断人脸目标区域间的相对位置，如果任意两个人脸区域没有出现重叠，计算由步骤1)得到的每个人脸区域的H通道颜色直方图，由H通道颜色直方图，计算待检测图像的颜色概率图，如图3b所示，亮度越高越接近人脸颜色，用Camshift迭代算法，在颜色概率图中计算搜索区域的质心位置，动态调整目标窗口大小，更新人脸区域位置，同时更新由卡尔曼滤波器建立的人脸运动模型。

上述目标遮挡时的人脸预测实现方法如下：

判断人脸目标区域间的相对位置，如果任意两个人脸区域出现重叠，由卡尔曼滤波器人脸运动模型预测被遮挡的人脸区域位置，同时利用卡尔曼预测的人脸区域位置来更新卡尔曼滤波器人脸运动模型参数。预测过程即如图1中的虚线所示。预测结果如图4第3和第20帧，当两个人脸区域出现重叠时，由卡尔曼滤波器人脸运动模型进行预测(白色矩形框所示)，甚至在人脸完全被遮挡时，卡尔曼滤波器人脸运动模型依然能预测到人脸的所在位置。