暴力场景中人脸检测定位与实时跟踪方法

摘要

本发明提供一种暴力场景中人脸检测定位与实时跟踪方法，该方法包括获取监控视频帧内个像素的光流矢量幅度；根据光流矢量幅度判断监控视频帧是否为暴力场景。根据YCbCr空间内的肤色均值与肤色方差计算初始暴力场景监控视频帧内人脸跟踪区域的中心位置O

说明书

技术领域

本发明涉及视频与图像处理领域，其特别涉及一种暴力场景中人脸检测定位与实时跟踪方法。

背景技术

暴力场景中人脸检测定位与实时跟踪在小区门禁系统、商场视频系统等犯罪监控场合具有重要应用。目前，在较理想条件下，正面人脸检测已取得了令人满意的效果。然而在复杂背景下，由于受多姿态、遮挡、光照等因素影响，人脸检测与实时跟踪成功率较低。

当前主流识别方法(例如LGBP、神经网络、PCA)，都是基于静态图像进行人脸识别，不能应用到视频监控中暴力场景中人脸检测定位与跟踪，也缺乏实时跟踪多个对象的机制，其实用性受到限制。人体在运动(例如推搡、扭打)过程中，脸部会发生较大幅度的震动而造成人脸姿态特征发生变化，这会造成检测跟踪精确度降低。

发明内容

本发明为了克服现有技术无法对暴力场景中的人脸进行识别的问题，提供一种能够精确地进行暴力场景下人脸检测定位与跟踪且实时性强的暴力场景中人脸检测定位与实时跟踪方法。

为了实现上述目的，本发明提供一种暴力场景中人脸检测定位与实时跟踪方法，该方法包括：

步骤一，获取监控视频帧内每个像素的光流矢量幅度：

其中，(u_i,j,t,v_i,j,t)为像素p(i,j,t)的光流量，其中(i,j)为监控视频帧内像素的位置，t为视频帧序列索引；

步骤二，暴力场景判断，当满足以下条件时，表征监控视频帧为暴力场景监控视频帧：

其中，Th为光流量判断阈值，N为一帧图像内像素的个数；

步骤三，将暴力场景监控视频帧从RGB空间转换到YCbCr颜色空间并建立图像颜色直方图；

步骤四，根据YCbCr空间内的肤色均值与肤色方差计算初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰；

步骤五，根据初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰利用以下公式获得后续暴力场景监控视频帧内人脸跟踪区域的中心位置O^m+1：

其中，k＝1…L，m≡0…t，L为直方图段数索引，t为视频帧序列索引，O^m为当前暴力场景监控视频帧内人脸跟踪区域的中心位置，O^m+1为下一帧暴力场景监控视频帧内人脸跟踪区域的中心位置，I'(i,j)暴力场景监控视频帧内其它像素的Cb亮度，δ为狄拉克函数，c(i,j)为像素p(i,j,t)所在直方图段数，N1为图像垂直方向的像素个数，N2为图像水平方向的像素个数；

步骤六，以O^m+1为中心利用边缘检测算子来获得人脸跟踪区域的临界像素，并对临界像素进行曲线拟合来形成第m+1帧暴力场景视频帧的人脸跟踪区域直至不再满足暴力场景的判断条件。

根据本发明的一实施例，光流量(u_i,j,t,v_i,j,t)采用差分的方式进行计算，计算公式如下：

其中I为像素p(i,j,t)的图像亮度，为横向亮度梯度，为纵向亮度梯度，为时间轴上亮度梯度。

根据本发明的一实施例，初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰的确定采用如下步骤：

首先，计算初始暴力场景监控视频帧内每一像素的Cb亮度与肤色的差异S(I(i,j))：

其中，μ肤色均值，σ为肤色方差；

其次，人脸区域判断，当S(I(i,j))>Th_skin时则表征像素p(i,j,t)属于人脸区域，其中Th_skin为肤色的差异阈值；

最后，人脸区域提取，根据S(I(i,j))和Th_skin的关系提取临界像素并进行曲线拟合，形成初始暴力场景监控视频帧内人脸跟踪区域并获得初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰。

根据本发明的一实施例，采用以下公式将监控视频帧从RGB空间转换到YCbCr颜色空间：

Y＝0.257*R+0.564*G+0.098*B+16(7)

Cb＝-0.148*R-0.291*G+0.439*B+128(8)

Cr＝0.439*R-0.368*G-0.071*B+128(9)

其中，Y表示亮度，Cb反映的是RGB输入的蓝色分量与亮度的差异，Cr反映的是RGB输入的红色分量与亮度的差异.

根据本发明的一实施例，采用椭圆曲线拟合的方式对临界像素进行曲线拟合从而形成人脸跟踪区域。

根据本发明的一实施例，在步骤六中边缘检测算子为局部差分算子、Sobel算子或Canny算子中的任一种。

综上所述，本发明提供的暴力场景中人脸检测定位与实时跟踪方法采用改进的光流法与曲线拟合进行人脸检测定位与跟踪方法，能够克服由于人体运动所造成的人脸难以准确定位以及跟踪困难的问题。进一步的，本发明提供的暴力场景中人脸检测定位与实时跟踪方法在满足检测定位与跟踪人脸精度的基础上，尽量简化算法。该算法大大提高了定位跟踪的实时性，对人脸形变具有一定的鲁棒性；且方便在ARM微控制器或单片机等嵌入式系统中实现，能很好的兼容现有的门禁监控系统。

为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1所示为本发明一实施例提供的暴力场景中人脸检测定位与实时跟踪方法的流程图。

具体实施方式

如图1所示，本实施例提供的暴力场景中人脸检测定位与实时跟踪方法采用改进的光流法来检测暴力场景中的人脸，该方法始于步骤S10、获取监控视频帧内每个像素的光流矢量幅度m_i,j,t。

其中，(u_i,j,t,v_i,j,t)为像素p(i,j,t)的光流量，其中(i,j)为监控视频帧内像素的位置，t为视频帧序列索引。

光流量(u_i,j,t,v_i,j,t)光流量(u_i,j,t,v_i,j,t)采用差分的方式进行计算，计算公式如下：

其中I为像素p(i,j,t)的图像亮度，为横向亮度梯度，为纵向亮度梯度，为时间轴上亮度梯度。

传统的光流法才用微分的方式进行计算，利用光流的基本方程并附加一定的约束条件来得到致密的光流场，这种方式计算量非常的大，实时性很差，很难用于跟踪暴力场景中的快速移动或晃动的人脸，无法用于人脸的识别与跟踪。本实施例首先采用差分的方式替代传统光流法中的微分，接着采用计算方式简单的光流矢量幅度m_i,j,t来作为暴力场景的判断参数，具有很高的检测精度且计算方式简单，对门禁系统内的微处理器的要求较低，可与小区或办公楼内的门禁系统相兼容。进一步的，通过大量的实验表明采用光流矢量幅度进行暴力场景的检测具有很好的鲁棒性。

当获得光流矢量幅度m_i,j,t后执行步骤S20，根据光流矢量幅度m_i,j,t来判断当前的监控视频帧是否为暴力场景。

当监控视频帧的光流矢量幅度满足公式(2)时则表征监控视频帧为暴力场景监控视频帧。

其中，Th为光流量判断阈值，N为一帧图像内像素的个数。

当判断当前视频帧为暴力场景监控视频帧后，需要对暴力场景内的人脸进行识别。执行步骤S30，将暴力场景监控视频帧从RGB空间转换到YCbCr颜色空间并建立图像颜色直方图。

RGB空间转换到YCbCr颜色空间的公式如下：

Y＝0.257*R+0.564*G+0.098*B+16(7)

Cb＝-0.148*R-0.291*G+0.439*B+128(8)

Cr＝0.439*R-0.368*G-0.071*B+128(9)。

Y表示亮度，Cb反映的是RGB输入的蓝色分量与亮度的差异，Cr反映的是RGB输入的红色分量与亮度的差异。

执行步骤S40、根据YCbCr空间内的肤色均值与肤色方差计算初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰，具体计算方式如下：

首先，计算初始暴力场景视频帧内每一像素的Cb亮度与肤色的差异S(I(i,j))：

其中，μ肤色均值，σ为肤色方差；

其次，人脸区域判断，当S(I(i,j))>Th_skin时则表征像素p(i,j,t)属于人脸区域，其中Th_skin为肤色的差异阈值；

最后，人脸区域提取，根据S(I(i,j))和Th_skin的关系提取临界像素并进行曲线拟合，形成初始暴力场景视频帧内人脸跟踪区域并获得初始暴力场景视频帧内人脸跟踪区域的中心位置O⁰。

在获得初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰后执行步骤S50、根据初始暴力场景监控视频帧内人脸跟踪区域的中心位置O⁰利用以下公式获得后续暴力场景监控视频帧内人脸跟踪区域的中心位置O^m+1：

其中，k＝1…L，m≡0…t，L为直方图段数索引，t为视频帧序列索引，O^m为当前暴力场景监控视频帧内人脸跟踪区域的中心位置，O^m+1为下一帧暴力场景监控视频帧内人脸跟踪区域的中心位置，I'(i,j)为暴力场景监控视频帧内其它像素的Cb亮度，δ为狄拉克函数，c(i,j)为像素p(i,j,t)所在直方图段数，N1为图像垂直方向的像素个数，N2为图像水平方向的像素个数。

步骤S60、以O^m+1为中心利用边缘检测算子来获得人脸跟踪区域的临界像素，并对临界像素进行曲线拟合来形成第m+1帧暴力场景视频帧的人脸跟踪区域，直至不再满足暴力场景的判断条件，即满足完成所有暴力场景监控视频帧内的人脸的识别。

本实施例提供的暴力场景中人脸检测定位与实时跟踪方法利用前一暴力场景监控视频帧内人脸跟踪区域的中心位置来获得后一暴力场景监控视频帧内人脸跟踪区域的中心位置，点对点的计算方式计算量小，故可大幅度提高人脸跟踪的实时性，之后再根据人脸的肤色(肤色是人脸的重要特征)利用边缘检测算子来形成人脸跟中区域，具有很好的检测精度。

于本实施例中，边缘检测算子为局部差分算子。然而，本发明对此不作任何限定。于其它实施例中，可采用Sobel算子或Canny算子等其它边缘检测算子。

人脸基本成椭圆形且椭圆拟合的参数相对比较简单，故于本实施例中，在暴力场景监控视频帧内形成人脸跟踪区域时采用椭圆曲线拟合的方式。然而，本发明对此不作任何限定。于其它实施例中，可采用其它与人脸轮廓匹配精度更高的曲线进行拟合。曲线拟合的精度越高，相对应的其所需要的计算量也会增加，本实施例采用椭圆拟合的方式来平衡拟合精度和计算量，使其能更好的应用在计算能力有限的门禁系统内。

综上所述，本发明提供的暴力场景中人脸检测定位与实时跟踪方法采用改进的光流法与曲线拟合进行人脸检测定位与跟踪方法，能够克服由于人体运动所造成的人脸难以准确定位以及跟踪困难的问题。进一步的，本发明提供的暴力场景中人脸检测定位与实时跟踪方法在满足检测定位与跟踪人脸精度的基础上，尽量简化算法。该算法大大提高了定位跟踪的实时性，对人脸形变具有一定的鲁棒性；且方便在ARM微控制器或单片机等嵌入式系统中实现，能很好的兼容现有的门禁监控系统。

虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。