基于增量主成分分析的特征与模型互匹配人脸跟踪方法

摘要

本发明公开了一种基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法，该方法包括以下步骤：对多幅人脸图像进行离线建模，得到模型匹配(CLM)模型A；对待跟踪人脸视频中的每一帧进行关键点检测，所有关键点的集合及其鲁棒描述子组合为关键点模型B；基于所述关键点模型B对所述待跟踪人脸视频中的每一帧进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组；利用模型A对待跟踪人脸视频进行CLM人脸跟踪；基于初始人脸姿态参数组和初次跟踪结果进行再跟踪；更新模型A并重复上述步骤，得到最终的人脸跟踪结果。本发明解决了在进行CLM人脸跟踪时，由于目标图像中相邻帧间变化大时出现的跟踪丢失的问题，从而提高了跟踪的精准度。

说明书

技术领域

本发明涉及计算机图形图像技术领域，尤其是一种高鲁棒性的基于在 线增量主成分分析的特征与模型互匹配人脸跟踪方法。

背景技术

近年来，计算机视觉技术取得了长足的发展，图像识别与跟踪已经成 为计算机领域一个热门的研究方向。鲁棒的实时人脸跟踪是智能视频监控 和基于视觉的人机交互以及机器人导航等领域的一个核心。该技术应用于 视频会议、公安刑侦、访问控制、金融支付、医学应用等众多领域。人脸 是一个非刚性的识别对象，在运动中，其大小、形状的变化都会影响跟踪 的效果，所以实时的人脸跟踪是对计算机视觉领域的一个挑战。

目前人脸跟踪技术主要可以分为三类：基于特征匹配的跟踪、基于区 域匹配的跟踪和基于模型匹配的跟踪。

对于基于特征匹配的跟踪：该方法进行序列图像运动目标的跟踪，其 包括特征提取和特征匹配两个过程。在特征提取过程中需要选择适当的跟 踪特征，并且在序列图像的下一帧中提取这些特征；在特征匹配过程中， 将提取到的当前帧的特征同上一帧，或者是用来确定目标物体的特征模板 进行比较，根据比较结果确定是否是对应物体，从而完成跟踪过程。但是 特征点会由于遮挡或光线变化而不可见，这将导致跟踪失败，这是基于特 征匹配跟踪的缺点。

对于基于区域匹配的跟踪：该方法是把图像中目标物体的连通区域的 共有特征信息作为跟踪检测值的一种方法。在连续的图像中可以采用多种 区域信息。基于区域匹配的跟踪不能根据目标的整体形状来对跟踪结果进 行调整，因此在长时间连续跟踪时，容易因误差累积而发生目标丢失的情 况。

对于基于模型匹配的跟踪：该方法是通过建立模型的方法来表示需要 跟踪的目标物体，然后在序列图像中跟踪这个模型来达到跟踪的目的。目 前主要有两种类型的可变形模型，一种是自由式的可变形模型，只要满足 一些简单的正则化约束条件(如连续性，平滑性等)，就可以用来跟踪任意 形状的目标物体，这类方法通常也被称为活动轮廓模型；另一种是参数形 式的变形模型，它使用一个参数公式，或者是一个原形与一个变形公式来 共同描述目标物体的形状。

由上可见，目前主流的人脸跟踪技术，还是不能在保证鲁棒性的前提 下去精准地跟踪到人脸。

发明内容

为了解决现有技术的问题，本发明的目的是提供一种高鲁棒性的人脸 跟踪技术。

为了达成所述目的，本发明提出了一种高鲁棒性的在线增量主成分分 析的特征与模型互匹配人脸跟踪方法，该方法结合了基于特征匹配(关键 点匹配)和基于约束局部模型匹配(CLM)的跟踪，同时加入了在线增量 主成分学习，让CLM模型A和关键点点模型B相互匹配，并实时更新， 使得检测的精准度和鲁棒性地到了很好地保证，且可以解决较大视角的人 脸跟踪问题。

所述高鲁棒性的在线增量主成分分析的特征与模型互匹配人脸跟踪 方法包括以下步骤：

步骤S1，对于多幅人脸图像进行离线建模，得到包括形状模型s和纹 理模型w^T的模型匹配(CLM)模型A；

步骤S2，输入一待跟踪人脸视频，对于所述待跟踪人脸视频中的每一 帧人脸图像进行关键点检测，将所得到的所有关键点的集合和这些关键点 的鲁棒描述子组合起来作为关键点模型B；

步骤S3，基于所述步骤S2得到的关键点模型B，对于所述待跟踪人 脸视频中的每一帧人脸图像进行关键点匹配，获得每一帧人脸图像中初始 的人脸姿态参数组(R，T)，其中，R表示角度参数和T表示位移参数；

步骤S4，利用所述模型A对所述待跟踪人脸视频进行CLM人脸跟踪， 得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置；

步骤S5，基于所述步骤S3得到的每一帧人脸图像中人脸的姿态参数 组和所述步骤S4跟踪得到的每一帧人脸图像中特征点的位置，对所述待 跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

步骤S6，使用增量PCA方法对所述模型A进行更新，并利用更新后 的模型A重复所述步骤S1-S5，得到最终的人脸跟踪结果。

本发明的有益效果是：本发明结合了基于特征匹配(关键点匹配)和 基于模型匹配(CLM)的人脸跟踪，同时加入在线增量学习，让CLM模型 A和关键点模型B相互匹配，并实时更新，使得检测的精准度和鲁棒性得 到了很好地保证，本发明方法可以解决较大视角的人脸跟踪问题。

附图说明

图1是根据本发明一实施例的基于在线增量主成分学习的特征与模型 互匹配人脸跟踪方法流程图；

图2是根据本发明方法对正脸进行跟踪的结果示意图；

图3是根据本发明方法对存在小角度转动的脸部的跟踪结果示意图；

图4是根据本发明方法对存在较大角度转动的脸部的跟踪结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于在线增量主成分分析的特征与模型互匹配人脸跟踪 方法流程图，如图1所示，所述方法包括以下步骤：

步骤S1，对于多幅人脸图像进行离线建模，得到模型匹配(CLM， Constrained Local Model)模型A；

所述CLM模型A包括形状模型s和纹理模型w^T，因此该步骤中，得 到CLM模型A的步骤进一步包括以下步骤：

步骤S11，根据事先确定的共同的人脸轮廓对所述多幅人脸图像分别 进行标定得到多个标定特征点，并根据所述多个标定特征点的坐标值建立 得到一人脸形状模型s；

在一个CLM模型A中，形状定义为一个由一系列顶点位置组成的网 格，因此可以用一系列的顶点的坐标来定义一个人脸形状向量s_m：

s_m＝(x₁，y₁，x₂，y₂，...，x_n，y_n)^T  (1)

其中，x_i，y_i分别为相应人脸图像中第i个顶点的坐标值，n为实际采用的 顶点的个数，可以设为66，88等。

所述顶点的坐标是依照所述事先确定的共同的人脸轮廓人为进行标 定的，所述顶点又称为标定特征点，具体来说，所述步骤S11进一步包括 以下步骤：

步骤S111，事先采集N张人脸图像，其中，N是一个大于n的正整 数，每张人脸图像上都依照所述共同的人脸轮廓进行人为标定，从而得到 多个标定特征点，所述共同的人脸轮廓包括眼睛、鼻子、嘴和脸部外部的 轮廓，进而根据公式(1)可以得到N个人脸形状向量s_m，其中，m表示 N张人脸图像中的第m张人脸图像。

步骤S112，在得到人脸形状向量s_m的基础上，所述人脸形状模型s 可以用一个平均人脸形状s₀加上u个正交的人脸形状向量si的线性组合来 表示，即：

$s=s_0+{\Sigma }_{i=1}^u{p}_i{s}_i---\left(2\right)$

其中，p_i是形状参数，s₀为平均人脸形状，s_i为相对于平均的人脸形状的 变化，p_i、s₀和s_i均由对采集到的N个人脸形状向量s_m进行主成分分析 (Principal Component Analysis-PCA)得到：s₀为N个人脸形状向量s_m的均 值，m＝1…N；p_i是所述主成分分析后得到的u个特征向量s_i所对应的权 值。需要注意的是，在进行主成分分析前，需要对所述N个人脸形状向量 sm分别进行普鲁斯特分析(procrustes analysis)，以减小偏转、尺度、平移等 误差，所述普鲁斯特分析为现有技术中常用的分析方法，在此不做赘述。

步骤12，基于所述步骤S11得到的每一个标定特征点，学习得到能够 体现所述每一个标定特征点对应的具有一定大小区域的纹理特征的纹理 模型w^T。

所述纹理模型的建立可以采取多种方式进行，在本发明一实施例中， 采用支持向量机(Support Vector Machine-SVM)来建立所述纹理模型，具 体过程包括：

步骤S121，以所述步骤S11得到的每一人脸图像的每一个标定特征 点为中心，截取一个大小为r×r的区域作为正样本，在相应图像中的任意 其他位置处截取多个r×r大小的区域作为负样本，这样对于N幅人脸图像 就会得到具有同一含义的标定特征点(比如在不同的人脸图像中，指代左 眼角的标定特征点认为是具有同一含义的标定特征点)的N个正样本和多 个负样本；

步骤S122，基于每个标定特征点所对应的样本组，利用支持向量机 (SVM)得到每个标定特征点对应的纹理模型w^T。

该步骤中，首先将每个标定特征点所对应的样本组中的每个样本(包 括正样本和负样本)写成数学形式：

$x^{\left(i\right)}={[x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{r\times r}^{\left(i\right)}]}^T---\left(3\right)$

其中，(i)表示相应样本的序号，为相应样本中某一位置处的像素值。

然后，利用SVM得到每个标定特征点对应的纹理模型w^T。

对于SVM而言，其学习过程可以表示为：

y⁽ⁱ⁾＝w^T·x⁽ⁱ⁾+θ        (4)

其中，y⁽ⁱ⁾为SVM的输出，w^T是学习得到的纹理模型： w^T＝[w₁ w₂...w_r×r]，θ为SVM的偏移量，对于每个标定特征点所对应 的正样本，y⁽ⁱ⁾＝1；负样本，y⁽ⁱ⁾＝0。

接下来进行关键点模型B的构建与离线的关键点匹配，该部分包括步 骤S2-S3，其主要是为了获得稳定有效的关键点，通过仿真人脸表面的各 种形变，尽可能地学习对这些形变鲁棒的关键点，从而获得稳定的关键点 匹配。

步骤S2，输入一待跟踪人脸视频，对于所述待跟踪人脸视频中的每一 帧人脸图像进行关键点检测，将所得到的所有关键点的集合和这些关键点 的鲁棒描述子组合起来作为关键点模型B；

关键点的检测通常使用的方法是根据图像中的关键点进行识别检测。 相比直、曲线片段和点状，利用关键点来识别图像信息的优点是能够在出 现拥挤(遮挡)、大的尺度和方向变化的情况下依然可以做出较好的匹配。

由于人脸所存在的特性，关键点的学习存在着许多问题：1，不同的 角度、表情、光照变化会产生人脸形状的几何和光学上的扭曲形变；2， 人脸上的纹理比背景的少，区别存在难度(关键点相对少)；3，关键点在 三维上的位置估计不够精确。但是，采用不变特征点作为关键点可以有效 解决上述问题，具体为：将利用已有的3D人脸模型检测出的3D关键点 集和利用多视角图像检测出的2D关键点集进行模拟形变，从而找出稳定 的2D关键点。

所述关键点检测的步骤包含关键点的学习和其鲁棒描述子的学习，其 中鲁棒描述子的学习是为了保证关键点的稳定性。

所述关键点的学习进一步包括以下步骤：

步骤S21，对于所述人脸图像序列中的每一帧图像，使用现有技术中 常用的关键点计算方法，比如Fast算法，初步计算得到多个关键点；

步骤S22，从所述步骤S21得到的多个关键点中选出具有不变性的关 键点，并将所述待跟踪人脸视频中的所有图像的不变性关键点组合起来得 到关键点集合及这些关键点的描述子(f_i，x_i，y_i)，其中，f_i表示第i个关键 点的特征值，(x_i，y_i)表示该关键点的坐标；

所述不变性关键点为经过姿态旋转、表情变化和/或光照变化后仍为关 键点的关键点，该步骤中使用参数集(Pose，Shape，Light)的变化，来模拟人 脸的姿态旋转、表情变化和光照变化，其中，Pose指的是小范围的姿态旋 转引起的局部遮挡，Shape指的是非刚性的人脸表情变化，Light指的是光 照引起的复杂变化，如阴影等；令W(k₀；Pose，Shape，Light)表示图像I₀上的某一关键点k₀在上述三种变换下得到的点k所对应的位置，如果该关 键点k₀在上述变换后仍然被检查为关键点，并且满足下式，就认为关键点 k₀对于上述变换具有不变性：

F_k0-F_k＜t      (5)

其中，F_k0为关键点k₀的特征值，F_k为点k的特征值，t为允许的定位误差 上限。

目前得到的关键点集合中的关键点描述子并不具有鲁棒性，接下来需 要通过学习的方法取得关键点的鲁棒描述子。在本发明一实施例中，所述 关键点鲁棒描述子的学习采用增量学习的方法。由上文可知，关键点作为 检测图像的主要识别因子，应该具有不变性(比如对于方向、尺度、旋转 等的不变性)。但是在很多情况下，关键点的局部外观表现可能会在方向 和尺度上发生变化，有时甚至存在仿射变形，因此为了更准确地对关键点 进行匹配，需要对关键点进行有效的区分描述，提取出其局部方向、尺度 和旋转的框架估计，形成描述子，比如sift就是一种可以采用的描述子， 利用该描述子能够对关键点进行重新采样。

所述关键点的鲁棒描述子的学习包括以下步骤：

步骤S23，按照所述步骤S21和S22的描述，对于所述待跟踪人脸视 频中的每一帧图像进行关键点检测，得到n个不变性关键点，这n个不变 性关键点构成初始关键点集合A；

步骤S24，对所述图像中的人脸进行某一种参数变换，仿真得到变换 后的图像，其中，所述参数为shape、pose或light；

步骤S25，按照所述步骤S21和S22的描述，对变换后的图像进行关 键点检测得到多个不变性关键点，这些不变性关键点构成关键点集合B；

步骤S26，对关键点集合B里的每个点p，与关键点集合A进行描述 子匹配操作：

在关键点集合A中，找到与点p位置最近的点q，比较点p和点q反 投影到正面三维模型表面上的三维点p’和q’，判断p’和q’是不是同一个三 维点，如果p’和q’是同一个三维点且p的描述子和q的描述子最为接近， 则表示这个描述子是有效的，则把p的描述子加入到q的描述子中，如此 q就多了一个描述子；如果p’和q’是同一个三维点且点p的描述子和集合 A中非q的另一个点x的描述子最为接近，则点q及其描述子无效；如果 p’和q’是同一个三维点且点p的描述子和集合A中每个点的描述子都不一 样，则说明它的描述子被错误的分类为背景了，所以将p和p的描述子加 入到集合A中；如果p’和q’不是同一个三维点且p的描述子和集合A中 某个点s的某个描述子很接近，这表明点s容易引起误匹配，所以将点s 及其描述子从集合A中去掉；如果p’和q’不是同一个三维点且p的描述 子和集合A中每个关键点的描述子都不一样，则将点p及其描述子加入到 集合A中；

步骤S27，对于经过其他不同参数变换后的图像重复所述步骤24到 26，最终得到所述待跟踪人脸视频中每一帧图像的完备的关键点鲁棒描述 子。

得到了所有关键点集合及其鲁棒描述子后就得到了关键点模型B。

步骤S3，基于所述步骤S2得到的关键点模型B，对于所述待跟踪人 脸视频中的每一帧人脸图像进行关键点匹配，获得每一帧人脸图像中初始 的人脸姿态参数组，其中，所述姿态参数组包括角度参数R和位移参数T： (R，T)；

所述关键点匹配的过程是比较差异性的过程，通常匹配的对象是前后 图像帧变化比较小的图像序列。

具体地，所述步骤S3进一步包括以下步骤：

步骤S31，根据所述步骤S2得到所述人脸视频的某一帧人脸图像的 上一人脸图像帧的关键点，并在该帧人脸图像中寻找上一人脸图像帧的某 一关键点在当前帧中的相应位置附近的关键点；

步骤S32，将当前帧中所述关键点的描述子和所述关键点模型B中的 描述子进行匹配，将当前帧中利用已有的3D人脸模型检测出的能够与所 述关键点模型B中的描述子匹配上的3D关键点组成集合V，将当前帧中 与所述关键点模型B中的描述子匹配上的2D关键点组成集合u，将所述 集合V通过选择姿态参数组(R，T)，以及摄像头的内参数K(该参数可 以通过标定的方法事先确定)，得到所述集合V经过平面投影后的2D关 键点集合u′，比较u′和u，求取使得||u-u′||最小的该帧图像中初始的人脸 相对于正脸的姿态参数组(R，T)：

${(R,T)}^{*}=\arg {\min }_{(R,T)}\underset{i}{\overset{N_k}{\Sigma }}{{\left|\right|K\left[R\right|T]V^i-u^i||}_2}^2---\left(6\right)$

其中，K为摄像机参数，R为角度矩阵，T为位移向量，[R|T]为由R和T 组成的增广矩阵，Vi^为能够匹配所述关键点模型B中的描述子的3D关键 点集合，uⁱ为能够匹配所述关键点模型B中的描述子的2D关键点集合， i为关键点的序号，N_k为集合V和集合u_t的关键点个数的最大值。

接下来进行CLM人脸跟踪，该部分主要通过步骤S4来实现。

步骤S4，利用所述模型A对所述待跟踪人脸视频进行CLM人脸跟踪， 得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置，并进而基于所 述步骤S3得到的初始的人脸姿态参数组，得到所述待跟踪人脸视频每一 帧人脸图像校正后的人脸姿态参数组；

该步骤通过拟合操作来实现人脸特征点的跟踪，所述拟合其实就是对 一模型进行参数调整，得到一实例模型，并使所述实例模型与新的输入图 片相匹配的过程，这是一个能量最小化问题。

所述步骤S4进一步包括以下步骤：

步骤S41，对所述待跟踪人脸视频中的某一当前帧人脸图像进行脸部 检测，得到初始的n个特征点，并相应地得到每个特征点的响应图像R(x，y)；

该步骤中，首先利用现有技术中常用的Viola-Jones方法对该帧人脸图 像进行脸部检测，得到一个小范围的脸部区域；然后在该脸部区域内，初 始化一个脸部轮廓模型，该模型可以是上文提到的s₀。这样，根据所述初 始化的脸部轮廓模型就得到该帧人脸图像的初始的n个特征点。

其中，每个特征点的响应图像R(x，y)为w^T·x⁽ⁱ⁾矩阵化后的结果，其 中，w^T是根据SVM求得的该特征点的纹理模型：w^T＝[w₁ w₂...w_r×r]， x⁽ⁱ⁾为该特征点的第i个大小为r*r的样本，可见，所述响应图像R(x，y)的 大小为r*r，其实，所述响应图像相当于用纹理模型w^T在样本中进行滤波 所得到的结果。

步骤S42，利用所述响应图像R(x，y)，通过拟合得到所述待跟踪人脸 视频每一帧人脸图像中与所述当前帧人脸图像具有同一含义的特征点的 位置；

所述拟合进一步包括以下步骤：

步骤S421，对以所述步骤S41中得到的所有特征点中的每一个特征 点为中心的大小为r×r的区域进行范围为a×a的搜索，对于每一个特征点， 得到一以其为中心、直径为(r+a)的正方形区域；

，而学习时样本的范围是，其也即拟合过程中响应图像的大小步骤 S422，在已知当前帧的特征点的情况下，通过函数拟合的方式找到当前帧 的下一帧或上一帧图像的所述正方形区域中与所述当前帧人脸图像具有 同一含义的特征点的坐标位置。

对于所述拟合，需要找到能够使在下一帧或上一帧图像中拟合得到的 每个特征点的正样本与相应响应图像R(x，y)的均方差降到最低的函数参数 最优解。为了使这个最优解能达到全局化而非局部性的目的，在本发明一 实施例中，采用二次函数进行拟合，此时就需要找到能够使得(8)式所表示 的目标函数中的均方差值最小的(7)式中的函数参数a′，b′，c′，在本 发明一实施例中，可通过二次规划的方法来求得函数参数a′，b′，c′的最 优解。

r(x，y)＝a′(x-x₀)²+b′(y-y₀)²+c′    (7)

$ϵ=\underset{x,y}{\Sigma }{[R(x,y)-r(x,y)]}^2---\left(8\right)$

其中，r(x，y)为拟合得到的某一特征点的正样本，由于某一特征点的正样 本以该特征点为中心，因此得到了正样本自然也就得到了该特征点的坐标 位置。

在实际的拟合过程中，有可能会出现拟合得到的某一满足上述目标函 数的特征点实际上并不是人脸特征点的情况，为了避免这种误判情况的发 生，本发明在上述拟合过程中引入对于特征点的位置限制，即拟合得到的 特征点的位置(x_i，y_i)应满足公式(9)，其中，i代表第i个特征点：

$f(x,y)=\underset{i=1}{\overset{n}{\Sigma }}{r}_i(x_i,y_i)-\beta \underset{j=1}{\overset{k}{\Sigma }}\frac{p_j^2}{e_j}---\left(9\right)$

其中，f(x，y)表示拟合得到的特征点的坐标函数，n为特征点的个数，k 为所述步骤S1中提及的对N个人脸形状向量s_m进行主成分分析PCA后 得到的特征向量的个数，p_j表示相应特征向量的权值，e_j表示相应特征向 量对应的特征值，β是人为设定的权重。

为了节省计算量，(9)式可简化为如下表达式：

$f\left(x\right)=x^T\mathrm{Hx}-2F^{T}x-\beta x^T{s}_{\mathrm{nr}}{s}_{\mathrm{nr}}^{T}x---\left(10\right)$

其中，x＝[x_i，y_i]^T为拟合后的结果，即特征点被跟踪到的新坐标向量， H＝diag(H₁，H₂，...H_i...，H_n)，H_i＝diag(a′_i，b′_i)，a′_i、b′_i分别为(7)式中的参 数；F＝[F₁，F₂，...，F_n]^T，其中，i为特征点的序数，n为特征点的个数；F_i＝[a_ix_0i， b_iy_0i]^T，(x₀，y₀)为相应特征点的响应图像R(x，y)具有最大值的坐标点； $s_{\mathrm{nr}}={[s_1/\sqrt{e_1},s_2/\sqrt{e_2},...,s_k/\sqrt{e_k}]}^T,$s₁，...，s_k为经过PCA后得到的前k个 特征向量，e₁…e_k表示相应特征向量对应的特征值。

(10)式是一个关于x的二次方程，因而可以求得一个唯一的x，使得 (10)式取得最大值。

步骤S43，基于所述步骤S3得到的初始的人脸姿态参数组，根据拟 合得到的特征点的位置得到校正后的人脸姿态参数组。

该步骤属于现有技术，在此不作赘述。

接下来，需要将所述步骤S2中描述的关键点检测、所述步骤S3中描 述的人脸姿态参数组获取与所述步骤S4中描述的CLM人脸跟踪进行融合， 相互进行学习来对人脸进行跟踪，以提高人脸跟踪的鲁棒性。

步骤S5，基于所述步骤S3得到的每一帧人脸图像中人脸的姿态参数 组和所述步骤S4跟踪得到的每一帧人脸图像中特征点的位置，对所述待 跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

根据上文的描述，可以初步计算出所述待跟踪人脸视频每一帧人脸图 像中人脸的姿态参数组(R，T)，该参数组可以作为CLM人脸跟踪时的 初始参数，利用关键点模型B对于CLM人脸跟踪进行初始化主要是因为 R代表了人脸的角度，利用R可以在CLM实例化时选择正确角度的CLM 模型及调整初始化的人脸形状。CLM模型包含有多个角度的模型，比如 可以包含3类：正面模型、左侧面模型和右侧面模型。对于待跟踪的人脸， 通过R确定人脸的角度，在CLM模型实例化的时候就可以利用和这个角 度匹配的那类模型来进行实例化。

所述步骤S5进一步包括以下步骤：

步骤S51，根据所述步骤S2和步骤S3得到所述待跟踪人脸视频某一 帧人脸图像中的关键点和初始的人脸姿态参数组；

步骤S52，基于该帧人脸图像中初始的人脸姿态参数组(R，T)，根 据所述步骤S4的描述，在前向或后向上(前向比如可以为当前帧图像的 下一帧图像方向，后向比如可以为当前帧图像的上一帧图像方向)对所述 待跟踪人脸视频中的人脸图像进行CLM人脸跟踪，得到每一帧人脸图像 中关键点的位置，进而根据所述初始的人脸姿态参数组(R，T)得到校正 后的人脸姿态参数组，并利用所述校正后的人脸姿态参数组对所述关键点 模型B进行更新；

对所述关键点模型B进行更新的步骤进一步包括以下步骤：

步骤S521，对于当前帧图像，根据其人脸姿态参数组(R，T)判断 人脸的姿态；

步骤S522，根据当前帧图像中的关键点描述子F_i-(f_i，x_i，y_i)和关键点模 型B的匹配情况来更新所述关键点模型B，具体为：

如果当前帧图像的大多数(比如80％)关键点都和所述关键点模型B 中的关键点匹配，则将当前帧中没有匹配上的那些关键点补充到所述关键 点模型B中，最开始的所述关键点模型B是基于正脸图进行的，经过不断 的补充后会包含侧面的关键点；否则不进行所述关键点模型B的补充更新， 因为此时当前帧图像的关键点可能包含了很多误检出来的关键点。

当然，并非每帧图像进行CLM人脸跟踪后，都要进行关键点模型B 的更新，在实际情况中，可以每隔几帧进行一次。

步骤S53，利用更新后的关键点模型B按照所述步骤S3和步骤S4的 描述对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪。

在所述步骤S52进行CLM人脸跟踪时，可以每隔数帧就根据所述步 骤S51的描述对于人脸姿态参数组进行初始化，这样做可以对CLM人脸 跟踪起到校正作用，因为如果一直使用前一帧的检测结果来进行初始化可 能会造成错误的累积，导致跟踪丢失。

为了进一步增强效果，本发明还采用了在线学习的方式，即步骤S6， 以在跟踪过程中利用已有的检测结果随时进行学习训练，使得建模与跟踪 融为一体，能够在线更新所述模型A，相比传统的机器学习过程，即学习 与应用相分离的模式，有所突破。如此，再结合上一步骤所介绍的融合跟 踪方法，能够使得整个人脸跟踪系统的跟踪效果更加鲁棒，即使对于较大 角度的转动也能够得到较理想的跟踪效果。

步骤S6，使用增量PCA(Incremental PCA)方法对所述模型A进行 更新，并利用更新后的模型A重复所述步骤S1-S5，得到最终的人脸跟踪 结果。

由上文中的介绍可知，所述模型A分为形状与纹理模型两部分，接下 来以形状模型为例对该步骤进行说明，简洁起见，下文中仍使用模型A来 表述。

对于所述模型A，由(2)式可知，其为平均人脸形状s₀与一系列标准 正交基s_i线性组合的结果。将这一系列标准正交基s_i组成集合A′，且集 合A′＝{s₁，s₂，…s_u}，而平均人脸形状s₀则为集合A′中元素的算术平均值。 另设一集合B′，里面放置在线学习时所累积的根据人脸姿态参数组(R，T) 所得到的人脸特征点的坐标向量，其包含集合A′中的s_i(i∈{1，2，…，u})， 也就是说，集合A′中的s_i是离线建模时所获得，而集合B′中的部分元素 s_u+1，…，s_u+m是在更新所述关键点模型B时实时加入集合B′的，其算术平 均值设为s′₀，m为集合B′中向量的个数，n为所述人脸特征点的个数。 另外，所述集合B′中所加入的向量个数可根据使用需要来设定，这样既 保证了在线更新的准确性，同时也不必每一帧都进行增量学习，从而突出 了时效性。

那么对模型A进行更新的步骤进一步包括以下步骤：

步骤S61，计算表达式A′-s₀的奇异值分解SVD，得到U∑VT，其中A′-s₀指集合A′中的每一列向量均与s₀相减所得的矩阵；

步骤S62，构造一增广矩阵其中，s′₀为集 合B′的算术平均值，m为集合B′中向量的个数，n为所述人脸特征点的 个数，并根据所述增广矩阵计算得到与R：orth(·) 表示矩阵正交化操作，可用QR分解得出，$R=\left(\begin{array}{cc}\Sigma & U^T\hat{B}\\ 0& {\tilde{B}}^T(\hat{B}-U{U}^T\hat{B})\end{array}\right);$

步骤S63，计算R的奇异值分解SVD，得到

步骤S64，计算得到$U^{\prime }=\left(\begin{array}{cc}U& \tilde{B}\end{array}\right)\tilde{U},$则U′为一组新的正交基，也可以 理解为是更新过后的集合A′，进而得到更新后的模型A；

图2-图4为根据本发明方法对不同的人脸进行跟踪的结果示意图。其 中，图2是对正脸进行跟踪的结果示意图；图3是对存在小角度转动的脸 部的跟踪结果示意图；图4是对存在较大角度转动的脸部的跟踪结果示意 图，以上各图中的图a均是没有进行在线增量学习的跟踪结果，图b为进 行了在线增量学习的跟踪结果，可以看出，采用了在线增量学习的人脸跟 踪效果要优于没有进行在线增量学习的人脸跟踪效果。

为了突出在线增量学习对于模型A的影响，也即考虑到离当前帧越近 的图像越能影响跟踪效果，因此，还可以选择性地在进行在线增量学习的 时候加入遗忘因子f：

$R=\left(\begin{array}{cc}\mathrm{f\Sigma }& U^T\hat{B}\\ 0& {\tilde{B}}^T(\hat{B}-U{U}^T\hat{B})\end{array}\right),$

其中，所述遗忘因子f为一经验值，其取值范围为0～1。

综上，本发明结合了人脸检测和CLM算法，并加入了基于在线增量 学习的主成分分析，从而大大提升了系统的整体鲁棒性，并且同时保证了 系统的实时性。具体地，本发明利用关键点检测对于人脸角度进行了估算， 以此作为CLM建模时模型角度的选择依据，同时，一方面利用CLM检测 结果来不断校正关键点样本库，另一方面利用检测结果在线实时更新CLM 模型，使得模型不再仅仅是学习时静态的获得，而是动态地与当前状态紧 密相连，从而解决了在进行CLM人脸跟踪时，由于目标图像中相邻帧间 变化大时出现的跟踪丢失的问题，提高了跟踪的精准度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。