基于统计形状理论的非线性面部运动流形学习方法

摘要

本发明一种基于统计形状理论的非线性面部运动流形学习方法，其中基于统计形状理论对面部形状的预处理方法描述如下：(1)对面部运动序列中的每一帧形状进行①去均值②归一化③复数化处理；(2)去掉复数表示中的冗余信息；(3)结合黎曼几何切空间映射，将复数表示的面部运动序列投影至运动流形的切空间，形成面部运动轨迹。其中面部流形学习方法采用高斯过程隐变量模型，具体方法描述如下：(1)计算高斯过程的均值及协方差函数，确定所构造的高斯过程的概率密度函数；(2)用尺度共轭梯度法(Scaled Conjugate Gradient)求解隐变量，进而得到对应面部运动轨迹的降维结果。该方法采用真实的流形距离并采用优秀的降维方法对面部运动数据进行维数约减，从而更准确的描述面部运动流形的结构。

说明书

(一)技术领域：

本发明涉及一种基于统计形状理论的非线性面部运动流形学习方法，尤其是结合统计形 状理论(Statistical Shape Theory)和高斯过程隐变量模型(Gaussian Processing Latent Variable  Models)对面部运动序列的描述，属于图像处理，模式识别领域。

(二)背景技术：

如何赋予机器识别面部运动的能力，使面部运动作为机器的另一种输入模态，从而辅助 机器理解人类的意图，更好的为人类服务是现今面部分析的主要任务。面部分析以面部为研 究对象，将图像、视频信息转换成机器可以理解的模式信息，是模式识别领域一个重要的分 支。面部分析大体经历了两个阶段，即：静态图像分析和动态图像序列分析。结合图像处理 的静态图像信息分析主要利用静态特征(如：点，线等)，对面部模式进行识别，提取模式信 息，基于静态特征的面部分析因其特征提取的便捷性，处理过程的实时性受到早期研究者的 青睐。但静态信息并未包括面部运动的特性，孤立的面部图像不能反映整个运动的特征，随 着图像序列分析的发展，蕴含于帧间的序列信息被引入面部分析中，结合帧间信息的动态图 像序列分析扩充了面部分析的信息量。但面部运动数据的维数较高，容易引起“维数灾难”， 传统的面部运动序列分析方法假设面部运动分布在一个线性流形中，使用基于全局线性假设 的方法(如：PCA，MDS等)对面部数据降维，分析面部运动，提取帧间信息。近年来，随 着感知心理学以及机器视觉的发展，研究者意识到面部运动具有非线性，面部的变化分布在 一个低维的非线性流形中，现有的线性分析方法存在先天缺陷。目前，虽然一些非线性流形 学习方法被应用于面部分析中，但大多没有考虑面部运动的特点，没有根据面部分析的需要 对该方法进行修正。因此，设计一种基于面部运动特点的流形学习方法分析面部运动，对机 器学习以及模式识别的发展具有重要意义。

(三)发明内容：

本发明的目的是：①目前面部分析算法大多未根据面部形状特点进行预处理，针对这一 不足，引入统计形状理论(Statistical Shape Theory)对面部形状进行预处理，将面部运动序 列转换为面部运动流形切空间(The tangent space offace movement manifold)中的轨迹，更好 的计算面部形状间的距离(图1为欧式距离和流形上距离相比较的示意图，(a)中的半球面 为数据的分布流形，红线为两点间的欧式距离，(b)为欧式距离与流形上距离的比较，随着 距离的增加，流形上距离与欧式距离差距越来越大)，便于后续流形学习算法对面部运动进行 降维。②根据面部运动分布在低维非线性流形中的特点，使用高斯过程隐变量模型(Gaussian  Processing Latent Variable Models)对面部运动流形进行估计，达到降低面部运动数据维数， 揭示面部运动规律的作用。

本发明一种基于统计形状理论的非线性面部运动流形学习方法；包括基于统计形状理论 的预处理及高斯过程隐变量模型面部运动流形学习两个主要部分(整个系统的框图如图2所 示)，其中：

基于统计形状理论(Statistical Shape Theory)的预处理是：通过去均值、归一化、复数映 射、切空间映射等步骤将面部运动序列映射到面部运动流形的切空间中，该空间中的欧式距 离与面部形状间距离等价(图3为统计形状理论的处理框图)。

采用高斯过程隐变量模型(Gaussian Processing Latent Variable Models)的面部运动流形学 习是：针对面部运动分布在非线性流形中的特点，采用非线性降维方法对面部运动数据进行 维数约减，用较低的维数反映面部运动变化，描述平静以及6种面部表情：喜悦、惊讶、厌 恶、悲伤、愤怒、恐惧，从而避免由于维数过高引起的“维数灾难”。

本发明一种基于统计形状理论的非线性面部运动流形学习方法，其中基于统计形状理论 的预处理对面部运动序列进行前续处理，提高后续流形学习算法的准确度，其具体步骤为：

假设Ω＝{ω_i|i＝1，2...N}为一个面部形状运动序列，其中ω_i＝{(x_i1，y_i1)，(x_i2，y_i2)...(x_iM，y_iM)} 表示由M个点组成的一帧面部形状(面部形状的分布如图4所示)。

步骤1：对面部运动序列Ω中的每一帧形状作去均值处理，使

步骤2：对面部运动序列Ω中的每一帧形状作归一化处理，使

步骤3：对面部运动序列Ω中的每一帧形状作复数化处理，每个点的横坐标为实部，纵 坐标为虚部，将2×M维的实值面部形状向量转换为M维复数向量ω_i＝{s₁，s₂...s_M}，其中 s_ij＝x_ij+I×y_ij，I为复数单位，I²＝-1；

步骤4：去掉复数表示中的冗余信息，利用各个形状的实虚部之和为零的特点(步骤1 的处理结果)，用特定矩阵左乘面部序列Ω，使复数表示的形状向量维数降为M-1；

步骤5：结合黎曼几何切空间映射，将复数表示的面部运动序列投影至运动流形的切空 间，形成面部运动轨迹。

本发明一种基于统计形状理论的非线性面部运动流形学习方法，其中采用高斯过程隐变 量模型的面部运动流形学习将前续的面部运动轨迹作为输入，通过高斯过程隐变量模型对该 轨迹进一步降维，从而刻画面部运动流形的结构。

假设ω＝f(x)为一个实值函数，高斯隐变量模型利用具有参数的高斯过程逼近这一函数， 通过最大化后验概率确定变量x的值，由于该变量作为参数隐含于高斯过程中，故称为高斯 过程隐变量模型(图5所示为高斯隐变量模型的结构简图)。其中高斯过程指服从高斯分布的 随机过程，即g(x)～N(m(x)，k(x，x))，m(x)、k(x，x′)分别为均值函数和协方差函数，本发明 采用权值空间构造法(Weight-Space)构造高斯过程隐函数模型，其中协方差函数采用径向基 函数构造，具体步骤如下：

步骤1：计算构造的高斯过程的均值及协方差函数，确定所构造的高斯过程的概率密度 函数；

步骤2：采用尺度共轭梯度法(Scaled Conjugate Gradient)求解隐变量，进而得到对应面 部运动轨迹的降维结果。

本发明一种基于统计形状理论的非线性面部运动流形学习方法，其优点和积极效果在于：

1.由于面部运动分布在非线性流形中，原始形状空间中的欧式距离与真实的形状距离相 差较远，且以欧式距离估计流形上形状距离的误差随着距离的增加而不断增加，该统计形状 模型可以将面部形状投影到切空间中，并且该切空间中的欧式距离与流形上形状间的真实距 离等价，可以很好地克服距离计算不准确的缺点。

2.经过切空间映射的面部运动序列虽然反映了面部形状变化规律，但是仍存在冗余，需 要进一步进行维数约减，该高斯过程隐变量模型利用其对非线性流形良好的逼近性能对面部 运动轨迹进行降维。

3.采用随机过程逼近面部流形符合面部运动模糊性的特点，取得了较好的逼近效果。将 面部运动序列进行降维处理，便于后续的面部运动模式分类。

附图说明：

图1流形上距离与欧式距离比较

图2本发明所建系统的整体框图

图3统计形状理论的处理框图

图4面部形状点位置示意图

图5高斯隐变量模型结构简图

(五)具体实施方式：

本发明一种基于统计形状理论的非线性面部运动流形学习方法；包括基于统计形状理论 的预处理及采用高斯过程隐变量模型的面部运动流形学习两个部分；其中：

一、关于基于统计形状理论的预处理，其步骤如下：

假设Ω＝{ω_i|i＝1，2...N}为一个面部形状运动序列，其中ω_i＝{(x_i1，y_i1)，(x_i2，y_i2)...(x_iM，y_iM)} 表示由M个点组成的一帧面部形状。

步骤1：对面部运动序列Ω中的每一帧形状作去均值处理，首先得到每一帧面部形状的 中心位置(x₀，y₀)，然后从形状数据中去掉中心位置信息，即 x_ij′＝x_ij-x₀，y_ij′＝y_ij-y₀使$\underset{j}{\Sigma }{x_{\mathrm{ij}}}^{\prime }+\underset{j}{\Sigma }{y_{\mathrm{ij}}}^{\prime }=0;$

步骤2：对面部运动序列Ω中的每一帧形状作归一化处理，首先计算每帧形状到中心位 置(经过去均值处理后，中心位置既为原点)距离的平方和然后使用L对 形状数据进行归一化，即${x_{\mathrm{ij}}}^{\prime \prime }=\frac{{x_{\mathrm{ij}}}^{\prime }}{\sqrt{L}},$${y_{\mathrm{ij}}}^{\prime \prime }=\frac{{y_{\mathrm{ij}}}^{\prime }}{\sqrt{L}}$使$\underset{j}{\Sigma }{x}_{\mathrm{ij}}^{\prime \prime 2}+\underset{j}{\Sigma }{y}_{\mathrm{ij}}^{\prime \prime 2}=1;$

步骤3：对面部运动序列Ω中的每一帧形状作复数化处理，每个点的横坐标为实部，纵 坐标为虚部，将2×M维的实值面部形状向量转换为M维复数向量ω_i＝{s₁，s₂...s_M}，其中 s_ij＝x_ij+I×y_ij，I为复数单位，I²＝-1；

步骤4：去掉复数表示中的冗余信息。利用各个形状的实虚部之和为零的特点(如步骤1)， 用特定矩阵左乘面部序列Ω，该矩阵Ω可以将向量转变利用各 个面部形状均值为零的特点，可以使面部运动形状序列的最后一行归零，再去掉最后一行将 复数表示的形状向量维数降为M-1，由此形成的复数空间称为“正则形状空间”(Norshape  Space)；

步骤5：结合黎曼几何切空间映射，将复数表示的面部运动序列投影至运动流形的切空 间，形成面部运动轨迹。经过上述步骤处理经过上述步骤得到的“正则形状空间”具有一条 重要性质：正则形状空间切空间的水平子空间与原始形状空间同构，即正则形状空间切空间 的水平子空间中的欧式距离与原始形状空间中的流形距离等价，可以通过向切空间投影得到 反映面部运动的轨迹。关于统计形状模型的详细论述及具体理论的证明请参考文献A.Kume， I.Dryden，H.Le，Shape-space smoothing splines for planar landmark data，Biometrika 94(3)(2007) 513-528。

二、关于高斯过程隐变量模型面部运动流形学习：

假设ω＝f(x)为一个实值函数，高斯隐变量模型利用高斯过程逼近这一函数，通过最大 化后验概率确定变量x的值，由于该变量作为参数隐含于高斯过程中，故称为高斯过程隐变 量模型。其中高斯过程指服从高斯分布的随机过程，即g(x)～N(m(x)，δ²(x))，m(x)、δ²(x)分 别为均值函数和协方差函数，本发明采用权值空间构造法(Weight-Space)构造高斯过程隐函 数模型，即假设w～N(0，I)，则y为高斯分布。其中协方差 函数采用径向基函数构造，径向基函数为：具体步骤如下：

步骤1：计算构造的高斯过程的均值及协方差函数，对于给定的面部运动序列s确定所构 造的高斯过程的概率密度函数其中均值及协方差函数的计算方法为：

假设$s=g\left(x\right)=\underset{j=1}{\overset{J}{\Sigma }}{\omega }_j{\phi }_j\left(x\right)=w^T\Phi \left(x\right)$为高斯分布，则

m(x)＝E(s)＝E[w^TΦ(x)]＝0

σ²(x)＝E(s_is_j)＝E[(w^TΦ(x_i))(w^TΦ(x_j))]＝Φ(x_i)^TΦ(x_j)＝K，其中K_ij＝k(x_i，x_j) 高斯过程的概率密度函数可得到解析解。

步骤2：采用尺度共轭梯度法(Scaled Conjugate Gradient)求解隐变量，进而得到对应面 部运动轨迹的降维结果。尺度共轭梯度法的目标函数为：

$\underset{x}{\max \arg }p\left(S\right|x)=\underset{x}{\max \arg }\underset{i=1}{\overset{I}{\Pi }}p\left(s_i\right|x)$

即寻找使输出的形状序列S＝{s₁，s₂...s_N}的联合概率最大，具体的计算过程的详细说明参见参 考文献：Jack M.Wang，David J.Fleet and Aaron Hertzmann，Multifactor Gaussian Process Models  for Style-Content Separation，24th International Conference on Machine learning，2007，975-982。