用于基于局部二进制模式的面部特征定位的方法和设备

摘要

用于基于局部二进制模式的面部特征定位的各种方法。一种示例方法包括确定输入图像的眼部状态分类。该示例方法还可以包括基于眼部中心位置和眼部状态分类选择全局形状的纹理模型和相关联的平均形状，并且基于全局形状的纹理模型以及相关联的全局形状模型调节由平均形状所定义的特征点的位置。还提供了类似和相关的示例方法以及示例设备。

说明书

技术领域

本发明的实施例总体上涉及脸部识别技术，并且尤其涉及用于 基于局部二进制模式的面部特征定位的方法和设备。

背景技术

脸部检测、脸部识别和面部追踪正在被越来越多的使用和应用。 面部分析的潜在应用的增加部分地是因为现代微处理器持续提高的 速度和能力而出现。因此，面部分析可以被用在包括生物测定学、 用户界面应用、游戏应用、社交网络和其它人际通信应用在内的各 种应用的多种设置之中。微处理器的计算能力的发展也已经使得面 部分析功能能够在诸如蜂窝电话和其它智能设备之类的移动设备上 得以使用。面部分析也可能是与诸如元数据标准化之类的动机相关 的重要发展。

虽然面部分析技术在持续改进，但是许多当前的方法需要高计 算能力或者受到有限的脸部检测性能的影响。诸如脸部没有直接朝 向相机进行定位或者脸部的自然变化(例如，闭眼)之类的复杂问 题会对面部分析的结果带来不利影响。随着用于面部检测、识别和 追踪的应用的发展，应当克服这些和其它挑战以在面部分析领域提 供进一步的改进。

发明内容

在此描述了针对基于局部二进制模式的面部特征定位所提供的 示例方法和示例设备。在这方面，根据各个示例实施例，描述了基 于局部二进制模式模型执行稳健且有效的特征定位的方法和设备。 根据一些示例实施例，全局模型和组成部分(例如，眼睛、嘴等) 模型的局部二进制模式模型针对组成部分的不同状态(例如，睁眼、 闭眼等)可以具有相关联的类别，以促进选择用于脸部分析的更为 精确匹配的模型。也可以在生成用于面部分析的局部二进制模式模 型时利用描述联合概率密度的对数似然比。另外，本发明的示例实 施例提供了基于包括例如嘴角检测在内的多种技术来调节最初确定 的特征点的位置。

在此描述本发明的各种示例方法和设备，包括用于基于局部二 进制模式的面部特征定位的示例方法。一种示例方法包括确定经修 改的输入图像的眼部状态分类，以及基于眼部中心位置和眼部状态 分类来选择全局形状的纹理模型和相关联的平均形状。在这方面， 全局形状的纹理模型可以是基于概率密度所确定的局部二进制模式 模型。示例方法还可以包括基于全局形状的纹理模型以及相关联的 全局形状模型来调节由平均形状所定义的特征点的位置。

另外的示例实施例是一种被配置用于进行基于局部二进制模式 的面部特征定位的设备。示例设备包括至少一个处理器以及至少一 个包括计算机程序代码的存储器，至少一个存储器和计算机程序代 码被配置为利用至少一个处理器使得设备执行各种功能。可以使得 示例设备执行确定经修改的输入图像的眼部状态分类，以及基于眼 部中心位置和眼部状态分类来选择全局形状的纹理模型和相关联的 平均形状。在这方面，全局形状的纹理模型可以是基于概率密度所 确定的局部二进制模式模型。还可以使得示例设备执行基于全局形 状的纹理模型以及相关联的全局形状模型来调节由平均形状所定义 的特征点的位置。

另一个示例实施例是包括具有存储于其中的计算机程序代码的 计算机可读存储介质的计算机程序产品，其中计算机程序代码的执 行使得设备执行各种功能。计算机程序代码的执行可以使得设备执 行确定经修改的输入图像的眼部状态分类，以及基于眼部中心位置 和眼部状态分类来选择全局形状的纹理模型和相关联的平均形状。 在这方面，全局形状的纹理模型可以是基于概率密度所确定的局部 二进制模式模型。计算机程序代码的执行还可以使得设备执行基于 全局形状的纹理模型以及相关联的全局形状模型来调节由平均形状 所定义的特征点的位置。

另一种示例设备包括用于确定经修改的输入图像的眼部状态分 类的装置，以及用于基于眼部中心位置和眼部状态分类来选择全局 形状的纹理模型和相关联的平均形状的装置。在这方面，全局形状 的纹理模型可以是基于概率密度所确定的局部二进制模式模型。示 例设备还可以包括用于基于全局形状的纹理模型以及相关联的全局 形状模型来调节由平均形状所定义的特征点的位置的装置。

另一个示例实施例是具有存储于其中的计算机程序代码的计算 机可读介质，其中计算机程序代码的执行使得设备执行各种功能。 计算机程序代码可以使得设备执行确定经修改的输入图像的眼部状 态分类，以及基于眼部中心位置和眼部状态分类来选择全局形状的 纹理模型和相关联的平均形状。在这方面，全局形状的纹理模型可 以是基于概率密度所确定的局部二进制模式模型。计算机程序代码 还可以使得设备执行基于全局形状的纹理模型以及相关联的全局形 状模型来调节由平均形状所定义的特征点的位置。

附图说明

已经对本发明进行了总体描述，现在将参考附图，其不必依比 例进行绘制，其中：

图1图示了根据本发明的示例实施例的用于生成和调节面部特 征点的示例方法；

图2图示了根据本发明的示例实施例的具有形状模型的特征点 的脸部图像；

图3图示了根据本发明的示例实施例的对初始形状进行调节的 结果；

图4图示了根据本发明的示例实施例的用于计算局部二进制模 式的示例方法；

图5图示了根据本发明的示例实施例的用于确定局部二进制模 式计算中的样本的示例技术；

图6图示了根据本发明的示例实施例的示例局部二进制模式概 率模型；

图7图示了根据本发明的示例实施例的嘴角检测；

图8图示了根据本发明的示例实施例的被配置为执行基于局部 二进制模式的面部特征定位的示例设备和相关联的系统；

图9图示了根据本发明的示例实施例的被配置为用于基于局部 二进制模式的面部特征定位的移动终端；以及

图10图示了根据本发明的示例实施例的用于基于局部二进制模 式的面部特征定位的方法的流程图。

具体实施方式

现在将在下文中参考附图对本发明的示例实施例进行更为全面 的描述，在上述附图中示出了本发明的一些但不是全部实施例。实 际上，本发明可以按照许多不同形式来体现并且不应当被解释为局 限于在此所阐明的实施例；相反，提供这些实施例是使得本公开内 容将会满足可应用的法律要求。相同的附图标记始终指代相同的要 素。根据本发明的一些示例实施例，术语“数据”、“内容”、“信 息”和类似术语可以互换使用，以指代能够被传送、接收、对其进 行运算和/或存储的数据。

如在此所使用的，术语“电路”是指以下的全部：(a)仅为硬 件的电路实现方式(诸如仅以模拟和/或数字电路的实现方式)；(b) 电路和软件(和/或固件)的组合，诸如(如可适用)：(i)(多个) 处理器的组合或者(ii)(多个)处理器/软件(包括一起进行工作 以使得诸如移动电话或服务器之类的设备执行各种功能的(多个) 数字信号处理器、软件和(多个)存储器)的部分；以及(c)诸如 (多个)微处理器或(多个)微处理器的部分之类的电路，其需要 软件或固件进行操作，即使软件或固件并非物理存在。

“电路”的这种定义应用于本申请中该术语的所有使用，包括 在任意权利要求中的使用。作为另外的示例，如本申请中所使用的， 术语“电路”还将覆盖仅为处理器(或多个处理器)或者部分处理 器及其(或它们的)附带软件和/或固件的实现方式。例如并且如果 可被应用于特定权利要求要素，术语“电路”还将覆盖用于移动电 话的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络 设备或其它网络设备中的类似集成电路。

根据本发明的各个示例实施例，提供了用于基于局部二进制模 式的面部特征定位的方法和设备。在这方面，在此描述了用于生成 和调节面部特征点的技术以准备用于进一步的面部分析。根据各个 示例实施例，面部特征定位可以提供各种面向脸部的应用和解决方 案，诸如视频通信中的脸部化身(avatar)。面部特征定位还可以协 助提取更为精确的脸部局部特征以便改进脸部识别、脸部表情追踪、 年龄或性别估计等的性能。经由面部特征定位所进行的面部分析还 可以具有与社交网络服务以及涉及个人交互和通信的类似服务相关 的应用。

根据各个示例实施例，在此描述了用于执行面部特征定位的面 部特征定位方法和设备，其提供了定位面部特征点的有所提高的效 率和精确度。根据一些示例实施例，计算开销有所降低，以促使在 此所描述的各种技术随例如在移动终端或其它移动设备中所实现的 移动技术而得以利用。可以采用分级的活动形状模型(ASM)来对 可能作为眼部检测的结果而引入的不精确性进行补偿。另外，根据 示例实施例，可以利用采取基于本地二进制模式(LBP)的概率模型 的纹理模型来描述特征点和面部组成部分(例如，眉毛、眼睛、嘴 等)附近的局部纹理结构并且修改特征点的位置。利用纹理模型能 够导致对特征点位置相对快速且精确的确定。也可以采用多状态定 位策略来处理诸如眼睛和嘴的组成部分的大幅变化。可以设计基于 LBP的眼睛/嘴状态分类器来将组成部分的眼睛/嘴状态区分为两个 或三个类别，诸如闭合、开启和/或大幅开启。针对每种状态，可以 基于类别使用相对应的概率模型，这可以导致额外的精确度提高。 也可以使用基于梯度的检测器，其被设计为例如使用Hough变换来 估计嘴角的位置。作为一些或所有这些方面的结果，根据各个示例 实施例，可以如以下所描述的执行有所改进的面部特征定位。

根据各个示例实施例，可以利用基于活动形状模型(ASM)分 析的技术来进行定位。根据各个示例实施例，ASM技术可以利用包 括形状模式和纹理模型的组合的模型。形状模型可以经由PDM(点 分布模型)和PCA(主要组成部分分析)来构建。形状模型可以由 与脸上的位置相关联的多个特征点所组成。形状模型可以包括平均 形状以及形状的若干种变化模式(例如，PCA的特征矢量以及PCA 的特征值)。在一些实例中，仅依赖于使用用于整个脸部的单个全 局形状模型可能无法提供足够的精确度，这是因为过程被限制于局 部最小值并且导致了大幅偏差以及没有考虑脸部图像中表情的变 化。为了克服一些或所有这些问题，本发明的示例实施例可以对形 状模型利用分级结构。此外，可以生成纹理模型并且将其用来经由 搜索处理更新特征点的位置。一些纹理模型可以经由灰度轮廓来生 成，或者可以生成基于Gabor的纹理模型。然而，在一些实例中， 灰度轮廓描述符可能不足以处理诸如嘴之类的具有复杂纹理和变化 的面部组成部分。基于Gabor小波的描述符可以提供稳健的结果， 但是分析的计算复杂度却实质性增加。下文提供了用于生成和利用 备选形状和纹理模型来执行面部特征定位的其它示例。

现在参考图1，其提供了图示为流程图的用于执行面部特征定位 的示例方法。图1的示例方法可以使用数据库114来执行，数据库 114可以包括眼部/嘴部状态分类器116、特征点的多状态局部二进制 模式118以及分级形状模型120。数据库114可以包括可以被用来生 成各种模型的任意数量的脸部的训练图像和相关联数据。

分级形状模型120可以包括或关联于整个脸部模型的平均形状 122、脸部框架的全局形状模型124以及每个组成部分的多个局部形 状模型126。分级形状模型可以包括两个或更多的形状模型级别(例 如，全局形状模型和局部形状模型)以及所有特征点(例如，28个 特征点)的平均形状。分级形状模型的第一级别可以是全局形状模 型。参考图2，(由三角形所表示的)全局特征点可以定义脸部的全 局形状，其可以包括在全局形状模型中。分级形状模型的第二级别 可以由特定面部组成部分的各个特征点的多个局部形状模型所组 成。仍然参考图2，可以基于与眉毛相关联的六个特征点生成眉毛的 形状模型。可以基于包括眼角点在内的与眼部相关联的8个特征点 来生成眼睛的两个形状模型，睁眼形状模型和闭眼形状模型。注意， 根据一些示例实施例，眼角点包括在全局模型和局部眼部形状模型 中。嘴部可以与三种状态相关联，它们是闭嘴、小幅张嘴和大幅张 嘴，并且每种嘴部状态的局部形状模型可以使用与嘴部相关联的12 个点来生成。每个局部形状模型的平均形状可以是所有特征点的平 均形状的一部分。所有特征点的平均形状可以在脸部的各种分析中 使用，诸如用于定位分析的特征点初始定位。

在这方面，根据各个示例实施例，可以通过预定数量的点对脸 部形状进行建模，例如图2中所示的28个点。点可以包括固定点(表 示为三角形)以及灵活点(表示为圆形)。在这方面，根据一些示 例实施例，嘴角和眉梢可以是灵活点，因为它们可能移动。另一方 面，固定点可以具有相对稳定的结构，并且形状变化通常可以是根 据灵活点位置的变化。因此，根据一些示例实施例，固定点可以是 用于确定全局脸部的姿态参数的基础，因为变化的表情可能不会影 响到结果。固定点的集合可以被称作全局形状，并且全局形状可以 包括在数据库114的脸部框架124的全局形状模型中。

局部形状模型还可以作为每个组成部分的局部形状模型126而 生成和存储在数据库114中。在这方面，组成部分可以是指一只或 两只眼睛、嘴或者鼻子。局部形状模型可以包括与脸部的相应部分 相关联的固定和灵活点。另外，可以对面部组成部分的每种状态生 成不同的局部形状模型。

经训练的平均形状可以生成并存储在数据库114中，作为整个 脸部的平均形状122，并且可以被用作全局形状模型和局部形状模型 的初始形状。如以下进一步描述的，输入图像100可以通过根据眼 部检测结果的相似性变换进行归一化。图3的图像150描绘了由(正 方形所表示的)点所指示的示例平均形状。根据一些示例实施例， 由于所生成的眼部位置(具有交叉阴影的正方形151)可能不准确， 所以所生成的姿态参数可能有所偏差，特别是在如图3的图像150 中所描绘的闭眼的情况下。为了获得更加接近于变换图像中的特征 的初始形状，可以使用ASM更新全局形状，并且可以随后获得更新 后的姿态参数。相应地，可以通过全局姿态参数对整体平均形状进 行调节以生成如图3的图像152中所描绘的经更新的初始形状。根 据一些示例实施例，可以实现对由眼部检测所导致的不精确性的补 偿。类似地，组成部分的局部形状也可以从该新的初始形状进行更 新。

如以上所指出的，数据库114还可以包括作为每个特征点的多 状态局部二进制模式118而存储的局部二进制模式(LBP)概率模型。 LBP概率模型可以在面部特征定位处理中被用作纹理模型。在这方 面，可以使用LBP描述符对局部纹理进行建模以生成各种状态中面 部组成部分的纹理模型。LBP描述符可以连同似然比一起被用来构 建作为纹理模型的LBP概率模型。对于每个特征点而言，纹理模型 可以被构建为描述该点周围的局部纹理特性。由于眉毛和鼻子可能 具有不止一种与之相关联的状态，所以可以对与眉毛和鼻子相关联 的每个特征点生成单个纹理模型。由于眼部存在两种状态(睁眼和 闭眼)，所以眼部的每个特征点可以具有两个相应的纹理模型。类 似地，对于嘴部而言，由于嘴部与三种不同状态相关联，所以可以 对每个特征点生成三个纹理模型。

用于生成各种纹理模型的LBP描述符lbp_8，1可以确定像素和像 素的相邻像素(neighborhood)之间的相对大小关系，并且将该大小 关系编码为二进制序列。图4描述了用于生成二进制序列或十进制 代码的示例技术。lbp_8，1的结果值可以是[0，255]中的整数。根据一 些示例实施例，可以在目标像素和目标像素的相邻像素(例如，紧 邻以及可能更远的相邻像素)的大小(例如，灰度大小)之间进行 比较。如果相邻的像素的大小大于目标像素的大小，则可以对相关 联的像素关系赋值二进制“1”。如果相邻的像素的大小小于或等于 目标像素的大小，则可以对该关系赋值二进制“0”。与关系相关联 的二进制值可以被组合以形成比特串，其中比特的排序例如可以以 最左上方相邻的像素开始，随后该顺序可以围绕目标像素以顺时针 方式继续。作为结果的串随后可以从二进制数转换为十进制数，其 可以被称作十进制代码。

图4图示了对特定目标像素生成十进制代码的两个示例。在第 一示例中，目标像素是嘴角的一部分，而在第二示例中，目标像素 是眼部图像的一部分。如以上所描述的，在目标像素(中心像素) 和相邻的像素之间进行比较以确定大小之间的关系并赋值二进制 值。大小图160a和160b图示了比较中所使用的像素的大小。关系 图161a和161b图示了比较结果和二进制值的赋值。基于关系图161a 和161b，可以生成相应的比特串和十进制代码。

此外，对于所排列的训练图像中的每个特征点p，其中训练图像 基于眼部中心(例如，60)之间预先确定的距离进行排列，可以计 算以具体点p_s为中心的诸如图5中所示的15×15窗口之类的窗口中 的lbp值。根据一些示例实施例，如图5中所描绘的，如果p_s和p 之间的棋盘格距离为0或1，则相应的lbp值可以被称作正样本。根 据一些示例实施例，如图5中所描绘的，如果p_s和p之间的棋盘格 距离为4或8(具有灰颜色的像素)，则相应的lbp值可以被称作负 样本。

因此，在15×15窗口内，每个像素的lbp值对于正样本而言具 有概率密度函数p(lbp_i|ω_p)，或者对于负样本而言具有概率密度函数 p(lbp_i|ω_n)。相应地，联合概率密度可以被描述为：

$p\left(\mathrm{lbp}\right|{\omega }_p)=\underset{i=1}{\overset{225}{\Pi }}p\left(\mathrm{lb}{p}_i\right|{\omega }_p)---\left(1\right)$

或者

$p\left(\mathrm{lbp}\right|{\omega }_n)=\underset{i=1}{\overset{225}{\Pi }}p\left(\mathrm{lb}{p}_i\right|{\omega }_n)---\left(2\right)$

对于第i个特征点，可以在每幅图像中计算9个正样本以及16 个负样本。因此，对于具有2245幅图像的示例训练数据库而言，可 以生成20205个正样本以及35920个负样本。对于窗口中的每个像 素，如图6中所描绘的，可以分别使用正样本和负样本来估计密度 p(lbp_i|ω_p)和p(lbp_i|ω_n)。相应地，每个像素的对数似然比函数可以被描述 为：

${\lambda }_i=\log \frac{p\left(\mathrm{lb}{p}_i\right|{\omega }_p)}{p\left({\mathrm{lbp}}_i\right|{\omega }_n)}---\left(3\right)$

并且其可以在二维查找表中生成。在这方面，一个维度可以是像素 指标i，而另一个维度可以是lbp值。

为了确定给定图像中相对应的特征点的位置，可以计算窗口中 每个位置的lbp值。联合对数似然比函数可以被描述为：

$\lambda =\log \frac{p\left(\mathrm{lbp}\right|{\omega }_p)}{p\left(\mathrm{lbp}\right|{\omega }_n)}=\log \underset{i=1}{\overset{225}{\Pi }}\frac{p\left(\mathrm{lb}{p}_i\right|{\omega }_p)}{p\left(\mathrm{lb}{p}_i\right|{\omega }_n)}=\underset{i=1}{\overset{225}{\Sigma }}{\lambda }_i---\left(4\right)$

并且可以通过查找表获得。根据一些示例实施例，所确定的位置可 以是具有最大对数似然的位置。

使用以上用于眼部组成部分的方案，可以将训练图像划分为两 个类别，闭眼和睁眼。如以上所提到的，可以对每种状态生成纹理 模型。类似地，对于与单种状态相关联的眉毛和鼻子，可以生成相 应的单个纹理模型。由于嘴部具有三种状态，所以可以基于状态对 每个点生成三个纹理模型。

根据一些示例实施例，以这种方式生成多个纹理模型可以与涉 及计算空间域中特征点周围的柱状图的LBP表示区分开。相反，根 据一些示例实施例，在图像维度(例如，图6中所描绘的垂直方向) 中计算概率密度函数p(lbp_i|ω_p)和p(lbp_i|ω_n)，其包含比空间的LBP柱状 图更多的信息，由此提供了高计算效率以及相对噪声和亮度变化而 言更加稳健的结果。

如以上所指出的，数据库114还可以包括眼部/嘴部状态分类符 信息116。眼部/嘴部状态分类符也可以基于纹理模型或LBP概率模 型。在这方面，对于眼部状态而言，训练图像可以被划分为两个类 别，睁眼和闭眼。例如，可以将以眼部中心为中心的15×29的窗口 用于正样本和负样本。对于每种状态，也就是对于闭眼状态λ_i，C以及 睁眼状态λ_i，D，i＝1，...，435，可以通过等式(3)获得对数似然比函数。 对于给定图像，可以经由眼部检测来获得眼部中心的位置。可以通 过等式(4)来计算睁眼状态和闭眼状态的联合对数似然比函数。这 样，眼部的状态可以被描述为：

嘴部状态分类符可以是类似的。关于嘴部，可以定义三种状态， 闭嘴、小幅张嘴和大幅张嘴。在不同状态中，可以选择不同的纹理 模型和组成部分形状模型来处理夸张的(exaggerated)表情。可以使 用以两个嘴角为中心的两个窗口，并且可以经由嘴角检测来确定嘴 角的位置。对于分类而言，可以计算每个相应状态的(闭嘴、小幅 张嘴或小，或者大幅张嘴或大)的λ_C、λ_S、λ_B，并且嘴部状态可以被 描述为：

为了确定嘴角，可以利用全局形状模型来给出大致的嘴部区域。 可以首先针对嘴部状态分类来估计嘴部位置，这是因为可能的大幅 个体差异。根据一些示例实施例，没有颜色信息的话，可以基于梯 度和Hough变换来设计嘴角检测器。考虑到嘴部的对称性，例如图 7的图像170中所描绘的嘴部可以被建模为如图7的图像172中所描 绘的若干条抛物线。可以计算梯度图174并且在如图像176中所描 绘的Hough域中进行变换。由于嘴角可能是抛物线的相交点，所以 嘴角可以对应于Hough域中具有若干局部最小值的直线。这样，在 累积图178上具有最大平均累积值的线可以对应于如图像180中所 描绘的嘴角。

已经描述了数据库114的构成，可以对图1中利用数据库114 的内容的示例方法进行描述。输入图像100可以首先被电子设备接 收或捕捉以用于分析。输入图像可以首先在102进行脸部检测以确 定输入图像中是否存在脸部。在104，可以执行眼部检测。在这方面， 经由脸部和眼部检测，可以确定眼部中心的初始位置。

基于这些初始眼部位置，可以估计姿态参数，并且可以在106 执行图像归一化并且由图像108所表示。所估计的姿态参数可以包 括旋转角度α、定标因数s以及位移dx和dy。输入图像可以使用姿 态参数来进行归一化。例如，输入图像可以被移位以在预定坐标(诸 如(80，60))处在初始眼部位置之间放置中点。输入图像也可以被 缩放，以使得眼部位置之间的距离是预先定义的位置，例如60个单 位。在110，可以如图像112中所指示的确定局部二进制模式值。

经由在128的眼部状态分类，眼部状态可以被确定为闭眼或睁 眼，并且可以选择全局形状模型。在这方面，根据一些示例实施例， 可以在选择全局模型时考虑来自眼睛和鼻子组成部分的六个全局特 征点(图2中的三角形)，并且由此经由与全局形状模型相关联的 平均形状来获得面部特征点的初始位置。随后可以使用全局形状模 型以及相对应的一个或多个纹理模型对这些全局特征点进行处理。

在这方面，基于眼部的状态(睁眼或闭眼)，可以对眼部特征 点选择相对应的纹理模型。使用所选择的经由如等式(3)中所描述 的对数似然比构造的纹理模型，可以如在图像132中描绘的在130 搜索并定位全局特征点。可以基于平均形状和归一化图像之间的 关系来计算经更新的姿态参数(α’、s’、dx’、dy’)。随后可以如在 图像136中所描绘的在134对平均形状进行调节并且投射到归一 化图像上，，由此根据一些示例实施例减少或消除了眼部检测的不 精确性。

可以在138执行嘴角检测和状态分类，并且如图像140中所描 绘，以便为嘴部选择局部形状和纹理模型的三种状态之一。对于眉 毛而言，可以利用单个局部形状和纹理模型，而对于眼部而言，可 以利用适当状态的局部形状和纹理模型。使用每个组成部分的局部 形状和纹理模型，可以在142搜索并定位特征点作为X_new并且如图 像144中所描绘，并且特征点可以在146被投射到原始输入图像并 且如图像148中所描绘。

根据各个示例实施例，使用形状模型执行搜索可以通过由形状 模型所引入的PDM(点分布模型)、统计形状模型和主要组成部分 分析(PCA)进行约束。作为示例方法的结果的改进的特征点位置 可能是更为接近通过对像素进行着色而指示的对象或特征(例如， 嘴部)边缘的特征点。这样，可以确定位于对象或特征边缘的点。 可以相应地更新点的位置。

上文以及在此总体提供的描述示出了用于基于局部二进制模式 的面部特征定位的示例方法、示例设备和示例计算机程序产品。图8 描绘了被配置为执行关于图1-图7所描述并且如在此总体描述的各 种功能的示例设备。图9描绘了可以被配置为如关于图1-图7所描 述并且如在此总体描述的进行操作的特定移动终端形式的另一种示 例设备。图8和图9中所描绘的示例设备还可以被配置为执行本发 明的示例方法，诸如关于图10所描述的示例方法。

现在参考图8，在一些示例实施例中，设备200可以被实现为具 有有线或无线通信能力的通信装置或者作为其组件被包括于其中。 在一些示例实施例中，设备200可以是诸如固定或移动终端的通信 装置的一部分。作为移动终端，设备200可以是移动计算机、移动 电话、便携式数字助理(PDA)、传呼机、移动电视、游戏装置、 相机、视频录制器、音/视频播放器、无线电、和/或全球定位系统 (GPS)装置、上述的任意组合，等等。无论通信装置的类型如何， 设备200还可以包括计算能力。

示例装置200包括处理器205、存储器装置210、输入/输出(I/O) 接口206、通信接口215、用户界面220和脸部分析器230，或者以 另外的方式与它们进行通信。处理器205可以被实现为用于实施本 发明的示例实施例的各种功能的各种装置，包括例如微处理器、协 同处理器、控制器、特殊目的集成电路，例如ASIC(专用集成电路)、 FPGA(现场可编程门阵列)，或者硬件加速器、处理电路等。根据 一个示例实施例，处理器205可以表示一致操作的多个处理器，或 者一个或多个多核处理器。另外，处理器205可以由多个晶体管、 逻辑门、时钟(例如，振荡器)、其它电路等所构成，以促成在此 所描述的功能的执行。处理器205可以包括一个或多个附带的数字 信号处理器，但并非需要如此。在一些示例实施例中，处理器205 被配置为执行存储器装置210中所存储的指令或者处理器205能够 以另外的方式访问的指令。处理器205可以被配置为进行操作以使 得处理器使得设备200执行在此所描述的各种功能。

无论是被配置为硬件还是经由存储在计算机可读存储介质上的 指令进行配置，或者是通过其组合进行配置，处理器205都可以是 在被相应配置时能够执行根据本发明的实施例的操作的实体。因此， 在处理器205被实现为ASIC、FPGA等或者作为其一部分的示例实 施例中，处理器205是用于进行在此所描述的操作的特别配置的硬 件。备选地，在处理器205被实现为计算机可读存储介质上存储的 指令的执行器的示例实施例中，指令对处理器205进行特别配置以 执行在此所描述的算法和操作。在一些示例实施例中，处理器205 是被配置为通过处理器205经由所执行的用于执行在此所描述的算 法、方法和操作的指令的进一步配置来采用本发明的示例实施例的 具体装置(例如，移动终端)。

存储器装置210可以是可以包括易失性和/或非易失性存储器的 一个或多个计算机可读存储媒体。在一些示例实施例中，存储器装 置210包括随机访问存储器(RAM)，其包括动态和/或静态RAM、 片上或片外高速缓存存储器，等等。另外，存储器装置210可以包 括非易失性存储器，其可以是嵌入式和/或可移动的，并且例如可以 包括只读存储器、闪存、磁存储装置(例如，硬盘、软盘驱动器、 磁带等)、光盘驱动器和/或介质、非易失性随机访问存储器 (NVRAM)，等等。存储器装置210可以包括用于数据的临时存储 的高速缓存区域。在这方面，存储器装置210的一些或全部可以包 括在处理器205内。

另外，存储器装置210可以被配置为存储用于使得处理器205 和示例设备200能够执行依据在此所描述的本发明的示例实施例的 各种功能的信息、数据、应用、计算机可读程序代码指令，等等。 例如，存储器装置210可以被配置为对输入数据进行缓存以便由处 理器205处理。附加地或备选地，存储器装置210可以被配置为存 储指令以便由处理器205执行。

I/O接口206可以是以硬件、软件或者硬件和软件所实现的被配 置为将处理器205与诸如通信接口215和用户接口220之类的其它 电路或设备进行对接的任意设备、电路或装置。在一些示例实施例 中，处理器205可以经由I/O接口206与存储器210进行对接。I/O 接口206可以被配置为将信号和数据转换为可以由处理器205进行 解释的形式。I/O接口206还可以执行对输入和输出的缓存以支持处 理器205的操作。根据一些示例实施例，处理器205和I/O接口206 可以组合到被配置为执行或者使得设备200执行本发明的各种功能 的单个芯片或者集成电路中。

通信接口215可以是以硬件、计算机程序产品或者硬件和计算 机程序产品的组合实现的、被配置为从网络225和/或与示例设备200 进行通信的任意其它装置或模块接收数据和/或向其传送数据的任意 设备或装置。通信接口可以被配置为经由任意类型的有线或无线连 接，以及经由任意类型的通信协议来传输信息。处理器205还可以 被配置为例如通过控制通信接口215内所包括的硬件而促成经由通 信接口进行通信。在这方面，通信接口215例如可以包括一个或多 个天线、发射器、接收器、收发器和/或支持硬件，例如包括用于支 持通信的处理器。经由通信接口215，示例设备200可以以设备至设 备的方式和/或经由基站、接入点、服务器、网关、路由器等进行的 间接通信与各种其它网络实体进行通信。

用户接口220可以与处理器205进行通信以经由用户接口220 接收用户输入和/或向用户呈现例如音频、视频、机械或其它输出指 示的输出。用户界面220例如可以包括键盘、鼠标、操纵杆、显示 器(例如，触摸屏显示器)、麦克风、扬声器或者其它输入/输出机 制。另外，处理器205可以包括用户接口电路或者与之进行通信， 上述用户接口电路被配置为控制用户接口的一个或多个元件的至少 一些功能。处理器205和/或用户接口电路可以被配置为通过存储在 处理器20可访问的存储器(例如，易失性存储器、非易失性存储器 等)上的计算机程序指令(例如，软件和/或固件)来控制用户接口 的一个或多个元件的一种或多种功能。在一些示例实施例中，用户 接口电路被配置为通过使用显示器来促成对设备200的至少一些功 能的用户控制，并且被配置为对用户输入进行响应。处理器204还 可以包括被配置为显示用户界面的至少一部分的显示电路或者与之 进行通信，显示器和显示电路被配置为促成对设备200的至少一些 功能的用户控制。根据一些示例实施例，用户接口220可以包括支 持相机或视频功能以便捕捉图像所需的硬件，上述图像诸如包括脸 部的图像。

示例设备200的脸部分析器230可以是部分或整体地以硬件、 计算机程序产品或者硬件和计算机程序产品的组合所实现的任意装 置或设备，诸如实施所存储的指令以对示例设备200、存储被配置为 执行在此所描述的功能的可执行程序代码指令的存储器装置210的 处理器205，或者被配置为执行在此所描述的脸部分析器230的功能 的硬件配置处理器205进行配置。在示例实施例中，处理器205包 括或控制脸部分析器230。脸部分析器230可以部分或整体地实现为 与处理器205类似但是与之分离的处理器。在这方面，脸部分析器 230可以与处理器205进行通信。在各个示例实施例中，脸部分析器 230可以部分或整体驻留在相异设备上以使得脸部分析器230的一 些或全部功能可以由第一设备来执行，而脸部分析器230的其余功 能可以由一个或多个其它设备来执行。

设备200和处理器205可以被配置为经由脸部分析器230执行 以下功能。在这方面，脸部分析器230可以被配置为使得处理器205 和/或设备200执行诸如在图10的流程图中所描绘的以及如在此总体 描述的各种功能。例如，脸部分析器230可以被配置为在400获得 输入图像并且在410经由眼部检测确定初始眼部中心位置。另外， 脸部分析器230可以被配置为在420基于初始眼部中心位置对输入 图像进行归一化和缩放。

根据各个示例实施例，脸部分析器230还可以被配置为在430 确定输入图像的眼部状态分类，以及在440基于眼部中心位置和眼 部状态分类选择全局形状的纹理模型以及相关联的平均形状。在这 方面，纹理模型可以是基于概率密度所确定的局部二进制模式模型。 根据一些示例实施例，选择纹理模型可以包括从睁眼状态和闭眼状 态的模型集合中选择纹理模型。此外，脸部分析器230还可以被配 置为在450基于全局形状的纹理模型以及相关联的形状模型对由平 均形状所定义的特征点位置进行调节。根据一些示例实施例，调节 特征点位置包括基于相关联的全局形状模型调节特征点位置，其中 全局形状模型包括在分级形状模型内。

另外，脸部分析器230还可以被配置为在460执行嘴角检测和 嘴部状态分类，并且在470基于给定组成部分的当前状态选择给定 面部组成部分的局部形状模型以及相关联的局部纹理模型。脸部分 析器230可以被配置为在480基于给定面部组成部分的局部形状模 型和相关联的纹理模型来进一步调节与给定面部组成部分相关联的 特征点。

现在参考图9，提供了依据本发明的各个实施例的更为具体的示 例设备。图9的示例设备是被配置为在诸如蜂窝通信网络之类的无 线网络内进行通信的移动终端10。移动终端10可以被配置为执行关 于设备200所描述并且在此总体描述的功能。更具体地，可以使得 移动终端10经由处理器20执行脸部分析器230的功能。在这方面， 处理器20可以是类似于连同例如I/O接口206一起的处理器205进 行配置的集成电路或芯片。另外，易失性存储器40和非易失性存储 器42可以被配置为作为计算机可读存储介质来支持处理器20的操 作。

移动终端10还可以包括天线12、发射器14和接收器16，它们 可以作为移动终端10的通信接口的部分而包括其中。扬声器24、麦 克风26、显示器28(其可以是触摸屏显示器)和小键盘30可以作 为用户接口的部分而包括其中。

在一些示例实施例中，移动终端还可以包括与处理器20进行通 信的图像捕捉模块32，诸如相机、视频和/或音频模块。图像捕捉模 块32可以是用于捕捉图像、视频和/或音频以便存储、显示或传输的 任意装置。例如，在图像捕捉模块32是相机的示例性实施例中，相 机可以被配置为从由其所捕捉的图像形成并保存数字图像文件。

图像捕捉模块32可以包括诸如镜头或其它(多种)光学组件之 类的所有硬件以及用于从所捕捉的图像创建数字图像文件所必需的 软件。图像捕捉模块32还可以包括诸如镜头或其它(多种)光学组 件之类的所有硬件以及提供例如图像缩放功能的各种图像捕捉功能 所必需的软件。图像缩放功能可以包括在捕捉图像之前或之后放大 或解除图像放大的能力。

备选地，图像捕捉模块32可以仅包括观看图像所需的硬件，而 诸如易失性存储器40或非易失性存储器42之类的存储器装置则存 储供处理器20执行的指令，该指令采取从所捕捉图像创建数字图像 文件所必需的软件的形式。在示例性实施例中，图像捕捉模块32可 以进一步包括在处理图像数据时对处理器20进行辅助的处理器或协 同处理器，以及用于压缩和/或解压缩图像数据的编码器和/或解码 器。编码器和/或解码器例如可以根据联合图像专家组(JPEG)标准 或其它格式进行编码和/或解码。

图10图示了根据本发明的示例实施例的示例系统、方法和/或计 算机程序产品的流程图。将要理解的是，流程图的每个操作和/或流 程图中的操作组合可以由各种装置来实施。用于实施流程图的操作、 流程图中的操作组合或者在此所描述的本发明的示例实施例的其它 功能的装置可以包括硬件和/或计算机程序产品，该计算机程序产品 包括计算机可读存储介质(与描述传播信号的计算机可读传输介质 相对)，其具有存储于其中的一条或多条计算机程序代码指令、程 序指令或可执行计算机可读程序代码指令。在这方面，程序代码指 令可以存储在诸如示例设备200之类的示例设备的诸如存储器装置 210之类的存储器装置上，并且由诸如处理器205之类的处理器所执 行。如将要意识到的，任意此类程序代码指令都可以从计算机可读 存储介质被加载到计算机或其它可编程设备(例如，处理器205、存 储器装置210等)上以产生特定的机器，以使得该特定的机器成为 用于实现流程图的操作中所指定的功能的装置。这些程序代码指令 还可以被存储在能够指示计算机、处理器或其它可编程设备以特定 方式进行工作以由此生成特定机器或特定制造品的计算机可读存储 介质中。存储在计算机可读存储介质中的指令可以生产制造商品， 其中制造商品成为用于实现流程图操作中所指定的功能的装置。程 序代码指令可以从计算机可读存储介质获取并且被加载到计算机、 处理器或其它可编程设备中以对计算机、处理器或其它可编程设备 进行配置来执行要在计算机、处理器或其它可编程设备上执行或者 由它们执行的操作。程序代码指令的获取、加载和执行可以顺序执 行以使得一次获取、加载和执行一条指令。在一些示例实施例中， 获取、加载和/或执行可以并行执行以使得多条指令可以被一起获取、 加载和/或执行。程序代码指令的执行可以产生计算机实施的处理， 以使得计算机、处理器或其它可编程设备所执行的指令提供用于实 现流程图操作中所指定的功能的操作。

相应地，处理器所进行的与流程图的操作相关联的指令执行， 或者与流程图的框或操作相关联的指令在计算机可读存储器介质中 的存储支持用于执行指定功能的操作的组合。还要理解而是，流程 图的一个或多个操作以及流程图中框或操作的组合可以由专用的基 于硬件的计算机系统和/或执行指定功能的处理器，或者专用硬件和 程序代码指令的组合来实施。

通过以上描述和相关联的附图中所提供的教示，在此所阐明的 本发明的许多修改以及其它实施例将被本领域技术人员所认识到。 因此，所要理解的是，本发明并不局限于所公开的具体实施例，并 且其它实施例意在包括于所附权利要求的范围之内。此外，虽然以 上描述和相关联的附图以元件和/或功能的某些示例组合为背景描述 了示例实施例，但是应当意识到，备选实施例可以提供元件和/或功 能的不同组合而并不背离所附权利要求的范围。在这方面，例如， 以上所明确描述之外的元件和/或功能的不同组合可被预期为可以在 一些所附权利要求中所给出。虽然在此采用了具体术语，但是它们 仅以一般且描述性的含义所使用而并非是为了进行限制。