目标图像特征点定位方法和目标图像特征点定位系统

摘要

本发明提供了一种目标图像特征点定位方法和目标图像特征点定位系统，属于模式识别领域。目标图像特征点定位方法包括步骤：(1)输入目标图像，定义目标图像特征点中的关键点，并确定关键点在目标图像中的具体位置；(2)以所取训练样本的特征点的坐标平均为平均特征点，根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为目标图像的初始化特征点；(3)以初始化特征点作为基础，精确定位目标图像特征点。目标图像特征点定位系统包括关键点定位装置、初始化特征点获取装置、以及目标图像特征点定位装置。本发明的方法和系统实现目标图像特征点的精确定位和快速定位，可以在图像处理等领域中广泛应用。

说明书

技术领域

本发明属于模式识别领域，具体涉及一种目标图像特征点定位方 法和目标图像特征点定位系统。

背景技术

图像特征点定位技术作为图像处理的基础技术，在很多方面具有 重要地位。例如，作为图像特征点定位技术的一种，人脸特征点定位 技术在人脸识别、人脸建模、人脸动画等方面都有着很重要的地位。 现有的人脸特征点定位方法大多为基于图像特征点定位的方法，主要 的方法是主动形状模型(ASM；Active Shape Model)，由T.F.Cootes 在“Computer Vision and Image Understanding.1995，61(1)：38-59提出。 其思路为首先训练得到每个特征点的纹理特征信息和整体特征点的形 状特征，其后给定特征点在人脸上的初始位置，在每个特征点邻域内 搜索与纹理特征最相似的候选点，再用整体特征点形状特征来约束和 调节所有候选点以获得当次搜索的结果，然后重新搜索迭代直至满足 预先定义的阈值。在该类方法中，一旦给定的特征点初始化错误，就 容易导致搜索陷入局部最小；并且形状约束往往对非正面的人脸形状 起不到调节的作用。因此，对任意姿态的人脸特征点，难以进行精确 定位。

现有的解决人脸特征点定位陷入局部最小的方法有以下几种：一 是采用更可靠的纹理特征进行搜索或者在搜索的区域上进行约束，即 基于搜索的方法；一是利用眼睛或者虹膜的定位位置来初始化特征点， 即基于初始化的方法。而解决人脸姿态的方法为训练不同姿态的人脸 形状集，对不同的姿态采用不同的形状约束，即基于多姿态训练集的 方法。

1、基于搜索的方法

基于搜索的方法采用更可靠的纹理特征进行搜索或者在搜索的区 域上进行约束。比较典型的有S.Li等人在“In Proceedings International Conference on Computer Vision and Pattern Recognition”， 2003，Vol.1，pp321中公开的方法，采用小波特征替换纹理特征来进行搜 索。而YuanZhong Li等人在“International Conference on Computer Vision”，2005，Vol.1，pp251-258中，对搜索的区域进行约束。这类方 法在搜索上提供了额外的约束，而这类约束的有效范围往往有限，很 难获得可靠通用的搜索特征和形状约束，而且对姿态变化的人脸也难 以实现精确定位。

2、基于初始化的方法

基于初始化的方法通过定位眼睛或者虹膜来初始化人脸特征点， 以保证搜索中约束在正确的区域内。Baochang Zhang在“In Proceeding of International conference on Audio-and Video-based Biometric Person Authentication”，2003，pp 52-61中先定位虹膜的位置，然后根据虹膜 与整体特征点之间的对应位置关系，初始化训练所得的平均特征点到 相应的位置。这类方法减小了陷入局部最小的可能，但由于直接以平 均特征点形状作为初始化特征点形状，因而难以应对姿态变化的人脸。

3、基于多姿态训练集的方法

基于多姿态训练集的方法首先获得不同姿态对应的人脸特征点训 练集，获得多姿态的平均特征点形状，然后对待定位的人脸进行姿态 判断，选择对应姿态下的平均特征点作为初始化特征点。Sami Romdhani在“In Proceedings of British Machine Vision Conference”，1999 中最早提出了该方法，并引入了多姿态主动形状模型(Multi-View Active Shape Model)的概念。这类方法对人脸姿态的估计可能不准确， 并且需要建立不同姿态的训练集，势必降低定位速度。

发明内容

为了解决上述技术问题，实现目标图像特征点的精确定位和快速 定位，提出了本发明的目标图像特征点定位方法和目标图像特征点定 位系统。

本发明的目标图像特征点定位方法包括步骤：(1)输入目标图像， 定义目标图像特征点中的关键点，并确定关键点在目标图像中的具体 位置；(2)以所取训练样本的特征点的坐标的平均为平均特征点，根 据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果 作为目标图像的初始化特征点；(3)以初始化特征点作为基础，精确 定位目标图像特征点。

在步骤(2)中进行的二维变形中，采用径向基函数对平均特征点 进行多变量离散数据插值。

在步骤(2)中进行的三维变形中，利用目标图像特征点的深度值， 将该深度值赋予经二维变形得到的二维的平均特征点，得到三维的平 均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后的三 维的平均特征点在二维平面上的投影与二维未变形前的的平均特征点 在规定平面上的偏差最小。

在步骤(3)中进行的精确定位中，采用主动形状模型，在每个初 始化特征点的邻域内搜索最佳候选点，再以初始化特征点形状在三维 方向上来约束和调整候选点作为搜索的结果，然后重新在每个初始化 特征点邻域进行搜索，不断迭代直至满足规定的阈值。

在上述目标图像特征点定位方法中，二维变形为位移变形、形状 变形，三维变形为姿态变形。

在上述目标图像特征点定位方法中，目标图像为人脸图像。

在上述以人脸图像为目标图像的目标图像特征点定位方法中，关 键点包括眼角、鼻孔和嘴角。

本发明还提供了一种目标图像特征点定位系统包括：关键点定位 装置，其输入目标图像，定义目标图像特征点中的关键点，并确定关 键点在目标图像中的具体位置；初始化特征点获取装置，其以规定样 本的特征点的平均为平均特征点，根据关键点位置对平均特征点进行 二维变形和三维变形，以变形的结果作为目标图像的初始化特征点； 以及目标图像特征点定位装置，其以初始化特征点作为基础，精确定 位目标图像特征点。

初始化特征点获取装置包括：二维变形装置，其采用径向基函数 对平均特征点进行多变量离散数据插值。

初始化特征点获取装置包括：三维变形装置，其利用目标图像特 征点的深度值，将该深度值赋予经二维变形得到的二维的平均特征点， 得到三维的平均特征点，对该三维的平均特征点进行旋转迭代，使旋 转迭代后的三维的平均特征点与二维的平均特征点在规定平面上的偏 差最小。

目标图像特征点定位装置采用主动形状模型，在每个初始化特征 点的邻域内搜索最佳候选点，再以初始化特征点形状在三维方向上来 约束和调整候选点作为搜索的结果，然后重新在每个初始化特征点邻 域进行搜索，不断迭代直至满足规定的阈值。

在上述目标图像特征点定位系统中，二维变形为位移变形、形状 变形，三维变形为姿态变形。

在上述目标图像特征点定位系统中，目标图像为人脸图像。

在上述以人脸图像为目标图像的目标图像特征点定位系统中，关 键点包括眼角、鼻孔和嘴角。

与现有的目标图像特征点定位技术相比，本发明的目标图像特征 点定位方法和目标图像特征点定位系统不需要大规模的不同姿态下目 标图像特征点训练集；对于不同姿态的目标图像可以实现精确的定位； 定位的精度不容易陷入局部最小，具有更通用可靠的效果；定位的速 度更快。

附图说明

图1为本发明的一个实施方式的目标图像特征点定位方法的流程 图。

图2为在本发明的一个实施方式中针对具体图像进行特征点定位 的流程图。

图3为在本发明的一个实施方式中关键点的定义和初定位的示意 图。

图4(a)为本发明的一个实施方式与不同特征点初始化方法的比 较的示意图，其中第一列为平均特征点，第二列为基于虹膜的初始化 特征点，第三列为径向基函数初始化特征点，第四列为径向基函数初 始化后三维姿态校正的特征点初始化。

图4(b)为本发明的一个实施方式的三维特征点，和基于LM (Levenberg-Marquardt)算法的人脸特征点三维姿态估计的示意图。

图5为本发明的一个实施方式与不同特征点定位方法的比较的示 意图，其中第一行为根据虹膜初始化的人脸特征点定位，第二行为本 发明方法的特征点定位。

具体实施方式

下面，结合附图，以人脸图像为例对本发明的具体实施方式进行 说明，本发明当然也可以用于其他图像的特征点定位，例如，风景图 像、动物图像等。

图1中，以人脸图像为例，示出了本发明的目标图像特征点定位 方法的流程图。

步骤101、输入单张任意姿态人脸图像，定义人脸特征点中容易精 确定位的关键点，并确定关键点在所输入的人脸图像中的具体位置， 即对人脸进行关键点定位。

人脸的关键点定义为眼角，鼻孔，和嘴角共8个点。这些关键点 即部分特征点，每个关键点对应一个特征点，故本发明被称之为两层 特征点定位。在人脸图像上，由于器官周围的边界点具有很强的边缘 特征，更容易进行区分，因此被选作关键点。关键点的定位采用支持 向量机(SVM)分类的方法进行定位，即获得训练样本中每个关键点 的特征，训练SVM分类器，在整幅图像上搜索获得最相似的点作为关 键点的定位。

步骤102、根据关键点位置对平均特征点进行二维变形和三维变 形，以变形的结果作为人脸的初始化特征点。

特征点的初始化分为两个部分，第一部分二维变形，具体为位移、 形状变形，采用径向基函数对平均特征点进行多变量离散数据插值； 第二部分为三维变形，具体为姿态变形，利用目标图像特征点的深度 值，将该深度值赋予经二维变形得到的二维的平均特征点，得到三维 的平均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后 的三维的平均特征点在二维平面上的投影与二维的未变形前的平均特 征点之间的偏差最小。其中平均特征点为所取训练样本的特征点的坐 标的平均。

径向基函数的实质是一种多变量离散数据插值方法。对于已知的 点集，可以以获得最小能量为目的拟合出非线性的函数关系。已知点 集x＝{x₁，x₂，....x_n}和其对应函数值f＝{f₁，f₂，...，f_n}，由这两组值可以建立 函数关系y＝s(x)，使得对于每个点xi都有f_i＝s(x_i)。该函数关系为

其中p(x)＝ax_o+by_o+cz_o+d表示该点的线性多项式，(x_o，y_o，z_o)为该点 的坐标值，(a，b，c，d)为系数；为插值基函数，|x-x_i|为未知点x与已 知点x_i之间的距离，λ_i为对应每组基函数的权重，其中i＝1，2，...，n。

本发明采用这种插值方法来变形平均特征点形状和位移作为特征 点的位置初始化。定义人脸特征点为t＝(t₁，t₂，...，t_n)，平均人脸特征点记 为其中每个点为二维坐标t＝(x，y)。进行基函数变形的目 的即为变形获得t，使得中以为输入， 可以很容易拟合出相应的径向基函数插值函数。

由于已知t_1～8，所以根据上式可以计算出原函数中系数λ_1～8，a，b，c， 则对于任意平均特征点中的点，可以由上式计算出其变形后的点t，从 而得到根据关键点变形的初始化特征点。该初始化的特征点其关键点 位置和之前定位的关键点保持不变，从而可以确保特征点初始化在人 脸的区域内。在图4(a)中给出了径向基函数初始化的人脸结果。

同时，本发明还引入了Levenberg-Marquardt(LM)迭代算法来获得 初始化人脸的姿态。首先，本发明引入了一个通用三维模型，由于人 脸的深度信息大致相同，本发明借助于该三维模型获得人脸特征点的 深度值。该三维模型的稀疏点包含所有特征点。在归一化三维模型和 特征点后，直接将三维模型的深度值赋予经上述二维变形的平均特征 点，即获得三维的平均特征点，该三维特征点可以记为 S_3D＝(d₁，d₂，...，d_n)，其中每个点表示一个三维点d＝(x，y，z)＝(t，z)。旋转 该三维特征点可以得到

S_3D′＝F(S_3D)＝sR(α，β，γ)S_3D+t

其中s，(α，β，γ)，t分别为尺度，旋转，平移因子。

LM算法是一种迭代最优的算法。其迭代的目的即使S_3D′与径向基 函数初始化后特征点t之间的偏差最小。由于t为二维特征点，因此记 该偏差为

$E=d(t,{S_{3D}}^{\text{'}})=\underset{i}{\Sigma }{(x_i-{x_{3\mathrm{Di}}}^{\text{'}})}^2+{(y_i-{y_{3\mathrm{Di}}}^{\text{'}})}^2=d(t,F\left(S_{3D}\right))$

迭代使得E最小，即获得了相应的旋转参数s，(α，β，γ)，t。对径向 基函数初始化的特征点进行旋转变换，即得到了形状，姿态，位移变 换后的人脸特征点定位。在图4(b)中给出了相应的三维特征点和利 用LM算法获得的人脸姿态。在图4(a)中给出了对径向基函数初始 化人脸特征点进行三维姿态校正的结果。

步骤103、以初始化特征点作为基础，进行人脸特征点的精确定位。

主动形状模型是图像特征点定位的基本方法。其主要思路为首先 训练获得每个特征点的纹理特征信息和整体特征点的形状特征，然后 初始化特征点，在每个特征点的邻域内搜索最佳候选点，具体为纹理 特征最相似的候选点，再以整体特征点形状特征在三维方向上来约束 和调节所有候选点作为本次搜索的结果，然后重新在每个特征点邻域 进行搜索，不断迭代直至满足预先定义的阈值。

在本发明中，采用主动形状模型，在每个特征点的邻域内搜索纹 理特征最相似的候选点，并且以三维的初始化特征点对应姿态的整体 特征点形状，来对每次搜索的结果进行约束。然后重新在每个特征点 邻域进行搜索，不断迭代直至满足规定的阈值。具体地，与步骤102 一样，对于每次纹理搜索的候选点，可以利用LM算法获得其三维姿 态，以该三维姿态旋转训练得到的整体形状特征，即获得对应当前姿 态的整体特征点形状，以此对搜索的结果进行形状调节，可以获得更 为准确的特征点形状。在图5中给出了不同方法下人脸特征点定位的 比较。

下面，详细说明本发明的目标图像特征点定位系统。

本发明的目标特征点定位系统包括：关键点定位装置，其定义目 标图像特征点中的关键点，并确定关键点在目标图像中的具体位置； 初始化特征点获取装置，其以所取样本的特征点平均为平均特征点， 根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结 果作为目标图像的初始化特征点；以及目标图像特征点定位装置，以 初始化特征点作为基础，精确定位目标图像特征点。

为便于说明，在以下的说明中，目标图像以人脸图像为例，然而， 本发明的目标图像特征点定位系统当然也可以用于其他图像的特征点 定位，例如，风景图像、动物图像等。

关键点定位装置输入目标图像，输入单张任意姿态人脸图像，定 义人脸特征点中容易精确定位的关键点，并确定关键点在所输入的人 脸图像中的具体位置，即对人脸进行关键点定位。

人脸的关键点定义为眼角，鼻孔，和嘴角共8个点。这些关键点 即部分特征点，每个关键点对应一个特征点，故本发明被称之为两层 特征点定位。在人脸图像上，由于器官周围的边界点具有很强的边缘 特征，更容易进行区分，因此被选作关键点。关键点的定位采用支持 向量机(SVM)分类的方法进行定位，即获得训练样本中每个关键点 的特征，训练SVM分类器，在整幅图像上搜索获得最相似的点作为关 键点的定位。

初始化特征点获取装置根据关键点位置对平均特征点进行二维变 形和三维变形，以变形的结果作为人脸的初始化特征点。

初始化特征点获取装置分为两个部分，第一部分二维变形装置， 具体为位移、形状变形装置，其采用径向基函数对平均特征点进行多 变量离散数据插值；第二部分为三维变形装置，具体为姿态变形装置， 其利用目标图像特征点的深度值，将该深度值赋予经二维变形得到的 二维的平均特征点，得到三维的平均特征点，对该三维的平均特征点 进行旋转迭代，使旋转迭代后的三维的平均特征点与二维的平均特征 点的偏差最小。其中平均特征点形状为所有训练样本的特征点平均。

径向基函数的实质是一种多变量离散数据插值方法。对于已知的 点集，可以以获得最小能量为目的拟合出非线性的函数关系。已知点 集x＝{x₁，x₂，....x_n}和其对应函数值f＝{f₁，f₂，...，f_n}，由这两组值可以建立 函数关系y＝s(x)，使得对于每个点x_i都有f_i＝s(x_i)。该函数关系为

其中p(x)＝ax_o+by_o+cz_o+d表示该点的线性多项式，(x_o，y_o，z_o)为该点 的坐标值，(a，b，c，d)为系数；为插值基函数，|x-x_i|为未知点x与已 知点x_i之间的距离，λ_i为对应每组基函数的权重，其中i＝1，2，...，n。

本发明采用这种插值方法来变形平均特征点形状和位移作为特征 点的位置初始化。定义人脸特征点为t＝(t₁，t₂，...，t_n)，平均人脸特征点记 为其中每个点为二维坐标t＝(x，y)。进行基函数变形的目 的即为变形获得t，使得中以为输入， 可以很容易拟合出相应的径向基函数插值函数。

由于已知t_1～8，所以根据上式可以计算出原函数中系数λ_1～8，a，b，c， 则对于任意平均特征点中的点，可以由上式计算出其变形后的点t，从 而得到根据关键点变形的初始化特征点。该初始化的特征点其关键点 位置和之前定位的关键点保持不变，从而可以确保特征点初始化在人 脸的区域内。在图4(a)中给出了径向基函数初始化的人脸结果。

同时，本发明还引入了Levenberg-Marquardt(LM)迭代算法来获得 初始化人脸的姿态。首先，本发明引入了一个通用三维模型，由于人 脸的深度信息大致相同，本发明借助于该三维模型获得人脸特征点的 深度值。该三维模型的稀疏点包含所有特征点。在归一化三维模型和 特征点后，直接将三维模型的深度值赋予经上述二维变形的平均特征 点，即获得三维的平均特征点，该三维特征点可以记为 S_3D＝(d₁，d₂，...，d_n)，其中每个点表示一个三维点d＝(x，y，z)＝(t，z)。旋转 该三维特征点可以得到

S_3D′＝F(S_3D)＝sR(α，β，γ)S_3D+t

其中s，(α，β，γ)，t分别为尺度，旋转，平移因子。

LM算法是一种迭代最优的算法。其迭代的目的即使S_3D′与径向基 函数初始化后特征点t之间的偏差最小。由于t为二维特征点，因此记 该距离为

$E=d(t,{S_{3D}}^{\text{'}})=\underset{i}{\Sigma }{(x_i-{x_{3\mathrm{Di}}}^{\text{'}})}^2+{(y_i-{y_{3\mathrm{Di}}}^{\text{'}})}^2=d(t,F\left(S_{3D}\right))$

迭代使得E最小，即获得了相应的旋转参数s，(α，β，γ)，t。对径向 基函数初始化的特征点进行旋转变换，即得到了形状，姿态，位移变 换后的人脸特征点定位。在图4(b)中给出了相应的三维特征点和利 用LM算法获得的人脸姿态。在图4(a)中给出了对径向基函数初始 化人脸特征点进行三维姿态校正的结果。

目标图像特征点定位装置以初始化特征点作为基础，进行人脸特 征点的精确定位。

主动形状模型是图像特征点定位的基本方法。其主要思路为首先 训练获得每个特征点的纹理特征信息和整体特征点的形状特征，然后 初始化特征点，在每个特征点的邻域内搜索最佳候选点，具体为纹理 特征最相似的候选点，再以整体特征点形状特征在三维方向上来约束 和调节所有候选点作为本次搜索的结果，然后重新在每个特征点邻域 进行搜索，不断迭代直至满足预先定义的阈值。

在本发明中，采用主动形状模型，在每个特征点的邻域内搜索纹 理特征最相似的候选点，并且以三维的初始化特征点对应姿态的整体 特征点形状，来对每次搜索的结果进行约束。然后重新在每个特征点 邻域进行搜索，不断迭代直至满足规定的阈值。具体地，与步骤102 一样，对于每次纹理搜索的候选点，可以利用LM算法获得其三维姿 态，以该三维姿态旋转训练得到的整体形状特征，即获得对应当前姿 态的整体特征点形状，以此对搜索的结果进行形状调节，可以获得更 为准确的特征点形状。在图5中给出了不同方法下人脸特征点定位的 比较。