基于Kinect的主动外观模型及在表情动画上的应用

摘要

面部特征点定位和跟踪是计算机视觉领域非常活跃的研究方向，其成果被用于人脸识别、姿态分析、表情分析、表情传递、人机交互、心理认知等。并为扩展出的应用，如身份识别、网上聊天、视频压缩、特效影视创作、人机交互等提供输入。它的发展还带动了相关学科领域的发展，如医学图像分析等。但由于人脸表情的复杂性，面部特征点定位和跟踪问题仍未能得到完美解决，仍是本领域的研究热点。常用的面部特征点主要围绕眼、口、眉毛以及外轮廓，典型的如嘴角，这些特征点的位置可以通过分析图像提取。
　　面部特征点的定位和跟踪，倘若单纯依靠二维RGB图像和二维模型，易受背景和光照姿态等变化的影响，所以现在的研究中越来越多的倾向于使用三维模型和深度信息。Kinect可以同时提供深度图像和RGB图像信息，为视频中进行面部特征的提取提供了新的工具。
　　提取到面部特征点后，可以分析其表情信息，并传递到目标脸上。由于脸型的差异和表现出的表情各不相同，需要在视频中人脸的特征信息和目标脸的表情信息二者之间找到一种合适的映射关系。
　　本文主要解决这两方面的问题，一是如何从视频中提取表情或者特征点信息，二是提取后如何驱动线条动画。以下列出本文所研究的问题:
　　(1)从同时包含深度图像和二维图像的视频中准确提取面部特征点的位置，并进行跟踪。这一方面的研究又包含两部分内容，一部分为多视角下的，即头部转动情况下的面部特征点的定位问题，另一部分为位于面部边缘约束下的特征点定位问题。
　　①基于Kinect的多视角主动外观模型
　　面部特征点提取中，精度和鲁棒性是研究的关键。面部特征点的提取易受光照和姿态的影响，带来很大的匹配误差。而使用红外，从Kinect中获取的三维深度图像受光照的影响较小，引入的深度也可以增强姿态判断的准确性。由于附加的三维深度图像和二维图像是来自两个摄像头，在摄像头之间存在视角差异，其像素点也并非一一对应的，因此需要解决其对应关系，从而来获得各像素点的深度值。同时，初始化的优劣对主动外观模型的影响很大，在多视角下，头部姿态提取后如何初始化和选择匹配模型，是我们研究的问题之一。
　　②基于边缘约束的AAM轮廓特征点定位
　　传统的主动外观模型采用图像信息进行匹配，在复杂背景环境下，不仅初始化人脸位置比较困难，而且在匹配时容易受背景的影响。而采用深度摄像头后，从深度数据中，可以较为准确的找到物体的边缘。由此可以用其对位于边缘上的面部特征进行约束，提高其匹配精度。引入三维信息后如何对面部特征进行约束，也是本文研究的问题。
　　(2)视频驱动面部线条动画
　　面部线条动画是一门富有生命力的艺术形式，在从视频序列制作连续的动画时，需要研究如何从视频的人脸上尽可能简便地提取表特征参数，并用其驱动线条动画。
　　本文的主要内容和贡献体现在如下几点:
　　(1)为解决深度相机下主动外观模型的初始化及头部视角变化问题，提出了一种深度相机下多视角主动外观模型的初始化和视角模型选择方法，提高了算法的准确性。
　　本文将主动外观模型方法进行扩展，提出了一种同时利用深度图像和彩色图像的人脸特征点定位方法。在采样不同视角的图像，训练得到不同视角的AAM模型的基础上，提出了一个基于人脸深度图像和特征点建立人脸三维网格模型的方法，并利用三维网格模型对不同视角下的人脸进行AAM初始化和多视角模型的选择方法，提高了多视角下AAM定位的精度和鲁棒性。
　　(2)针对面部特征点定位时，轮廓边缘特征点定位精度较低的问题，提出一种利用深度图像对边缘特征点进行约束的方法，可以有效的提高边缘特征点的匹配精度。
　　本文提出的算法中提取脸部轮廓边界作为约束加入AAM能量函数中进行迭代，从而使其更接近实际轮廓。实验表明算法可以有效提高轮廓特征点的定位精度。不过由于在优化时更多的考虑边界上的点，而形变是对全局进行的，在改变匹配系数适应约束点时，内部其他点的位置会发生变化，略微降低了其他特征点的精度。
　　(3)针对视频序列驱动线条动画的问题，提出一种利用AAM匹配过程提取的形状参数驱动线条动画的方法，并设计了应用工具实现输出全过程。
　　线条模型由固定的背景和带宽度的Bézier曲线表示的眼睛、眉毛和嘴唇构成。输入的视频通过AAM提取当前面部特征点的位置，并分解成特定用户的基础表情组合，然后使用该组合的系数驱动线条动画模型的曲线控制点位置以生成动画。该方法易于实现，表情的基本参数较少，方便传输和存储。输出的视频能保持输入的表情变化，并可在本文提供的工具中进一步编辑。由于使用的是组合系数的方法，可以方便的扩展到其他模型上。