基于单目RGB摄像机的三维人脸表情跟踪算法

摘要

利用单目摄像机对人脸表情进行三维跟踪有两个关键问题,一是从单幅图像中重建人脸的三维模型,二是建立不同三维模型之间稠密的对应关系。针对上述问题,提出一种有效的三维人脸表情跟踪算法。对输入的各帧人脸图像进行自动特征点检测,并根据2D特征点,利用Multilinear Model重建不同表情的三维模型。通过将三维模型重投影至图像空间,计算各帧图像间的Optic Flow与Sift Flow对应。根据图像间的对应关系,利用Laplacian网格变形对三维模型进行修正,建立不同表情之间三维的稠密对应。试验表明,该方法可以重建出较为真实的三维人脸表情模型,同时可以精确跟踪连续变化的三维表情序列。