多视角约束级联回归的视频人脸特征点跟踪

摘要

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关(NCC)模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明:该算法的平均误差小于眼间距离的10%。