面向虚拟试戴系统的人脸位姿估计方法

摘要

在虚拟试戴系统中,虚拟物体需要精准地叠加至实时的人脸图像上,这决定了虚拟试戴系统的体验感,其中的关键技术在于快速准确地估计人脸的实时三维空间位姿.针对这一技术要求,提出一种实时估计人脸位姿的方法,并构建了虚拟试戴原型系统.首先使用深度相机采集人脸数据,分析单帧正面图像的彩色和深度信息,计算人脸特征点三维数据;然后结合从视频帧中提取的实时人脸特征点二维数据,使用直接线性变换法求解出人脸的实时位姿.基于消费级深度相机Astra Mini S和Unity3D引擎开发了原型系统,并进行了虚拟试戴实验;使用Biwi数据集检验位姿估计方法的精确度,并且在不同光照和部分人脸遮挡的条件下测试方法的鲁棒性.实验结果表明,文中人脸位姿估计方法的实时性、精确度和鲁棒性均能满足虚拟试戴系统的体验感.