实时面部捕捉技术在虚拟演播室中的应用研究

摘要

针对虚拟演播室应用中常见的人体和人脸捕捉与重建的特征识别数据量大、计算耗时长、识别准确率较低、易于导致跟踪失败等问题,提出了一种基于单摄像头的人脸识别和参数化的方法.方法 基于MTCNN技术获取人脸的轮廓和特征点坐标,然后基于SFM人脸标准模型进行特征拟合,实时计算并得到摄像头画面对应的人脸模型顶点和三角面信息,从而实现数据驱动的虚拟人效果.借助这一算法,开发了虚拟演播室应用中的人体和人脸捕捉与重建原型系统.实验表明,上述算法识别特征数据快、识别准确率高、运行速度快,克服了跟踪失败问题、设备成本低,运行效果平滑稳定,用户反馈良好.