单目RGB-D相机实时人脸重建方法及装置

摘要

本发明公开了一种单目RGB‑D相机实时人脸重建方法及装置，其中，方法包括：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；根据人脸特征点的位置得到当前帧每个特征点的三维坐标；获取关键帧上每个人脸特征点的当前三维坐标；根据三维坐标和当前三维坐标得到关键帧到每一帧的全局刚性运动，以得到刚性运动结果；使用刚性运动结果作为ICP的初始化，以微调人脸刚性运动；将刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。该方法有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。