一种基于深度学习的人脸残缺扫描补全方法、装置

摘要

本申请提出一种基于深度学习的人脸残缺扫描补全方法：取深度相机采集的深度图像和彩色图像；检测彩色图像中的二维人脸特征点并根据相机内参和深度图像中的深度信息生成人脸扫描的三维人脸特征点，根据三维特征点将人脸扫描大致对齐到模板人脸所在的标准坐标系；使用迭代最近点算法将人脸扫描更精确地和模板人脸对齐；使用拉普拉斯变形算法将模板人脸拟合到对齐后的人脸扫描；在拟合结果上设置距离阈值，去除人脸扫描中的冗余表面；使用PointNet自编码器对人脸区域的残缺点云进行几何形状的补全，生成完整的人脸点云。本申请解决人脸扫描位姿不同以及含有冗余表面问题，利用神经网络补全人脸几何形状，从而得到更好补全效果。