基于端到端多任务多尺度神经网络的实时三维人脸重建方法

摘要

本发明涉及一种基于端到端多任务多尺度神经网络的实时三维人脸重建方法及系统，其方法包括：步骤S1：定义多尺度人脸几何表示模型；步骤S2：构建基于真实人脸图像的训练数据集；步骤S3：构建并训练端到端的多任务多尺度神经网络，输入人脸图像到所述端到端的多任务多尺度神经网络，输出表示人脸区域的人脸二值遮罩图，表示人脸粗尺度几何的深度图，表示人脸细节的深度偏移图。本发明公开了端到端的多任务多尺度神经网络，由骨干网络和子网络组成。骨干网络与子网络采用不同的网络结构，骨干网络提供不同子网络需要的多层级多尺度特征表示，保证了不同子网络使用的特征独立性，最大程度降低了多任务网络带来的时间损耗。