一种面向人脸重演中表情分离任务的弱标注学习方法

摘要

本发明涉及一种面向人脸重演中表情分离任务的弱标注学习方法，本发明设计了一个人脸重演框架，包含一个面部网络，一个身份编码器，一个运动特征提取器，一个AdaAttN模块和两个判别器(图像质量判别器和身份判别器)。其中，面部网络和身份编码器需要通过预训练分别实现编码给定图像的面部信息和身份信息。此外，本发明使用多尺度的驱动图像的面部信息特征减去身份信息特征得到对应尺度的驱动图像的面部运动特征，并迁移图像翻译任务中的AdaAttN模块，以融合驱动图像的多尺度面部运动特征，并将其作为弱标注指导重演图像的生成。本发明能够在无需附加面部信息标注(如面部标志点、轮廓线等)的同时，解决运动特征的解耦问题，实现高质量的人脸重演。