注意力引导下的面部动作单元级表情编辑方法——AUA-GAN

摘要

为解决图像转换过程中产生的伪影问题,利用生成对抗网络(GAN)生成逼真的人脸表情变化,提出了一种注意力引导下的面部动作单元(AU)级表情编辑方法。首先,在数据预处理部分加入正脸恢复模块,当输入图像的姿态偏转较大时,先经过正脸恢复再进行表情编辑,可以有效提高表情生成质量。其次,生成模块中的生成器和判别器网络内置注意力机制,使图像转换集中在人脸区域,忽略不相干的背景信息。最后,在公开数据库CelebA上训练模型,并选取CK+和CASIA-FaceV5数据库进行图像生成实验。结果表明生成图像与目标图像间的结构相似性(SSIM)为0.804,生成图像的平均表情识别准确率为0.644,重建图像与真实图像间的SSIM为0.951。AUA-GAN可以在较好地保持原有身份信息的前提下,生成清晰准确的人脸表情变化。