基于特征向量变换GAN的多域图像转换方法

摘要

生成对抗网络(Generative Adversarial Nets,GAN)在图像翻译及多域图像转换方向已取得显著成功,但现有用于多域间图像转换的GAN大部分使用了多个生成器G及判别器D,导致网络训练参数量过大,数据集不能充分利用.针对以上问题,基于StarGAN和多模态无监督图像转换方法,提出基于特征向量变换的GAN模型.首先,将源图像编码成内容向量加特征向量的形式;然后将提取到的特征向量从源域转换到目标域而保持内容向量不变;最后完成图像重构.该模型仅使用一对生成器G和判别器D,有效地解决了上述问题.相较于现有模型,新模型不仅适用于多域图像转换,还可以从噪声生成指定图像.在CelebA数据集上的实验结果表明新模型与现有模型相比在多域人脸属性转换方面表现出更好的效果.