改进条件生成对抗网络的文本生成图像方法

摘要

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息.另外,将文本词信息引入判别器中,得到的对抗性损失作为“信号”引导生成器高效训练.在CUB鸟类数据集和COCO数据集上的实验结果表明,TxtGAN模型优于基线方法,同样可以生成较为真实的高分辨率的图像,并且较好地解决了多阶段训练的缺陷.