基于Pix2Pix的人脸素描图像生成方法研究

摘要

鉴于Pix2Pix在图像风格转换等图像翻译任务中存在细节丢失、生成图像模糊等问题,无法满足当前人脸素描生成任务的目标要求,提出一种改进的Pix2Pix模型。通过引入基于自注意力机制的残差卷积模块,让Pix2Pix的生成器和鉴别器在训练过程中能够为人脸图像的不同区域和通道赋予不同的权重,从而提高生成的人脸素描图像的质量,并且对Pix2Pix生成器的损失函数进行改进,使其生成的人脸素描图像更具有手绘风格。同时,针对生成对抗网络训练困难的问题,对原Pix2Pix的训练方法进行了改进。通过与Pix2Pix和CycleGAN对比,使用改进的Pix2Pix模型在训练过程中损失函数收敛更快、收敛过程更稳定,且生成的人脸素描图像在细节保留、轮廓清晰度等方面优于原Pix2Pix等模型,验证了改进Pix2Pix模型在人脸素描生成任务中的有效性。