基于双层级联GAN的草图到真实感图像的异质转换

摘要

不同于pix2pix框架将边缘线条图转换为真实感图像的工作,文中探讨更便于人机交互的手绘草图到真实感图像的转换问题.首先设计双层级联生成对抗网络(GAN)结构实现转换任务.第一层GAN根据草图的形态结构、语义内容等信息生成粗粒度真实感图像,第二层GAN将第一层的结果转换为更生动形象的高分辨真实感图像.然后,针对上述网络训练中现有可用的"草图-图像"数据集十分稀缺的问题,提出依据给定的图像自动生成模拟草图数据的方法.通过改进HED边缘检测算法获得草图轮廓,并采用移动最小二乘策略对轮廓进行变形,模拟草图形态意向可辨、线条简洁、具有随意性的特点.实验表明,将手绘草图作为输入,文中方法转换结果图的合理性和视觉真实感优于基于边缘线条图训练的方法.此外,文中方法可以推广到涉及草图处理的其它应用领域.