一种门控卷积生成对抗网络的图像修复算法

摘要

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素。针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系。算法采用边缘修复加纹理修复的两阶段生成对抗修复网络。首先,用边缘检测算法检测出破损图像中已知区域的结构;然后,将掩码区域的边缘与已知区域的颜色和纹理信息结合起来进行结构修复,再将完整结构与待修复图像一起送入纹理修复网络中进行纹理修复;最终输出得到完整图像。在网络训练过程中,采用谱归一化马尔科夫判别器以改善迭代过程中权重变化缓慢的问题,从而加快收敛速度、提升模型精度。在Places2数据集上的实验结果表明,所提出的算法在修复破损区域形状不一、大小不一的图像时,相较于之前的两阶段修复算法,在峰值信噪比和结构相似性上分别提高了3.8%和3.0%,且主观视觉效果提升明显。