一种基于深度卷积对抗式网络的数字壁画图像修复方法

摘要

本发明公开了一种基于深度卷积生成对抗网络的壁画图像修复方法，为了解决壁画修复领域存在的数据集不完全，修复图像分辨率不高、细节缺失等问题，提出基于深度卷积生成对抗网络的壁画图像修复方法。首先使用完好图像训练DCGAN网络，再根据图像修复损失函数(包括先验损失和上下文损失)更新生成器参数得到修复图像。损失计算过程中通过添加权重矩阵，集中网络注意力。该方法在衣物壁画修复方面取得了较好的效果，在色调细节等方面表现良好。

说明书

技术领域

本发明属于数字图像修复技术，特别涉及针对破损壁画图像的基于深度卷积对抗式网络的图像修复方法。

背景技术

壁画作为一种古老的绘画形式，承载了厚重的历史和文化，具有极高的艺术价值。但是，随着时间的推移，由于自然和人为的原因，中国古代壁画有许多都遭到破坏，壁画的修复工作刻不容缓。然而，传统的手工壁画修复工艺存在诸多缺点：耗费大量人力、工作环境艰苦、修复耗时长、技术要求高、修复结果不可逆等。

随着计算机技术的发展和图像补全算法研究的不断深入，数字图像补全技术为壁画修复提供了一个全新的解决方案。数字图像补绘克服了人工修复的诸多缺点，可以节省大量人力和时间资源，同时避免了对壁画文物的二次损耗。传统的数字图像补绘技术补全图像速度较快，结果较为稳定，主要可分为两类：基于偏微分方程的图像修复和基于最佳匹配块的修复算法。其中，基于偏微分方程的方法是采用传播机制将已知信息传播到待修补区域来实现图像修复。基于最佳匹配块的方法是设计一个匹配原则，在全局搜索出与缺失区域相似度最高的图像块来填充缺失部分。这些传统方法通常只能提取到图像的浅层信息和特征，补全后的图像清晰度低，语义修复困难。之后随着深度学习技术的发展，人们将神经网络应用于图像补绘领域。深度学习技术可以通过大量的壁画图像，学习其深层特征和内容信息，修复结果更加精确，更加符合原壁画内容。

深度学习的图像修复与补绘方法大致分为两种：基于自编码器(Autoencoder,AE)的和基于生成对抗网络(Generative Adversarial Networks,GAN)的图像修复方法。

1)基于AE的图像修复方法

2016年，Pathak等人提出的上下文编码器(Context-Encoder)首次较好地将深度学习应用于图像补绘领域。虽然该方法实现了无监督的图像修复，但是修复后图像仍存在一致性较差、分辨率低等问题。针对上下文编码器纹理细节粗糙的问题，2017年，Chao等提出了一种高分辨率图像补全方法(High-Resolution Image Inpainting)，将网络分为内容生成和纹理生成两部分。该方法在细节方面处理效果较好，但是算法复杂度高，并且没有应用于不规则破损区域的修复。之后，部分卷积(Partial Convolutions)和门控卷积(GatedConvolutions)较好地解决了不规则区域的修复问题。

2)基于GAN的图像修复方法

因为生成对抗网络能够在全局提取图像的语义内容等深层特征，所以可以利用其生成器强大的图像生成能力完成图像修复任务。基于DCGAN(Deep ConvolutionGenerative Adversarial Networks)的图像修复方法、GL(Globally and locallyconsistent image completion)方法和粗到细(Coarse-to-fine)的修复模型为效果较好的图像修复方法。基于DCGAN的方法采用完好的图像对模型进行训练，因此它更适合于任意形状区域的破损，对于大面积的破损也有更好的修复效果。但是此方法依赖于DCGAN模型的训练结果，因此更加适用于人脸这样特征较为明显，结构较为简单的数据集，对于复杂场景的数据集修复结果并不理想。GL方法用于解决复杂场景和不规则破损区域的修复，其判别器分为全局和局部两个。粗到细模型生成器有粗网络和细网络“串联”而成，分别用于分析语义和完善细节，扩大了网络的感受野。

虽然深度学习的方法在图像修复领域得到了广泛的应用并取得了较好的效果，但是由于壁画图像自身的特点，在修复方面，仍然有很多问题尚未解决：

(1)在数据集方面，深度学习的图像修复方法多数是使用人脸、汽车或是其他自然场景的数据集，这些数据集通常结构较为简单，特征非常一致，这一点与壁画数据集有很大不同。我国待修复的壁画(如敦煌莫高窟壁画)包含众多时代的作品，每个时代的风格相差很大。而且由于壁画所描绘的场景通常比较复杂宏大，即使是同一张图像的不同部分，也较难找到非常相似的特征。因此，由于风格统一并且清晰完整的壁画图像较少，壁画修复方面的数据集并不完备。

(2)在壁画修复方面采用自编码器结构较为常见，可以修复壁画中任意的破损区域，但是该结构修复的结果存在纹理细节不清晰，修复部分与全局一致性较差等问题。

发明内容

针对现有技术的问题，本发明提出基于深度卷积对抗式网络的数字壁画图像修复方法，实现任意区域破损、高分辨率的壁画图像修复。本发明主要内容如下：

步骤1，收集壁画图像，进行裁切和筛选，构建实验所需训练集；人为构建掩膜，模拟破损壁画图像，构建实验所需测试集；

步骤2，构建基于DCGAN的数字壁画修复模型，使用训练集对该模型进行训练，直至模型生成较为真实且清晰的壁画图像，保存模型参数；

所述基于DCGAN的数字壁画修复模型包括结构基本对称的生成器和判别器，其中生成器包括多个微步卷积，判别器包括多个跨步卷积和一个sigmoid层；

所述基于DCGAN的数字壁画修复模型的输入为噪声向量，生成器的输出为壁画图像；

步骤3，利用步骤2中保存的模型参数，使用测试集中模拟的破损壁画图像，通过计算损失函数，更新模型参数，迭代多次直到完成图像修复，其中损失函数包括先验损失和上下文损失。

进一步的，步骤1中壁画图像数据集，为了使数据集中图像风格统一，对收集到的壁画图像进行了以下预处理：

步骤1：图像裁切

因为DCGAN网络生成的图像均为相同大小，其判别器的输入也均为相同尺寸图像，因此将唐代壁画图像裁切为K*K的图像块，该过程采用重叠切割的方式，从而增加图像块数量，扩充数据集；

步骤2：数据筛选

裁切之后为了统一风格，进一步进行筛选，仅选取人物衣物部分，得到唐朝人物衣物壁画图像，将其作为训练集；

步骤3：破损壁画模拟

人为构建掩膜，并将掩膜和完好的壁画图像叠加，模拟壁画破损。

进一步的，所述基于DCGAN的数字壁画修复模型中，判别器的第一个跨步卷积层和生成器的最后一个微步卷积层后面没有使用BN层，其他层后面均使用了BN层。

进一步的，所述基于DCGAN的数字壁画修复模型中生成器的最后一个微步卷积层使用tanh函数，生成器中其他层使用ReLU函数，判别器中每一层均使用Leaky ReLU函数。

进一步的，所述基于DCGAN的数字壁画修复模型的训练过程如下；

使用训练集中完好无损的壁画图像对DCGAN网络模型进行训练，网络的输入为100噪声向量，为从标准正态分布中抽取的一组随机数，输出为64*64大小的壁画图像；

首先初始化判别器和生成器的网络参数，从训练机抽取n个样本，生成器利用噪声向量生成n个样本；固定生成器参数，训练判别器，使其尽可能区分真假；固定判别器，训练生成器，使判别器无法区分真假；多次迭代后，判别器无法判别图像是来自生成器还是来自真实数据集，生成器能够生成较为真实的壁画图像，最终保存模型参数。

进一步的，所述基于DCGAN的数字壁画修复模型中先验损失的作用是使修复后的结果尽量接近真实的壁画图像，其计算公式如下：

Loss

其中，z为输入的噪声向量，D表示判别器，G表示生成器，G(z)表示生成图像，修复前判别器和生成器使用完好无损的壁画图像训练得到的模型参数；

上下文损失的作用是使修复结果向破损图像靠近，而不是生成虽然真实，但是与原图毫不相关的修复图像；将修复图像与破损图像做差再乘上权重矩阵即可得上下文损失，其计算公式如下：

Loss

其中W为权重矩阵，其尺寸与输入图像相同，y表示破损图像，即掩膜之后得到的待修复图像；权重矩阵W由掩膜图像M计算得到：对于破损区域，掩膜位置即为破损区域，破损区域像素值为0，生成图像与破损图像的差值不计入损失函数，即权重为0；对于其余像素，以该像素点为中心，取3*3大小的窗口，窗口中破损的像素越多，即掩膜像素为0越多，则权重值越大；除破损区域像素外，所有权重值低于a的像素点均赋a权重值；其计算公式如下：

其中M

与现有技术相比，本发明的优点和有益效果为：DCGAN模型的训练过程无监督，使用完好的壁画图像，不需要掩膜，更适用于任意破损区域的修复。该模型使用生成对抗网络，生成图像更加真实、清晰度和一致性高。图像修复过程中，计算损失函数加入权重矩阵，使修复网络的注意力集中于破损区域，减轻较大块破损区域修复出现的模糊、细节缺失的问题。

附图说明

图1为本发明实施中人为掩膜构建过程；

图2为本发明实施中DCGAN网络生成器的具体结构；

图3为本发明实施中DCGAN网络的训练流程；

图4为本发明实施中壁画图像修复的模型架构和流程；

图5为本发明实施中壁画图像修复结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明。本发明提供的一种基于深度卷积对抗式网络的数字壁画图像修复方法，具体包括如下步骤：

(1)收集唐代敦煌壁画人物衣物部分图像并构建数据集。构建的数据集中图像风格统一且清晰完整，同时人为构建掩膜，模拟破损壁画，作为图像修复的训练集。人为构建掩膜是通过绘制掩膜图像，再和原图像叠加，模拟破损效果，构建过程如图1

(2)构建基于DCGAN的数字壁画修复模型，其中图像生成模型训练完成后，图像修复过程通过上下文损失和先验损失，对生成器参数进行更新，从而获得符合破损壁画内容的修复结果。在计算上下文损失的过程中，增加权重矩阵，将生成网络的注意力集中于破损区域。

基于DCGAN的壁画修复模型构建过程如下：

步骤1：构建清晰且风格统一的壁画图像数据集。使用训练集中完好无损的壁画图像对DCGAN网络进行训练。网络的输入为100维的噪声向量，为从标准正态分布中抽取的一组随机数，输出为64*64大小的壁画图像。经过多次迭代，直到网络可以生成较为真实的壁画图像，保存模型参数。DCGAN网络生成器结构如图2，判别器和生成器基本对称。判别器和生成器的具体网络结构与参数如下：

模型训练过程与生成对抗网络常规训练过程相同：初始化判别器和生成器的网络参数；从训练机抽取n个样本，生成器利用噪声生成n个样本；固定生成器参数，训练判别器，使其尽可能区分真假；固定判别器，训练生成器，使判别器无法区分真假；多次迭代后，理想状态下，判别器无法判别图像是来自生成器还是来自真实数据集，模型训练过程如图3。

步骤2：使用步骤1中保存的模型，输入任意100维噪声向量z，经过生成器，得到输出图片G(z

步骤3：计算损失函数，包括先验损失Loss

先验损失的作用是使修复后的结果尽量接近真实的壁画图像。其计算公式如下：

Loss

其中，z为输入的100维噪声向量，D表示判别器，G表示生成器，G(z)表示生成图像，修复前判别器和生成器使用步骤1中未破损图像训练得到的参数。

上下文损失的作用是使修复结果向破损图像靠近，而不是生成虽然真实，但是与原图毫不相关的修复图像。将修复图像与破损图像(即掩膜之后得到的待修复图像)做差再乘上权重矩阵即可得上下文损失，其计算公式如下：

Loss

其中W为权重矩阵，其尺寸与输入图像相同，y表示破损的图像。权重矩阵W由掩膜图像M计算得到。对于破损区域(掩膜位置即为破损区域，破损区域像素值为0)，生成图像与破损图像的差值不计入损失函数，即权重为0；对于其余像素，以该像素点为中心，取3*3大小的窗口，窗口中破损的像素越多(即掩膜像素为0越多)，则权重值越大；除破损像素外，所有权重值低于0.1的像素点均赋0.1权重值。其计算公式如下：

其中M

步骤4：通过损失函数计算结果，更新模型参数，并且不断迭代(即：重复步骤2、3、4)，直到生成与原破损图像相似的修复后结果G(z

本发明可以使用计算机来进行网络的训练和推断，在windows操作系统下使用Pytorch深度学习框架实现。具体的实验环境配置如下：

具体实施如下：

步骤1：数据集搭建。由于DCGAN网络适用于特征风格统一的图像数据集，但是对于壁画图像，不同朝代的绘画风格相差很大，所以难以直接对不同时期的壁画数据进行学习。因此收集壁画图像时，选取敦煌壁画中的唐代壁画，保持数据集中图像的风格基本一致，便于网络学习其特征。最终收集唐代壁画图像共计95张，图像大小不等，水平和垂直像素数大致在500到1000之间。因为DCGAN网络生成的图像均为相同大小，其判别器的输入也均为相同尺寸图像，因此我们将唐代壁画图像裁切为64*64的图像块，这里采用重叠切割的方式，增加图像块数量。裁切之后为了统一风格，再进行筛选，仅选取人物衣物部分，最终得到9299张唐朝人物衣物壁画图像，将其作为训练集。构建测试集时，首先构建掩膜，再将掩膜图像和原始未破损图像叠加，模拟壁画破损。测试集共有950张壁画图像，占训练集的10.2％。

步骤2：DCGAN模型训练。使用训练集中清晰的壁画图像对DCGAN网络进行训练并保存训练后模型参数。DCGAN模型整体架构与GAN网络类似，生成器和判别器结构则是在CNN的基础上进行了一些改进。

(1)在网络中没有使用池化操作，而是使用卷积代替。在生成器中使用微步卷积(fractional-strided convolution)，在判别器中使用跨步卷积(strided convolution)。

(2)在DCGAN中顶部卷积层之后，取消了全连接层。这是因为全局的平均池化导致DCGAN模型的收敛速度下降，因此网络中选择直接将生成器的输出作为判别器的输入，而没有在之间使用全连接层。在判别器中，最后一个卷积层的输出向量则是展平后输入sigmoid函数，从而得到一维的输出。

(3)在网络中使用批归一化处理(Batch Normalization，BN)，使得学习过程更加稳定。BN对于层数较多的深度模型很有帮助，能有效处理由于初始化不当引起的训练问题，防止传统GAN网络常出现的模型坍塌问题。但是BN的使用并不是越多越好，它对模型的稳定性也有一定影响，因此在DCGAN中，判别器的输入层和生成器的输出层没有使用BN，有效避免了这一问题。

(4)在激活函数方面，DCGAN生成器的输出层使用tanh函数，生成器中其他层使用ReLU函数，判别器中每一层均使用Leaky ReLU函数。

步骤3：使用测试集中模拟的破损壁画图像，通过计算损失函数(包括先验损失和上下文损失，其中上下文损失计算加入权重矩阵)，更新模型参数，迭代多次直到完成图像修复。修复效果如图5，在主观视觉上，修复结果的细节清晰度、色调和一致性良好。在细节方面，修复结果清晰地还原了破损区域，没有出现大面积模糊等影响视觉感官的情况。在色调方面，修复图像很好地还原了原图像的色彩，视觉上几乎没有偏差。在一致性方面，修复的部分能够很好地与周围其他像素融合，图像整体较为平滑一致，并没有突兀的，明显可察觉的阶调或是颜色变化。从修复结果可以看出，对于不规则区域的破损，DCGAN网络很好地完成了修复任务，在色调、细节等方面成功地还原了原图。在客观评价方面，使用测试集中的950张图像就行修复，并计算峰值信噪比PSNR和结构相似性SSIM值，修复后图像数据如下：

在损失函数计算时，若不适用权重矩阵，所得实验数据如下：

由实验数据可得，加入权重矩阵后，图像修复后PSNR和SSIM值均得到提升，权重矩阵对于壁画图像修复具有积极作用。其中，PSNR值在30dB以上，表明壁画修复结果良好，图像失真并不明显，在人眼视觉可接受的范围内。同样，结构相似性指标平均值达到0.96，与原图像相似度很高，达到了预期的修复效果。

本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。