改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法

摘要

本发明公开了一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，包括以下步骤：取壁画集中的任一一幅壁画分块图像Ir，再对其进行下采样为{Ir0,Ir1,Ir2,Ir3,Ir4}，其中，Im4为掩膜后下采样4次的壁画；向生成器的最底层输入Im4，经生成器G4生成外延性壁画G4(Im4)，将G4(Im4)与Ir4输入到判别器D4进行比较判别，并根据损失函数更新该层的权重参数；得生成器中各层的权重参数；利用训练集及判别器对生成器进行训练，使得生成器与判别器达到纳什均衡，然后利用训练后的生成器进行墓室壁画分块间缺失信息的重构，该方法能够实现壁画分块间外延性信息的重建。

说明书

技术领域

本发明属于数字图像修复领域，涉及一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法。

背景技术

墓室壁画对我国古代史和艺术史有着双重重要的意义，它真实地反映了古代中国人的生活状况、社会风尚和艺术趣味,同时也反映了人们的宗教信仰、丧葬文化等诸多方面的状况。由于墓室壁画与殿堂壁画与石窟寺壁画不同，其深埋地下数千年，未挖掘之前完全是密闭的空间，残留信息可靠性强。且墓室壁画幅面较大，以章怀太子墓马球图为例：壁画长近7米高3米。在上世纪七八十年代的考古挖掘条件下，只能采取分块揭取的方式。这就产生了大量分块保存的珍贵墓室壁画，而揭取的过程也让壁画产生了块间信息缺失，影响整幅壁画的连贯性与完整性。

目前计算机辅助古代壁画进行数字信息修复的方法digital Image inpaiting是通过检索图像信息缺失区域的边缘，利用图像残存信息从边缘扩散并填充到缺损区域内部，如剥洋葱般层层填补信息空洞，最终完成壁画信息的重建。此类技术主要从两个技术方向来完成，一方面是基于像素扩散的PDE类模型，其通过计算填充前缘的高阶偏导函数，利用不同的扩散方程完成信息填充，缺点是当画面信息缺失较大时会产生模糊现象；另一方面是基于样本填充的纹理合成类模型，其通过比对存留样本与填充前缘的相关性，按照一定的填充顺序完成信息补全，缺点是大量相似样本的填充会产生马赛克效应。这两种方法面临缺失区域较大时均不能达到良好的墓室壁画修复效果，且仅从现有残存信息中寻找可用信息，局限性较大，对于分块壁画只能向内填充空洞，无法达到分块壁画间外延性信息的重建需求。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，该方法能够实现壁画分块间外延性信息的重建。

为达到上述目的，本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法包括以下步骤：

1)对墓道中分块挖掘的一幅壁画的多个分块进行图像采集，获取壁画分块图像，对壁画分块图像添加掩码后进行min-max标准化，再通过标准化后的壁画分块图像构建图像集，将该图像集作为SinGAN生成壁画间外延性信息的训练集；

2)构建基于SinGAN且包含5个尺度的生成器及判别器的生成网络，并增加重构损失L

3)取壁画集中的任一一幅壁画分块图像I

4)向生成器的最底层输入I

5)重复步骤4)，得生成器中各层的权重参数；

6)利用训练集及判别器对生成器进行训练，使得生成器与判别器达到纳什均衡，然后利用训练后的生成器进行墓室壁画分块间缺失信息的重构。

采用像素重建损失，以捕捉壁画生成区域周边的整体像素信息，即

其中，M为二进制掩码，I

利用Gram矩阵设计纹理损失，即

其中，G为Gram矩阵，l

设计重构损失为：

L

其中，G

重构的损失L

L

L

其中，L

设计多尺度生成器与判别器结构，设{I

使用SSIM来衡量两张壁画之间的保真度及相似性，其中，

其中，

本发明具有以下有益效果：

本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法在具体操作时，采用改进损失函数后的SinGAN生成壁画分块两边的外延性信息，实现地下墓室挖掘出土的壁画分块间缺失部分的重建，相对于传统的数字图像修复采用图像补全(imageinpainting)的方法进行墓室壁画的信息填充，本发明更适合壁画分块向外延展性生成画面信息，需要说明的是，本发明能够实现分块揭取的墓室壁画分块间大量信息的重建，相比于inpainting填充，能够有效保证全局信息的一致性及连贯性。

附图说明

图1为本发明中生成判别流程图；

图2为本发明中训练后的壁画图；

图3为本发明中原壁画图；

图4为本发明中SSIM值的计算结果图；

图5为本发明中壁画生成结果图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参考图1，本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法包括以下步骤：

1)采集高清墓室壁画的图像，将采用到的图像添加掩码后进行min-max标准化，然后通过标准化后的壁画构建具有8000张256*256的图像集，并以该壁画集作为训练集，其中，通过分镜头采集高清墓室壁画，同时选取标准化壁画时需保证分镜头中有效信息的去冗余最大化表现。

其中，墓室壁画马球图数据集，将原始数据中的壁画组成训练集。其预处理过程为给定一个训练壁画I

其中，x为样本点的数值，Min为样本数据的最小值，Max为样本数据的最大值。

将样本点的数值减去最小值，再除以样本点数值最大值与最小值之间的差值，以提高神经网络的性能。

在进行训练时，I

2)构建SinGAN的5个多尺度的生成器和判别器，并增加优化迭代程度的损失函数；

设计5个多尺度的生成器和判别器，生成器和判别器均设置有6层卷积层，卷积核为4*4，其中，有两层扩张卷积用于补全壁画图像，判别器由6层全卷积构成，最底层的生成器可以生成壁画的完整性信息，每往上一层，生成器生成的细节越多，直至最后一层生成器G

采用像素重建损失捕捉壁画生成区域周边的整体像素信息，其表达式为：

其中，M为二进制掩码，I

通过Gram矩阵设计纹理损失，即：

其中，G为Gram矩阵，l

设计重构损失，即

L

其中，G

3)取壁画集里面的一张壁画I

4)将G

生成器可以提取壁画特征进行壁画生成，将训练集壁画I

5)经200个epoch的循环，生成器与判别器达到纳什均衡，完成模型的训练，再利用训练后的模型进行墓室壁画分块间缺失信息的重建。

生成器及判别器均通过损失函数来进行训练，损失函数为：

L

L

L

训练结束后，使用SSIM方法对生成的图片进行评估，其数值在[0,1]之间，数值越大表示与原图的相似性越高，使用SSIM来衡量两张壁画之间的保真度和相似性，SSIM不止是用来感知误差，也可以用来观察视觉系统里与感知有关部分的失真程度，能够评估大小不同的两张壁画之间的相似性，其公式为：

其中，

取一张训练过后的壁画与原壁画进行比较，得到图4所述的SSIM值，由SSIM结果可知，该模型在生成壁画的内容及纹理上非常丰富，将训练后的权重保存，并输入一张壁画图片，生成结果如图5所示。