基于纹理约束和泊松融合的生成对抗指静脉图像修复方法

摘要

本发明公开了一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。本发明步骤如下：S1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；S2、基于泊松融合的图像重建，在重建中对指静脉受损区域与周围实际像素边界进行融合获得指静脉图像Ⅰ；S3、基于注意力机制的精确修复卷积网络对步骤S2获取的指静脉图像Ⅰ进行精确修复得到指静脉图像Ⅱ；S4、对步骤S3获取的指静脉图像Ⅱ再次进行图像重建，获得重建后指静脉图像Ⅲ；S5、计算指静脉图像Ⅲ的生成损失；S6、对步骤S5得到的损失进行结合，得到最终的损失函数；S7、判别器网络对重建后指静脉图像Ⅲ进行判决。本发明图像质量和识别率均有提升。

说明书

技术领域

本发明属于生物特征识别及信息安全技术领域，特别涉及到手指静脉图像预处理领域，提供一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。

背景技术

实际手指静脉认证中容易出现由于指静脉采集设备镜面上存在脏污以及用户手指皮肤上沾染脏污时造成手指静脉图像受损的情况，导致采集到的图像出现了部分信息缺失，从而影响手指静脉特征的完整性导致匹配精度降低的情况。因此，对指静脉图像受损区域进行修复是指静脉图像处理中关键的步骤之一。

现有的图像修复工作主要分为基于传统低层次特征的修补算法

相较于传统修复算法，卷积神经网络能够提取指静脉图像的高层次特征信息，通过不断训练，利用高层次特征信息的完备性，使得修复后的受损区域越来越接近原始图像

发明内容

本发明的目的是针对指静脉图像在实际应用场景中易受损，而目前大多数修复算法都是针对边缘纹理信息较强的图像，对指静脉这类边缘信息比较薄弱的图像修复效果不佳的问题。提出了一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。

本发明所采用的技术方案，包括以下步骤：

S1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像。

初步修复卷积网络前半部分为卷积层，后半部分为反卷积层。由于指静脉图像信息相对比较薄弱，为了更好的对受损区域进行修复，需要获取到更丰富的图像信息，因此本发明在设计卷积层时加入了扩张卷积，并使用不同的扩张速率得到指静脉不同尺度特征信息，对图像进行修复后得到模糊的指静脉图像修复结果。基于扩张卷积的初步修复网络结构如图2。

S2、基于泊松融合的图像重建。

在进行初步修复后，已经获取到通过生成网络G(z

其中，x

本发明定义了一组二值掩码矩阵，简单展示图像重建的过程，用 M表示二进制掩码矩阵，值包括0和1，0表示丢失的信息，1表示可利用的信息；M与y的元素之间的乘积被称为Hadamard乘积，表示为M⊙y，代表原受损指静脉图像中未受损的区域，如图4所示。

S3、进行基于注意力机制的精确修复卷积网络的精确修复，在修复过程中利用上下文的情况，得到更细节化的修复结果。

经过步骤S2后得到的初步修复的模糊指静脉图像，初步修复使得很多细节处都没有得到很好的修复，出现细节丢失，对后续的匹配识别造成了很大影响。因此在步骤S2初步修复结果的基础上设计了一个基于注意力机制的精确修复卷积网络，该网络中加入有注意力机制，能够更好地利用上下文的信息，使得修复后的指静脉图像受损区域更加自然。其中基于注意力机制的精确修复卷积网络包括两个平行的模块：第一个模块与初步修复卷积网络的前半部分的卷积层相似，利用卷积来想象受损区域的信息；第二个模块中加入有注意力机制，能够使得与修复区域相似的块获得更大的权重，不相似的块的权重弱化，这样合理的权重分配可以有效提升修复效果。最后，将两个模块的信息进行连接作为最终的结果，具体的网络结构如图3。

S4、基于泊松融合的图像重建。

S5、计算生成损失。利用均方误差计算NBP纹理损失，利用两个 WGAN-GP计算对抗损失，利用L1范式计算重建损失。

5-1、计算NBP纹理损失

首先，采用3×3的窗口提取指静脉图像的NBP纹理特征，具体编码步骤为以目标点为中心像素点，将其周围8个像素以顺时针的方式进行排列，即P

其中S

从而得到一串二进制的编码串。再将得到的二进制编码串按下式(4)转换成十进制值，作为中心像素点的NBP编码值。

得到精确修复后重建的指静脉图像Ⅲ的NBP特征和原受损指静脉图像的NBP特征后，计算两者的损失，具体公式如下：

L

5-2、计算对抗损失

对抗损失通过局部WGAN-GP网络和全局WGAN-GP网络获得具体公式为：

式中λ

5-3、计算重建损失

无论进行初步修复还是精确修复，都需要对图像进行重建，其中初步修复网络仅利用重建损失进行网络参数更新。传统的重建函数只是进行简单的区域替换，容易导致受损区域与周围实际像素连接不佳，因此本文提出基于泊松融合的重建函数，能在重建过程中更好地对指静脉受损区域与周围实际像素边界进行融合，达到无缝融合的效果，公式如(1)。

为了评估指静脉图像Ⅲ与原始未受损图像之间差异，提出了重建损失，该损失可以评估重建后的指静脉图像Ⅲ与相应的未受损手指静脉图像之间的灰度距离，公式如下：

L

其中x

S6、根据S5得到的损失进行结合，得到最终的损失函数为：

式中，θ

S7、判别器网络对修复结果进行判决。

为了保证整个图像与局部修复区域的一致性，提高修复后手指静脉图像的逼真度和纹理清晰度，提出了一种由全局WGAN-GP和局部 WGAN-GP组成的判别器，判别器损失由全局损失和局部损失组成，公式如下：

L

其中全局损失函数表示如下：

其中p

局部损失函数表示如下：

其中p

两式中E(*)表示分布函数的数学期望值，且z＝G(Img

判别器网络是一个二分类网络，对修复结果进行判决，判别为0 说明指静脉图像受损区域修复效果不佳，判别为1说明指静脉图像受损区域修复效果佳，判决器网络评价的准确性对最终模型的修复性能好坏十分重要，局部WGAN-GP网络的输入为受损区域经过精确修复后的指静脉局部图像以及干净图像与之对应的局部区域，全局WGAN-GP 网络的输入为经过精确修复处理后的全局图像和对应的干净全局图像，具体的网络结构如图5。

得到精确修复后的指静脉图像的局部WGAN-GP判别器损失和全局WGAN-GP判别器损失之和作为最终的判别器损失。将局部WGAN-GP 生成器损失和全局WGAN-GP生成器损失之和对损失函数进行约束可以有效增强指静脉图像局部和全局的一致性，使得最终的修复效果更贴近原始未受损图像。

本发明有益效果如下：

本发明提出一种基于生成对抗网络的指静脉图像修复方法，首先提出一种基于泊松融合的图像重建函数，使得修复后的受损区域更加自然地与周围实际像素进行连接，有效解决了重建之后出现边界融合性能下降的问题，并利用L1范式计算得到重建损失。然后，利用NBP 纹理对损失函数进行约束，使得在网络迭代过程中能对指静脉的纹理结构进行针对性的修复。最后，通过两个WGAN-GP网络增强全局和局部的一致性。通过利用近邻二值模式(NeighborBinaryPattern，NBP) 纹理损失约束和泊松融合重建的网络结构进行图像修补，在修复过程中能很好地保留图像纹理特征，同时，与受损区域周围实际像素连接的也更加自然，有利于静脉匹配识别。在模拟脏污和实际脏污的情况下，本文方法相比基于非纹理约束的生成对抗网络修复，图像质量和识别率均有提升，说明本发明是一种对指静脉图像修复效果很好的方法。

附图说明

图1为网络模型的总体结构图。

图2为基于扩张卷积的初步修复网络结构。

图3为精确修复的网络结构。

图4为图像修复的二进制掩码表示。

图5为计算全局和局部损失的WGAN-GP的网络结构。

图6为模拟脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。（图6模拟脏污下的修复效果）

图7为实际脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。

图8为不同算法处理模拟受损图像库和实际受损图像库PSNR结果对比。

图9为不同算法处理模拟受损图像库和脏污图像库拒识率FRR结果对比。

图10为不同算法处理模拟受损图像库和脏污图像库ROC曲线对比。

具体实施方式

下面结合附图对本发明的具体实施例作进一步的说明。

本发明提出一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，利用两个WGAN-GP模型分别计算全局损失和局部损失， WGAN-GP通过增加梯度惩罚项，使得梯度更新平滑，有效解决了训练梯度消失和梯度爆炸的问题。在网络迭代过程中，所提算法利用泊松融合函数对图像进行重建，使得修复后的受损图像能与受损区域实际像素连接更加自然，并计算得到重建损失，结合NBP纹理损失、感知损失对生成对抗网络参数更新进行约束，对受损区域的指静脉纹理结构进行针对性修复。

本实施例的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，包括以下步骤：

S1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；

S2、基于泊松融合的图像重建，基于泊松融合算法的重建函数，在重建过程中对指静脉受损区域与周围实际像素边界进行融合，获得指静脉图像Ⅰ；

S3、基于注意力机制的精确修复卷积网络对步骤S2获取的指静脉图像Ⅰ进行精确修复，在修复过程中利用上下文的情况，得到精确修复后的指静脉图像Ⅱ；

S4、对步骤S3获取的指静脉图像Ⅱ再次进行基于泊松融合的图像重建，获得重建后指静脉图像Ⅲ；

S5、计算指静脉图像Ⅲ的生成损失；

利用均方误差计算NBP纹理损失，利用两个WGAN-GP计算对抗损失，利用L1范式计算重建损失；

S6、对步骤S5得到的损失进行结合，得到最终的损失函数；

S7、判别器网络对重建后指静脉图像Ⅲ进行判决；得到重建后指静脉图像Ⅲ的局部WGAN-GP判别器损失和全局WGAN-GP判别器损失之和作为最终的判别器损失。

进一步的，S1、利用卷积网络进行初步修复。具体的网络结构如图2所示。初步修复网络前半部分为卷积层，后半部分为反卷积层。为了获取更丰富的图像信息，采用扩张卷积，分别设置了2，4，8， 16四种不同的扩张速率得到指静脉不同尺度特征信息。

进一步的，S3、根据S2得到的初步修复结果进行精确修复，精确修复过程基于注意力机制卷积网络，且在修复过程中利用上下文的情况，得到更细节化的修复结果。精确修复结构中分为了两个平行的模块，第一个模块与初步修复阶段类似，利用卷积来修复受损区域的信息，第二个模块中加入了注意力机制，可以使得与修复区域相似的块可以获得更大的权重，不相似的块的权重弱化，最后，将两个模块的信息进行连接作为最终的结果，具体的网络结构如图3。

S4、基于泊松融合的图像重建。

S5、根据式(1)、式(2)、式(3)、式(4)、式(5)、式(6)、式(7)分别计算纹理损失、对抗损失和重建损失。

S6、根据式(8)计算生成器损失。其中S5得到的纹理损失、对抗损失和重建损失权重分别为：λ

S7、通过二分类判别器网络对修复结果进行判决。判别为0说明指静脉图像受损区域修复效果不佳，判别为1说明指静脉图像受损区域修复效果佳。网络结构如图5(a)(b)所示。

以下是基于图像数据库对本发明所提算法的实验数据分析，本发明算法与现有几种传统图像修复算法和深度学习图像修复算法进行测试比较，分别在手指静脉模拟破损图像与真实破损图像上进行测试比对。

本文采用的训练集是由实验室自主研发的850nm波长红外摄像头的小型指静脉模块进行采集，共有1500根干净手指静脉图像库，每类10幅图，总共15000幅图像。在实际应用时，采集到的图像会出现多种多样的情况，因此本文在设计图像库时，除了正常图像，也包含了漏光、模糊、旋转、平移等特殊情况的手指，训练样本的多样化可以使得模型具有更好的泛化能力。测试集分为实际脏污图像库和模拟脏污图像库，其中实际脏污图像库有200类，包含了各种大块脏污块情况，每类20幅。模拟脏污图像库有200类，每类20幅，包含了各个不同位置受损的指静脉图像。由于测试集与训练集分别属于不同类的手指图像，因此两个数据集不会产生交集，修复效果真实可靠。在训练过程中，模型输入为完整的496*200大小的指静脉图像，进行随机填充白色像素，构造不同的缺失区域，其中脏污块的区域、大小和形状都是随机的。然后将缺失块图像和缺失块对应的二进制掩码图进行配对作为输入训练，这样可以满足后续对不同大小、形状、位置的脏污块进行修复。

在实际应用场景中，手指静脉图像由于环境因素影响或者用户手指蜕皮等因素影响容易出现图像质量受损的情况，并且指静脉图像受损的区域和大小是不固定的，会出现各种各样的情况，因此在设计训练集时应该充分考虑到各个大小和区域的受损图像。

为了更好的对比不同修复算法的性能，本发明从主观评价与客观评价两个方面进行分析。

图6为模拟脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。其中传统非纹理修复算法修复结果有明显的纹理结构扭曲现象，传统纹理修复算法修复结果出现纹理信息丢失的现象，基于注意力机制生成对抗网络算法的修复结果有边界融合不佳的现象。经过本文算法修复后的受损区域，与上下文的连接更加自然，修复后图像的静脉纹理边缘与视觉连通性都较好，这对于后续的特征提取起到了十分关键的作用

图7为实际脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。其中传统非纹理修复算法修复结果有明显的纹理结构扭曲现象，传统纹理修复算法修复结果出现纹理信息丢失的现象，基于注意力机制生成对抗网络算法的修复结果有边界融合不佳的现象。经过本文算法修复后的受损区域，与上下文的连接更加自然，修复后图像的静脉纹理边缘与视觉连通性都较好，这对于后续的特征提取起到了十分关键的作用。

图8为不同算法处理模拟受损图像库和实际受损图像库PSNR结果对比。可以看出通过本文算法修复之后的图像的PSNR值相比传统修复算法和基于注意力机制的生成对抗网络处理后

图9为不同算法处理模拟受损图像库和脏污图像库拒识率FRR结果对比。本发明将模拟脏污图像库、实际脏污图像库内的受损图像经过不同修复算法处理后，再将库内所有图像经过增强、归一化处理之后并提取得到NBP特征，最后计算两张图像之间的欧式距离来对实际脏污图像库、模拟脏污图像库的识别性能进行分析。

图10为不同算法处理模拟受损图像库和脏污图像库ROC曲线对比。可以看出不作处理的识别性能最差，经过两类传统修复算法和基于非纹理约束的生成对抗网络修复处理后虽然各自都达到不同程度上的修复效果，但是本文提出的算法表现出了更好的修复效果。上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。