基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置

摘要

本发明涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置，所述的静脉图像识别方法包括以下步骤：1）形成训练集；2）搭建基于SK‑ResNet的生成器网络；3）搭建基于CNN的判别器网络；4）搭建基于SK‑ResNet的分类网络；5）采用正常静脉图像B对基于SK‑ResNet的分类网络进行训练；6）修复缺损静脉图像A形成修复后的静脉图像C；7）更新生成器参数；8）更新基于CNN的判别器网络的参数；9）进行若干次迭代训练；10）基于最优的生成器模型获得修复后的静脉图像；11）提取静脉特征；12）进行识别。本发明在生成器网络以及分类器网络中加入SK‑ResNet结构，大大减少了模型的参数量，减轻了卷积神经网络的梯度消失问题，提高了网络提取静脉图像特征的能力。

说明书

技术领域

本发明属于图像处理与生物特征识别领域，尤其涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置。

背景技术

静脉识别包括手掌静脉识别、手静脉识别等，作为一种新兴的身份识别技术，因其防伪能力强、识别迅速和准确率高等特点，其市场在不断扩大，拥有广阔的前景。而静脉图像成像设备镜面上出现脏污块、用户手指和手掌出现蜕皮等情况会引起静脉图像的部分特征缺失，形成异常静脉图像，导致该部分的静脉特征难以提取，最终影响静脉识别系统的识别性能。因此，如何提高静脉识别系统对异常静脉图像识别性能具有重要的理论与现实意义。

图像修复是一种利用图像未破损区域信息对图像破损区域进行预测修复的过程。传统的修复方法主要是以数学和物理的方法为主，采用基于扩散模型或者纹理合成的方法。

基于扩散模型修复图像的方法如中国专利申请CN 110163822 A公开的一种基于超像素分割与图割理论的网状遮挡物去除方法和系统，目的在于对许多摄影场景下网状遮挡物进行去除并修复出原图片中被遮挡的部分。包括以下部分：基于SEEDS算法进行图像超像素分割，基于图割理论进行超像素块融合，获取网状遮挡物样本，SVM分类，全变分法图像修复。

基于纹理合成修复图像的方法如中国专利CN102567970B公开的一种图像修复方法及装置，该方法包括：由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果等步骤。

上述方法研究的对象大多是纹理比较清晰的图像，对静脉这类生物特征图像的修复算法研究较少，静脉图像为灰度图像且分辨率低、信息量少、静脉边缘纹理信息不明显，使得传统修复算法修复效果并不好，容易出现静脉纹理结构模糊、断裂等情况，导致静脉识别系统对异常静脉图像的识别性能不佳。

发明内容

本发明所要解决的技术问题提供一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置，以解决传统修复算法对于静脉图像的修复效果并不好，容易出现静脉纹理结构模糊、断裂等情况，从而导致静脉识别系统对异常静脉图像的识别性能不佳的问题。

为了解决上述技术问题，本发明提供的技术方案为：

本发明涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其包括以下步骤：

1）对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；

2）搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；

3）搭建基于CNN的判别器网络；

4）搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和CenterLoss；

5）采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；

6）将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；

7）设计生成器损失函数，固定训练好的基于SK-ResNet的分类器网络参数，将修复后的静脉图像C输入到基于SK-ResNet的分类器网络中，得到分类损失 loss

8）设计判别器损失函数，将正常静脉图像B，修复后的静脉图像C输入到基于CNN的判别器网络，计算基于CNN的判别器网络的对抗损失并更新基于CNN的判别器网络的参数；

9）以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；

10）将异常静脉图像经过步骤1）的归一化处理后，输入到生成器网络中，获得修复后的静脉图像；

11）固定训练好的基于SK-ResNet的分类器网络参数，将修复后的静脉图像与对应正常同类静脉模板图像输入基于SK-ResNet的分类器网络，提取全局平均池化层GAP作为静脉特征向量；

12）计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。

本发明所述的SK模块为Selective Kernel Networks（SKNet）模块。

优选地，所述步骤2）中，基于SK-ResNet的生成器网络包括编码器部分和解码器部分；

所述的编码器部分包括五个层级结构，第一层级包括一层卷积层，BN层和Mish激活层，输入三通道缺损静脉图像，输出通道数为d，第二~五层级结构为子残差块数分别为3，4，6，3的残差块，第二~五层的子残差块中均包括BN层和Mish激活层，静脉图像每经过一层，大小缩小1/2，通道数翻倍，最后的静脉特征图大小为原图的1/16，通道数为16d；

解码器部分有五层级结构，前四个层级每一层均采用反卷积层，BN层，Mish激活层，最后一层级包括卷积层、BN层、tanh激活函数，用于生成和原图相同通道数以及大小的修复图像。

优选地，所述步骤3）中，基于CNN的判别器网络包括五层级结构，第一~四层级均采用卷积层，BN层以及Mish激活层，第五层级为一层全连接层，最后经过Sigmoid激活输出，将数值映射到0到1之间的概率。

优选地，所述步骤4）中，基于SK-ResNet的分类器网络包括七层级结构，前五层级与生成器网络的编码器部分对应，第六层级为一层全局平均池化层GAP，用来提取静脉特征向量，最后一层级为全连接层FC，用于计算分类损失。分类器损失函数采用SOFTMAX Loss以及中心损失Center Loss共同监督分类器网络，SOFTMAX Loss可以保证静脉特征向量的类间可分性，Center Loss可以保证静脉特征向量的类内紧凑性，使得提取的静脉特征向量具有更强的区分力，从而提高识别率。

优选地，所述的基于SK-ResNet的分类器网络的损失函数

式中

式中，m为训练集中一个批次图像的数量，

式中，m为训练集中一个批次图像的数量，

优选地，所述步骤7）中，将分类器最后一层全连接层FC输出送入SOFTMAX loss分 类损失函数

式中，m为训练集中一个批次图像的数量，

内容损失函数

式中，B为正常静脉图像，C为缺损静脉图像A修复后的静脉图像。

优选地，所述步骤7）中基于SK-ResNet的生成器网络的损失为：

式中，

优选地，所述步骤8）中基于CNN的判别器网络的对抗损失的计算公式为：

式中，

式中，

优选地，所述步骤7）中，采用Adam优化算法更新基于SK-ResNet的生成器网络的参数；所述步骤8）中采用Adam优化算法更新基于CNN的判别器网络的参数。

本发明还涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别装置，其包括：

1）归一化处理模块，用于对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；

2）生成器网络搭建模块，用于搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；

3）判别器网络搭建模块，用于搭建基于CNN的判别器网络；

4）分类器网络搭建模块，搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss；

5）分类器网络训练模块，采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；

6）静脉图像修复模块，用于将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；

7）生成器参数更新模块，用于将修复后的静脉图像C输入到分类器网络中，得到分类损 失

8）判别器网络参数计算模块，用于将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数；

9）迭代训练模块，用于以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；

10）修复模块，用于选取最优的生成器网络模型，将异常静脉图像经过归一化处理后，输入到生成器网络模型中，获得修复后的静脉图像；

11）特征向量提取模块，用于分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量；

12）识别模块，用于计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

1、本发明在生成器网络以及分类器网络中加入SK-ResNet结构，大大减少了模型的参数量，减轻了卷积神经网络的梯度消失问题，提高了网络提取静脉图像特征的能力，从而提高识别率。

2、本发明在生成器损失函数增加了分类损失项，通过基于SK-ResNet的分类器网络计算修复图像的分类损失，将其加入生成器的梯度更新中，使得生成器生成的静脉图像细节更加清晰连贯，使得静脉识别系统对异常静脉图像的识别性能得到大大提升。

附图说明

图1为本发明基于分类损失的生成对抗网络修复异常静脉图像的识别方法的流程图。

图2为本发明生成器网络结构图；

图3为本发明判别器网络结构图；

图4为本发明分类器网络结构图；

图5为本发明基于分类损失的生成对抗网络结构图；

图6为基于分类损失的生成对抗网络修复异常静脉图像的识别装置的结构框图；

图7a）为破损静脉图；

图7b）本发明修复的静脉图；

图7c）为Crinimisi修复的静脉图；

图7d）为同类静脉图正常图像；

图8为ROC曲线。

具体实施方式

为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

参照附图1所示，本发明涉及的一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法包括以下步骤：

1）对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集。本实施例中，由于现实中的异常静脉图像几乎不存在合适的标签图像，所以无法利用现实异常静脉图像构造训练集。因此，选取200000张正常静脉图像B，将其与任意掩模图像M（破损部分为0，未破损部分为1）相乘，得到200000张破损静脉图像A，静脉图像归一化尺寸为160*64，并以此作为训练集。

2）搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，参照附图2所示，SK-ResNet的生成器网络包括编码器部分和解码器部分；

所述的编码器部分包括五个层级结构，第一层级包括一层卷积层，BN层和Mish激活层，输入3*160*64缺损静脉图像，输出通道数为64，第二~五层级结构为子残差块数分别为3，4，6，3的残差块，第二~五层的子残差块中均包括BN层和Mish激活层，静脉图像每经过一层，大小缩小1/2，通道数翻倍，最后的静脉特征图大小为原图的10*4，通道数为1024；

解码器部分有四层级结构，前四个层级每一层均采用反卷积层，BN层，Mish激活层，输出通道数分别为512，256，128，64，最后一层级包括卷积层、BN层和tanh激活函数，得到3*160*64的修复图像；

3）搭建基于CNN的判别器网络，参照附图3所示，基于CNN的判别器网络包括五层级结构，第一~四层级均采用卷积层、BN层以及Mish激活层，输出通道数分别为64，128，256，512，第五层级为一层全连接层，输出维度为1*1*1，最后经过Sigmoid激活输出，将数值映射到0到1之间的概率。

4）搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，参照附图4所示，基于SK-ResNet的分类器网络包括七层级结构，前五层级与生成器网络的编码器部分对应，第六层级为一层全局平均池化层GAP，最后一层级为全连接层FC，分类器损失函数为SOFTMAX Loss和CenterLoss；

所述的基于SK-ResNet的分类器网络的损失函数

式中

式中，m为训练集中一个批次图像的数量，

式中，m为训练集中一个批次图像的数量，

SK-ResNet（SKnet）结构的作用在于能够使得网络自动选择不同感受野下的静脉细节信息：给定输入为静脉feature map X，通道数为C，先经过split（分裂）操作，即X分别经过卷积核大小为3*3，5*5的两个完整卷积层（卷积、BN、ReLU激活层），输出静脉feature mapU1、U2，其通道数为C，U1、U2为X在不同感受野下的静脉细节信息；

然后进行fuse（融合）操作，即U1、U2相加得到U，U融合了不同感受野下的静脉信息，U经 过一层全局平均池化层以及两层全连接层后，其输出有SOFTMAX激活输出，得到 U1,U2的权 重向量，依次为a，b，维度为c，对应通道数C，a,b

5）采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；

6）参照附图5所示，将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；

7）分类器网络将修复后的静脉图像C输入到基于SK-ResNet的分类器网络中，得到分类 损失

本实施例中采用Adam优化算法更新基于SK-ResNet的生成器网络的参数，具体是：

将分类器最后一层全连接层FC输出送入SOFTMAX loss分类损失函数，则

式中，m为训练集中一个批次图像的数量，

内容损失函数

式中，B为正常静脉图像，C为缺损静脉图像A修复后的静脉图像；

基于SK-ResNet的生成器网络的损失为：

式中，

8）将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并采用Adam优化算法更新基于CNN的判别器网络的参数，基于CNN的判别器网络的对抗损失的计算公式为：

式中，

式中，

9）以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；

10）将异常静脉图像经过步骤1）的归一化处理后，输入到生成器网络中，获得修复后的静脉图像。

11）将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量。

12）计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。

实施例2

参照附图6所示，本实施例涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别装置，其包括：

1）归一化处理模块，用于对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集，归一化处理模块用于实现实施例1步骤1）的功能；

2）生成器网络搭建模块，用于搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块，生成器网络搭建模块用于实现实施例1步骤2）的功能；

3）判别器网络搭建模块，用于搭建基于CNN的判别器网络，判别器网络搭建模块用于实现实施例1步骤3）的功能；

4）分类器网络搭建模块，搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss，分类器网络搭建模块用于实现实施例1步骤4）的功能；

5）分类器网络训练模块，采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；分类器网络训练模块用于实现实施例1步骤5）的功能；

6）静脉图像修复模块，用于将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C，静脉图像修复模块用于实现实施例1步骤6）的功能；

7）生成器参数更新模块，用于分类器网络将修复后的静脉图像C输入到分类器网络中， 得到分类损失

8）判别器网络参数计算模块，用于将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数，判别器网络参数计算模块用于实现实施例1步骤8）的功能；

9）迭代训练模块，用于以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；迭代训练模块用于实现实施例1步骤9）的功能；

10）修复模块，用于将异常静脉图像经过归一化处理后，输入到生成器网络中，获得修复后的静脉图像，修复模块用于实现实施例1步骤10）的功能；

11）特征向量提取模块，用于分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量，特征向量提取模块用于实现实施例1步骤11）的功能；

12）识别模块，用于计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。识别模块用于实现实施例1步骤12）的功能。

显然，本实施例的静脉图像修复装置可以作为上述实施例1的基于分类损失的生成对抗网络修复异常静脉图像的识别方法执行主体，因此能够实现基于分类损失的生成对抗网络修复异常静脉图像的识别方法所实现的功能。由于原理相同，本文不再赘述。

实验例

为了验证本发明方法对异常静脉图像的修复效果以及识别性能，选取了50个用户的手指图像，每个用户10张手指图像，包括一个正常图像库和一个受损图像库（镜面脏污块），一共50*10*2=1000副，图像尺寸均为500*200，图像归一化尺寸为160*64。

将受损图像库的受损图像分别用本发明方法生成器修复模块以及传统Crinimisi方法修复，图7 a）为真实脏污块的指静脉图像，图7b）为本发明修复后的指静脉图像，图7c）传统Crinimisi修复方法修复的指静脉图像，可以明显的看到传统Crinimisi方法虽然修复了脏污块，但仍存在一些块状效应，指静脉图像灰度出现了断层、不连续的情况，而采用本发明方法修复的指静脉图像细节更加的清晰连贯，与图7d）所示的同类正常图像相似度更高。

用本发明方法生成器修复模块对受损图像库进行修复，得到修复图像库Inpainting A，用传统Crinimisi方法对受损图像库进行修复，得到修复图像库InpaintingB，通过本发明方法基于SK-ResNet的分类器网络分别提取Inpainting A，Inpainting B、正常图像库以及受损图像库的静脉特征，依次为Feature A，Feature B，Feature C，FeatureD，特征数量均为50*10=500个。本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。通过Feature C进行1：1不同类比对，共比对122500次，取不同类的最小值作为阈值T，本实例中0误识阈值T=0.67。将Feature A，Feature B，Feature D分别与Feature C进行1：1同类比对，每根手指共比对10*10=100次，Feature A，Feature B，Feature D分别与Feature C比对100*50=5000次，每次比对值小于阈值T，则该次比对成功，反之，则该次比对失败，识别率=（100*比对成功次数/5000）%。统计Feature A，Feature B，Feature D的识别率，其ROC曲线如图8所示，可以看到，由于镜面脏污块的存在，造成指静脉结构信息损失，在未修复的情况下识别性能较差，因此一种有效的异常静脉图像修复识别算法显得尤为重要。本发明算法通过基于SK-ResNet的分类器网络提取静脉特征进行比对识别，在0误识的情况下，相比于未修复、传统Crinimisi算法拒识率分别降低了56.4%，22.09%，静脉识别系统对异常静脉图像的识别性能得到大大提升。

以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。