基于深度学习的掌纹细节点真伪甄别方法及系统

摘要

本公开公开了基于深度学习的掌纹细节点真伪甄别方法及系统，包括：获取待识别的掌握图像；对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；将待识别掌纹图像的细节点描述信息和细节点邻域图像，输入到训练后的卷积神经网络中，得到掌纹细节点真伪甄别结果。输入一幅高分辨率掌纹图像，提取细节点(获得细节点位置和方向信息)，然后通过本发明的方法，自动判定细节点是真细节点还是伪细节点。用去除伪细节点后的细节点集进行掌纹身份匹配，可以从精度和速度两个方面明显提高掌纹身份识别性能。

说明书

技术领域

本公开涉及掌纹细节点甄别技术领域，特别是涉及基于深度学习的掌纹细节点真伪甄别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

高分辨率掌纹身份识别技术对于公共安全具有重要意义。现阶段高分辨率掌纹身份识别技术已经取得了很大的进步，但仍然未能满足实际应用的要求，一个非常重要的原因，就是细节点质量问题，也可以说是大量伪细节点导致匹配性能瓶颈。有许多公开的自动掌指纹细节点提取方法，如AFIS，可以自动提取掌纹细节点，但是用这些方法自动提取的掌纹细节点中存在大量的伪细节点(伪细节点数量接近真实细节点数量的两倍)，这些伪细节点严重影响掌纹识别的精度，也大大降低匹配速度。

现有技术中，主要有下列一些方法来解决相关问题。

1.人工提取掌纹细节点，耗时费力，需要非常专业的指掌纹专家。

2.利用指纹细节点提取方法。指纹和掌纹的图像的区别，大量伪细节点。

3.改进掌纹细节点提取方法，使得尽量少的提取出伪细节点。同样因为掌纹图像面积大、质量分布不均衡，相当大比例的低质量区域，伪细节点大量存在。

4.基于手工设计特征的伪细节点甄别方法。

发明人发现，上述现有技术的方法中，存在的技术问题是：

1、人工提取掌纹细节点，耗时费力，需要非常专业的指掌纹专家。

2.利用指纹细节点提取方法。指纹和掌纹的图像的区别，大量伪细节点细节点。最终识别精度非常低。

3.改进掌纹细节点提取方法，使得尽量少的提取出伪细节点。同样因为掌纹图像面积大、质量分布不均衡，相当大比例的低质量区域，伪细节点大量存在。需要其他特征辅助进行掌纹匹配。

4.基于手工设计特征的伪细节点甄别。

发明内容

为了解决现有技术的不足，本公开提供了基于深度学习的掌纹细节点真伪甄别方法及系统；

第一方面，本公开提供了基于深度学习的掌纹细节点真伪甄别方法；

基于深度学习的掌纹细节点真伪甄别方法，包括：

获取待识别的掌握图像；

对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；

将待识别掌纹图像的细节点描述信息和细节点邻域图像，输入到训练后的卷积神经网络中，得到掌纹细节点真伪甄别结果。

第二方面，本公开提供了基于深度学习的掌纹细节点真伪甄别系统；

基于深度学习的掌纹细节点真伪甄别系统，包括：

获取模块，其被配置为：获取待识别的掌握图像；

预处理模块，其被配置为：对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；

真伪甄别模块，其被配置为：将待识别掌纹图像的细节点描述信息和细节点邻域图像，输入到训练后的卷积神经网络中，得到掌纹细节点真伪甄别结果。

第三方面，本公开还提供了一种电子设备，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

第四方面，本公开还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

与现有技术相比，本公开的有益效果是：

1.本技术可以快速准确地进行掌纹细节点甄别。

1)使用深度学习技术，不需要了解掌握太多指掌纹身份识别的领域知识。

2)模型从多个尺度、不同的抽象程度对细节点进行甄别，框架上模仿人类视觉判断，易于移植到其他分类判定任务上。

2、轻量级卷积神经网络，可以对高分辨率掌纹图像细节点的真伪进行快速甄别判定、适合移动式设备、机器人等进行本地计算。虽然本发明提出的模型看起来结构略微复杂，但是一方面，卷积神经网络模型实际处理的都是小尺寸图像；另一方面，卷积神经网络的参数规模都非常小远小于经典网络结构如VGG 等网络，并且，当硬件设备支持的情况下，本模型可以通过一定程度并行计算来完成，进一步优化计算。

3.输入一幅高分辨率掌纹图像，先使用成熟开放的指纹细节点提前工具提取细节点(获得细节点位置和方向信息)，然后通过本发明的方法，自动判定细节点是真细节点还是伪细节点。用去除伪细节点后的细节点集进行掌纹身份匹配，可以从精度和速度两个方面明显提高掌纹身份识别性能。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为第一个实施例的掌纹细节点甄别机器学习模型原理；

图2为第一个实施例的掌纹细节点甄别卷积神经网络结构；

图3为第一个实施例的掌纹图像预处理示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。

卷积神经网络(CNN)被认为是受到了在哺乳动物大脑视觉皮层中发现的生物学证据的启发。在视觉皮层中，存在着一些小区域的细胞，它们对视野的特定区域很敏感。例如，一些神经元触发垂直边缘，而另一些则触发对角线或水平边缘，这些神经元被放在一起执行视觉感知。CNN的架构由卷积层、池化层、非线性层和全连接层组成。每一层都有其自身的影响，影响着CNN网络对于各种识别任务的性能。卷积层和池化层是提取特征的神经网络，全连接层是基于图像特征的分类神经网络，输出。CNN自动学习局部特征提取器，并实现权值共享原则，从而减少自由参数的数量，从而提高了与神经网络架构相比的性能能力，在图像识别领域表现出了很大的成就。

实施例一

本实施例提供了基于深度学习的掌纹细节点真伪甄别方法；

如图1所示，基于深度学习的掌纹细节点真伪甄别方法，包括：

S101：获取待识别的掌握图像；

S102：对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；

S103：将待识别掌纹图像的细节点描述信息和细节点邻域图像，输入到训练后的卷积神经网络中，得到掌纹细节点真伪甄别结果。

进一步地，所述S102：对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；具体包括：

S1021：对待识别的掌纹图像进行细节点提取，得到细节点集合；其中，所述细节点集合，包括：若干个真细节点和若干个伪细节点；所述细节点集合中的每个细节点均包含位置和方向；

S1022：根据细节点位置，提取64*64像素的邻域图像；

S1023：对待识别的掌纹图像进行图像配准处理，获取旋转平移矩阵；

S1024：将旋转平移矩阵、和细节点的位置和方向信息，作为待识别掌纹图像的细节点描述信息；将64*64像素的邻域图像，作为细节点邻域图像。

进一步地，所述对待识别的掌纹图像进行细节点提取，得到细节点集合；是利用自动指纹识别系统(Automatic Fingerprint Identification System，简称AFIS)，对待识别的掌纹图像进行细节点提取，得到细节点集合。

进一步地，所述卷积神经网络，其网络结构包括：

输入层，所述输入层，用于输入带有细节点描述信息的细节点邻域图像；

所述输入层，分别与第一通道、第二通道、第三通道和第四通道连接；

所述第一通道，包括：依次连接的卷积核为3*3的卷积层A1和卷积核为 1*1的卷积层A2；

所述第二通道，包括：依次连接的卷积核为4*4的卷积层B1、卷积核为4*4 的卷积层B2和卷积核为3*3的卷积层B3；

所述第三通道，包括：依次连接的卷积核为3*3的卷积层C1和卷积核为3*3 的卷积层C2；

所述第四通道，包括：依次连接的卷积核为5*5的卷积层D1和卷积核5*5 的卷积层D2；

其中，卷积层A2与第一深度连接层depth concatenation连接；

其中，卷积层B3与第一深度连接层depth concatenation连接；

其中，卷积层C2与第二深度连接层depth concatenation连接；

其中，卷积层D2与第二深度连接层depth concatenation连接；

第二深度连接层depth concatenation通过依次串联的3*3的卷积层E1和3*3 的卷积层E2与第一深度连接层depth concatenation连接；

第一深度连接层depth concatenation通过第五通道与融合层连接；

其中，第五通道，包括依次串联的3*3的卷积层F1、1*1的卷积层F2、第一全连接层和第二全连接层；其中，串联的3*3的卷积层F1与第一深度连接层 depth concatenation连接，第二全连接层与融合层连接；

所述输入层与融合层连接；所述融合层与第三全连接层连接；所述第三全连接层通过softmax分类器与输出层连接。

进一步地，其中，卷积层A1用于输入16*16的细节点邻域图像；其中，所述16*16的细节点邻域图像是从64*64像素的邻域图像中得到的；

其中，卷积层B1用于输入48*48的细节点邻域图像；其中，所述48*48的细节点邻域图像是从64*64像素的邻域图像中得到的；

其中，卷积层C1用于输入32*32的细节点领域图像；其中，所述32*32的细节点邻域图像是从64*64像素的邻域图像中得到的；

其中，卷积层D1用于输入64*64的细节点邻域图像；其中，所述64*64的细节点邻域图像是从64*64像素的邻域图像中得到的。

进一步地，所述卷积神经网络，其工作原理包括：

对四个不同尺寸的细节点邻域图像进行特征提取处理，得到第一、第二、第三和第四提取特征；

将第三提取特征和第四提取特征进行深度连接，得到第五提取特征；

将第五提取特征进行卷积处理后，与第一和第二提取特征进行深度连接得到第六提取特征；

将第六提取特征继续卷积处理，得到第七提取特征；

将第七提取特征与细节点描述信息融合得到融合特征；

将融合特征利用分类器进行分类处理，得到分类结果标签和每个分类结果标签对应的概率。

进一步地，所述训练后的卷积神经网络，其训练步骤包括：

构建训练集；其中，训练集，包括已知掌纹细节点真伪标签的掌纹图像的细节点描述信息和若干幅不同尺寸的细节点邻域图像；

将训练集，输入到卷积神经网络中，对网络进行训练，当网络性能停止收敛时，停止训练，得到训练后的卷积神经网络。

本发明设计一种新颖的机器学习模型，通过训练学习，使得模型具有自动质量评定功能。

本发明使用的多尺度掌纹细节点甄别模型本质是一种轻量级卷积神经网络，结构如图2所示。其输入是在掌纹图像上，用AFIS等自动细节点对某幅掌纹提取工具提取的细节点，得到该掌纹图像的自动细节点集合。然后对于该集合的每一个细节点，以细节点为中心，取其64x64像素邻域图像块，结合该掌纹图像的少量信息及该细节点的相关描述信息，作为本发明模型的输入，本模型自动计算，得到对应细节点是真细节点或者伪细节点的判定结果及概率。

本发明主要分为训练和预测两个过程，训练完毕后，可以长期用于预测，当数据积累到一定规模后，也可以重新训练模型，而后将训练结果(模型描述参数)更新即可。故可以应用到在线及离线两种掌纹身份识别系统中。虽然训练过程需要大量的计算，但是模型本身不需要大规模存储，所以移动式设备和嵌入式设备也同样适用。

细节点甄别模型的训练和预测甄别过程基本相似，差别是，训练过程不仅输入细节点邻域图像和描述信息，还要输入细节点真伪标签。而细节点甄别预测过程只输入细节点邻域图像和描述信息，输出是细节点真伪标签。

由原始掌纹图像做预处理后，获取本发明的输入部分，细节点邻域及描述信息。如图3所示，包含细节点的64*64邻域图像，和细节点描述信息，其中细节点描述信息包括掌纹配准前的细节点位置、方向信息和掌纹配准的旋转平移矩阵。需要注意，一个掌纹图像往往包含数百甚至上千个细节点，每个细节点的位置和方向都可能不同，同一幅掌纹的若干细节点，其配准时的旋转平移矩阵相同。本发明使用的训练数据包含多幅(数百幅掌纹)。

其中的掌纹图像配准的方法有许多种，鉴于常见的掌纹库有几十或者几百幅掌纹图像，可以通过手工标注的方法进行配准并获取配准所需的旋转平移矩阵。也可以设计其他方法，不在本发明重点技术范围之内。

训练环节，每幅掌纹图像经过上述预处理操作，得到一批细节点样本，每个细节点样本包含64x64像素大小的邻域图像和对应的描述信息。对于训练集数据，还需要指掌纹专家进行手工标注，标注细节点的真伪标签。许多幅掌纹处理后，将细节点邻域、细节点描述信息和标签构建起训练集。将训练集里若干细节点邻域和细节点描述信息输入模型，同时将对应的标签输入，对模型进行迭代训练，当模型性能收敛时，停止训练。针对训练集上的分类判定精度，可以对模型参数进行调整优化。

预测环节，每幅掌纹图像经过上述预处理操作，得到一批待预测的细节点样本，单个样本输入模型，模型将返回预测结果。结果为一个布尔量和一个概率值，布尔量描述该细节点为真细节点或者伪细节点，概率值描述模型做出上述判定的概率。

对真伪细节点进行精确甄别，具有重要意义。主要体现在以下两个方面：

对掌纹身份识别(掌纹匹配)精度起到决定性作用：通过细节点甄别，排除掉伪细节点，得到的细节点集合更能准确地描述掌纹，使得同源掌纹类内相似度距离更小，异源掌纹的类间相似度距离更大，有利于提高掌纹识别精度。

对掌纹身份识别(掌纹匹配)计算速度有巨大影响：由于伪细节点数量庞大，匹配过程根据不同的匹配算法，所需的时间复杂度呈指数级增长。根据我们在某掌纹数据库上，运行AFIS提取的细节点集合分析，真实细节点约占提取的细节点数量的1/3，特别是掌纹匹配算法复杂度一般比较高，甄别真伪细节点后，通过降低输入数据规模，可以大大降低匹配算法执行的计算次数，从而显著提高匹配速度。

实施例二

本实施例提供了基于深度学习的掌纹细节点真伪甄别系统；

基于深度学习的掌纹细节点真伪甄别系统，包括：

获取模块，其被配置为：获取待识别的掌握图像；

预处理模块，其被配置为：对待识别的掌纹图像进行预处理，得到待识别掌纹图像的细节点描述信息和细节点邻域图像；

真伪甄别模块，其被配置为：将待识别掌纹图像的细节点描述信息和细节点邻域图像，输入到训练后的卷积神经网络中，得到掌纹细节点真伪甄别结果。

此处需要说明的是，上述获取模块、预处理模块和真伪甄别模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。