一种基于指纹结构特征与纹理分析的指纹图像匹配方法

摘要

一种基于指纹结构特征与纹理分析的指纹图像匹配方法，包括如下步骤：1)对指纹图像的特征点及其邻近点进行处理，生成结构特征向量；2)进行结构特征向量匹配，落入界限盒则认为细节点匹配成功，用成功匹配的细节点个数代表指纹匹配程度；3)对含信息量适中的残缺指纹或中心部分不存在的指纹图像进行Gabor滤波，采用圆形网格分为若干区域，分别提取纹理特征；4)将各区域的灰度标准偏差作为特征编码，用指纹图像间的特征差表示匹配程度；5)运用BP神经网络综合结构特征和纹理特征找出最匹配的指纹图像。本发明与指纹的平移和旋转无关，有很强的抗噪声，能解决一定范围内的非线性变形问题。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于指纹结构特征与纹理分析的指纹图像匹配方法。

背景技术

指纹识别是一种非常可靠的身份识别方法，近年来也越来越受到相关领域的关注。自动指纹识别系统应用广泛，它在法庭取证和日常生活中都发挥了重要的作用，如网络安全、罪犯鉴定、门禁系统和ATM的身份认证。因此，进行指纹识别技术方面的研究，具有较高的理论意义和现实意义。

指纹图像匹配算法的优劣直接影响着自动指纹识别系统的性能，传统的特征匹配有两种：一种是基于点模式匹配，即将细节特征点表示成点模式进行匹配；另一种是基于纹理信息的匹配模式，通过纹理特征模型将图像匹配转化成模式识别的纹理匹配问题。当前所采用的指纹匹配算法大体上都采用点模式匹配方法。

理想情况下，如果满足下面的三个条件：

(1)知道了匹配的两枚指纹的对应关系；

(2)二者之间没有诸如偏移、旋转、非线性形变等因素影响；

(3)指纹图像中每一个细节特征点都能很准确地定位。

那么指纹匹配的问题就简单到累加两枚指纹中匹配上的点对的个数。然而实际情况却往往是这样的：

(1)事先并不知道两枚指纹的对应关系；

(2)待匹配的两枚指纹间的偏移、旋转和非线性形变是不可避免的；

(3)指纹图像中会存在伪细节特征点；

(4)真实的细节特征点有可能会丢失。

在这种情况下，传统的指纹匹配算法就存在一定的局限性，不能较好支持指纹的旋转和偏移问题，对非线性变形也比较敏感，同时在进行指纹匹配时，取得细节特征点的对应关系、恢复形变、检测伪细节特征点也成为必须。

发明内容

为了克服已有的指纹图像匹配方法存在的不能较好支持指纹旋转和偏移问题，对非线性变形也比较敏感等不足，本发明提供一种利用指纹图像的结构信息，采用点模式匹配算法准确地找到两个点集之间的对应关系并结合纹理分析的指纹图像匹配算法，与指纹的平移和旋转无关，有很强的抗噪声，能解决一定范围内的非线性变形问题的基于指纹结构特征与纹理分析的指纹图像匹配方法。

本发明解决其技术问题所采用的技术方案是：

一种基于指纹结构特征与纹理分析的指纹图像匹配方法，包括如下步骤：

1)、对原始指纹图像进行预处理和特征提取，将原始指纹图像转化为由有限个特征点组成的数据链表，对特征点及其周围的邻近点进行处理，生成匹配用的特征向量，所述特征向量表示各个特征点之间的结构关系；

2)、定义两个点集A和B分别表示输入指纹图像和模板指纹图像的特征向量集合，其中点集A表示从输入指纹图中提取出来的M个细节点，点集B表示从模板图像中提取出来的N个细节点，用s表示两个指纹图像匹配的细节点个数，则细节点集A和B的匹配程度计算如下：

c＝s/min(M，N)      (1)

式(1)中，c表示匹配的特征点个数在两个点集中所占的比例；

3)、对经过Gabor滤波的指纹图像采用稳定的圆形网格，以指纹中心为基准点，将该网格覆盖的范围按角度划分为若干区域，分别提取各个区域的特征信息，使得网格所覆盖的区域内的特征信息应该满足：指纹图像出现的小尺度平移和小角度旋转时，特征信息保持不变；

4)、将指纹局部纹理特征图像分区后，以区为单位建立特征编码；所述特征编码是每个子区内的像素灰度值与子块的平均灰度之间的绝对差值的平均值，即灰度标准偏差，特征编码的计算公式为：

$C_{\mathrm{km}}=\frac{1}{n_k}\sqrt{\underset{i=1}{\overset{n_k}{\Sigma }}(G_{\mathrm{ki}}-\overline{G_k})},m=1,...,8,k=1,...,36---\left(2\right)$

式(2)中，G_ki为第m幅局部纹理特征图中，第k个子块第i个像素点灰度值；G_k为第m幅局部纹理特征图中，第k个子块所有点的平均灰度值；n_k为第m幅局部纹理特征图中，第k个子块内像素点的总数；

按上述方法编码，每一个指纹图像的对应一个特征向量，该特征向量为：

C₁＝{C_km}           (3)

式中k为图像子块的编号；m为Gabor滤波器的编号；

将所有滤波后的局部纹理特征图像顺序编号，滤波图像子块灰度值的标准偏差构成m×k个向量元素，所述向量元素即为指纹图像的特征编码，存储到数据库中；

5)、对得到的指纹图像特征编码进行比对，即做向量减法运算，计算两个指纹的特征差，通过两个指纹特征向量的“距离”值描述指纹图像特征的相似程度；依据所有局部纹理特征图像子块距离总和判断两个指纹图像的匹配程度，距离总和计算公式如下：

$D=\underset{m=1}{\overset{8}{\Sigma }}\underset{k=1}{\overset{36}{\Sigma }}(C_{\mathrm{km}}-C_{F_{\mathrm{km}}})---\left(4\right)$

其中，C_km为目标指纹图像的特征编码，为指纹数据库中编号为F的指纹特征编码，D为目标指纹图像的特征编码与编号为F的指纹特征编码的特征差；

遍历指纹数据库，计算各模板指纹图像与输入指纹图像的特征差；

6)、将步骤2)的指纹图像结构特征匹配程度c和步骤5)的指纹图像纹理特征差D输入BP神经网络；输出为参与匹配的两个指纹的综合相似度。

作为优选的一种方案：所述步骤1)中述及的对经过预处理和特征提取的原始指纹图像的特征点及其周围的邻近点进行处理，生成匹配用的特征向量，包括如下步骤：

(1.1)对于分布在二维平面上的每一个特征点，在以此点为圆心，以R为半径的圆内共存在α个端点和β个分叉点，它们与中心特征点的距离分别为(d₁，d₂，…，d_α)和(d₁，d₂，…，d_β)，每个中心点选取n个特征点为特征向量点，记录下相关数据，与中心点构成一个共n+1个点的向量；

(1.2)特征向量的数学表达式为：

FV＝(Center-type，R，group_d[4]，group_f[4]，group_b[4])(5)

式(5)中：

Center-type：中心特征点的类型；

R：以该中心点为圆心的圆的半径；

group_d[4]：所选端点的信息向量组；

group_f[4]：所选分叉点的信息向量组；

group_b[4]：所选“补点”的信息向量组；

(1.3)三个信息向量组的构成分别如下：

group_d[4]＝(α，CrossNumd，d_d，Ad)；

group_f[4]＝(β，CrossNumf，d_f，Af)；

group_b[4]＝(b_type，CrossNumb，d_b，Ab)；

其中：

α，β分别为邻点中的端点总数和分叉点总数；

b_type为“补点”的类型；

CrossNumX(X＝d，f，b)分别表示对应邻点与中心特征点间所跨越的纹线数；

d_X(X＝d，f，b)分别表示对应邻点到中心特征点的距离；

AX(X＝d，f，b)分别表示对应邻点与中心特征点方向的夹角；

(1.4)根据已知点的坐标和方向角度计算出邻点到中心特征点的距离、夹角和跨越的纹线数，邻点到中心点的距离可以通过测度空间的两点间距离计算方法得到；邻点与中心点间所跨越的纹线数可以根据算法求得，先求出该联机所穿过的各点的坐标，再统计出其中为指纹二值图像点前景点的个数，就得到所跨越的纹线数；夹角即为两点的连线与中心点方向间的夹角，结果保证在0到π之间。

进一步，所述步骤2)中述及的细节点集P和Q的匹配程度计算，包括如下步骤：

(2.1)点集A和B分别表示为：$A=\{{\mathrm{FV}}_1^A,{\mathrm{FV}}_2^A,{\mathrm{FV}}_3^A,...,{\mathrm{FV}}_M^A\},$$B=\{{\mathrm{FV}}_1^B,{\mathrm{FV}}_2^B,{\mathrm{FV}}_3^B,...,{\mathrm{FV}}_M^B\},$其中FV_i^A记录点集A中第i个特征点的特征向量；

(2.2)当一邻点落在另一相对邻点的界限盒范围内时，则称两对邻点到各自中心点的距离和夹角“相等”，记为DA-diff＝0，否则记为1；

(2.3)假设点a属于点集A，点b属于点集B，则点a与点b中三对应向量组成点的匹配条件为：

(abs(a.Countd-b.Countd)+abs(a.Countf-b.Countf))＜2

&&a.b_type＝b.b_type

&&(abs(a.CrossNumd-b.CrossNumd)+

(6)

abs(a.CrossNumf-b.CrossNumf)+

abs(a.CrossNumb-b.CrossNumb))＜2

&&DA-diff＝0

将三对应向量组成点联系起来匹配，为判断点的匹配留下松弛量；当匹配时返回值flag为“1”，否则为“0”；

(2.4)点a与点b的具体匹配过程为：

f(a.Center-type＝b.Center-type)

{if(a.R＝b.R)

 {if(flag)

   {s++；

   b.Center-type＝0；

   Break；}

}

}

s是一个输入细节点集A与范本细节点集B的匹配细节点数，当点a与点b匹配时，s的值加1；点集A和点集B中所有特征点匹配结束后，用c＝s/min(M，N)来表示这两个点集的匹配程度；若c越大，则两枚指纹来自同一个指头的可能性越大。

更进一步，所述步骤(3)中述及的对于含信息量适中的残缺指纹或者中心部分不存在的指纹图像，进行Gabor滤波和圆形网格分割，具体为如下过程：

将经Gabor滤波器滤波处理后所得的8个方向指纹局部信息图，均分成3×12份的圆形网格，把每幅指纹局部信息，以指纹中心点确定的基准点为圆心，分为38个区域：其中1-12区的半径为12＜R＜32，沿逆时针方向隔π/6依次排列；13-24区半径32＜R＜52，沿逆时针方向隔π/6依次排列；25-36区半径52＜R＜72，沿逆时针方向隔π/6依次排列；半径R＜12的区域为37区；半径R＞72的图像区域为38区。每隔π/6划分一个区域，提高指纹识别系统的旋转不变性。

本发明利用了每个特征点与其周围特征点之间的相互位置关系，在以每一个特征点为中心，以动态R为半径的圆形范围内选取三个“特别”特征点作为该中心点的向量组成点，从而使两指纹的匹配转变为向量组间的匹配，不仅算法简单，也增大了指纹的信息量，保证了匹配的可靠性。而且，在匹配过程中，又将三对应向量组成点联系起来进行匹配，为判断点的匹配留下了一定的松弛量。实验结果证明，该算法具有完全的图像旋转和平移不变性，充分利用指纹图像的全局特征和局部特征，能有效地抵抗指纹图像的噪声，匹配速度快。结合纹理特征匹配，算法中没有用到指纹的中心点信息，对含信息量适中的残缺指纹和中心部分不存在的指纹也具有很好的识别能力。

附图说明

图1是与中心点组成结构特征向量的相邻特征点示意图。

图2是邻点与中心点的结构图。

图3是圆形网格示意图。

图4是可视化圆形网格。

图5是局部特征纹理可视化的斗形纹线指纹纹理图。

图6是Gabor滤波后方向(0)的纹理特征图。

图7是图6对应的纹理特征编码示意图。

图8是Gabor滤波后方向(π/8)的纹理特征图。

图9是图8对应的纹理特征编码示意图。

图10是Gabor滤波后方向(π/4)的纹理特征图。

图11是图10对应的纹理特征编码示意图。

图12是Gabor滤波后方向(3π/8)的纹理特征图。

图13是图12对应的纹理特征编码示意图。

图14是Gabor滤波后方向(π/2)的纹理特征图。

图15是图14对应的纹理特征编码示意图。

图16是Gabor滤波后方向(5π/8)的纹理特征图。

图17是图16对应的纹理特征编码示意图。

图18是Gabor滤波后方向(3π/4)的纹理特征图。

图19是图18对应的纹理特征编码示意图。

图20是Gabor滤波后方向(7π/8)的纹理特征图。

图21是图20对应的纹理特征编码示意图。

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1-图21，一种基于指纹结构特征与纹理分析的指纹图像匹配方法，该方法包括以下步骤：

1)、经过预处理和特征提取的原始指纹图像转化为由有限个特征点组成的数据链表，对特征点及其周围的邻近点进行处理，生成匹配用的特征向量用来表示各个特征点之间的结构关系。

2)、定义两个点集A和B分别表示输入指纹图像和模板指纹图像的特征向量集合，其中点集A表示从输入指纹图中提取出来的M个细节点，点集B表示从模板图像中提取出来的N个细节点，这样两枚指纹的匹配就变成了对它们所对应的特征点向量进行匹配。用s表示两个指纹图像匹配的细节点个数，则细节点集A和B的匹配程度计算如下：

c＝s/min(M，N)       (1)

c表示匹配的特征点个数在两个点集中(取点数较少的集合)所占的比例。

3)、对于含信息量适中的残缺指纹或者中心部分不存在的指纹图像进行基于纹理特征的匹配。对经过Gabor滤波的指纹图像采用稳定的圆形网格，以指纹中心为基准点，将该网格覆盖的范围按角度划分为若干区域，分别提取各个区域的特征信息，使得网格所覆盖的区域内的特征信息应该满足：指纹图像出现的小尺度平移和小角度旋转时，特征信息保持基本不变。

4)、将指纹局部纹理特征图像分区后，以区为单位建立特征编码。所述特征编码是每个子区内的像素灰度值与子块的平均灰度之间的绝对差值的平均值，即灰度标准偏差，特征编码的计算公式为：

$C_{\mathrm{km}}=\frac{1}{n_k}\sqrt{\underset{i=1}{\overset{n_k}{\Sigma }}(G_{\mathrm{ki}}-\overline{G_k})},m=1,...,8,k=1,...,36---\left(2\right)$

其中，G_ki为第m幅局部纹理特征图中，第k个子块第i个像素点灰度值；G_k为第m幅局部纹理特征图中，第k个子块所有点的平均灰度值；n_k为第m幅局部纹理特征图中，第k个子块内像素点的总数。

按上述方法编码，每一个指纹图像的对应一个特征向量，该特征向量为：

C₁＝{C_km}             (3)

式中k为图像子块的编号；m为Gabor滤波器的编号；

将所有滤波后的局部纹理特征图像顺序编号，滤波图像子块灰度值的标准偏差构成了m×k个向量元素，此向量元素即为指纹图像的特征编码，存储到数据库中，以备用于指纹特征比对运算。

5)、对得到的指纹图像特征编码进行比对，即做向量减法运算，衡量两个指纹特征向量的“距离”，计算两个指纹的特征差，通过“距离”值描述指纹图像特征的相似程度。依据所有局部纹理特征图像子块距离总和判断两个指纹图像的匹配程度，距离总和计算公式如下：

$D=\underset{m=1}{\overset{8}{\Sigma }}\underset{k=1}{\overset{36}{\Sigma }}(C_{\mathrm{km}}-C_{F_{\mathrm{km}}})---\left(4\right)$

其中，C_km为目标指纹图像的特征编码，为指纹数据库中编号为F的指纹特征编码，D为目标指纹图像的特征编码与编号为F的指纹特征编码的特征差。遍历指纹数据库，计算各模板指纹图像与输入指纹图像的特征差。

6)、设计BP神经网络对指纹图像进行综合匹配，神经网络的输入是步骤2)的指纹图像结构特征匹配程度c和步骤5)的指纹图像纹理特征差D；输出为参与匹配的两个指纹的综合相似度。训练阶段，对于两个相同的指纹，输出为1，否则输出为0；在识别阶段，网络输出值介于0和1之间，相似度越大，则两个指纹越相似。

原始指纹图像经过预处理和特征提取之后，已经变成了由有限个真特征点(端点和分叉点)组成的数据链表。为了表示各个特征点之间的结构关系，就需对特征点及其周围的邻近点进行处理，从而生成匹配用的特征向量。

本发明在传统的基于指纹结构特征的匹配方法上作了三方面的改进：

(1)在传统的基于指纹结构特征的匹配方法中，特征点及邻近点所处的圆半径R常取定值。当R取值过小时，在特征点稀疏区域中就不容易采到邻点，向量中只有中心特征的属性，很容易使仅有类型相同的两个特征点错误匹配；同样，当R取值过大时，在特征点密集的地方又很容易受噪声等的影响。因此，本发明中R是一个动态变量：首先依照经验将R赋值为30，若在以R＝30为半径的圆内存在邻点，则进行后面向量生成；若不存在邻点，即α＝β＝0，则将R赋值为40；同样，若在以R＝40为半径的圆内仍旧不存在邻点，则再次将R扩大到50。根据实验测试结果可知，此做法能保证匹配可靠性。

(2)在选取动态R之后，圆形范围内中心特征点的内邻点一般都在3个以上，6个以下，这已经不适宜传统作法中的t＝2或t＝5，因此，这里选取3个“特殊”邻点为中心点的向量组成点。除了能减少计算量以外，对少量特征点的缺失和少量伪特征点的存在也具有一定的容错性。

(3)三个向量组成点分别选择一个距离中心特征点最近的端点、分叉点和、“补点”。“补点”的选择方法为：当邻点中端点总数α大于或等于分叉点总数β时，“补点”就选取与中心点的距离最远的端点；相反，当α小于β时，“补点”就选取与中心点的距离最远的分叉点。如图1所示，O为中心特征点，A、B、C分别为O的3个向量组成点。此方法可以避免传统作法中“远程”特征点信息的遗失，提高了识别的准确率。

向量生成时，除了利用邻点的总数和中心点与邻点的距离不变性来描述中心点的唯一性外，还可以通过提取特征点的其它属性来增强这种唯一性。例如点的类型，邻点到中心点的方向夹角以及两点所跨越的纹线数等，这从特征向量FV的数学表达式中有所体现。

这里，由于已知点的坐标和方向角度，因此可以直接计算出邻点到中心特征点的距离，夹角和跨越的纹线数。邻点与中心点间所跨越的纹线数可以根据算法求得，先求出该联机所穿过的各点的坐标，再统计出其中为指纹二值图像点前景点的个数，就可以得到所跨越的纹线数。图1中，点A，点B与中心点O之间所跨越的纹线数分别为2，2，1。邻点到中心点的距离可以通过测度空间的两点间距离计算方法得到；夹角即为两点的连线与中心点方向间的夹角，结果保证在0到π之间。如图2所示，d_OA、d_OB分别为邻点A和邻点B到中心点O的距离，θ_OA和θ_OB分别为邻点A和邻点B与中心点O的方向夹角。

从特征向量FV的构造可以看出，在结构特征向量的邻点之间进行比对时，都会涉及到距离和夹角的比较问题。由于指纹图像变形现象的存在，即使它们是匹配的，距离和夹角也很难严格相等，而是彼此在对方的一定范围内，因此这里采用了大小可变的界限盒方法。这样，当一邻点落在另一相对邻点的界限盒范围内时，称这两邻点到各自中心点的距离和夹角“相等”。根据三对应向量组成点的匹配条件对点集A和B中的各个特征点进行匹配，最终匹配成功的点的数量就代表了两幅指纹图像结构特征的匹配程度。

对于含信息量适中的残缺指纹或者中心部分不存在的指纹图像进行基于纹理特征的匹配。原始指纹图像经过Gabor滤波器滤波处理后，得到8个方向的纹理特征图像，增强了兴趣方向的信息，保留了真正的脊和谷结构，降低了非兴趣区的强度。但滤波后图像是原始图像信息的8倍，噪声信息也大大增加，如此大量的信息不能直接用于匹配，要进一步通过统计的方法缓解噪声带来的影响，突出局部特征信息在指纹匹配中的作用。本方面运用圆形网格特征编码方式来满足上述要求，避免了旋转定位问题，有利于匹配时保持旋转不变。

图3是一个稳定的圆形网格的示意图，指纹图像出现的小尺度平移和小角度旋转时，该网格内的特征信息保持基本不变。如果以指纹中心为基准点，在指纹切割图内，划分此圆形网格可以满足一定的平移特征信息不变性，同时Gabor滤波器滤波后产生8个方向的局部信息图，如果旋转角度小于π/8，局部信息不会出现明显错位。因此，本发明方法以指纹中心为基准点，将8个方向的指纹局部信息图，均分成3×12份的圆形网格，把每幅指纹局部信息，以指纹中心点确定的基准点为圆心，分为38个区域：其中1-12区的半径为12＜R＜32，沿逆时针方向隔π/6依次排列；13-24区半径32＜R＜52，沿逆时针方向隔π/6依次排列；25-36区半径52＜R＜72，沿逆时针方向隔π/6依次排列；半径R＜12的区域为37区；半径R＞72的图像区域为38区。其中每隔π/6划分一个区域，计算该区域的均值统计后，可以提高指纹识别系统的旋转不变性。

本发明采用了圆形网格将滤波后的指纹局部纹理特征图像分隔为38个区域，并进行指纹特征编码与比对。为验证算法的有效性，本发明进行了可视化圆形网格实验、指纹纹理特征编码可视化实验和存在信息偏差指纹的匹配实验。

图4为由计算机实现的可视化圆形网格，该网格把175×175的灰度图像分隔为38个区域，其灰度从第33区沿顺时针开始呈线性增加，形成如图所示的圆形网格。

图5-21所示是指纹纹理特征编码可视化实验，图5为斗形纹线指纹纹理图；图6、8、10、12、14、16、18、20为Gabor滤波后8方向(0，π/8，π/4，3π/8，π/2，5π/8，3π/4，7π/8)的纹理特征图；图7、9、11、13、15、17、19、21为8个方向(0，π/8，π/4，3π/8，π/2，5π/8，3π/4，7π/8)的纹理特征对应纹理特征编码示意图，该示意图是将数据库中指纹图像特征编码经简单数学处理，表征在0-255之间的灰度图像。从特征编码示意图可以直观的看到圆形网格38个区域灰度标准偏差，这种纹理特征编码为指纹匹配提供了数字依据。

综合上述步骤得到的指纹图像结构特征匹配程度c和纹理特征差D，运用BP神经网络提取出与输入指纹图像最为匹配的模板指纹。

本发明基于指纹结构特征与纹理分析的匹配算法充分利用了指纹图的结构信息，采用点模式匹配算法比较准确地找到两个点集之间的对应关系。这种方法与指纹的平移和旋转无关，有很强的抗噪能力，能解决一定范围内的非线性变形问题，对于含信息量适中的残缺指纹和中心部分不存在的低质量指纹也具有很好的识别能力。