一种基于几何结构的手指多模态生物特征粒化融合方法

摘要

一种基于几何结构的手指多模态生物特征粒化融合方法。其包括将手指三模态ROI图像利用静态小波变换方法对进行二层分解；将图像分别进行尺寸和数值归一化处理；对每幅图像根据向量空间模型进行超球粒化；将指纹、指静脉和指节纹原子超球粒分别作为三角形的一个顶点，利用该三角形确定的内切圆和指静脉原子超球粒构造出融合超球粒；对每一个融合超球粒赋予一个类别标签，形成模板粒集；将每一待测个体的三模态图像形成待测超球粒，最后通过计算待测超球粒与上述模板粒集中所有模板超球粒的模糊包含度或模糊包含度和欧氏距离相结合的方法来判断待测超球粒与哪一个模板超球粒特征匹配等步骤。本发明方法具有运算速度快、识别率高的特点。

说明书

技术领域

本发明属于生物特征识别领域，具体涉及一种基于几何结构的手指多模态生物特征粒化融合方法。

背景技术

随着信息化时代的快速发展，信息的安全性与保密性受到人们的高度重视，生物特征识别技术作为一种新的身份识别技术，目前已广泛应用于安防监控、电子商务、出入口管理等领域。但是，单模态的生物特征识别技术具有很多的缺陷和不足，所以，近几年许多学者转向研究多模态生物特征识别技术，研究表明多模态生物特征识别技术能提高生物特征识别系统的性能。目前，手指多模态生物特征识别技术因其诸多优势而日益受到重视，常用的手指特征有指纹、指静脉、指节纹、手形、掌纹、掌静脉等，但是这些特征在成像原理、纹理分布及分辨率等方面都各有差异，所以将多个模态的生物特征有效地融合起来成为研究中的关键性问题。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于几何结构的手指多模态生物特征粒化融合方法，可有效地将指纹、指静脉和指节纹三个模态图像融合起来，以改善手指生物特征识别的准确率和效率。

为了达到上述目的，本发明提供的基于几何结构的手指多模态生物特征粒化融合方法包括按顺序进行的下列步骤：

1)首先对多个不同个体的单模态原始指纹ROI图像、指静脉ROI图像和指节纹ROI图像利用静态小波变换方法分别进行二层分解，由此获得多幅三个模态的低频图像；

2)将上述多幅三个模态的低频图像分别进行尺寸归一化和数值归一化处理；

3)将上述每幅归一化后的单模态低频图像中所有像素值采用按行串联的方法形成一个高维向量，再进行超球粒化，使得每一幅归一化后的单模态低频图像形成一个指纹、指静脉或指节纹原子超球粒；

4)将上述每一个体的指纹、指静脉和指节纹原子超球粒分别看成高维空间中的一个点，将该指纹、指静脉和指节纹原子超球粒分别作为三角形的一个顶点，连线相邻顶点而形成一个三角形，然后利用该三角形确定的内切圆和指静脉原子超球粒构造出融合超球粒；

5)对上述每一个融合超球粒给定一个相应的类别标签，即属于同一个体的三模态图像具有相同的类别标签，然后将这些融合超球粒分成两部分，一部分作为训练样本，一部分作为测试样本；

6)将训练样本中的融合超球粒作为类别标签已知的模板超球粒而构成模板粒集；将测试样本中的融合超球粒作为类别标签未知的待测超球粒与模板粒集中的模板超球粒进行特征匹配，特征匹配是通过计算待测超球粒与模板粒集中所有模板超球粒的模糊包含度K或模糊包含度K和欧氏距离D相结合的方法来获得待测超球粒的类别标签，再根据获得的类别标签与步骤5)给定的类别标签是否一致来判断待测超球粒与哪一个模板超球粒属于同一个体。

在步骤2)中，所述的尺寸归一化处理方法是：将指纹低频图像调整到119×100像素，指静脉低频图像调整到70×170像素，指节纹低频图像调整到70×170像素；所述的数值归一化处理方法是按式1)对上述低频图像进行数值归一化，使得每幅低频图像的像素值都在0和1之间：

${I_{i,j}}^{*}=\frac{I_{i,j}-I_{\min }}{I_{\max }-I_{\min }}---\left(1\right)$

其中，I_i,j表示低频图像中像素点(i，j)的原像素值，I_min表示整幅图像所有像素值中的最小值，I_max表示整幅图像所有像素值中的最大值，I_i,j^*表示低频图像中像素点(i，j)归一化后的像素值。

在步骤3)中，将每幅归一化后的单模态低频图像中所有像素值采用按行串 联的方法形成一个高维向量，再进行超球粒化，使得每一幅归一化后的单模态低频图像形成一个指纹、指静脉或指节纹原子超球粒的方法是：

将上述每幅归一化后的单模态低频图像中所有像素值按行串联形成一个11900维的向量，对应于高维空间中的一个点，那么，以该点为球心，零为半径，则可以形成一个原子超球粒，表达式如下：

$G_{FV}=(C_{fv},0),C_{fv}=[I_{1,1}^{fv},I_{1,2}^{fv},\mathrm{...},I_{M_v,N_v}^{fv}]---\left(2\right)$

$G_{FP}=(C_{fp},0),C_{fp}=[I_{1,1}^{fp},I_{1,2}^{fp},...,I_{M_p,N_p}^{fp}]---\left(3\right)$

$G_{FKP}=(C_{fkp},0),C_{fkp}=[I_{1,1}^{fkp},I_{1,2}^{fkp},...,I_{M_k,N_k}^{fkp}]---\left(4\right)$

其中，FP表示指纹，FV表示指静脉，FKP表示指节纹；C_fp，C_fv，C_fkp表示对应模态的球心向量；分别表示对应模态图像(m,n)点的像素值。

在步骤4)中，所述的将每一个体的指纹、指静脉和指节纹原子超球粒分别看成高维空间中的一个点，将该指纹、指静脉和指节纹原子超球粒分别作为三角形的一个顶点，连线相邻顶点而形成一个三角形，然后利用该三角形确定的内切圆和指静脉原子超球粒构造出融合超球粒的方法是：

首先，根据空间位置关系，每一个体的指纹、指静脉和指节纹原子超球粒可以确定一个三角形△，边长可利用式5)计算得到；其次，该三角形△可以唯一确定一个内切圆，以内切圆圆心向量作为内切圆超球粒的球心C_in,，可利用式6)计算得到，内切圆半径作为内切圆超球粒的半径R_in，可利用式7)计算得到，形成高维空间中的一个内切圆超球粒G_in＝(C_in,，R_in)。

a＝||C_fp-C_fk||₂,b＝||C_fv-C_fkp||₂,c＝||C_fv-C_fp||₂>

$C_{in}\left(i\right)=\frac{[C_{fv}\left(i\right),C_{fp}\left(j\right),C_{fkp}\left(i\right)]·[a,b,c]}{a+b+c},(i=1,2,...,N)---\left(6\right)$

$R_{in}=\frac{2S}{a+b+c},S=\sqrt{p(p-a)(p-b)(p-c)},p=(a+b+c)/2---\left(7\right)$

其中，||·||₂表示2范数，即两点间的欧式距离；C_in(i)，C_fv(i)，C_fp(i)，C_fkp(i)分别表示对应的球心向量的第i维数值；a，b，c分别表示三角形△的边长；[C_fv(i),C_fp(i),C_fkp(i)]和[a,b,c]均表示一个3维行向量；·表示向量数量积；N表示空间维数，这里N＝11900；

之后在内切圆超球粒G_in和指静脉原子超球粒G_FV的球心间连线，以该线段的中点作为球心C_Fs，线段长度的一半作为半径R_Fs画圆而形成一个融合超球粒G_Fs，计算公式见式8)：

$G_{Fs}=\left(\frac{1}{2}\right(C_{fv}+C_{in}),\frac{1}{2}||C_{fv}-C_{in}|{|}_2)---\left(8\right)$

其中，C_in，C_fv分别表示内切圆超球粒G_in和指静脉原子超球粒G_FV对应的球心向量。

在步骤6)中，所述的通过计算待测超球粒与模板粒集中所有模板超球粒的模糊包含度K或模糊包含度K和欧氏距离D相结合的方法来获得待测超球粒的类别标签，再根据获得的类别标签与步骤5)给定的类别标签是否一致来判断待测超球粒与哪一个模板超球粒属于同一个体的方法是：

采用下面的式9)来计算待测超球粒与上述模板粒集中所有模板超球粒的模糊包含度K，并确定出最大值；如果最大模糊包含度只有一个，那么该最大值对应的模板超球粒的类别标签即为待测超球粒的类别标签；如果最大模糊包含度不止一个，那么，再按式11)计算待测超球粒与最大模糊包含度对应的模板超球粒的欧氏距离，待测超球粒的类别标签即为最小欧式距离对应的模板超球粒的类别标签；通过判断待测超球粒获得的类别标签与自身的类别标签是否一致来确定特征匹配是否成功，由此可以确定待测超球粒与哪个模板超球粒属于同一个体，从而完成识别过程：

对两个超球粒G₁＝(C₁，R₁)和G₂＝(C₂，R₂)，二者的模糊包含度K为：

其中，ν(G)＝R+β是一个正评价函数，β为一常数；本发明根据融合超球粒的特点，令N为空间维度；∨代表两个融合超球粒的合并运算；融合超球粒G₁和G₂的合并融合超球粒可以表示为G_∨＝G>1∨G₂，其球心和半径的表达式见式10)：

对两个超球粒G₁＝(C₁，R₁)和G₂＝(C₂，R₂)，二者的欧式距离如下：

D(G₁,G₂)＝||C₁-C₂||₂>

本发明提供的基于几何结构的手指多模态生物特征粒化融合方法能够有效地将指纹、指静脉和指静脉三个模态的手指图像融合起来，融合超球粒包含了三个模态的像素特点且具有很高的区分性，以这样的融合超球粒代替三模态图像进行身份识别具有运算速度快、识别率高的特点。

附图说明

图1为原始指静脉ROI图像及利用静态小波变换方法进行二层分解后的图像；其中，LL为低频图像，LH、LH为中频图像，HH为高频图像；

图2为归一化后的三个模态的低频图像。

图3为三模态生物特征粒化融合方法示意图。

图4为指静脉ROI图像样本。

图5为两个超球粒的合并运算过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于几何结构的手指多模态生物特征粒化融合方法进行详细说明。

本发明提供的基于几何结构的手指多模态生物特征粒化融合方法包括按顺序进行的下列步骤：

1)首先对多个不同个体的单模态原始指纹ROI图像、指静脉ROI图像和 指节纹ROI图像利用静态小波变换方法分别进行二层分解，由此获得多幅三个模态(指纹、指静脉和指节纹)的低频图像；

利用静态小波变换方法对每一幅单模态原始ROI图像进行二层分解后能够得到一幅低频图像、两幅中频图像和一幅高频图像，图1为原始指静脉ROI图像及利用静态小波变换方法进行二层分解后的图像。由图1可见，低频图像是原始图像的近似图像，几乎包含了原始图像的所有像素层特征，而高频和中频图像主要是图像的冗余噪声，所以本发明方法选用低频图像。

2)将上述多幅三个模态的低频图像分别进行尺寸归一化和数值归一化处理；

所述的尺寸归一化处理方法是将指纹低频图像调整到119×100像素，指静脉低频图像调整到70×170像素，指节纹低频图像调整到70×170像素；尺寸归一化处理的目的是使三个模态的低频图像在后面的超球粒化步骤中形成的像素值向量具有相同的维度，即包含相同数量的像素点；同时归一化还需要考虑到低频图像本身的纹路特点，所以归一化的尺寸应尽可能保持低频图像的像素分布特征。

所述的数值归一化处理方法是按式1)对上述低频图像进行数值归一化，使得每幅低频图像的像素值都在0和1之间，归一化后的三个模态的低频图像如图2所示：

${I_{i,j}}^{*}=\frac{I_{i,j}-I_{\min }}{I_{\max }-I_{\min }}---\left(1\right)$

其中，I_i,j表示低频图像中像素点(i，j)的原像素值，I_min表示整幅图像所有像素值中的最小值，I_max表示整幅图像所有像素值中的最大值，I_i,j^*表示低频图像中像素点(i，j)归一化后的像素值。数值归一化处理的目的是使三个模态的低频图像在后面粒化步骤中形成的像素值向量在进行运算时对数值具有相同的敏感度。

3)将上述每幅归一化后的单模态低频图像中所有像素值采用按行串联的方 法形成一个高维向量，再进行超球粒化，使得每一幅归一化后的单模态低频图像形成一个指纹、指静脉或指节纹原子超球粒；

将上述每幅归一化后的单模态低频图像中所有像素值按行串联形成一个11900维的向量，对应于高维空间中的一个点。那么，以该点为球心，零为半径，则可以形成一个原子超球粒，表达式如下：

$G_{FV}=(C_{fv},0),C_{fv}=[I_{1,1}^{fv},I_{1,2}^{fv},...,I_{M_v,N_v}^h]---\left(2\right)$

$G_{FP}=(C_{fp},0),C_{fp}=[I_{1,1}^{fp},I_{1,2}^{fp},...,I_{M_p,N_p}^{fp}]---\left(3\right)$

$G_{FKP}=(C_{fkp},0),C_{fkp}=[I_{1,1}^{fkp},I_{1,2}^{fkp},...,I_{M_k,N_k}^{fkp}]---\left(4\right)$

其中，FP表示指纹，FV表示指静脉，FKP表示指节纹；C_fp，C_fv，C_fkp表示对应模态的球心向量；分别表示对应模态图像(m,n)点的像素值。

4)将上述每一个体的指纹、指静脉和指节纹原子超球粒分别看成高维空间中的一个点，将该指纹、指静脉和指节纹原子超球粒分别作为三角形的一个顶点，连线相邻顶点而形成一个三角形，然后利用该三角形确定的内切圆和指静脉原子超球粒构造出融合超球粒；

如图3所示，首先，根据空间位置关系，每一个体的指纹、指静脉和指节纹原子超球粒可以确定一个三角形△，边长可利用式5)计算得到；其次，该三角形△可以唯一确定一个内切圆，以内切圆圆心向量作为内切圆超球粒的球心C_in,可利用式6)计算得到，内切圆半径作为内切圆超球粒的半径R_in，可利用式7)计算得到，形成高维空间中的一个内切圆超球粒G_in＝(C_in,，R_in)。

a＝||C_fp-C_fk||₂,b＝||C_fv-C_fkp||₂,c＝||C_fv-C_fp||₂>

$C_{in}\left(i\right)=\frac{[C_{fv}\left(i\right),C_{fp}\left(i\right),C_{fkp}\left(i\right)]·[a,b,c]}{a+b+c},(i=1,2,\mathrm{...},N)---\left(6\right)$

$R_{in}=\frac{2S}{a+b+c},S=\sqrt{p(p-a)(p-b)(p-c)},p=(a+b+c)/2---\left(7\right)$

其中，||·||₂表示2范数，即两点间的欧式距离；C_in(i)，C_fv(i)，C_fp(i)，C_fkp(i)分别表示对应的球心向量的第i维数值；a，b，c分别表示三角形△的边长；[C_fv(i),C_fp(i),C_fkp(i)]和[a,b,c]均表示一个3维行向量；·表示向量数量积；N表示空间维数，这里N＝11900。

之后在内切圆超球粒G_in和指静脉原子超球粒G_FV的球心间连线，以该线段的中点作为球心C_Fs，线段长度的一半作为半径R_Fs画圆而形成一个融合超球粒G_Fs，计算公式见式8)。该融合超球粒G_Fs包含了三个模态的信息，可以代替三模态图像进行特征匹配。

$G_{Fs}=\left(\frac{1}{2}\right(C_{fv}+C_{in}),\frac{1}{2}||C_{fv}-C_{in}|{|}_2)---\left(8\right)$

其中，C_in，C_fv分别表示内切圆超球粒G_in和指静脉原子超球粒G_FV对应的球心向量。

本步骤采用的粒化和融合方法都是基于像素层的，是以图像整体作为处理对象：超球粒化是将整幅图像看成一个像素值向量，融合超球粒的构造也是在像素值层面对原子超球粒进行的运算。

另外，本步骤是利用指静脉，而不是指纹和指节纹与内切圆构造融合超球粒是由指静脉图像的成像特点决定的。指静脉图像是通过特定波长的近红外光源对手指进行透射，利用指静脉血管和周边的肌肉组织对红外光吸收有差异，对手指静脉血管进行造影。图4为指静脉图像样本。由图4可以看出，指静脉图像在表象上和内容上都有明显差异，表象上明暗不同，内容上血管宽度和纹路各不相同，故指静脉图像的前景和背景都可以作为不同个体进行区分的有用信息，而指纹和指节纹图像只能够获得手指的表面特征，背景的作用较小，因此本步骤的融合方法增加了指静脉图像在融合粒超球中的比重。

此外，为什么不能将内切圆超球粒作为融合粒？因为虽然内切圆超球粒也包含了三模态特征，但是不同的三角形可能会确定出相同的内切圆，也就是说不同的个体可能会确定出相同的内切圆超球粒，所以，这样容易造成误匹配， 从而影响识别精度。

5)对上述每一个融合超球粒给定一个相应的类别标签，即属于同一个体的三模态图像具有相同的类别标签，然后将这些融合超球粒分成两部分，一部分作为训练样本，一部分作为测试样本；

6)将训练样本中的融合超球粒作为类别标签已知的模板超球粒而构成模板粒集；将测试样本中的融合超球粒作为类别标签未知的待测超球粒与模板粒集中的模板超球粒进行特征匹配，特征匹配是通过计算待测超球粒与模板粒集中所有模板超球粒的模糊包含度K或模糊包含度K和欧氏距离D相结合的方法来获得待测超球粒的类别标签，再根据获得的类别标签与步骤5)给定的类别标签是否一致来判断待测超球粒与哪一个模板超球粒属于同一个体。

所述的模糊包含度K是衡量两个融合超球粒之间的模糊包含关系，也可用于相似性度量，其数值在0和1之间。K＝0表示两个融合超球粒没有包含关系，空间位置关系是相离；K＝1表示其中一个融合超球粒完全包含在另一个融合超球粒内部，空间位置关系是内含或内切；0<K<1表示两个融合超球粒有包含关系。

采用下面的式9)来计算待测超球粒与上述模板粒集中所有模板超球粒的模糊包含度K，并确定出最大值；如果最大模糊包含度只有一个，那么该最大值对应的模板超球粒的类别标签即为待测超球粒的类别标签；如果最大模糊包含度不止一个，那么，再采用式11)计算待测超球粒与最大模糊包含度对应的模板超球粒的欧氏距离D，待测超球粒的类别标签即为最小欧式距离对应的模板超球粒的类别标签，由此可以确定待测超球粒与该模板超球粒属于同一个个体，即这两个融合超球粒对应的三模态图像匹配，从而完成识别过程。

其中，ν(G)＝R+β是一个正评价函数，β为一常数；本发明根据融合超球粒的特点，令N为空间维度；∨代表两个融合超球粒的合并运算； 图5为两个融合超球粒的合并运算过程示意图。如图5所示，融合超球粒G₁和G₂的合并融合超球粒可以表示为G_∨＝G>1∨G₂，其球心和半径的表达式为：

对两个超球粒G₁＝(C₁，R₁)和G₂＝(C₂，R₂)，二者的欧式距离D如下：

D(G₁,G₂)＝||C₁-C₂||₂>

为了充分论证本发明方法的可行性和有效性，本发明人采集了500个不同个体的10幅单模态原始指纹ROI图像(152×152像素)、10幅指静脉ROI图像(91×200像素)和10幅指节纹ROI图像(90×200像素)，总共15000幅手指单模态ROI图像，并按上述方法进行了实验。实验环境为标准PC机，实验平台为Matlab R2010a。

实验采用交叉验证法中的留一法进行识别性能的确定。由于每一个体都有10幅三模态图像，经过粒化融合后，每个个体有10个融合超球粒，所以，随机地将所有的融合超球粒均分成10组，每一组都涵盖所有的类别标签，且一个类别标签只有一个融合超球粒。分组完成后，轮流选取1组作为测试样本，其余9组作为训练样本，这样，经过10轮实验，然后将10次实验的平均值作为最后的结果。实验中，通过判断待测超球粒经特征匹配得到的类别标签与它本身的类别标签是否一致来确定匹配是否成功，将匹配成功的融合超球粒个数在总的测试融合超球粒中所占的比例作为正确识别率。

按照上述实验步骤，本发明人将500个人的数据库分成两个数据集，分别进行了实验，将指纹、指静脉和指节纹三个模态的图像进行粒化融合并进行特征匹配，实验结果如下：

表1.本发明方法的识别性能

其中，200×3×9表示200个个体，3个模态，每个模态9幅ROI图像；300×3×9的含义同上；训练精度/％是训练样本(9组)与模板粒集匹配得到的正确识别率；测试精度/％是测试样本(1组)的正确识别率。测试时间/s是指测试样本(1组)完成测试的时间成本，测试时间/s是训练样本(9组)完成图像预处理(小波分解与归一化)、超球粒化和三角形融合的总时间成本。

由表1可知，本发明方法在两个较大的数据集上进行个体身份识别时，均获得了较高的识别精度(训练精度/％和测试精度/％)和识别效率(测试时间/s和训练时间/s)。实验结果表明：本发明提出的基于几何结构的手指多模态生物特征粒化融合方法能够有效地将指纹、指静脉和指节纹图像有效地融合起来，具有一定的可行性和有效性。