一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法

摘要

一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法，包括以下步骤：1)采集到手指静脉、手指指节纹图像；2)对采集到的图像做基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理，通过二值化去除手指图像中的背景区，然后通过求关键区域之间的最大外切矩阵得到最终的手指静脉ROI区域，再根据手指静脉ROI区域在指节纹图像中截出指节纹的ROI区域；最后归一化图像，对归一化后的图像采用双边滤波器进行滤波；3)将处理后的图像做基于小波变换和Gabor滤波的图像层融合。本发明信息丰富、安全性很高。

说明书

技术领域

本发明涉及接触式生物特征身份识别技术领域，尤其是手指多模态融合的预处理方法。

背景技术

随着信息技术的高速发展，人们对信息安全的需求越来越高。传统的身份认证方式是基于标识物(钥匙、证件)和基于知识(卡号、密码)的身份认证，但这些身外之物容易被伪造和遗忘。相比于传统的身份认证，生物特征具有唯一性、无需记忆、不易伪造、易于使用等优点，基于生物特征的识别方式在很大程度上解决了传统身份认证存在的问题，并逐渐取代传统身份认证成为当前身份认证的主要方式。手指是人类感知外部世界的重要器官之一，在手指皮肤表皮下面的手指静脉是活体才具有的特性，实践表明，世界上没有2个人的手指静脉是完全相同的，而增加指节纹，指形，使得信息更加丰富，安全性更高。因此基于手指的多模态特征识别技术是一种安全性很高的身份识别技术。

发明内容

为了克服现有的身份认证方式的信息单一、安全性较低的不足，本发明提供一种信息丰富、安全性很高的基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法。

本发明解决其技术问题所采用的技术方案是：

一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法，所述方法包括以下步骤：

1)采集到掌手指静脉、手指指节纹图像；

2)对采集到的图像做基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理，过程如下：

通过二值化去除手指图像中的背景区，然后计算图像中每列的像素和L_j，找出2个L_j的极大值列A、B，然后将A左移n列，B右移m列分别得到l₁、l₂，最后通过求l₁、l₂之间的最大外切矩阵得到最终的手指静脉ROI区域，通过手指静脉ROI区域在指节纹图像中截出指节纹的ROI区域；

将ROI图像大小归一化，然后进行灰度归一化；

对归一化后的图像进行滤波；

3)将处理后的图像做基于小波变换和Gabor滤波的图像层融合。

进一步，所述步骤2)中，采用otsu算法来自动选取阈值进行二值化，设图像二值化的阈值为T，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，则图像的总平均灰度为式(1)：

u＝w₀×u₀+w₁×u₁(1)

前景和背景图像的方差为如式(2)：

S_b＝w₀×w₁×(u₀-u₁)×(u₀-u₁)(2)

从L个灰度级遍历T，使得T为某个值的时候，前景和背景的方差最大，则这个T值便是要求得的阈值；

采用形态学图像处理中的开操作对二值化后的图像轮廓进行平滑处理，开操作是采用3×3数值为1的结构元先对图像做腐蚀，然后再对腐蚀后的图像做膨胀；

根据二值化的图像得到去除背景后的手指静脉图像，计算每一列的像素灰度值总和L如式(3)：

$L_j=\left\{\underset{i=1}{\overset{n}{\Sigma }}f(i,j)\right|,j=1,2,...,h\}---\left(3\right)$

采用长度为21的滑动窗口分别去搜索第50列到250列、第250列到450列这2个范围，计算出每21列像素和相加的值，找到最大值对应的列为A、B，然后将A移50列得到l₁、B右移50列得到l₂，最后通过求l₁、l₂之间的最大外内切矩阵得到最终的手指静脉ROI区域；

对获取到的ROI图像进行尺寸的归一化，保证每张ROI图像的大小一样，我们采用缩放的方法如式(4)：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}a0\\ 0b\end{array}\right)\left(\begin{array}{c}u\\ v\end{array}\right)---\left(4\right)$

其中a，b分别表示延x方向和延y方向的缩放比例，u，v表示缩放后的坐标，x，y是u，v变换到原图的坐标，在使用的过程中，为了避免图像的扭曲，a和b的数值趋于相等；

采用灰度归一化的方法对图像进行处理，使图像具有相同的灰度均值与灰度方差，设f(x,y)为图像中像素点(x,y)的灰度值，则图像的平均灰度M_f、方差V表示为式(5)：

$\left(\begin{array}{c}{M}_f=\frac{1}{m\times n}\underset{x=1}{\overset{m}{\Sigma }}\underset{y=1}{\overset{n}{\Sigma }}f(i,j)\\ V=\frac{1}{m\times n}\underset{x=1}{\overset{m}{\Sigma }}\underset{y=1}{\overset{n}{\Sigma }}{[f(i,j)-M_f]}^2\end{array}\right)---\left(5\right)$

其中m，n为图像的长和宽，那么灰度归一化后点(x,y)的灰度值表示为I(i,j)如式(6)：

$I(i,j)=\{\begin{array}{c}{M}_0+\sqrt{\frac{V_0{[f(i,j)-M_f]}^2}{V}};f(i,j)\ge M_f\\ M_0-\sqrt{\frac{V_0{[f(i,j)-M_f]}^2}{V}};f(i,j)<M_f\end{array}---\left(6\right)$

其中M_f为归一化之前的均值，M₀是预置归一化之后的均值，V₀是归一化之前的方差，V为预置归一化之后的方差；

对于归一化后的图像，采用双边滤波器进行滤波，假设图像I在坐标点p＝(x,y)的灰度值为I_p,经过双边滤波后得到的图像BI在坐标点p＝(x,y)的灰度值为BI_p，则双边滤波公式如式(7)所示：

$\left(\begin{array}{c}{\mathrm{BI}}_p=\frac{1}{k_p}\underset{q\in S}{\Sigma }{G}_{{\sigma }_s}\left(\right||p-q|\left|\right)G_{{\sigma }_r}\left(\right||I_p-I_q|\left|\right)I_q\\ k_p=\underset{q\in S}{\Sigma }{G}_{{\sigma }_s}\left(\right||p-q|\left|\right)G_{{\sigma }_r}\left(\right||I_p-I_q|\left|\right)I_q\end{array}\right)---\left(7\right)$

其中，k_p为归一化因子，q＝(u,v)为中心像素点p的领域像素点，S为领域像素点的合集，为空间邻近度因子，为灰度相似度因子如式(8)：

$\left(\begin{array}{c}{G}_{{\sigma }_s}=e^{-\left|{(x-u)}^2+{(y-v)}^2\right|/2{{\sigma }_s}^2}\\ G_{{\sigma }_r}=e^{-{[I_p-I_q]}^2/2{{\sigma }_r}^2}\end{array}\right)---\left(8\right)$

其中σ_s是基于高斯函数的距离标准差，控制空间域高斯滤波核函数的作用范围，表示σ_r是基于高斯函数的灰度标准差，控制灰度域高斯滤波核函数的作用范围。

更进一步，所述步骤1)中，通过850nm近红外LED、白色LED光源和高清CCD的前端采集装置分别采集手指静脉、指节纹图像。

再进一步，所述步骤3)中，采用二维Mallat算法进行小波分解，设高通滤波器H和低通滤波器G是两个一维镜像滤波算子，它们的下标r和c分别表示行和列，那么在j-1的尺度上Mallat分解公式表示为如式(9)：

$\left(\begin{array}{c}{C}_j=H_r{H}_c{C}_{j-1}\\ D_j^1=G_c{H}_r{C}_{j-1}\\ D_j^2=G_c{G}_r{C}_{j-1}\\ D_j^3=G_c{G}_r{C}_{j-1}\end{array}\right)---\left(9\right)$

这里，C_j,分别对应于图像C_j-1的低频分量，以及竖直方向、水平方向和对角线上的高频分量，H_r,H_c,G_r,G_c表示的是滤波算子分别对图像的行和列进行卷积；

得到手指静脉和指节纹图像的低频分量、水平边缘、竖直边缘和对角线的高频分量后，采用二维Gabor滤波器进行增强，二维Gabor滤波器由高斯包络和复平面波两个部分组成，函数形式如式(10)所示：

$G(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}_x{\sigma }_y}\exp (-\frac{x^2}{2{\sigma }_x}-\frac{y^2}{2{\sigma }_y})\exp \left(j2\pi fx\right)---\left(10\right)$

其中σ_x,σ_y表示沿x轴和y轴高斯包络的标准差，f表示滤波器的中心频率；

采用如下融合规则：

a)图像的低频融合系数采用两幅图像低频分量绝对值较大的一个；

b)图像的水平和竖直方向高频融合系数采用指静脉和指节纹的加权平均；

最后采用二维Mallat快速算法对图像进行重构，如式(11)：

I(x,y)＝ω^-1(φ(G(ω(I₁(x,y),ω(I₂(x,y)))))(11)

其中ω表示小波变换，ω^-1表示小波逆变换，φ是融合规则，I₁和I₂分别表示指静脉和指节纹图像，G代表Gabor滤波器变换；

融合后的图像中即包含手指静脉信息和指节纹信息，也包含了指形的信息，实现了3个模态的融合。

本发明的技术构思为：生物识别技术是对人体生物特征(生理或行为特征)进行自动身份识别的技术，生理特征包括DNA、耳廓、人脸、虹膜、视网膜、掌纹、手型、手上的静脉血管等，这些生物特征拥有足够的稳定性，不会随着年龄的增长，时间的改变而改变。基于生物特征的身份验证系统，提供了更大程度的安全性。基于手指的多模态识别技术的优点在于利用的是活体的内生理特性，较难伪造，具有很高安全性；具有较好的特异性与唯一性，可以提供很好的区分度。

采用自制的手指静脉采集装置采集手指静脉和指节纹图像；对采集到的图像做基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理，主要包括：二值化提取出手指静脉，进行关键区域定位，根据最大外切矩阵得到手指静脉感兴趣区域，根据指静脉的感兴趣区域切出指节纹ROI,然后归一化ROI图像，对归一化后的图像采用双边滤波器滤波；将处理后的图像做基于小波变换和Gabor滤波的图像层融合。

本发明的有益效果主要表现在：能获得高质量的手指多模态融合图像。

附图说明

图1为手指多模态采集装置示意图，其中，1为850nmLED，2为白灯，3为CCD摄像头，4为Zynq处理器，5为显示接口；

图2为系统流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法，包括以下步骤：

1)采集到掌手指静脉、手指指节纹图像

通过850nm近红外LED、白色LED光源和高清CCD的前端采集装置分别采集手指静脉、指节纹图像。

2)对采集到的图像做基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理

(2.1)二值化提取出手指静脉

采用otsu算法来自动选取阈值进行二值化，设图像二值化的阈值为T，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，则图像的总平均灰度为式(1)：

u＝w₀×u₀+w₁×u₁(1)

前景和背景图像的方差为如式(2)：

S_b＝w₀×w₁×(u₀-u₁)×(u₀-u₁)>

从L个灰度级遍历T，使得T为某个值的时候，前景和背景的方差最大，则这个T值便是我们要求得的阈值；

二值化的图像中会包含毛刺，为了使图像边缘更加平滑，采用形态学图像处理中的开操作对二值化后的图像轮廓进行平滑处理，开操作是采用3×3数值为1的结构元先对图像做腐蚀，然后再对腐蚀后的图像做膨胀；

根据二值化的图像得到去除背景后的手指静脉图像；

(2.2)进行关键区域定位

计算每一列的像素灰度值总和L如式(3)：

$L_j=\left\{\underset{i=1}{\overset{n}{\Sigma }}f(i,j)\right|,j=1,2,...,h\}---\left(3\right)$

采用长度为21的滑动窗口(对应列左边10列右边10列)分别去搜索第50列到250列、第250列到450列这2个范围，计算出每21列像素和相加的值，找到最大值对应的列为A、B，然后将A移50(N取50)列得到l₁、B右移50(M取50)列得到l₂，最后通过求l₁、l₂之间的最大外内切矩阵得到最终的手指静脉ROI区域；

由于指节纹和指静脉是同时采集，所以我们直接根据手指静脉的ROI区域提取出指节纹的ROI区域，这样，图像的信息中即包含了手指静脉和指节纹区域，也包含了感兴趣区域所对应的手指形状；

(2.3)图像的尺寸灰度归一化

对获取到的ROI图像进行尺寸的归一化，保证每张ROI图像的大小一样，我们采用缩放的方法如式(4)：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}a0\\ 0b\end{array}\right)\left(\begin{array}{c}u\\ v\end{array}\right)---\left(4\right)$

其中a，b分别表示延x方向和延y方向的缩放比例，u，v表示缩放后的坐标，x，y是u，v变换到原图的坐标，在使用的过程中，为了避免图像的扭曲，a和b的数值趋于相等；

采用灰度归一化的方法对图像进行处理，使图像具有相同的灰度均值与灰度方差，设f(x,y)为图像中像素点(x,y)的灰度值，则图像的平均灰度M_f、方差V表示为式(5)：

$\left(\begin{array}{c}{M}_f=\frac{1}{m\times n}\underset{x=1}{\overset{m}{\Sigma }}\underset{y=1}{\overset{n}{\Sigma }}f(i,j)\\ V=\frac{1}{m\times n}\underset{x=1}{\overset{m}{\Sigma }}\underset{y=1}{\overset{n}{\Sigma }}{[f(i,j)-M_f]}^2\end{array}\right)---\left(5\right)$

其中m，n为图像的长和宽，那么灰度归一化后点(x,y)的灰度值表示为I(i,j)如式(6)：

$I(i,j)=\{\begin{array}{c}{M}_0+\sqrt{\frac{V_0{[f(i,j)-M_f]}^2}{V}};f(i,j)\ge M_f\\ M_0-\sqrt{\frac{V_0{[f(i,j)-M_f]}^2}{V}};f(i,j)<M_f\end{array}---\left(6\right)$

其中M_f为归一化之前的均值，M₀是预置的归一化之后的均值，V₀是归一化之前的方差，V为预置归一化之后的方差；

(2.4)对归一化后的图像进行双边滤波

假设图像I在坐标点p＝(x,y)的灰度值为I_p,经过双边滤波后得到的图像BI在坐标点p＝(x,y)的灰度值为BI_p，则双边滤波公式如式(7)所示：

$\left(\begin{array}{c}{\mathrm{BI}}_p=\frac{1}{k_p}\underset{q\in S}{\Sigma }{G}_{{\sigma }_s}\left(\right||p-q|\left|\right)G_{{\sigma }_r}\left(\right||I_p-I_q|\left|\right)I_q\\ k_p=\underset{q\in S}{\Sigma }{G}_{{\sigma }_s}\left(\right||p-q|\left|\right)G_{{\sigma }_r}\left(\right||I_p-I_q|\left|\right)I_q\end{array}\right)---\left(7\right)$

其中k_p为归一化因子，q＝(u,v)为中心像素点p的领域像素点，S为领域像素点的合集，为空间邻近度因子，为灰度相似度因子如式(8)：

$\left(\begin{array}{c}{G}_{{\sigma }_s}=e^{-\left|{(x-u)}^2+{(y-v)}^2\right|/2{{\sigma }_s}^2}\\ G_{{\sigma }_r}=e^{-{[I_p-I_q]}^2/2{{\sigma }_r}^2}\end{array}\right)---\left(8\right)$

其中σ_s是基于高斯函数的距离标准差，控制空间域高斯滤波核函数的作用范围，表示σ_r是基于高斯函数的灰度标准差，控制灰度域高斯滤波核函数的作用范围。

3)将处理后的图像做基于小波变换和Gabor滤波的图像层融合

采用二维Mallat算法进行小波分解，设高通滤波器H和低通滤波器G是两个一维镜像滤波算子，它们的下标r和c分别表示行和列，那么在j-1的尺度上Mallat分解公式可以表示为如式(9)：

$\left(\begin{array}{c}{C}_j=H_r{H}_c{C}_{j-1}\\ D_j^1=G_c{H}_r{C}_{j-1}\\ D_j^2=G_c{G}_r{C}_{j-1}\\ D_j^3=G_c{G}_r{C}_{j-1}\end{array}\right)---\left(9\right)$

这里，C_j,分别对应于图像C_j-1的低频分量，以及竖直方向、水平方向和对角线上的高频分量，H_r,H_c,G_r,G_c表示的是滤波算子分别对图像的行和列进行卷积；

得到手指静脉和指节纹图像的低频分量、水平边缘、竖直边缘和对角线的高频分量后，采用二维Gabor滤波器进行增强，二维Gabor滤波器由高斯包络和复平面波两个部分组成，函数形式如式(10)所示：

$G(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}_x{\sigma }_y}\exp (-\frac{x^2}{2{\sigma }_x}-\frac{y^2}{2{\sigma }_y})\exp \left(j2\pi fx\right)---\left(10\right)$

其中σ_x,σ_y表示沿x轴和y轴高斯包络的标准差，f表示滤波器的中心频率；

指节纹和指静脉的低频分量都具有很好的区分度，在水平方向和垂直方向的高频分量信息较明显，其他方向上的高频分量不明显，采用如下融合规则：

a)图像的低频融合系数采用两幅图像低频分量绝对值较大的一个；

b)图像的水平和竖直方向高频融合系数采用指静脉和指节纹的加权平均；

最后采用二维Mallat快速算法对图像进行重构，如式(11)：

I(x,y)＝ω^-1(φ(G(ω(I₁(x,y),ω(I₂(x,y)))))(11)

其中ω表示小波变换，ω^-1表示小波逆变换，φ是融合规则，I₁和I₂分别表示指静脉和指节纹图像，G代表Gabor滤波器变换；

这样，融合后的图像中即包含手指静脉信息和指节纹信息，也包含了指形的信息，实现了3个模态的融合。