基于多模态非接触身份特征的识别方法

摘要

本发明公开了一种基于多模态非接触身份特征的识别方法，包括如下步骤：对于当前待注册用户，获取其S幅人脸图像、S幅步态图像及N幅人耳图像；提取S幅人脸图像、S幅步态图像及N幅人耳图像的特征，得到人脸图像特征矩阵、步态图像特征矩阵及人耳图像特征矩阵；步骤3、进行图像特征矩阵融合，得到融合矩阵；实时识别。本发明提出了一种基于层次结构的人脸、步态、人耳图像融合识别方法。本发明提出的方法对人脸识别、步态识别和人耳识别进行了有效的融合。

说明书

技术领域

本发明涉及一种基于层次结构的人脸、步态和人耳图像融合的多模态非接触个人身份识别方法，属于模式识别、数字图像处理等领域。

背景技术

生物特征识别技术是利用人的生理和行为特征进行身份鉴别，单模态生物特征识别技术在研究和商业领域都已经取得了丰富的成果。但是，单模态的生物特征识别技术无论是从算法的识别精度和产品的易用程度上，都无法满足大规模应用的需求。多模态的生物特征融合技术不仅能提高系统的识别精度，而且扩展了系统的应用领域，是当前生物特征识别技术发展的一大趋势。

人脸识别、步态识别和人耳识别是近几年最具有发展潜力的生物特征识别技术。人脸识别以其使用方便、特征点明显受到广大研究人员的青睐。但是，由于光照、姿态、装饰等不同因素，使得人脸识别精度难以满足安全性能的要求。步态识别在远距离非接触式识别领域有着非常显著的优势。但是，由于着装的变化、情绪的波动都会影响所提取的步态信息，使步态识别的精度受到很大限制。人耳识别技术以人耳独特的生理特征结构以及不受外界环境刺激和内心活动对生物特征体影响的特点，逐渐受到了同领域研究人员的广泛关注。但是，由于人耳信息容易受到光照、遮挡等因素的影响，使得人耳识别技术的识别精度达不到可靠的条件。目前，国内外人脸、步态和人耳三者进行融合的方法并不多见，大多数多模态身份识别技术都是将两种生物特征进行融合，然后进行身份鉴别。融合的方法可以分为特征级融合和分数级融合，特征级融合是指将采集到的图像分别进行特征提取，然后将提取到的特征融合在一起，作为统一的特征，进行身份鉴别。分数级融合是指分别利用各自的识别方法，得到各自的识别结果，然后采用不同的分数级融合方法进行融合得到最终的相似度分数，进行身份鉴别。

由于我国人口众多、人员流动性大，多模态身份识别系统具有广阔的应用前景。它对国土安全、公共安全、金融安全和网络安全都有重要的意义。但是，现有的生物特征识别需要用户的高度配合，给用户的使用带来很多不便，在某些应用场景，例如机场通关等，需要快速及时地对用户进行识别，繁琐的用户配合将严重降低系统效率。特别地，某些安全领域采用被动生物特征识别技术，需要在用户不知情或者不配合的情况下进行识别。

相对于指纹识别、掌纹识别、签名识别和虹膜识别等，人脸识别和人耳识别是近距离识别最可靠的技术，步态识别是远距离识别最可靠的技术。人脸识别、步态识别和人耳识别都属于非接触式生物特征识别技术，将这三种生物模态进行融合具有广阔的应用前景，不仅解决了被动生物特征识别难题，也提高了识别的精度和效率。但是，现有的多模态融合的方法主要的关注点在于识别算法性能的提高，难以满足实际应用中复杂场景的实时性要求。

中国专利201310122161.3公开了一种基于人脸均值和方差能量图的多姿态人脸识别方法。所述方法包括：1)检测人脸区域对人脸区域图像做尺寸归一化；2)构建狭义人脸均值能量图和广义人脸均值能量图；3)构建狭义人脸方差能量图和广义人脸方差能量图；4)将获得的特征进行融合，获得最终的特征向量；5)由基于欧氏距离的最近邻分类器进行分类识别。这种生物特征识别技术对于大角度姿态变化的人脸识别具有很大的优势，但是识别效率有待进一步提高，无法满足实际应用场景中实时性的要求。

中国专利200910070174.4公开了一种基于融合特征的步态信息处理与身份识别方法。所述方法包括：1)输入视频序列，通过目标检测分割出视频图像中人体目标的轮廓信息；2)将边界中心距、Radon变换同时用于步态特征参数提取，再对得到的特征参数进行相应的后处理；3)选用支持向量机作为分类器进行分类识别，并对识别效果给予评价。这种方法可以更为有效的提取反映运动人体行走特征的有效信息，提高识别准确率。

中国专利201510112185.X公开了一种基于人脸特征和掌纹特征融合的身份识别方法。所述方法包括：1)在一副图像中采集同一个人的人脸和掌纹，并建库；2)分别对图像中的人脸和掌纹区域进行检测、分割，获取目标区域；3)通过人脸识别算法和掌纹识别算法，分别计算认证图像和数据库中每一幅图像的人脸特征和掌纹特种的卡方距离；4)采用多模态特征融合算法对两种特征距离进行融合，实现人的身份识别。这种方法对人脸特征和掌纹特征进行融合，二者信息互为补充，有效提高了身份识别的正确率。

综上所述，现有的生物特征识别技术不能满足实际系统和应用场景的需求，如何充分的将人脸识别、步态识别和人耳识别进行有效的融合以满足实际应用系统实时性和识别精度的要求是一个亟待解决的问题。

发明内容

本发明要解决的技术问题是：综合人脸识别、步态识别和人耳识别的特点，将人脸、步态和人耳融合。

为了解决上述技术问题，本发明的技术方案是提供了一种基于多模态非接触身份特征的识别方法，包括如下步骤：

步骤1、对于当前待注册用户，获取其S幅人脸图像、S幅步态图像及N幅人耳图像；

步骤2、提取S幅人脸图像、S幅步态图像及N幅人耳图像的特征，得到人脸图像特征矩阵F_M×S、步态图像特征矩阵G_N×s及人耳图像特征矩阵B_H×N，则有：

式中，每幅人脸图像有多个特征点，将这些特征点每两个连成一条线段后去除冗余线段，得到M条有效线段，y_s(m)表示第s幅人脸图像中归一化后的第m条有效线段的长度，s＝1，2，…，S，m＝1，2，…，M；

式中，每幅步态图像以其高度分为多级，记录每一级的像素点作为向量的元素，去除冗余信息后，得到N维向量，x_s(n)表示第s幅步态图像对应的N维向量中归一化后的第n个元素所含的像素数，n＝1，2，…，N；

式中，每幅人耳图像有多个特征点，这些特征点的连线去除冗余线段后得到H条有效线段，z_n(h)表示第n幅人耳图像中归一化后的第h条有效线段的长度，h＝1，2，…，H；

步骤3、将人脸图像特征矩阵F_M×s、步态图像特征矩阵G_N×s及人耳图像特征矩阵B_H×S进行融合，得到融合矩阵A_M×H，则有：A_M×H＝F_M×S×G_N×s^T×B_H×N^T，当前待注册用户的注册信息包含该融合矩阵A_M×H的特征向量及当前待注册用户的个人信息，将该注册信息保存至训练数据库，当前待注册用户变为已注册用户；

步骤4、重复步骤1至步骤3，直至将所有待注册用户的注册信息均保存至训练数据库，即训练数据库中保存有所有已注册用户的注册信息；

步骤5、实时获取待识别用户的图像视频集，判断该图像视频集是否包含人脸图像、步态图像及人耳图像，若是，则分别提取人脸图像、步态图像及人耳图像的特征后进行融合，得到融合后的特征向量，将融合后的特征向量与训练数据库中各已注册用户的注册信息进行比对，若匹配，则获得待识别用户的个人信息。

优选地，所述人脸图像特征矩阵F_M×s的计算步骤包括：

步骤2A.1、在每幅人脸图像中提取多个特征点，将所有特征点每两点连成一条线段，运用PCA去除冗余的线段后得到M条有效线段；

步骤2A.2、计算当前人脸图像中每条有效线段的长度，其中，第m条有效线段的长度为y(m)，(x_i，y_i)和(x_j，y_j)分别是第m条有效线段两端的两个特征点的坐标；

步骤2A.3、得到当前人脸图像中所有有效线段的长度的最大值Y_max，将当前人脸图像中的每条有效线段的长度均除以Y_max，得到第s幅人脸图像中归一化后的第m条有效线段的长度y_s(m)；

步骤2A.4、重复步骤2A.1至步骤2A.3，直至得到S幅人脸图像的所有有效线段的归一化后的长度，则得到所述人脸图像特征矩阵F_M×s。

优选地，所述步态图像特征矩阵G_N×s的计算步骤包括：

步骤2B.1、将每幅步态图像转化为高度为A的B/W图像，以其高度分为A级，记录每一级的像素点作为向量的元素，运用PCA去除得到的向量中的冗余信息，得到N维向量；

步骤2B.2、计算当前步态图像对应的N维向量中每个元素所含的像素数，则有第n个元素所含的像素数为x(n)；

步骤2B.3、得到当前步态图像中所有像素数的最大值X_max，将当前人脸图像中的每个元素所含的像素数均除以X_max，得到第s幅步态图像对应的N维向量中归一化后的第n个元素所含的像素数x_s(n)；

步骤2B.4、重复步骤2B.1至步骤2B.3，直至得到S幅步态图像对应的N维向量中归一化后的所有元素所含的像素数，则得到所述步态图像特征矩阵G_N×S。

优选地，所述人耳图像特征矩阵B_H×s的计算步骤包括：

步骤2C.1、提取当前人耳图像中的人耳轮廓，并定位耳轮脚和耳垂角，基于耳轮脚和耳垂角连线的中点建立极坐标，把与人耳轮廓的交点作为特征点，将所有特征点每两点连成一条线段，运用PCA去除冗余的线段后得到H条有效线段；

步骤2C.2、计算当前人耳图像中每条有效线段的长度，其中，第h条有效线段的长度为z(h)，(x_i′，y_i′)和(x_j′，y_j′)分别是第h条有效线段两端的两个特征点的坐标；

步骤2C.3、得到当前人耳图像中所有有效线段的长度的最大值Z_max，将当前人耳图像中的每条有效线段的长度均除以Z_max，得到第n幅人耳图像中归一化后的第h条有效线段的长度z_n(h)；

步骤2C.4、重复步骤2C.1至步骤2C.3，直至得到N幅人耳图像的所有有效线段的归一化后的长度，则得到所述人耳图像特征矩阵B_H×s。

优选地，在所述步骤2C.1中，用基于图像分割的门限处理方法提取所述人耳轮廓。

优选地，在所述步骤2C.1中，用凸包来定位所述耳轮脚和所述耳垂角。

本发明提出了一种基于层次结构的人脸、步态、人耳图像融合识别方法。本发明提出的方法对人脸识别、步态识别和人耳识别进行了有效的融合，其主要优点如下：

1、本发明融合人脸、步态和人耳三种生物特征信息进行身份鉴别，系统识别精度高。

2、本发明采用基于层次结构的融合策略，增加了基于人脸、步态和人耳融合身份识别系统的易用性。

3、本发明即可以用于远距离身份认证，也可以用于近距离身份认证。通过远距离识别和检索步态信息，能够尽快确定用户身份，通过近距离识别和检索人脸和人耳信息，进一步确定用户身份，然后通过步态、人脸和人耳三者的融合，对用户身份进行最终确认。

4、本发明具有扩展性和兼容性，所有的单模态的人脸识别算法、步态识别算法、人耳识别算法，以及特征级融合和分数级融合方法都可以集成到本方法中。

5、得益于以上的优点，本发明使得基于人脸、步态和人耳识别融合方法的大规模应用成为可能。基于本方法的人脸、步态和人耳融合的生物特征识别系统可用于安全场景监控、门禁、考勤等领域。

附图说明

图1基于层次结构的人脸、步态和人耳图像融合识别方法的流程图；

图2人脸特征点分布图；

图3步态识别的预处理图；

图4人耳识别的预处理效果图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

一个典型的生物特征识别系统包括注册和识别两个环节。注册环节是将合法用户的生物特征数据通过注册算法保存到系统数据库中。识别环节是通过识别算法判断待识别的用户是否为数据库中注册的用户。本发明所提出一种基于多模态非接触身份特征的识别方法的流程图如图1所示，包括注册环节和识别环节：

注册环节：采用特征提取方法，对待注册用户的人脸图像、步态图像和人耳图像提取人脸特征、步态特征和人耳特征，得到人脸识别特征、步态识别特征和人耳识别特征的注册信息，将得到的注册信息进行融合，得到一个融合的注册信息并保存到注册数据库，主要包括以下步骤：

步骤1：对某个待注册用户的S幅人脸图像、S幅步态图像及N幅人耳图像进行特征提取，得到人脸图像特征矩阵F_M×s、步态图像特征矩阵G_N×s及人耳图像特征矩阵B_H×N。

步骤2：将得到的人脸图像特征矩阵F_M×s、步态图像特征矩阵G_N×s及人耳图像特征矩阵B_H×N进行融合处理，得到融合矩阵A_M×H，再计算该融合矩阵A_M×H的特征向量，则当前待注册用户的注册信息包含该特征向量以及当前待注册用户的个人信息，将个人信息保存至训练数据库中，则当前待注册用户变为已注册用户。

重复步骤1及步骤2，直至将所有待注册用户的注册信息均录入训练数据库中，即训练数据库保存有所有已注册用户的注册信息。

识别环节：通过层次结构进行人脸、步态和人耳图像融合识别。第一级：判断待识别的图像视频集是否为人脸图像、步态图像、人耳图像。在这里，要求待识别的图像视频集至少是人脸图像、步态图像、人耳图像其中的一种，否则，识别失效。第二级：对获取的图像进行特征提取，获得特征向量，处理特征向量得到融合的特征向量。第三级：基于训练数据库对融合的特征向量进行分类判别，得到个人身份信息。

根据注册数据库的信息，对待识别的用户进行人脸、步态和人耳融合识别，主要包括以下步骤：

步骤1：判别待识别的图像视频集。通过判断待识别的图像视频集中是否包含人脸图像信息、步态图像信息和人耳图像信息三者中至少一种信息。如果待识别的图像视频集不包含人脸图像信息、步态图像信息和人耳图像信息中的任何一种信息，那么判别失效。

步骤2：如果待注册用户的信息中只包含人脸、步态、人耳这三种特征中的任意一种特征，那么这种识别方法就是单模态识别，只需要提取一组特征，得到一个特征向量，基于训练数据库对所得到的特征向量进行分类判别，得到个人身份信息。

如果待注册用户的信息中包含人脸、步态、人耳这三种特征中的任意两种特征，那么需要分别提取两组特征，得到两个特征向量，对得到的两个特征向量进行融合，得到融合后的一个特征向量，基于训练数据库对融合的特征向量进行分类判别，得到个人身份信息。

如果待注册用户的信息中包含人脸、步态、人耳这三种特征，那么这种识别方法就是多模态识别，需要分别对三组图像进行特征提取，分别得到三个特征向量，将三个特征向量进行融合，得到一个融合的特征向量，基于训练数据库对所得到的融合特征向量进行分类判别，得到个人身份信息。

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个步骤的具体形式如下所述：

无论是注册或者识别过程，从原始的图像视频信息到个人身份信息的确认都需要经过特征提取及特征融合，下面分别说明人脸识别、步态识别和人耳识别特征提取和融合过程实施的具体步骤。

1、人脸识别过程

首先，在一幅人脸图像中，提取20个特征点，具体见表1和图2。

表1

将这20个特征点每两个点连成一条线段，可以得到190条线段。运用PCA处理得到的190条线段，去除冗余线段以后，得到M条有效线段，用y(m)表示第m条有效线段的长度，m＝1，2，…，M，那么，对于一幅人脸图像而言，有向量Y＝[y(1)，y(2)，…，y(M)]，最后对向量Y做归一化处理，具体步骤如下：

S1：计算连接两个特征点(x_i，y_i)、(x_j，y_j)的第m条有效线段长度y(m)，

S2：d＝d+1。

S3：重复步骤S1和步骤S2，直到d＝M。

S4：找到向量Y中的最大值，记为Y_max。

S5：将向量Y中的每个元素都除以Y_max进行归一化处理，则得到第s幅人脸图像中归一化后的第m条有效线段的长度y_s(m)，s＝1，2，…，S。

S6：重复步骤S1至步骤S5，直至得到S幅人脸图像的所有有效线段的归一化后的长度，则得到人脸图像特征矩阵F_M×s，有：

2、步态识别过程

首先，是步态图像的预处理，把图像转化为100×80的B/W图像，如图3所示。以图像的高度分为100级(1％，2％，…100％的BW图像高度)，记录每一级的像素点作为向量的元素。运用PCA处理得到的向量，去除冗余信息以后得到N维向量，x(n)表示N维向量中第n个元素所含的像素数，n＝1，2，…，N，那么对于N维向量有向量X，X＝[x(1)，x(2)，…，x(N)]，最后对向量X做归一化处理，具体步骤如下：

S1：计算向量X中第n个元素所含的像素数x(n)。

S2：n＝n+1。

S3：重复步骤S1和步骤S2，直到n＝N。

S4：找到向量X中的最大值，记为X_max。

S5：将向量X中的每个元素都除以X_max进行归一化处理，则得到第s幅步态图像对应的N维向量中归一化后的第n个元素所含的像素数x_s(n)。

S6：重复步骤S1至步骤S5，直至得到S幅步态图像所对应的N维向量的所有元素的归一化后的像素数，则得到步态图像特征矩阵G_N×s，有：

3、人耳识别过程

首先，进行人耳图像的预处理，在一幅人耳图像中用基于图像分割的门限处理方法提取人耳轮廓。其次，用凸包(convexhull)来定位耳轮脚和耳垂角。最后基于耳轮脚和耳垂角连线的中点建立极坐标，把与人耳轮廓的交点作为特征点，如图4所示。将这些特征点之间两两相连连成线段，运用PCA处理得到的线段，去除冗余线段以后，得到H条有效线段，用z(h)表示第h条有效线段的长度，那么有向量Z，Z＝[z(1)，z(2)，…，z(H)]，最后对向量Z做归一化处理，具体步骤如下：

S1：计算连接特征点(x_i′，y_i′)和(x_j′，y_j′)的第h条有效线段的长度z(h)，

S2：h＝h+1。

S3：重复步骤1和步骤2，直到h＝H。

S4：找到所有有效线段的长度中的最大值，记为Z_max。

S5：将向量Z中的每个元素都除以Z_max进行归一化处理，得到第n幅人耳图像中归一化后的第h条有效线段的长度z_n(h)。

S6：重复步骤S1至步骤S5，直至得到N幅人耳图像的所有有效线段的归一化后的长度，则得到人耳图像特征矩阵B_H×s，有：

4、特征融和

将人脸图像特征矩阵F_M×s、步态图像特征矩阵G_N×s及人耳图像特征矩阵B_H×s进行融合，得到融合矩阵A_M×H，则有：A_M×H＝F_M×S×G_N×s^T×B_H×N^T。

特征矩阵λ₁，λ₂，…，λ_M即为特征向量。

5、判别方法

在本发明中，特征融合方法的性能可以通过不同的分类器进行评价。常见的分类方法有包括神经网络、K近邻法，最近邻法、支持向量机。本发明选择K近邻法作为最终的分类判别方法。

实施案列1(步态+人耳)

在一些劫匪抢劫的场景，可能脸会蒙住，但是步态和耳朵信息我们可以提取到。凭借到我们提取到的信息，就可以判断犯罪嫌疑人的身份。

实施案列2(人脸+人耳+步态)

在识别对象很远时，我们可以先通过步态去排除一些信息，当对象很近时我们可以提取对象的脸部信息和耳朵信息，在进行特征融合，这样我们就可以更好的识别。现在机场，银行，都有很多摄像头，可能第一个摄像头可能获取步态信息，第二个摄像头可能捕获到脸部信息，后面的可以捕获到耳朵信息。我们通过综合这些信息可以更好的识别对象。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的是变换或者替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。