基于二级小波包分解和完全主成分分析的步态识别方法

摘要

本发明公开了一种步态识别方法，特别是一种基于二级小波包分解和完全主成分分析的步态识别方法，属于模式识别技术领域。该方法的步骤包括：预处理(形态学处理、目标提取和图像归一化)、特征提取(步态周期、步态能量图、融合WPD+(2D)

说明书

技术领域

本发明属于模式识别技术领域，具体涉及一种基于二级小波包分解和完全主成分分析的步态识别方法，是一种利用计算机技术、数字图象处理技术、模式识别等实现人的步态的自动分析与判别的方法，是生物特征识别领域中关于步态特征提取与识别的算法。

背景技术

生物特征识别技术是指利用人类本身所拥有的、能够标识其身份的生理特征或行为特征进行身份验证的技术。与传统的身份验证技术相比，生物特征识别技术从根本上杜绝了伪造和窃取，具有更高的可靠性、安全性，已经越来越广泛的应用于一些安全系统的身份认证。

步态识别技术作为一种新型的生物特征识别技术，它是根据视频序列中人走路的姿势进行身份识别的生物识别技术。和其它生物特征识别技术相比，步态识别技术以其非侵犯性、远距离识别性以及难以隐藏等优点受到了人民的青睐，在国家公共安全、金融安全、身份认证、视频监控等领域有着广泛的应用前景。

关于步态的特征提取技术，2001年中国科学院自动化研究所模式识别国家重点实验室提出了三种步态识别算法，这三种识别算法都是结合传统的主成分分析(PCA)的降维方法。西安电子科技大学采用GEI与主成分分析、GEI与核主成分分析等特征提取方法。但这些方法都由于特征提取不精简存在计算量大，识别精度不高等问题。

发明内容

本发明的目的在于针对现有算法的不足，提供了一种基于二级小波包分解(WPD)和完全主成分分析((2D)²PCA)的步态识别方法。这种方法能更为准确地提取反应运动人体行走特征的有效信息和减少用于识别步态的特征维数，以提高步态识别正确率，且对视角变化具有很好的鲁棒性。

本发明的技术内容如下：

一种基于二级小波包分解(WPD)和完全主成分分析((2D)²PCA)的步态识别方法，该方法的步骤包括：人体步态序列的预处理、特征提取，最后根据最近邻分类原理把测试样品归到相应的类中，并对识别效果给予评价，其具体步骤如下：

步骤一、预处理

(1)形态学处理

对已经背景分离的人体运动目标图像进行形态学处理，以去除二值化图像存在的空洞，获得更优的分割效果；

(2)目标提取

利用8连通分量分析的方法来提取一个单连通的运动目标，即人的侧影去除残余噪声，从而获得更优的二值轮廓图；

(3)图像归一化

根据人体轮廓坐标裁剪出标准的步态图像，得到尺寸归一化图像，其中，图像的大小统一为64*64像素。

步骤二、特征提取

(1)步态周期的检测

利用人体的轮廓宽度随时间发生同步周期性改变的特性，通过人体轮廓的宽度变化信号来划分步态周期；

(2)建立步态能量图(GEI)，将步态能量图作为不同步态序列的代表；

步态能量图：在进行步态周期检测之后，通过对一个周期内的步态序列图像处理生成GEI为：

$G(x,y)=\frac{1}{N_1}\underset{t=1}{\overset{N_1}{\Sigma }}{B}_t(x,y)$

式中，G(x，y)是这个周期序列的步态能量图，N₁是完整步态周期序列的长度，B_t(x，y)是一个周期中的第t个步态图像，x，y代表二维图像平面坐标。

(3)融合WPD+(2D)²PCA特征选择

首先，采用二级小波包分解(WPD)步态能量图，经分解后，每幅步态能量图得到20个分解后的图像；然后，分别采用完全主成分分析((2D)²PCA)(即行、列方向的二维主成分分析)进一步提取有效特征；最后用最近邻分类器分别进行识别，选择m(由用户设定，其中m为大于4且小于21的正整数)个最大的识别率所对应的特征矩阵F_i，则每幅步态能量图经变换后的特征F＝{i|F_i}，即F是m个特征矩阵Fi构成，i为不大于m的正整数。

步骤三、分类识别

所述的分类识别是将每个样本的特征F＝{i|F_i}作为整体，然后将每对样本间的距离计算出来后，最后，根据最近邻分类器原理把测试样本归到相应的类中，并对识别效果给予评价，所述的分类识别的步骤如下：

(1)经特征提取后，每个样本特征F都是有m个特征矩阵Fi组成，即F＝{i|F_i}，其中i为不大于m的正整数，设测试样本的个数为M，训练样本的个数为N，F_til是第l个测试样本T_l的第i个特征矩阵，记T_l＝{i|F_til}，且l为不大于M的正整数；F_ik是第k个训练样本A_k的第i个特征矩阵，记A_k＝{i|F_ik}，且k为不大于N的正整数，则测试样本T_l与训练样本A_k的距离为D(T_l，A_k)，

$D(T_l,A_k)=\underset{i=1}{\overset{m}{\Sigma }}{\lambda }_i\left|\right|\frac{F_{\mathrm{til}}}{{\left|\right|F_{\mathrm{til}}\left|\right|}_F}-\frac{F_{\mathrm{ik}}}{{\left|\right|F_{\mathrm{ik}}\left|\right|}_F}\left|\right|$

其中‖·‖_F代表矩阵的L2范式，λ₁+λ₂+…+λ_i+…+λ_m＝1，且λi≥0，λi为对应矩阵F_til和F_ik的L2范式的权值，其中λ_i通过试探法得初始化值，可取λ₁＝0.5，λ₂＝…＝λ_i＝…＝λ_m-1＝0.01，则λ_m＝1-(λ₁+λ₂+…+λ_i+…+λ_m-1)，i为不大于m的正整数

(2)根据最近邻原理，与T_l最为匹配的样本可以表示为：

$t_l^{*}=\underset{k=1}{\overset{N}{\min }}D(T_l,A_k)$

其中N为训练样本的个数，T_l^*为第l个测试样本T_l与所有训练样本距离的最小值，这个最小值所对应的训练样本的类别即为T_l的类别。

本发明的有益效果在于：1.通过对步态周期计算步态能量图，这幅步态能量图包含了步态周期中各步态图像的轮廓、频率、相位等步态信息，可保证不抛弃步态特征的同时减少待处理的步态图像数据量，以降低计算消耗；2.首次利用基于WPD+(2D)²PCA方法来提取特征，解决已有基于小波变换的步态识别方法中高频分量丢失或简单采用全部数据所致维数过大问题，此方法能更为准确地提取反应运动人体行走特征的有效信息和减少用于识别步态的特征维数，以提高步态识别正确率，且对视角变化具有很好的鲁棒性。

附图说明

图1基于WPD+(2D)2PCA的步态识别算法的流程图。

图2是本发明算法中预处理的流程图

图3是本发明算法特征提取的流程图

图4是本发明算法中小波包分解示流程图

图5是本发明算法中二级WPD+(2D)²PCA特征提取流程图

(五)具体实施方式

图1为本发明提出的基于WPD+(2D)²PCA的步态识别算法的流程图。整个流程包括训练模块与识别模块，训练模块为对已知的分类好的步态样本进行训练建模，并生成可以对未知的步态样本进行分类识别的分类器。识别模块为对未知的步态样本进行预处理和特征提取，并对经过特征提取后的待识别样本输入到训练好的分类器中，判断其所属分类，并对识别效果给予评价。

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

步骤一、预处理过程如下：

我们采用的数据库是中国科学院自动化研究所的一个步态数据库，该数据库已经将背景分离，本发明要做的工作是在这基础上进行预处理，从而进行周期检测及计算步态能量图等操作(如图2所示)。

(1)形态学处理

由于天气、光照、影子等其它外界因素的影响，背景分离后的图像中难免会存在噪声，因此还需要对图像做进一步处理，以获得最佳的分割效果。本发明使用形态学滤波来消除二值图像中的噪声并填补运动目标的缺失。作为一种常用的图像滤噪方法，形态学用于图像滤波的最基本运算是膨胀与腐蚀，由膨胀与腐蚀的相互结合又派生出另外两种运算：开运算和闭运算。开运算可平滑对象的凸轮廓，断开狭窄的连接，去掉细小的突起部分；闭运算可平滑对象的凹轮廓，将狭长的缺口连接成细小的弯口。利用这个性质可以实现滤波和填充空洞的目的。

(2)目标提取

经形态学处理后，仍可能存在部分杂散噪声形成大小不一的块，而真正的运动目标往往是这些块中最大的。因此对图像进一步进行连通域分析，即利用8连通分量分析的方法来提取一个单连通的运动目标，目的在于仅保留图像中的运动目标，从而获得更优的二值轮廓图。

(3)图像归一化

为了消除图像大小对识别的影响，应首先使人体居中，然后将图像的大小统一为64*64像素。

步骤二、特征提取过程如下(如图3)：

(1)步态周期的检测

人的行走是一个周期性的行为，定义步态周期为：从足跟着地到同侧腿足跟再次着地所经历的时间，包括两个站立期和两个摆动期。为了提高效率，本发明利用人体的轮廓宽度随时间发生同步周期性改变的特性，通过人体轮廓的宽度变化信号来划分步态周期。

(2)步态能量图

在进行步态的周期检测之后，直接采用步态周期进行步态识别存在数据量庞大，加剧了步态特征提取的难度和计算消耗，为保证不抛弃步态特征同时减少待处理的步态图像数据量，本发明采用了步态能量图的方法，即将一周期中的若干步态图像经过加权平均的方法合成为一幅图像，这幅图像包含了步态周期中各步态图像的轮廓、频率、相位等步态信息。这种方法不需要考虑每帧的步态间隔的大小，并且还避免一些偶然因素的影响。对于给定的二值步态周期图像序列B_t(x，y)，GEI的定义如下：

$G(x,y)=\frac{1}{N_1}\underset{t=1}{\overset{N_1}{\Sigma }}{B}_t(x,y)$

其中，G(x，y)是这个周期序列的步态能量图，N₁是完整步态周期序列的长度，B_t(x，y)是一个周期中的第t个步态图像，x，y代表二维图像平面坐标。

(3)融合WPD+(2D)²PCA特征选择(如图4)

二维离散小波变换将每帧图像分为低频分量A和高频分量(包括水平分量H、垂直分量V和对角分量D)，该方法仅保留了图像信号的低频分量A，损失了高频分量。小波包分解(WPD)不仅保留了图像信号的低频分量，还保留了高频分量。

小波包分解后的图像特征维数较高，采用经典的PCA算法对进行特征提取时，即采用奇异值分解的方法来求相关矩阵的特征值和特征向量时，计算量很大。而二维主成分分析(2DPCA)直接对矩阵进行计算，计算量相对少很多。但2DPCA在图像特征提取方面也有其弊端。假设图像大小是64*64，经2DPCA后需要64*k(其中k为变换后选取特征列向量个数，且k＜64)个数据来表示图像，为了满足精度要求，通常k要大于5，这样至少需要320个数据来表示图像，特征向量的维数仍较高。完全主成分分析((2D)²PCA)可以进一步降低特征向量的维数，从而降低识别耗费，且其识别性能上与2DPCA相当，甚至优于2DPCA。为更有效地利用图像的信息来进行步态识别，基于上述考虑，本文提出了一种融合小波包分解(WPD)和(2D)²PCA的方法。

具体实现过程如下：

首先对每幅步态能量图G(x，y)进行二级WPD分解，得到20个分解后的图像(如图5所示)。即：利用小波包性质对原始步态能量图进行第一级WPD分解，得低频A1、水平高频H1、垂直高频V1、对角高频D1的图像，再分别对这四个图像进行第二级WPD分解，依次得到低频A2，水平高频H2，垂直高频V2，对角高频D2，低频HA2，水平高频HH2，垂直高频HV2，对角高频HD2，低频VA2，水平高频VH2，垂直高频VV2，对角高频VD2，低频DA2，水平高频DH2，垂直高频DV2，对角高频DD2。

其次，分别对WPD分解后的图像(A1，L，DD2)进行(2D)²PCA变换，(2D)²PCA变换的具体过程如下：

i)计算总体样本均值矩阵

$\bar{A}=\frac{1}{M}\underset{k=1}{\overset{M}{\Sigma }}{A}_k$

其中，A_k为第k个样本图像，M为样本总数

ii)计算样本协方差矩阵

$G_1=\frac{1}{M}\underset{k=1}{\overset{M}{\Sigma }}(A_k-\bar{A}){(A_k-\bar{A})}^T$

$G_2=\frac{1}{M}\underset{k=1}{\overset{M}{\Sigma }}{(A_k-\bar{A})}^T(A_k-\bar{A})$

分别计算协方差矩阵G1、G2的特征值和标准正交特征向量，前d1、d2个较大的非零特征值的特征向量组成的矩阵为U，V。其中，

iii)生成(2D)²PCA变换后的特征矩阵Y′

Y′＝UAV

其中，A为任意的样本矩阵。

最后，分别对变换后的20个图像序列进行最近邻分类，按照识别率从高到低，选择m(由用户设定)个最大的识别率所对应的特征矩阵F_i，则每幅步态能量图经变换后的特征可表示为F＝{i|F_i}，i为不大于m的正整数。

步骤三、分类

将每对样本间的距离计算出来后，根据最近邻分类器原理把测试样本归到相应的类中。具体步骤如下：

a)经特征提取后，每个样本的特征F都是有m个特征矩阵F_i组成，即F＝{i|F_i}，其中i为不大于m的正整数，设测试样本的个数为M，训练样本的个数为N，F_til是第l个测试样本T_l的第i个特征矩阵，记T_l＝{i|F_til}，且l为不大于M的正整数；F_ik是第k个训练样本A_k的第i个特征矩阵，记A_k＝{i|F_ik}，且k为不大于N的正整数，则测试样本T_l与训练样本A_k的距离D(T_l，A_k)，则测试样本T_l与训练样本A_k的距离为D(T_l，A_k)，

$D(T_l,A_k)=\underset{i=1}{\overset{m}{\Sigma }}{\lambda }_i{\left|\right|\frac{F_{\mathrm{til}}}{{\left|\right|F_{\mathrm{til}}\left|\right|}_F}-\frac{F_{\mathrm{ik}}}{{\left|\right|F_{\mathrm{ik}}\left|\right|}_F}\left|\right|}_F$

其中‖·‖_F代表矩阵F_til等的L2范式，λ₁+λ₂+…+λ_i+…+λ_m＝1，且λ_i≥0，λi为对应矩阵F_til和F_ik的L2范式的权值，其中λ_i通过试探法得初始化值，取λ₁＝0.5，λ₂＝…＝λ_i＝…＝λ_m-1＝0.01，则λ_m＝1-(λ₁+λ₂+…+λ_i+…+λ_m-1)，i为不大于m的正整数

b)根据最近邻原理，与T_l最为匹配的样本可以表示为：

$t_l^{*}=\underset{k=1}{\overset{N}{\min }}D(T_l,A_k)$

其中N为训练样本的个数，T_l^*为第l个测试样本T_l与所有训练样本距离的最小值，这个最小值所对应的训练样本的类别即为T_l的类别。程序具体实现如下：

1)初始化λ₁＝0.5，λ₂＝…＝λ_i＝…＝λ_m-1＝0.01，则λ_m＝1-(λ₁+λ₂+…+λ_i+…+λ_m-1)。对满足条件λ₁+λ₂+…+λ_i+…+λ_m＝1的所有λ_i的组合进行2)至4)步的计算，其中λ_i每次变化的步长是0.01。

2)计算距离

$D(T_l,A_k)=\underset{i=1}{\overset{m}{\Sigma }}{\lambda }_i\left|\right|\frac{F_{\mathrm{til}}}{{\left|\right|F_{\mathrm{til}}\left|\right|}_F}-\frac{F_{\mathrm{ik}}}{{\left|\right|F_{\mathrm{ik}}\left|\right|}_F}\left|\right|$

3)最近邻原理分类

$t_l^{*}=\underset{k=1}{\overset{N}{\min }}D(T_l,A_k)$

4)得出识别率，保存并返回

5)比较所有识别率，选出其中最高的识别率即为最终的识别率

下面详述说明本发明的实验结果：

本发明的实验采用的数据库是中科院自动化所提供的CASIA Dataset A数据库，该数据库共包含20个人，每个人分别有3个不同的视角(0°、45°和90°)，每个视角分别拍摄4个序列，总计包括240个序列。这些彩色图像序列以25帧每秒的速率拍摄，原始尺寸为352*240像素点，平均长度约为100帧。

由于样本数量小，我们采用留一校验方法来获取识别率的无偏估计，即对相同视角的4个序列，每次留出一个样本序列做测试，其它的三个样本序列做训练，以4次运行的分类准确率的平均值来表示该算法的正确分类率(CCR)。

表1是20个人在三种不同视角(0°，45°，90°)条件下，采用Haar小波作为小波包分解的基函数，对小波包分解的每个子图像分别进行(2D)²PCA变换，最后采用前述的基于L2范式的最近邻分类器进行识别的结果，其中Dim是每个子图像分别进行(2D)²PCA变换后的行数*列数，这时所对应的识别率最大。

表1WPD+(2D)²PCA的识别率

为便于评测我们提出的方法的性能，本文对以下几种方法，即基于GEI的方法，基于GEI+小波的方法，基于GEI+小波包的方法，我的方法-基于WPD+(2D)²PCA的步态识别方法进行比较，识别率如表2所示

表2几种方法识别率的比较

实验数据说明了本发明的优越性，从表1和表2可以看出：i)相比于单纯使用小波分解的各子图像系数进行识别，本发明方法的识别性能更高，且对不同视角(0°，45°，90°)都能获得较高的识别率；ii)基于相同的步态数据库，从各个视角分析，在45°条件下，本发明所提出的方法的识别率虽低于GEI+小波包，但相对与GEI、GEI+小波方法而言，该算法识别率更高；且在0°和90°视角条件下，与GEI、GEI+小波及GEI+小波包方法相比也获得了较高识别率。iii)GEI、GEI+小波在三种不同视角条件下的识别率起伏大，本发明方法在这三种视角条件下均具有较高的识别率，因此本文所提出的方法对视角变化具有更好的鲁棒性。