基于步态三维轮廓匹配合成的视角大幅可变步态识别方法

摘要

本发明公开了一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法，对单个深度摄像机采集到的彩色和深度图像进行基于双质心自适应匹配的运动人体检测，提取出去除背景的步态深度图像，对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复；进行步态点云提取；将一个步态周期内所有三维步态表面模型进行数据融合，生成三维融合步态能量模型；将两个训练视角的融合步态模型旋转至同一视角，通过三维轮廓匹配完成不同视角三维步态模型表面对接，并进行多视角步态模糊轮廓数据的提取；通过融合步态模糊轮廓的步态子图像和集成分类器完成视角大幅可变的三维步态分类识别。本发明解决了当前的步态识别方法无法很好地解决视角大幅可变步态识别问题。

说明书

技术领域

本发明涉及生物特征识别领域，具体是一种基于步态三维轮廓匹配合成的视角大幅可 变步态识别方法。

背景技术

步态识别作为一种远距离且无需对象配合的生物特征识别手段，旨在根据人们行走的 步态实现对个人身份的识别、鉴定或生理、病理及心理特征的检测。步态识别可在较低图 像质量下进行，无需识别对象的配合，识别距离较远，且难以伪装和掩藏，与传统生物特 征识别相比有明显优势。

很多情况下，要求在与被识别对象无任何交互性接触的同时，实现对个人身份的识别 和监控。一些重要的保密场所或公共场合诸如军事基地、奥运场所、高档社区、汽车站、 火车站、飞机场和停车场等，出于管理和安全的需要，必须有效识别进入人员身份，提供 不同人员的进入权限级别并且快速检测威胁，所以需要采用特定的方法来检测。远距离步 态识别技术就可以达到这类要求，它为日益复杂的公共安全问题提供了一种新的防护手 段，在公共安全领域和公安系统案件侦破中有着很大的应用前景。

当前步态识别过程中步态图像的采集主要依靠普通摄像头，得到的为二维步态图像， 对二维步态图像进行周期检测和特征提取后，可进行步态识别。

另一种方法采用多个摄像机或立体摄像机进行步态图像数据采集和三维重建，提取三 维空间下的步态特征进行步态识别。

采用二维图像进行步态识别的技术，当视角变化较大时，其识别率会大幅下降，严重 影响其在反恐、安保方面的实用性。而采用多个摄像机或立体摄像机进行三维重建的方法， 存在计算复杂，设备成本高等问题。

总之，二维视频获取和处理相对简单，但对视角大幅可变情况的处理手段有限或繁琐； 三维视频的获取和处理又较为复杂，往往实用性不强。

目前视角可变步态识别研究以多视角二维步态视频为基础，这使得步态识别的研究与 实际应用受到很大限制。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于步态三维轮廓匹配 合成的视角大幅可变步态识别方法，解决当前的步态识别方法无法很好地解决视角大幅可 变步态识别问题。

为解决上述技术问题，本发明所采用的技术方案是：一种基于步态三维轮廓匹配合成 的视角大幅可变步态识别方法，包括以下步骤：

1)对单个深度摄像机采集到的彩色和深度图像进行基于双质心自适应匹配的运动人 体检测，提取出去除背景的步态深度图像；

2)对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复；

3)利用修复后的步态深度图像进行步态点云提取，完成三维表面建模，得到三维步 态表面模型；

4)将一个步态周期内所有三维步态表面模型进行数据融合，生成一个以头部特征为 核心的三维融合步态能量模型；将两个不同训练视角的三维融合步态能量模型旋转至同一 视角，运用三维轮廓匹配方法完成不同视角三维融合步态能量模型表面对接，将表面对接 后的三维融合步态能量模型进行三维映射旋转变换，并投影到二维空间，运用分块扫描方 法完成多视角步态模糊轮廓图的提取；

5)将提取的步态模糊轮廓图作为全局特征，通过典型关联分析方法融入到多视角步 态子图局部特征中，构成融合的步态子图特征空间，并以此作为步态特征，运用异质进化 方法完成集成分类器权向量的求解，设计出最佳效果的集成分类器，完成视角大幅可变的 三维步态分类识别。

所述步骤1)中，所述出去除背景的步态深度图像具体提取过程如下：

1)对单个深度摄像机采集到的彩色图像进行背景建模，利用帧间差异法和背景剪除 法获得去除背景的RGB人体图像；

2)设定阈值Td，删除阀值取值范围之外的深度数据，归一化单个深度摄像机采集到 的深度图像，得到深度粗提取前景目标图；所述阈值Td由下式确定：

$\frac{P_{\min }\times 2^8}{d_{\max }-d_{\min }}\le \mathrm{Td}\le \frac{P_{\max }\times 2^8}{d_{\max }-d_{\min }};$

其中，P_min＝1500，P_max＝6500，d_max为深度图像中的最大深度值，d_min为深度图像中 的最小深度值；

3)计算RGB人体图像的质心和头部质心利用深度图像与彩色 图像中点的坐标转换关系，得到深度粗提取前景目标图中的人体质心和头部质 心将彩色图像和深度图像人体质心和头部质心间的距离比值作为人体区域缩 放比，根据所述人体区域缩放比对彩色图像进行缩放，得到自适应RGB缩放图；

4)计算缩放图中人体区域质心并由下式得到深度图像中的人体区域匹配点 (x′_i,y′_i)，得到缩放图与深度粗提取前景目标图之间的匹配关系式：

$\left(\begin{array}{c}{x}_i^{\prime }=x_i+({\bar{x}}_{\mathrm{depth}}^b-{\bar{x}}_s)\\ y_i^{\prime }=y_i+({\bar{y}}_{\mathrm{depth}}^b-{\bar{y}}_s)\end{array}\right);$

其中，(x_i，y_i)为缩放图中的人体区域点坐标；

5)利用上述匹配关系式从深度粗提取前景目标图中提取出步态深度图像。

对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复的具体过 程为：

1)对步态深度图像和缩放图进行异或运算得到待修补区域(孔洞，数据缺失块)；

2)利用待修补区域灰度值的连续性和成正态分布原理对步态深度图像进行融合迭代 修复，得到修复后的步态深度图像。

对步态深度图像进行迭代修复的方法为：

1)设步态深度图像的灰度值服从正态分布，对于待修复点(x₀,y₀)为中心的m×n邻域， 分别对其进行纵向和横向的N次曲线拟合横向拟合函数：纵向拟合函数：其中x,y分别表示点的横坐标和纵坐标值，I_m(x)、I_n(y)分别 表示点坐标为(x,y₀)和(x₀,y)处步态深度图像的灰度，a_r和b_r为曲线拟合系数，利用两条连 续曲线的交点和高斯分布特征，按下式进行曲线和高斯分布融合插值计算，完成一次点的 修复：

$I(x_0,y_0)=\frac{I_m\left(x_0\right)+I_n\left(y_0\right)+I_g(x_0,y_0)}{3};$

其中：

$I_g(x_0,y_0)=\frac{\underset{(x,y)\in \Lambda }{\Sigma }{\mu }_{x,y}\mathrm{depth}(x,y)}{\underset{(x,y)\in \Lambda }{\Sigma }{\mu }_{x,y}}$

${\mu }_{x,y}=e^{-\frac{{|\mathrm{depth}\left((x,y\right)-\mathrm{depth}\left((x_0,y_0\right)|}^2}{2{\sigma }^2}}$

式中Λ为中心点(x₀,y₀)的m×n邻域，depth(x,y)为点(x,y)处的灰度值，μ_x,y为高斯分 布函数，σ取值为1；I_g(x₀,y₀)为修复后点(x₀,y₀)处的灰度值；

2)完成一次迭代修复后，将上述区域灰度值作为参考信息对未修复区域的像素点进 行修复，直到未修复区域像素点数小于1。

三维步态表面模型获取过程如下：

1)利用Kinect几何模型，从修复后的步态深度图像中提取对应三维空间的步态点云 坐标(X,Y,Z)：

$\left(\begin{array}{c}X=\frac{(x-c_x)\times \mathrm{depth}(x,y)}{f_x}\\ Y=\frac{(y-c_y)\times \mathrm{depth}(x,y)}{f_y}\\ Z=\mathrm{depth}(x.y)\end{array}\right);$

其中，修复后的步态深度图像中(x,y)点的深度值为depth(x,y)，(c_x,c_y)为修复后的步 态深度图像的主点(以像素为单位)，f_x，f_y分别为深度摄相机在x轴和y轴上的焦距(以 像素为单位)；c_x,c_y和f_x，f_y通过张氏标定法(标定板采用横纵向格子数为12×12的棋 盘格)标定得到；

2)根据上述三维空间的步态点云坐标(X,Y,Z)构建出人体的三维表面模型T： T＝{(X_t,Y_t,Z_t)∈R³,t＝1...M}；其中，M为三维表面模型点云数量(M与步态深度图中人 体深度点的像素一致)。

三维融合步态能量模型构建过程如下：

1)令一个步态周期有N帧动态步态图，分别对N帧动态步态图进行三维重建，得到 步态三维模型集P＝{p^r,r＝1...N}，p^r表示步态周期内第r个三维重建模型，即步态模型；

2)对步态三维模型集中的每一个步态模型提取头部特征数据，令提取出对应的头部 特征模型为H＝{h^r,r＝1...N}，然后计算头部特征模型的质心；

3)选取步态三维模型集中的第一个步态模型作为参考模型，利用头部质心计算所有 步态模型与参考模型的平移变换矩阵T^r；

4)利用平移变换矩阵计算出以头部质心为核心的三维融合步态能量模型S： S＝{∪(p^r+T^r),r＝1...N}。

对接融合模型的获取过程如下：

1)将θ_max视角的三维融合步态能量模型利用旋转矩阵旋转至θ_min视角，其中， (θ_max-θ_min)≤90°，γ＝(θ_min-θ_max)；θ_min≤θ≤θ_max；

$R_{({\theta }_{\max }\to {\theta }_{\min })}=\left(\begin{array}{cccc}\cos \gamma & \sin \gamma & 0& 0\\ -\sin \gamma & \cos \gamma & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

2)将统一视角后的两个三维融合步态能量模型分别投影到X-Y平面中，得到两个二 维步态图，对二维步态图采用轮廓线扫描方式由上而下进行扫描，取扫描间隔为dy， 0<dy<1，每两个轮廓线之间只保留一个均值点，通过扫描方式提取出二维步态图右半边 轮廓，其中θ_min视角右半边轮廓为θ_max视角右半边轮 廓为$L_{\max }=\{l_s^2=(X_s^2,Y_s^2,Z_s^2)\in R^3,s=1...L\},$其中L为轮廓点数；

3)对提取出来的右半边轮廓采用FIR滤波器进行曲线平滑滤波，得到滤波后的三维 轮廓线；

4)对滤波后的三维轮廓线进行匹配，通过最优化求解下式求得最佳平移矩阵T₁：

$\min E\left(T_1\right)=\underset{s=1}{\overset{L}{\Sigma }}{\left|\right|T_1{l}_s^2-l_s^1\left|\right|}^2;$

5)利用最佳平移矩阵T₁，完成θ_min和θ_max视角下三维融合步态能量模型的对接，得到 新的对接后的拼接融合模型${S^{\prime }}_{{\theta }_{\min }}={S_{\theta }}_{\min }\cup ({S_{\theta }}_{\max }·R_{({\theta }_{\max }\to {\theta }_{\min })}+T_1),$其中和分别为 θ_min和θ_min视角下的三维融合步态能量模型。

多视角步态模糊轮廓全局特征获取方法为：

1)利用拼接融合模型进行多视角的映射旋转变换，合成无遮挡的θ角度的步态数据P_θ： 为θ_min到θ视角的三维旋转矩阵；其中，θ_min≤θ≤θ_max， γ＝(θ-θ_min)；

$R_{({\theta }_{\min }\to \theta )}=\left(\begin{array}{cccc}\cos \gamma & \sin \gamma & 0& 0\\ -\sin \gamma & \cos \gamma & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right);$

2)对θ视角下的拼接融合模型P_θ，以X-Y平面为参考面进行离散化，然后投影到X-Y 平面中，得到离散步态图像；

3)对离散步态图像按像素dx，dy步进由上到下、由左至右划分为H个小块，然后计 算所有小块的点云平均密度D_mean；

4)对离散步态图像以小块为基本单位由上而下进行扫描，当小块内的点数 N′>h×D_mean时，删除小块内所有点，即去除步态相对静止区域数据，保留运动特征明显 区域的数据；对所有保留的点，再按小块为单位计算位于该块内所有点的深度平均值，通 过将每个小块对应成一个像素点，深度平均值对应成像素点的深度值，得到一幅二维轮廓 步态图，二维轮廓步态图(1/dx,1/dy)；其中，0≤h≤1；

5)将上述二维轮廓步态图内所有像素点的深度值归一化至[0 255]，即转换成灰度图 像，最终得到θ视角下的步态模糊轮廓图；

6)重复步骤1)～步骤5)，完成对其余角度所有类步态模糊轮廓图的提取，所有的步态 模糊轮廓图构成多视角步态模糊轮廓全局特征。

多视角步态子图局部特征获取方法为：

1)利用拼接融合模型进行多视角的映射旋转变换，合成无遮挡的θ角度的步态数据P_θ；

2)对θ视角下的拼接融合模型P_θ，以X-Y平面为参考面进行离散化，然后投影到X-Y 平面中，得到离散步态图像；

3)对离散步态图像按像素dx，dy步进由上到下、由左至右划分为H个小块；按小块 为单位计算位于该块内所有点的深度平均值，通过将每个小块对应成一个像素点，深度平 均值对应成像素点的深度值，得到一幅二维步态图，所述二维步态图大小为(1/dx,1/dy)；

4)计算二维步态图所有点的平均曲率，将平均曲率值归一化至[0 255]，替换原来的 深度值，构成二维曲率步态图；

5)将二维曲率步态图由上至下分割成F个步态子图：头部子图，上身子图，臀部子 图，腿部子图和脚步子图；最终得到θ视角下的各分块步态子图；

6)重复步骤1)～步骤5)，提取各角度所有类分块步态子图，构建多视角步态子图 局部特征。

构建步态子图特征空间的具体步骤如下：

1)分别对各视角下的步态模糊轮廓全局特征和步态子图局部特征进行典型关联分析， 得到全局特征到子图局部特征的融合投影矩阵P_n,k；其中，n表示步态子图标号，n∈[1>

2)将步态模糊轮廓全局特征利用融合投影矩阵融入到步态子图局部特征中，构成步 态子图特征空间。

三维步态分类识别的具体步骤如下：

1)当识别未知步态序列X时，计算出该步态数据视角，在数据库中找到最相近视角 的训练特征集；

2)对该未知步态序列X依次进行周期检测，三维重建，生成三维融合步态能量模型， 并提取出步态模糊轮廓全局特征和Q个分块步态曲率图；将提取的步态模糊轮廓全局特征 利用融合投影矩阵P_n,k融入到所述Q个分块步态曲率图x_n,k中,从而获得融合全局特征的相 关新特征C′_n,k＝P_n,k·x_n,k；

3)使用最近邻方法对上述Q个分块步态曲率图x_n,k进行分类，每个分块步态曲率图有 C个分类结果，C为分类总数，整个步态图像共有Q×C个结果，利用集成分类器集成分类 结果，定义集成分类器D_k为：

$D_k=\underset{n=1}{\overset{Q}{\Sigma }}{\mu }_n^k\times d_n^k;$

其中，为权向量，通过异质进化方法求解，η的解满足全局最优化条件：集成矩 阵W＝η×ω对角线上元素和最大；为分块步态曲率子图像识别向量；当时，表示第n个分块步态曲率子图像属于第k类，时则不属于该类；

4)运用集成分类器进行三维步态分类识别，三维步态X∈W类，满足：

$W=\arg \left(\underset{k=1...K}{\min }{D}_k\right)$

与现有技术相比，本发明所具有的有益效果为：本发明利用单个深度摄像机采集的步 态深度图像进行基于双质心自适应匹配的运动人体检测，深度数据滤波修复，点云数据提 取和三维人体表面建模。对三维步态模型运用三维轮廓匹配方法完成不同视角三维步态模 型表面对接，将表面对接后的模型进行三维映射变换，并投影到二维空间，完成多视角步 态模糊轮廓数据的提取。通过特征融合的步态子图像完成视角大幅可变的三维步态分类识 别。为单个深度摄像机下步态表面模型修复性三维重建和视角大幅可变的步态识别提供了 解决方案；为多视角步态识别提供了一种新的手段，可将其应用于安防和反恐等监控领域， 具有很好的经济和社会效益。

附图说明

图1为本发明方法流程图；

图2为本发明实施例基于双质心自适应匹配的运动人体检测流程图；

图3为本发明实施例利用Kinect采集人体步态深度图像生成的三维人体表面模型示 意图；

图4为本发明实施例构建以头特征为核心的三维融合步态能量模型示意图；

图5为本发明实施例0°和90°视角三维步态融合模型三维轮廓匹配和表面模型对接意 图；

图6为本发明实施例对接融合模型进行映射旋转变换，合成无遮挡15°角度为步进的 多视角步态模糊轮廓训练数据；

图7为本发明实施例的步态子图像分块示意图；

图8为本发明实施例的特征融合子图像步态分类识别方法示意图；

图9为本发明实施例基于点云拼接的视角可变步态识别方法与2D视角变换方法，3D 视角变换方法识别结果对比图。

具体实施方式

本发明方法流程如图1所示。

1.步态深度图像获取处理

利用Kinect深度摄像机获取场景的深度图像和彩色图像视频，对RGB图进行背景建模， 利用帧间差异法和背景剪除法获得到去除背景的步态彩色图像；利用设定阈值的方法粗提 取出对应的步态深度图像。运用RGB图像和深度图像的人体缩放式匹配来得到精确提取的 步态深度图像(见附图2)。

2.步态深度图像修复

对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复：

第一步：对精提取深度图和缩放图进行异或运算确定待修补区域，统计所有待修复的 像素点数,对每个像素点设定一个修复访问标记；

第二步：统计待修补区域中点p的6×6邻域中深度图像点的值及其个数，进行曲线拟 合和高斯分布融合插值计算，计算出p点的灰度值，如果6×6邻域无参考点，结束计算， 遍历统计和计算待修补区域中的每一个点。

第三步：对于待修补区域中未修补区域再进行统计，重复第二步，通过迭代执行该步 骤直至待修补区域中未修补区域像素点数为0，最终完成图像修复。

3.步态深度图像点云数据提取和三维重建

利用深度数据到三维点云数据的对应关系，计算出所有步态深度图像所对应的三维点 云数据，并进行数据归一化处理以完成三维重建。重建后的三维表面模型： T＝{(X_t,Y_t,Z_t)∈R³,t＝1...M}，M为步态表面模型点云数量(见附图3)。

4.基于三维轮廓匹配的多视角步态模糊轮廓图像合成

选取两个参考训练视角(取θ_min＝0°和θ_max＝90°，每个视角50个样本)完成步态训练。 对所有训练样本进行步态周期检测和三维重建，然后构建头部特征为核心的三维融合步态 能量模型(见附图4)。

对同一个样本的不同视角下的三维融合步态能量模型通过旋转进行视角统一，运用三 维轮廓线匹配的方法，进行步态模型表面对接来得到一个对接后的拼接融合模型(见 附图5)利用拼接融合模型进行多视角的映射旋转变换，合成无遮挡的θ角度的步态数据

其中，k为训练样本分类(每个参考训练视角共50个样本类别)，为旋转矩阵， 取Δθ＝15°，按15°的间隔进行旋转。通过提取无遮挡的θ(θ_min≤θ≤θ_max)角度的步态模糊 轮廓训练数据(见附图6)，得到以15°步进的多视角步态模糊轮廓图像全局特征。

5.特征融合的子图像步态集成分类训练

多视角步态子图像的特征提取：对头部子图，上身子图，臀部子图，腿部子图和脚步 子图区域分别进行离散化，并提取高斯曲率作为子图步态特征。(见附图7)。

1)利用拼接融合模型进行多视角的映射旋转变换，合成无遮挡的θ角度的步态数据P_θ；

2)对θ视角下的拼接融合模型P_θ，以X-Y平面为参考面进行离散化，然后投影到X-Y 平面中，得到离散步态图像；

3)对离散步态图像按像素dx＝0.0167，dy＝0.01步进由上到下、由左至右划分为 N＝(60×100)/(4×4)＝375个小块；按小块为单位计算位于该块内所有点的深度平均值， 通过将每个小块对应成一个像素点，深度平均值对应成像素点的深度值，得到一幅二维步 态图，所述二维步态图大小为60×100；

4)计算二维步态图所有点的平均曲率，将平均曲率值归一化至[0 255]，替换二维步 态图所有点原来的深度值，构成二维曲率步态图；

5)将二维曲率步态图由上至下分割成5个步态子图：头部子图，上身子图，臀部子图， 腿部子图和脚步子图；最终得到θ视角下的各分块步态子图；

6)重复步骤1)～步骤5)，提取各角度所有类分块步态子图，构建多视角步态子图局 部特征。

基于典型关联分析的全局和局部特征融合方法(见附图8)：

1)分别对各视角下的步态模糊轮廓图像全局特征和步态子图局部特征进行典型关联分 析，得到全局特征到子图局部特征的融合投影矩阵P_n,k；其中，n表示步态子图标号， n∈[1>

2)将步态模糊轮廓全局特征利用融合投影矩阵融入到步态子图局部特征中，构成步态 子图特征空间。

使用最近邻方法对上述Q个分块步态曲率图x_n,k进行分类，每个分块步态曲率图有C个 分类结果，C为分类总数，整个步态图像共有Q×C(Q＝5,K＝50)个结果，利用集成 分类器集成分类结果，定义集成分类器D_k为：

$D_k=\underset{n=1}{\overset{Q}{\Sigma }}{\mu }_n^k\times d_n^k;$

其中，为权向量，通过异质进化方法求解，η的解满足全局最优化条件：集 成矩阵W＝η×ω对角线上元素和最大；为分块步态曲率子图像识别向量； 当时，表示第n个分块步态曲率子图像属于第k类，时则不属于 该类。

基于异质进化算法完成权向量的求解过程：首先，初始化种群，染色体长度为N×K的 向量y表示种群代数，适应度函数W＝η×ω；然后，根据适应度函数， 选取10％的优秀个体直接进入下一代，其它按比例选择法选取；从群体中选取80％个体进 行两两杂交产生新一代个体；从群体中随机选取20％个体进行异质变异产生新个体， χ为异质进化分布随机向量；计算新的个体适应度，淘汰最差的10％；返回 重复进行异质进化直到满足误差要求。

6.视角大幅可变步态识别

对采集的θ＝0°,15°,30°,45°,60°,75°,90°共7组不同视角的步态数据依次进行测试，令 识别采集的视角步态序列X时，首先计算出该步态视角θ，在数据库中找到最相近视角的 训练特征集。然后，将该步态图像划分为N＝5个子图像,利用投影矩阵将其输出到投影 空间，以获得融合全局特征的相关新特征。每一个步态子图像有50个识别结果(n为 步态子图数，n＝1...5,k＝1...50)，将所有的50个识别结果利用已经计算出的权向量进行 集成，计算出所有集成识别结果D_k(步态数据X属于第k类的集成值)：

$D_k=\underset{n=1}{\overset{5}{\Sigma }}{\mu }_n^k\times d_n^k$

三维步态X∈W类，满足：

$W=\arg \left(\underset{k=1...50}{\min }{D}_k\right).$

对所有7组不同视角的步态数据依次进行测试，完成识别率的统计；并与2D视角变 换方法和3D视角变换方法的识别结果对比(见附图9)。2D视角变换方法：训练时利用两 个训练视角(0°和90°)对应的二维步态图像完成特征提取，分别构成相应视角的训练特 征集；识别时，找到最相近视角的训练特征集利用近邻法进行分类识别。3D视角变换方法： 对本发明方法流程中的三维融合步态能量模型不进行表面对接，直接3D旋转后提取多视 角特征并完成分类识别。