基于人体HOG特征的步态能量图获取及身份识别方法

摘要

本发明公开了一种基于人体HOG特征的步态能量图获取方法及身份识别方法。基于人体HOG特征的步态能量图获取方法包括：从人体步态视频图像序列中的每帧图像中提取人体侧像图；将人体侧像图模板化；利用设定的根窗口和部位窗口从模板化侧像图中分别检测出人体轮廓和人体部位，并标记部位窗口相对于根窗口的位置；计算每帧模板化侧像图中人体轮廓的HOG特征描述符和人体部位的HOG特征描述符；获得人体轮廓HOG特征的步态能量图、人体部位HOG特征的步态能量图及部位窗口相对于根窗口的总位置，并组合起来，构建HOG步态能量图特征向量，从而获取基于人体HOG特征的步态能量图。应用本发明，可以解决现有步态能量图不能完整反映人体行走特征的问题、进而导致人体识别不准确的问题。

说明书

技术领域

本发明属于计算机视觉技术领域，具体地说，是基于人体HOG(Histogram  of Oriented Gradient，方向梯度直方图)特征的步态能量图获取方法及基于 步态能量图实现身份识别的方法。

背景技术

随着各国对公共场合下安全水平提高的需要及视频监控技术的广泛推广， 智能监控成为了计算机视觉中一个非常活跃的领域。在智能监控中，远距离识 别监控场景中的人体身份是一个充满挑战且又很有应用前景的方向，因此，它 同时具备了科研及商业价值，对其进行深入的研究具有理论及现实意义。根据 医学和心理学等学科的研究表明：人可以感知步态，并可以通过步态进行人的 身份识别。步态识别作为一种新兴的生物特征识别方法，可以通过个人行走的 姿态来对个人的身份进行识别，它具有远距离识别、不可侵犯性、难以隐蔽并 且采集装置简单等优点。步态识别所具有的这些优点，是指纹、虹膜、人脸、 DNA等其他生物特征识别方法无法比拟的，因而，步态识别引起了模式识别研 究者和计算机视觉研究者的广泛关注。

目前已有的步态识别算法，可以归为两大类，即基于模型(model-based) 的方法和基于非模型(model-free)的方法。基于模型的方法通常要求很高，很 难实现好的结果，在最近的几年里，基于非模型的方法显示出优越的表现。基 于非模型的方法是直接对人体步态视频图像序列进行分析而不需要预先假定任 何特定的模型，其主要的方法有隐马尔可夫模型(HMM)、Radon变换、动态和 静态的侧影轮廓模板及步态能量图识别方法。其中，步态能量图(Gait Engery  Image,GEI)识别方法是以步态能量图作为识别特征，对人体身份进行识别。 步态能量图识别方法因特征提取简单、能很好地表现步态的速度及形态等，得 到广泛关注。

步态能量图作为步态能量图识别方法中的识别特征，直接影响人体身份识 别的精度。现有步态能量图的获取方法是将步态特征考虑成一系列的侧影轮廓 图像，然后把这些侧影轮廓图像直接加权后求平均。采用该方法能够将整个人 体的行走运动展现在一张图片上，使得步态能量图不仅包含人行走时的所有特 征，而且减少了存储空间和计算时间，同时还降低了对每一帧侧影图像噪声的 敏感性。但是，由于现有步态能量图需要将侧影轮廓图像相加再进行平均化， 丢失了许多有用的信息；另一方面，由于每帧提取的是二值化侧影图像，它只 能捕获人体轮廓的边界信息，侧影的内部信息被完全的丢弃掉，因而，使得现 有步态能量图难以完整反映人体行走特征，进而影响了基于步态能量图识别人 体身份的准确度。

发明内容

本发明的目的之一是提供一种基于人体HOG特征的步态能量图获取方法， 以解决现有步态能量图不能完整反映人体行走特征的问题。

为实现该发明目的，本发明提供的步态能量图获取方法采用下述技术方案 来实现：

一种基于人体HOG特征的步态能量图获取方法，所述方法包括：

步骤1：对人体步态视频图像序列中的每帧图像进行前景分割，提取人体 侧像图；

步骤2：将人体侧像图模板化，获得模板化侧像图；

步骤3：利用设定的根窗口和部位窗口从模板化侧像图中分别检测出人体 轮廓和人体部位，并将部位窗口相对于根窗口的位置记为

步骤4：计算每帧模板化侧像图中人体轮廓的HOG特征描述符和人体部 位的HOG特征描述符

步骤5：将人体步态视频图像序列中所有人体轮廓的HOG特征描述符相 加求平均值，获得人体轮廓的HOG特征的步态能量图H^r；将人体步态视频图像 序列中同一人体部位的所有HOG特征描述符相加求平均值，获得相应人体部 位HOG特征的步态能量图H^k；将人体步态视频图像序列中同一部位窗口相对于 根窗口的所有位置相加求平均值，获得相应部位窗口相对于根窗口的总位置 X^k；

步骤6：将人体轮廓HOG特征的步态能量图H^r、人体部位HOG特征的步态 能量图H^k和部位窗口相对于根窗口的总位置X^k组合，形成人体HOG步态能量 图特征向量，从而获取基于人体HOG特征的步态能量图；

其中，t表示人体步态视频图像序列中的第t帧图像，r表示所述根窗口，k 表示部位窗口，k∈{p₁,...,p_l}，p_l表示第l个部位窗口，l为部位窗口的个数。

如上所述的方法，在所述步骤1中，采用自然图像抠图方法对人体步态视 频图像序列中的每帧图像进行前景分割。

如上所述的方法，在所述步骤4中，计算每帧模板化侧像图中人体轮廓的 HOG特征描述符具体包括：

步骤411：计算每帧模板化侧像图中每个像素点的梯度幅值及梯度方向；

步骤412：将模板化侧像图划分成多个单元，将每个单元内像素点的梯度 方向范围均分成多个指定方向，根据像素点的梯度幅值及梯度方向计算每个指 定方向对应的指定幅值；每个单元的所有指定方向与对应的指定幅值形成该单 元的HOG特征描述符；

步骤413：将相邻的多个单元组成一个块，将一个块内所有单元的HOG特 征描述符串联，形成该块的HOG特征描述符；

步骤414：将模板化侧像图中所有块的HOG特征描述符串联起来，形成该 模板化侧像图人体轮廓的HOG特征描述符

计算每帧模板化侧像图中人体部位的HOG特征描述符具体包括：

步骤421：计算每帧模板化侧像中检测出的人体部位所在图像所包含的每 个像素点的梯度幅值及梯度方向；

步骤422：将人体部位所在图像划分成多个单元，将每个单元内像素点的 梯度方向范围均分成多个指定方向，根据像素点的梯度幅值及梯度方向计算每 个指定方向对应的指定幅值；每个单元的所有指定方向与对应的指定幅值形成 该单元的HOG特征描述符；

步骤423：将相邻的多个单元组成一个块，将一个块内所有单元的HOG特 征描述符串联，形成该块的HOG特征描述符；

步骤424：将人体部位对应的图像中所有块的HOG特征描述符串联起来， 形成该模板化侧像图中该人体部位的HOG特征描述符

本发明的目的之二是提供一种身份识别方法，以提高身份识别的准确度。

为实现上述发明目的，本发明提供的身份识别方法采用下述技术方案予以 实现：

一种身份识别方法，其特征在于，所述方法包括：

步骤a：将待识别身份的人体步态视频图像序列作为测试样本，按照上述 的基于人体HOG特征的步态能量图获取方法获取测试样本的HOG步态能量图特 征向量；

步骤b：将测试样本的HOG步态能量图特征向量向利用训练样本训练的特 征空间投影，获得测试特征样本；

步骤c：利用分类器识别测试特征样本，进而识别出测试样本的身份；

其中，特征空间通过下述方法获得：

步骤b1：选取多个人体步态视频图像序列构成训练样本集，训练样本集中 的每个人体步态视频图像序列作为一个训练样本，按照上述的基于人体HOG特 征的步态能量图获取方法获取每个训练样本的HOG步态能量图特征向量；

步骤b2:将所有训练样本的HOG步态能量图特征向量构成矩阵并降维，获 得特征空间；

分类器通过下述方法构建：

步骤c1：选取多个身份已知的人体步态视频图像序列构成注册样本集，注 册样本集中的每个人体步态视频图像序列作为一个注册样本，按照上述的基于 人体HOG特征的步态能量图获取方法获取每个注册样本的HOG步态能量图特征 向量；

步骤c2：将注册样本的HOG步态能量图特征向量向特征空间投影，获得注 册特征样本；

步骤c3：利用注册特征样本及已知所对应的身份构建分类器。

如上所述的身份识别方法，在所述步骤b2中，采用PCA和LDA方法对所有 训练样本的HOG步态能量图特征向量构成的矩阵降维，获得特征空间。

如上所述的身份识别方法，在所述步骤c3中，采用支持向量机构建分类器。

与现有技术相比，本发明的优点和积极效果是：本发明通过检测人体步态 周期内每帧侧像图的人体轮廓及人体部位、提取人体轮廓和人体部位的HOG特 征，形成基于人体轮廓和人体部位HOG特征的步态能量图，进而获取基于人体 HOG特征的步态能量图，从而，该步态能量图不仅包括了人体轮廓的边界信息， 也包括了人体侧像图中的内部信息，能够完整、充分地反映人体行走步态特征； 基于该步态能量图识别人体身份，识别精度和准确率高。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得 更加清楚。

附图说明

图1是本发明基于人体HOG特征的步态能量图获取方法一个实施例的流程 图；

图2是本发明身份识别方法一个实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和 实施例，对本发明作进一步详细说明。

请参见图1，该图所示为本发明基于人体HOG特征的步态能量图获取方法 一个实施例的流程图。

如图1所示，该实施例获取步态能量图的方法包括下述步骤：

步骤101：对人体步态视频图像序列中的每帧图像进行前景分割，提取人 体侧像图。

人体步态视频图像序列为包含人体步态、且至少是一个完整步态周期的图 像序列。对该图像序列中的每帧图像均进行前景分割，提取人体侧像图。

为减少侧像图中内部信息的丢失，在该实施例中，优选采用自然图像抠图 方法对人体步态视频图像序列中的每帧图像进行前景分割，获得每帧图像中的 人体侧像图。利用自然图像抠图方法进行前景分割、获得侧像图的具体实现过 程可采用现有技术中的方法。

步骤102：将人体侧像图模板化，获得模板化侧像图。

计算步骤101提取的人体侧像图中目标侧像的质心及长宽比，然后选择一 个合适的模板边长作为固定模板，将所有的人体目标缩放到该边长固定的模板 中，从而获得与步骤101中的侧像图一一对应的多幅模板化侧像图。

步骤103：利用根窗口和部位窗口从模板化侧像图中检测人体轮廓和人体 部位。

预先设定一个根窗口r和多个部位窗口k，根窗口用来扫描侧像图，以捕获 和定位侧像图中的人体轮廓，而多个部位窗口用来捕获和定位侧像图中的人体 部位。其中，部位窗口包括有头部窗口、躯干窗口、四肢窗口等。利用窗口检 测人体轮廓及人体部位的具体方法可以采用现有技术来实现。

而且，在根窗口定位人体轮廓、部位窗口定位相应部位之后，将部位窗口 相对于根窗口的位置记为其中，k表示部位窗口，k∈{p₁,...,p_l}，p_l表示第l 个部位窗口，l为部位窗口的个数。

步骤104：计算每帧模板化侧像图中人体轮廓的HOG特征描述符和人体部 位的HOG特征描述符。

HOG(Histogram of Oriented Gradient,方向梯度直方图)特征是一种在 计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计 图像局部区域的梯度方向直方图来构成特征。HOG不仅能提取人体目标轮廓的 边界信息，还能提取到人体轮廓的内部信息。与其他的特征描述方法相比，HOG 有很多优点。首先，由于HOG是在图像的局部方格单元上操作，所以它对图像 几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空 间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一 化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微 的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是 特别适合于做图像中的人体检测的。

将人体轮廓的HOG特征描述符记为将人体部位的HOG特征描述符记为 t表示人体步态视频图像序列中的第t帧图像，r表示根窗口，k的含义同上。

具体来说，采用下述过程计算每帧模板化侧像图中人体轮廓的HOG特征描 述符

首先，计算每帧模板化侧像图中每个像素点的梯度幅值及梯度方向。

设像素点的坐标为(x,y)，像素点的梯度幅值和梯度方向分别为G(x,y)和 θ(x,y)，则有：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2},\theta (x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)=\left(\begin{array}{c}\theta (x,y)+\pi ,\theta (x,y)<0\\ \theta (x,y),\mathrm{other}\end{array}\right)$

通过上述公式对梯度方向进行归一化处理，形成[0,180]的无符号的范围。 而且，G_x(x,y)＝I(x-1,y)-I(x+1,y)，G_y(x,y)＝I(x,y-1)-I(x,y+1)，I(x,y)分别表示 侧像图中像素点(x,y)处的水平方向梯度分量、垂直方向梯度分量和像素值。水 平方向梯度和垂直方向梯度的可采用下述方法计算：首先用[-1,0,1]梯度算子 对原图像做卷积运算，得到x方向(即水平方向)梯度分量；然后用[1,0,-1] 梯度算子对原图像做卷积运算，得到y方向(即垂直方向)梯度分量。然后再 用以上公式计算该像素点的梯度大小和梯度方向。

然后，将模板化侧像图划分成多个单元(cell)，将每个单元内像素点的梯 度方向范围均分成多个指定方向，根据像素点的梯度幅值及梯度方向计算每个 指定方向对应的指定幅值；每个单元的指定方向与对应的指定幅值形成该单元 的HOG特征描述符。

举例来说，将模板化侧像图按照每8*8个像素点组成一个单元的方式划分 成多个单元，每个单元包含的像素点互不重叠。将每个单元内像素点的梯度方 向范围均分成9个指定方向(bin)，也即在[0,180°]范围内，每隔20°为一个 方向。然后，根据像素点的梯度幅值和梯度方向计算每个指定方向对应的指定 幅值。具体计算方法为：将梯度方向位于0-20°内的像素点作为20°指定方向 所属的像素点，将属于20°指定方向的所有像素点的梯度幅值求和，和值作为 20°指定方向对应的指定幅值。其余指定方向对应的指定幅值按照相同的方法、 通过对所属像素点的梯度幅值求和获得。

计算出所有指定方向对应的指定幅值后，对所有指定幅值归一化，每个单 元的所有指定方向与对应的归一化指定幅值形成该单元的HOG特征描述符。

再然后，将相邻的多个单元组成一个块，将一个块内所有单元的HOG特征 描述符串联，形成该块的HOG特征描述符。

譬如，将相邻的2*2个单元组成一个块，每个块所包含的单元可以重叠。 将一个块内4个单元的HOG特征描述符串联起来，形成该块的HOG特征描述符。

最后，将模板化侧像图中所有块的HOG特征描述符串联起来，形成该模板 化侧像图人体轮廓的HOG特征描述符

与人体轮廓的HOG特征描述符的计算方法类似的，每帧模板化侧像图中 人体部位的HOG特征描述符可采用下述过程计算得到：

首先，计算每帧模板化侧像中利用部位窗口检测出的人体部位所在图像所 包含的每个像素点的梯度幅值及梯度方向。

当然，如果在计算人体轮廓的HOG特征描述符的过程中已经计算了模板化 侧像图中所有像素点的梯度幅值及梯度方向，则可以直接获取人体部位所在图 像所包含的像素点的梯度幅值及梯度方向，而无需重新计算。

然后，将人体部位所在图像划分成多个单元，将每个单元内像素点的梯度 方向范围均分成多个指定方向，根据像素点的梯度幅值及梯度方向计算每个指 定方向对应的指定幅值；每个单元的所有指定方向与对应的指定幅值形成该单 元的HOG特征描述符。

再然后，将相邻的多个单元组成一个块，将一个块内所有单元的HOG特征 描述符串联，形成该块的HOG特征描述符。

最后，将人体部位对应的图像中所有块的HOG特征描述符串联起来，形成 该模板化侧像图中该人体部位的HOG特征描述符

后面三步的具体实现过程可参考上述计算人体轮廓的HOG特征描述符的详 细描述。

步骤105：计算人体步态视频图像序列中人体轮廓HOG特征的步态能量图、 人体部位HOG特征的步态能量图及部位窗口相对于根窗口的总位置。

在步骤104计算出了每帧模板化侧像图中人体轮廓的HOG特征描述符之 后，将人体步态视频图像序列中所有模板化侧像图所对应的所有人体轮廓的 HOG特征描述符相加求平均值，获得人体轮廓HOG特征的步态能量图H^r。具 体来说，是将所有的的幅值相加后的平均值作为H^r的幅值，而HOG特征的步 态能量图H^r的梯度方向与的梯度方向相同。

同样的，在步骤104计算出了每帧模板化侧像图中人体部位的HOG特征描 述符之后，将人体步态视频图像序列中同一人体部位的所有HOG特征描述符 相加求平均值，获得相应人体部位的HOG特征的步态能量图H^k。具体来说， 也是将同一人体部位的所有HOG特征描述符的幅值相加后的平均值作为该部 位HOG特征的步态能量图H^k的幅值，而HOG特征的步态能量图H^k的梯度方向 与的梯度方向相同。

同时，根据步骤103中记录的部位窗口相对于根窗口的位置计算人体 步态视频图像序列中同一部位窗口相对于根窗口的总位置X^k。具体来说，是将 步态视频图像序列中所有相同部位窗口相对于根窗口的位置相加求平均值， 得到根部位窗口相对于根窗口的总位置X^k。

步骤106：构建人体HOG步态能量图特征向量，获取基于人体HOG特征的 步态能量图。

具体来说，将人体轮廓HOG特征的步态能量图H^r、人体部位HOG特征的步 态能量图H^k和部位窗口相对于根窗口的总位置X^k组合，形成HOG步态能量图 特征向量H。如果采用l个部位窗口检测人体部位，HOG步态能量图特征向量H 可用下述公式表述：$H=[H^r,H^{p_1},...,H^{p_l},X^{p_1},...,,X^{p_l}].$式中，表示第l个部位 的总HOG特征描述符，表示第l个部位窗口p_l相对于根窗口r的总位置。

上述实施例中，通过检测人体步态周期内每帧侧像图的人体轮廓及人体部 位、提取人体轮廓和人体部位的HOG特征，形成基于人体轮廓HOG特征的步态 能量图、人体部位HOG特征的步态能量图及人体部位提取窗口相对于人体轮廓 提取窗口位置的HOG步态能量图特征向量，从而，该HOG步态能量图特征向量 形成的步态能量图不仅包括了人体轮廓的边界信息，也包括了人体侧像图中的 内部信息，使得该基于HOG特征的步态能量图能够完整、充分地反映人体行走 的步态特征。而且，优选采用自然图抠图方法分割出每帧图像中人体侧像图， 能够保留人体更丰富的信息，进一步提升了步态能量图对步态特征的完整表现。

该实施例构建的、基于人体HOG特征的步态能量图，可以应用在人体身份 识别中，从而能够获得较高的识别精度和准确率。应用步态能量图识别人体身 份的方法可以参考图2实施例的描述。

请参见图2，该图所示为本发明身份识别方法一个实施例的流程图，具体 来说是利用图1实施例获得的HOG特征的步态能量图识别人体身份的一个流程 图。

如图2所示，该实施例基于HOG特征的步态能量图识别人体身份具体包括 如下步骤：

步骤201：计算待识别身份的测试样本的HOG特征的步态能量图特征向量。

将待识别身份的人体步态视频图像序列作为测试样本，按照图1实施例记 载的、基于人体HOG特征的步态能量图获取方法获取测试样本的HOG步态能量 图特征向量。

步骤202：将测试样本的HOG步态能量图特征向量向特征空间投影，获得 测试特征样本。

其中，特征空间是指利用训练样本训练而形成的特征空间，且特征空间在 对人体身份识别之前已经形成并存储。具体来说，特征空间采用下述方法获得：

首先，选取多个人体步态视频图像序列构成训练样本集，例如，从包含许 多人体步态视频图像序列的训练库中选取多个序列构成训练样本集。将训练样 本集中的每个人体步态视频图像序列作为一个训练样本，按照图1实施例记载 的、基于人体HOG特征的步态能量图获取方法获取每个训练样本的HOG步态能 量图特征向量。

然后，将所有训练样本的HOG步态能量图特征向量构成矩阵并降维，从而 获得特征空间。例如，训练样本集中包含有n个训练样本，每个训练样本对应 一个HOG步态能量图特征向量，n个训练样本的HOG步态能量图特征向量构成 矩阵[H₁,H₂,...,H_n]。然后，对HOG步态能量图特征向量构成的矩阵降维，譬如， 采用PCA和LDA方法进行数据降维，获得降维后的特征空间。

将步骤201获取的测试样本的HOG步态能量图特征向量向特征空间投影， 也即将特征空间转置后与测试样本的HOG步态能量图特征向量相乘，乘积作为 测试特征样本。

步骤203：利用分类器识别测试特征样本，进而识别出测试样本的身份。

分类器是利用身份已知的注册样本与特征空间预先构建的，具体构建方法 如下：

选取多个身份已知的人体步态视频图像序列构成注册样本集，注册样本集 中的每个人体步态视频图像序列作为一个注册样本，按照图1实施例记载的、 基于人体HOG特征的步态能量图获取方法获取每个注册样本的HOG步态能量图 特征向量。

然后，将注册样本的HOG步态能量图特征向量向特征空间投影，也即将特 征空间转置后与注册样本的HOG步态能量图特征向量相乘，乘积作为注册特征 样本。

再然后，利用注册特征样本及已知所对应的身份构建分类器。

其中，利用注册特征样本及已知所对应的身份构建分类器的方法可以采用 现有技术来实现。作为优选实施方式，采用支持向量机(SVM)来构建分类器。

在步骤202获得测试特征样本之后，将其作为输入参数输入到根据特征及 对应的身份构建的分类器中，即可识别出测试特征样本对应的测试样本的身份， 从而实现对测试样本的身份识别。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照 前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依 然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进 行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要 求保护的技术方案的精神和范围。