一种基于姿势识别的人体动作分类方法

摘要

本发明公开了一种基于姿势识别的人体动作分类方法，包括以下步骤：步骤一、对人体上半身动作进行姿势识别，得到能够表示人体上半身各个部位的位置、方向以及大小的骨架特征；步骤二、对步骤一得到的骨架特征中的数据进行归一化处理；步骤三、采用多分类SVM对归一化处理后的骨架特征进行训练，得到能够对不同动作进行分类的分类器；步骤四、采用步骤三训练好的分类器对输入动作进行分类。以收集到的人体运动图片作为测试数据进行实验,实验结果表明,本发明的分类准确率达到97.78%,能够很好地对人体动作进行分类。

说明书

技术领域

本发明涉及图像处理技术领域，特别是一种基于姿势识别的人体动作分类方法。

背景技术

计算机网络技术、多媒体技术的快速发展，为图像等海量视觉信息的存储和传输创造了便利条件，人们可以从网络上获得大量的图片信息。然而，日益增多的数据量也使得人们寻找自己想要的图片变得困难。对网站来说，需要对这大量的图片信息进行管理，对图片进行分类，建立索引，从而使得用户能够方便地获得所需内容。对广大用户来说，也希望能够快速，有效地找到自己需要的图片信息，减少不必要的时间浪费。因此，对图片进行分类有着重要的实际意义。人体动作行为分类是其中一个重要的组成部分。

对人体动作进行分类，首先需要对人体结构进行分析，建立相应的人体结构模型，然后在此基础上进行动作姿势识别，提取动作特征，从而实现对相应动作的分类。Leung M.K等使用二维带状模型来表示人体在体操动作中的每一个姿态，并通过对姿态外轮廓的单独测算得出人体的动作结构。M.Eichner等基于对Ramanan图形结构模型的扩展，通过预处理减小背景干扰，利用图像的边缘信息和图像的区域信息对人体上半身姿势进行识别,准确地对人体运动姿势进行描述。Kellokumpu等利用从人体轮廓得到的仿射不变傅立叶描述子来实现姿势分类，这种方法能够对基本动作进行正确识别，但结果并没有对动作分类产生真正的意义，Hong Liu，Qiaoduo Zhang等提出一种连续词袋方法。通过将一个动作分割成多个子动作来捕捉时间连续结构，最终用这些子动作分别进行分类并投票得出统一结果。Hao Yan,Zhu Zhenwen等采用3D Zernike矩阵来计算人体动作的全局特征，然后使用基于AdaBoost的贝叶斯分类器对图像序列分类。Qianru Sun,Hong Liu等提出将视觉词之间的时空共生关系添加到视觉词袋中更加丰富地表达人体动作特征，以便更好地进行动作分类，He huang等利用视觉捕捉技术，通过对视觉数据的处理来判断用户的动作。基于视觉捕捉技术在特征表达方面，起初是采用人体轮廓作为姿势特征表达，但是轮廓特征从整体角度描述姿势，忽略了身体各部位的细节，不能精确地表示丰富多彩的人体姿势。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于姿势识别的人体动作分类方法，本发明可以对多种不同的人体动作进行分类，人体可正面可背面，手臂动作也更加多样，同时具有较高的分类准确率。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于姿势识别的人体动作分类方法，包括以下步骤：

步骤一、采集人体运动图片并存入至数据库中，对数据库中的图片中人体上半身动作进行姿势识别，得到能够表示人体上半身各个部位的位置、方向以及大小的骨架特征；具体如下：

首先对图片中的人体建立外观模型，采用基于图形结构的方法将人体上半身划分为六个部位：人身体躯干、左上手臂、右上手臂、左下手臂、右下手臂以及头部；

然后对图片进行前景突出处理：输入检测框，框出图片中的人体位置，通过检测框产生一个扩大的矩形框，在矩形框内对图片进行初始化图像分割，分割出前景和背景，对前景突出的区域进行图像解析，从而得到其骨架特征；其中，骨架特征是根据人体上半身六个部位的相对位置的坐标来描述，由4×6的矩阵表示；

步骤二、对步骤一得到的骨架特征进行归一化处理，归一化处理后的骨架特征由4×6的矩阵表示；

步骤三、采用多分类SVM对归一化处理后的骨架特征进行训练，得到能够对不同动作进行分类的分类器；具体如下：

将归一化处理后的骨架特征作为特征集，并将步骤二中所述的4×6的矩阵转换为1×24的矩阵；

将特征集分为训练集和测试集，采用多分类SVM对训练集进行训练，得到能够对不同动作进行分类的分类器；

步骤四、采用步骤三训练好的分类器对输入动作进行分类。

作为本发明所述的一种基于姿势识别的人体动作分类方法进一步优化方案，所述步骤一中的骨架特征是由人身体躯干、左上手臂、右上手臂、左下手臂、右下手臂和头部这六部位通过运动先验连接在一个树状结构中。

作为本发明所述的一种基于姿势识别的人体动作分类方法进一步优化方案，所述步骤二具体如下：骨架特征由4×6的矩阵表示，矩阵列数据表示骨架特征中的六条线段，行数据表示每条线段上下两个终点的横纵坐标值；将图片中心点作为坐标(0,0)，图片左上角坐标为(-1,-1)，图片右下角坐标为(1,1)，对矩阵中的数据进行归一化处理,使所有数据在(-1,1)之间。

作为本发明所述的一种基于姿势识别的人体动作分类方法进一步优化方案，步骤三中的不同动作包括叉腰、双臂举起、站立、右手臂与身体垂直、左手臂竖直向上、左手臂与身体垂直、右手臂抬起以及走路。

作为本发明所述的一种基于姿势识别的人体动作分类方法进一步优化方案，双臂举起的高度为任意高度。

作为本发明所述的一种基于姿势识别的人体动作分类方法进一步优化方案，使用测试集验证分类器的分类效果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明的骨架特征能够生动且准确地表示当前人体各个部位的动作特征,对运动时的动作状态进行描述；

(2)本发明可以对多种不同的人体动作进行分类，人体可正面可背面，手臂动作也更加多样，同时具有较高的分类准确率。

附图说明

图1是图形结构模型；其中，(a)Ramanan模型，(b)为本发明所用图形结构模型。

图2为姿势识别实现效果流程图。

图3为骨架特征示意图。

图4为算法实现流程示意图。

图5为数据库包含的8个动作示例。

图6为姿势识别结果。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

基于姿势识别的人体动作分类，首先，对采集到的数据库中人体运动图片进行人体上半身姿势识别，得到‘火柴人模型’(即骨架特征)，然后利用多分类SVM对得到的骨架特征进行训练，得到可以对不同动作进行分类的分类器，使用训练好的分类器实现对人体不同动作的分类。具体为：

1.人体运动姿势识别

1.1图形结构模型

本发明利用图形结构(Pictorial structures)估计人体外观模型，然后对得到的人体结构模型进行姿势识别。具体实现步骤包括检测人体位置、前景突出及图像解析,最终得到表示人体骨架特征的‘火柴人模型’。

图形结构模型是根据一系列部件以及部件间的位置关系来表示目标,每个部件描述目标的一个局部属性(即代表一个身体部位),通过部件间的连接表示模型配置。Ramanan模型如图1中的(a)所示,图1中的(a)中的矩形表示各个身体部位l_i(x,y,θ),其中(x,y)表示位置信息，θ表示方向。人体通过坐标(x,y)和方向θ参数化,通过位置先验ψ连接。本发明使用的Eichner的图形结构模型是基于Ramanan图形结构模型并利用位置先验进行扩展得到,模型包括人身体躯干l_t,左上手臂l_lua、右上手臂l_rua、左下手臂l_lla、右下手臂l_rla,以及头部l_h六部分,图形结构模型如图1中的(b)所示。人体上半身的六个身体部位通过二元约束项ψ(l_i,l_j)连接在一个树状结构E中,即E中一个节点表示一个身体部位。给定图像I，身体各部位组合为L，则表示人体上半身姿势的公式即为：

其中，Φ为一元势函数，Φ(l_i)表示身体部位l_i处的局部图像特征；二元约束项ψ(l_i,l_j)代表身体部位i和身体部位j的位置先验；γ(·)设定接近垂直的一些θ值为均匀概率,设定其它方向的值为零概率，这样能够减少躯干和头部的搜索空间,从而提高它们能被正确地识别的机率；γ(l_h)表示需要身体躯干方向接近垂直的先验；γ(l_t)表示需要头部方向接近垂直的先验。这样能够提高正确识别的概率,也有利于对手臂的姿势识别,因为身体躯干通过位置先验ψ对它们的位置进行产生了控制。

1.2前景突出

对图像进行人体上半身姿势识别时，由于图像中存在干扰因素，会使得姿势识别结果受到影响。因此首先需要对图像进行预处理，以消除背景因素的影响。通过输入检测框[p,t,w,h](p和t分别表示包含人体的方框的左上角的横纵坐标值,w和h分别为方框的宽和高)框出图片中人体位置，则姿势估计就在该检测框中进行，以提高搜索效率。根据输入的检测框产生一个扩大的矩形框。

在得到的矩形框内对图像进行初始化Grabcut分割，分割出前/背景，并细化矩形框内的人体所在的范围，这样消除了大部分背景杂波。这里所指的前景即为人体各个身体部位。

1.3图像解析

Ramanan提出一个迭代的图像解析过程。此阶段要解析的区域部分为前景突出输出的区域。利用公式(1)，结合迭代计算过程就能够有效地估计人体姿势。具体方法是利用图像边缘特征进行第一次推断得到图像中人体各个身体部位的概率分布P_i(x,y)；根据第一次推断的图像块P_i(x,y)为每个身体部位分别建立前景和背景的颜色直方图，即可得到每个身体部位的前景直方图和背景直方图，这即为一次迭代的过程，通过多次迭代即可得到一个较为准确的值来获取人体姿势。

根据以上几个步骤，我们就可以对一幅图像中的人进行上半身动作姿势识别，得到‘火柴人模型’(即骨架特征)，生动且准确地表示当前人体的动作特征。具体实现流程效果图如图2所示。

2.基于多分类SVM的动作分类

SVM基本模型定义为特征空间上的间隔最大的线性分类器，即其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVM方法的核心是支持向量,分类超平面由支持向量完全决定。

通过组合多个二分类器来实现多分类器的构造，使用多分类SVM方法来实现对数据库中人体不同动作的分类。

通过对一幅图像进行人体姿势识别后,得到其骨架特征,其中线段1表示身体躯干,线段2表示头部,线段3表示上手臂,线段4表示下手臂(如图3所示).得到的人体骨架特征由4×6的矩阵表示，图3中的骨架特征矩阵如下矩阵1所示,矩阵列数据表示骨架特征中的六条线段,行数据表示每条线段上下两个终点的横纵坐标值。

矩阵1骨架特征矩阵

为了校正因距离和位置变化造成的尺度差异，对上面输出的矩阵数据进行图像归一化处理，以消除影响。将图片中心点作为坐标(0,0),图片左上角坐标为(-1,-1),图片右下角坐标为(1,1),对得到的矩阵中的数据进行归一化处理,使所有数据在(-1,1)之间,归一化表达式如公式(3)所示,归一化后矩阵如下矩阵2所示。

其中，m和n为分别为线段终点的横坐标值和纵坐标值,w'为输入图片宽度的一半,h'为输入图片高度的一半,m'和n'是经过归一化后的数值。

矩阵2矩阵归一化

用多分类SVM对得到的特征集进行处理时,为了便于数据处理,将4×6的矩阵转换为1×24的矩阵,即依次为六条线段12个端点的横纵坐标值，则输入N幅图像的特征集表示为N×24的矩阵,动作标签种类根据处理动作的种类数m依次标记为1到m。使用多分类SVM对训练集训练后可得到一个分类器,然后使用分类器对测试集图片进行分类,得到每幅图像的动作分类结果。算法实现流程图如图4所示。

3.实验结果及分析

本发明算法所用到的数据库是对不同人拍摄得到的。包含8个人,每个人8个动作(叉腰、双臂举起、站立、右手臂与身体垂直、左手臂竖直向上、左手臂与身体垂直、右手臂抬起以及走路，人体可正面可背面，其中双臂举起可以是任意高度),每个动作7-12幅图片,共计608幅图片,图片像素为640×480,动作示例如图5所示。

3.1对数据库中的图片进行姿势识别得到骨架特征

在姿势识别中,人体被划分为6个部位：身体躯干,头部,左右、上下手臂,通过这些身体部位的动作描述人的行为状态。首先输入检测框[p,t,w,h](p和t分别表示包含人体的方框的左上角的横纵坐标值,w和h分别为方框的宽和高)框出图片中人体位置，经过姿势识别之后,得到4段线段衔接起来的人体‘火柴人模型’(即骨架特征)，如图6所示。

3.2多分类SVM训练并预测

对所有图片经过姿势识别后,将得到的骨架特征数据分为训练集和测试集。选取其中6个人的动作骨架特征用作训练集,另外2个人的动作骨架特征用来测试分类器的分类准确率,训练集包含456幅图片,测试集包含152幅图片。使用多分类SVM算法对训练集数据进行训练得到可以对不同动作进行分类的分类器，并对测试集进行预测。经过训练得到的分类器对训练集的分类正确率为100％，对测试集的分类正确率为97.78％。