基于特征变换和词典学习的多特征动作识别方法

摘要

本发明公开了一种基于特征变换和词典学习的多特征动作识别方法，实现了对基于多特征动作识别的不同特征内在关系的挖掘。具体包含以下步骤：(1)视频预处理，(2)不同特征提取，(3)码书构建和基于“词袋”方法的特征归一化，(4)基于特征变换和词典学习的模型构建，(5)基于多特征重建和特征变换的动作识别模型构建，(6)基于稀疏表征的动作识别。本发明的优点是通过对特征变换和词典同时进行学习，充分挖掘不同特征的内在关联特性，实现人体动作的高效识别。

说明书

技术领域

本发明属于计算机视觉和模式识别技术领域，涉及一种基于特征变换和词典学习的多 特征动作识别方法，用于挖掘不同特征的内在的关联性，在人体动作识别领域，验证了特 征变换和词典学习的有效性。

背景技术

基于视觉的人体动作识别是计算机视觉和模式识别领域的一个极具挑战性的研究热 点，并因其在智能监控、便捷的人机交互、数字娱乐等领域的潜在应用受到学术界和工业 界的密切关注。早期的很多研究提出了许多不同的算法，它们大体可以分为两类：1)特 征层，有许多研究者提出了很多不同的人体动作检测和描述方法，例如，运动历史直方图、 运动能量图像、STIP特征、MoSIFT、DSTIP、3D-SIFT和GIST等不同特征；2)分类器 层，同样，有许多研究者针对动作本身所具有的特性，设计了许多不同的分类器，例如， 支持向量机、稀疏化分类器、条件随机场、隐马尔科夫随机场和深度神经网络等。然而， 由于早期的人体动作识别大多是在可人为控制的特定实验环境下进行，即通过固定或控制 光照、视角、距离和被关注对象位置等外因来简化问题，从而提高动作识别的准确率。但 是，随着应用的不断推广，在可控环境下的现有研究成果往往无法适应于实际的多样化需 求。当前的真实应用系统往往存在严重的遮挡、视角变化和被关注对象位置变化等多种外 因带来的影响，因此，通过单视角或单特征无法准确的描述对应的动作，因此，研究者常 常通过多摄像头监控系统的搭建和多特征的提取来提高人体动作识别的性能。因此，挖掘 人体动作的视觉特性，融合多视角或多特征信息，成为当前研究热点。

在计算机视觉和模式识别相关研究领域中，特征融合一直是最活跃的研究领域之一。 由于不同特征能够从不同方面更为全面的表征对应的动作，它们之间存在一定的互补特 性。研究者们常常通过前期融合或后期融合对这些特征进行融合，虽然能够在一定程度上 提高识别性能，但是该提高非常有限，无法充分挖掘不同特征之间的内在关联特性，且维 数的增加也使得识别更为困难。

发明内容

本发明的目的是解决针对基于多特征的动作识别中，常用方法无法充分挖掘不同特征 的内在关联性的问题，提供一种高效的基于特征变换和词典学习的多特征动作识别方法， 用于充分地挖掘多特征的内在关联，并在人体动作识别中进行了验证。

本发明提供的基于特征变换和词典学习的多特征动作识别方法，用于挖掘多特征的内 在的关联性，从而为高效的人体动作识别提供帮助，该方法具体包含以下步骤：

第1、视频预处理

由于从设备中采集的深度数据包括许多噪声、空洞，所以需要使用平滑和修补算法过 滤噪声和修补空洞；对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续 的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体；

第2、不同特征提取

针对不同动作的深度图像序列，分别提取GIST特征和DSTIP时空兴趣点特征，并保 存对应的结果；

第3、码书构建和特征的归一化

由于不同视频中所提取的DSTIP时空兴趣点数目不一样，为了能够进行归一化， 首先，采用K-means方法训练对应的码书，其次，采用“词袋”方法对这些时空兴趣点进行 归一化，并保存对应的结果，同时，对GIST特征采用L2方法对其进行归一化，作为对 应动作的最后特征；

第4、特征变换和词典学习正则项制定及模型构建

在第3步处理后的特征基础上，为了挖掘不同特征的内在关系，因此，为不同特征同 时学习词典对，且不同特征的稀疏表征系数之间满足矩阵变换关系，同时，使得矩阵系数 尽可能的小，因此，构建模型如下：

$J_{<D_i,D_j,W>}=\arg \underset{<D_i,D_j,W>}{\min }\left(\begin{array}{c}\left|\right|F_i-D_{i}X{\left|\right|}_2^2+{\left|\right|F_j-D_{j}Y\left|\right|}_2^2\\ +{\lambda }_1{\left|\right|X\left|\right|}_1+{\lambda }_2{\left|\right|Y\left|\right|}_1\\ +{\lambda }_3{\left|\right|X-W*Y\left|\right|}_2^2+{\lambda }_4{\left|\right|W\left|\right|}_2^2\end{array}\right)---\left(1\right)$

其中，D_i和D_j分别表示对应特征i和特征j的词典，F_i和F_j分别表示训练集中对应 特征i和特征j的矩阵，X表示F_i使用词典D_i对其进行重建时，对应的重建系数矩阵， 而Y表示F_j使用词典D_j对其进行重建时，对应的重建系数矩阵；W表示特征变换矩阵， 表示使用两种不同特征对样本进行重建时，不同的重建系数矩阵不一定要完全相同，但是 必须满足Y---X＝W*Y，这样不同特征之间的关系通过变换矩阵进行刻画；

第5、基于多特征重建和特征变换的动作识别模型构建

在第4步获得的特征变换矩阵W和词典D_i和D_j的基础上，利用词典对对测试样本 进行表征，计算对应的表征系数，同时，要求表征系数之间尽可能的满足特征变换矩阵， 这样，获得的表征系数具有较好的区分性，其具体的模型如下：

$<\hat{x},\hat{y}>=\arg \underset{<x,y>}{\min }\left(\begin{array}{c}{\left|\right|f_i-D_{i}x\left|\right|}_2^2+{\left|\right|f_i-D_{i}y\left|\right|}_2^2+{\lambda }_1{\left|\right|x\left|\right|}_1\\ +{\lambda }_2{\left|\right|y\left|\right|}_1+{\lambda }_3{\left|\right|x-W*y\left|\right|}_2^2+{\lambda }_4{\left|\right|W\left|\right|}_2^2\end{array}\right)---\left(2\right)$

其中，D_i和D_j分别表示对应特征i和特征j的词典，f_i和f_j分别表示测试样本对应 的特征i和特征j，x表示f_i使用词典D_i对其进行重建时，对应的重建系数，而y表示f_j使用词典D_j对其进行重建时，对应的重建系数；W表示特征变换矩阵，表示使用两种不 同特征对样本进行重建时，不同的重建系数应该尽可能的满足y---y＝x*W；

第6、基于稀疏表征的动作识别

根据第5步获得的特征表征系数，采用不同类的表征系数分别重建测试样本，计算对 应的残差。当采用某类表征系数重建样本残差最小时，该测试样本的类别即判断为对应的 类。

本发明的优点和有益效果；

1)充分分析人体动作的特性，提取不同特征对其进行描述，且分析特征之间的关联 特性，2)根据分析结果，设计特征变换和词典学习正则项，构建对应的目标函数，充分 挖掘它们内在的关联特性。

附图说明

图1为本发明的流程图。

图2为“打拳”动作对应的(a)深度图，(b)传统的运动历史直方图，(c)深度差值运 动历史直方图。

图3为不同动作下提取的DSTIP时空兴趣点示意图。

图4为基于“词袋”方法对时空兴趣点的投影和归一化流程。

图5为不同特征在数据集IXMAS上对应的性能。

图6为不同特征通过前期融合后在数据集IXMAS上对应的性能，GIST_DSTIP表示 GIST特征和DSTIP特征串联在一块，其它含义类似。

图7为不同特征通过本发明中基于特征变换和词典学习方法在数据集IXMAS上对应 的性能。

图8为本发明与其它算法在数据集IXMAS上性能的比较，其中图8中对应的文献如 下所示

[1]Lu Xia and J.K.Aggarwal,Spatio-Temporal Depth Cuboid Similarity Feature for  Activity Recognition Using Depth Camera,24th IEEE Conference on Computer Vision and  Pattern Recognition(CVPR),Portland,Oregon,June 2013.

[2]Jiang Wang,Zicheng Liu,Ying Wu,Jusong Yuan,Mining actionlet ensemble for action  recognition with depth cameras,in CPRR 2012,pp.1290–1297.

[3]Omar Oreifej and Zicheng Liu,HON4D:Histogram of Oriented 4D Normals for  Activity Recognition from Depth Sequences,,CVPR 2013,Portland,Oregon,June 2013.

[4]X.Yang,and Y.Tian.EigenJoints-based Action Recognition Using-Bayes- Nearest-Neighbor[C].IEEE Workshop on CVPR.2012,page(s):14-19.

[5]Antonio W.Vieira,Erickson R,Nascimento and Gabriel L.Oliveira,et al.STOP: space-time occupancy patterns for 3D action recognition from depth map sequences.In  Proceeding of 17th Iberoamerican Congress on Pattern Recognition 2012,252-259.

[6]W.Li,Z.Zhang,and Z.Liu.Action recognition based on a bag of 3D points.In Human  Communicative Behavior Analysis Workshop(in conjunction with CVPR),2010.2,5,6.

具体实施方式

下面结合附图对本发明作进一步的描述。

实施例1

如图1所示，为本发明的一种基于协同表示和判别准则的多视角联合动作词典学习方 法的操作流程图，该方法的操作步骤包括：

步骤10视频预处理

由于从设备中采集的深度数据包括许多噪声、空洞，所以使用中值滤波对其进行平滑 和去噪，同时，当某个或某些像素点出现空洞时，使用其周围的8个像素的中值进行替代， 从而修补对应的空洞。对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后 续的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人 体。在具体实现中，当在深度图像中遇到空洞时，采用其周边像素的中值替代空洞的值， 而人体与背景的分割，则根据距离信息进行处理。具体为：统计所有像素的距离分布，找 出其最大值和最小值，当某个像素的值大于最大值的百分之八十时，则认为该像素是背景 信息；如果某个像素值小于2倍的最小值，则认为是前景干扰因素；这样，其它情况则认 为是人体信息。具体定义如下所示：