基于关节点特征融合的人体行为识别

摘要

人体行为识别是计算机视觉领域的热门研究课题之一，同时也是非常具有挑战性的研究难点。它在诸多领域有着广泛的应用，如：智能视频监控、人机交互、基于内容的视频检索等。可见，人体行为识别技术与人类生活的各个方面密切相关，相关研究成果正在急剧地改变着我们的生活。因此，开展人体行为识别的研究具有极其重大的现实意义。
　　大部分现有行为识别方法主要从视频数据出发，即先从视频序列中提取与人体行为相关的特征，再利用提取的特征训练分类器进行行为识别。这些方法往往忽略了人体行为最本质的信息，即人体各个关节点与人体行为之间的关系。为了更好地利用这一信息，本文分别使用两种特征融合方式对关节点信息进行处理，从而获取更具有判别性的人体行为表示，并分别融合多任务学习框架、多核学习框架完成识别任务。论文的主要工作如下：
　　（1）提出了一种基于人体关节点及多任务稀疏学习的行为识别方法，通过多任务稀疏学习挖掘关节点之间的内在联系，实现关节点特征的融合。首先在每一帧图像中提取人体各个关节点处的初始特征，为了更好地对时间信息进行编码，采用分层时间结构将视频序列划分为不同时间粒度的子序列，然后分别在这些子序列中计算关节点初始特征的协方差特征并将其串联以获取各个关节点与时间长度无关的特征表示。在分类阶段，采用基于稀疏表示的分类方法，考虑到人体运动过程中各个关节点之间的相互联系，通过多任务稀疏学习的方法联合学习所有关节点的稀疏表示，并据此对人体行为进行识别。实验结果表明该方法在一定程度上提高了行为识别的准确率。
　　（2）提出了一种基于人体姿态和上下文信息的行为识别方法，通过多核学习实现姿态特征和上下文特征的融合。首先提取每一帧图像中的人体姿态特征，为了对人体运动信息进行更好的描述，通过关节点的位置和角度变化情况描述该关节点的速度以及角速度信息并作为人体姿态特征的一部分；同时，为了保证不同长度视频中提取到的人体姿态特征具有相同的维度，在分层时间结构中对其实施最大值聚合操作。此外，考虑到人体姿态特征对描述人体行为的局限性以及周围环境中其他事物的运动与人体运动之间的紧密联系，在视频中提取另外一种特征，即上下文特征。最后，采用多核学习的方法对两种特征进行融合，从而得到更好的特征表示。实验结果表明此方法取得了较高的行为识别准确率。

目录

封面

声明

中文摘要

英文摘要

插图索引

表格索引

符号对照表

缩略语对照表

目录

第一章 绪论

1.1 研究背景及意义

1.2 人体行为识别的研究现状

1.3 人体行为识别的研究难点

1.4 论文的研究内容及安排

第二章 人体行为识别方法

2.1 特征提取

2.2 特征表示

2.3 分类算法

第三章 基于人体关节点及多任务稀疏学习的行为识别

3.1 引言

3.2 人体结构表示

3.3 基于人体关节点的协方差特征提取

3.4 多任务稀疏学习

3.5 实验结果与分析

3.6 本章小结

第四章 基于人体姿态和上下文信息的行为识别

4.1 引言

4.2 人体姿态特征及上下文特征的提取

4.3 特征融合与多核学习

4.4 实验结果与分析

4.5 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

参考文献

致谢

作者简介