基于时空特征和分层模型的人体行为识别研究

摘要

图像和视频数据的海量增长，以及赋予计算机以人类视觉系统的能力的渴望推动计算机视觉的研究和应用不断向前发展。通过计算机对视频进行处理，分析与理解是计算机视觉的一个热点研究领域，而人体行为识别是计算机视觉领域的一个重要研究方向。
　　人体行为识别通过分析视频序列中人体的相关特征来确定人体行为的类别，它涉及图像处理、人工智能和模式识别等多门学科。人体行为识别在反恐行动、公共安全、人机交互、辅助驾驶、虚拟现实、视频检索等军民领域有着广泛的应用价值和应用前景。人体行为识别的关键在于特征的选择和提取以及行为的分类。
　　本文围绕人体行为识别的相关问题进行研究，通过采用引入正交平面概念的时空局部特征点提取方法提取兴趣点，进而提取时空局部特征描述信息，然后通过分层模型生成对视频序列中人体行为的多层次表示来实现人体行为识别。主要完成了以下工作:
　　本文在现有方法的基础上，通过引入正交平面的概念，在时空特征点提取和时空局部特征描述两个方面进行了改进，提出了一种新的时空特征点提取方法和时空局部特征描述方法。该时空特征点提取方法将整个视频序列视为三维立方体，在任一维度上的平面检测兴趣点，借助集合的运算和弱约束规则获得时空特征点;该时空特征描述方法对以时空特征点为中心构造的时空立方体内的像素点采用中心对称扩展的方法构造部分重叠的小立方体，利用组合梯度方向直方图和光流直方图，加权生成高维时空局部特征描述子，并采用局部保留投影算法获得时空局部特征描述子的低维向量表示，从而保留时空局部特征描述子所包含的局部信息。
　　通过引入特征池的概念，构建分层“bag-of-words”模型，形成输入一个底层局部特征而输出多个不同粒度的人体行为描述的机制。通过该模型所获得的人体行为描述能够兼有底层的局部信息和局部特征之间的结构信息。
　　本文在通用的标准测试视频库上进行了实验，验证了本文所提方法的可行性和有效性。实验表明采用本文所提出的时空特征点提取方法所提取的时空特征点具有较好的稳定性和代表性;所提取的时空局部特征描述较好地捕捉了人体的外观和运动信息，局部保留投影的方法更好地保留了所包含的局部信息;分层模型所生成的人体行为描述获得了优于其他方法的识别效果。

目录

声明

摘要

第1章 绪论

1．1 引言

1．2 选题背景及研究意义

1．3 国内外研究现状

1．3．1 基于不同复杂度的人体行为识别

1．3．2 人体行为识别中的特征提取

1．3．3 人体行为识别中的特征表示

1．3．4 人体行为的识别方法

1．4 人体行为识别研究难点

1．5 本文主要研究工作与组织结构

1．5．1 主要研究工作

1．5．2 论文组织结构

第2章 相关理论研究

2．1 人体行为识别相关理论研究

2．2 特征提取

2．2．1 全局特征

2．2．2 局部特征

2．3 时空局部特征点

2．3．1 基于3-D Harris的时空特征点提取

2．3．2 基于时空滤波器的时空特征点提取

2．3．3 基于3-D Saliency的时空特征点提取

2．3．4 基于3-D SIFT的时空特征点提取

2．3．5 其它时空特征点

2．4 时空局部特征描述子

2．4．1 基于梯度的特征描述子

2．4．2 基于光流的特征描述子

2．4．3 光流和梯度方向组合的特征描述子

2．4．4 其它特征描述子

2．5 分层模型

2．6 视觉词袋模型

2．7 支持向量机SVM

第3章 基于时空局部特征的人体行为识别

3．1 正交平面兴趣点检测

3．2 时空局部特征描述

3．2．1 构造时空立方体

3．2．2 联合特征直方图统计

3．2．2 局部保留投影(LPP)降维

3．3 实验结果及分析

3．3．1 实验样本

3．3．2 实验结果和分析

3．4 本章小结

第4章 基于分层“bag-of-words”模型的人体行为识别

4．1 分层模型构造

4．1．1 构造Level-0层bag-of-words

4．1．2 构造Level-1层bag-of-words

4．1．3 构造Level-L层bag-of-words

4．2 输出特征

4．3 实验结果及分析

4．3．1 实验设置

4．3．2 动作识别性能

4．3．3 影响因素分析

4．4 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

攻读硕士学位期间公开发表的论文