融合RGB-D视频中多模态特征的人体行为识别

摘要

人体行为识别在计算机视觉和模式识别领域仍然是一个很有挑战性的难题。但是，具有深度感知功能的类似Kinect等产品，能为存在互相遮挡、行为多样等诸多挑战的人体行为识别，提供含有RGB纹理、深度及点云和骨架等更丰富的RGB-D多模态视觉信息。本文设计了一种融合RGB-D视频中多模态视觉特征的人体行为识别方法。　　针对人体行为识别中单一模态视觉特征的局限性问题，本文面向多模态视觉特征融合提出了能稳健描述人体运动信息的 DenseMP特征和感知几何信息的 SHOPC特征。在传统MovingPose特征和稠密轨迹特征基础上，构建了所提的 DenseMP特征；它可以有效解决传统MovingPose特征对运动区域覆盖不足且易受干扰的问题，也能避免传统稠密轨迹中易出现不稳定运动轨迹的现象。SHOPC特征借鉴了HOPC特征对点云信息的低层描述方式，并结合自适应空-时金字塔方案得到，能刻画与运动特征相互补的几何外观特征，以弥补 DenseMP特征在运动相似类别分类贡献上的不足；其保留点云几何信息的空-时分布顺序且具有视角不变性。实验表明，相比传统方法，DenseMP和SHOPC特征能分别提取到有效的运动信息和几何信息，且采用多核学习MKL将两者与来自纹理的HOG3D特征融合，具有更好分类效果。　　针对人体行为识别中行为语义类内容易包含多种视觉类别的问题，本文提出基于多实例化的多核学习超限学习机Exemplars-MKL-ELM的分类判决模型。相比于传统K-means算法，获得代表性实例化 Exemplars的对比数据挖掘方法，能得到描述行为类别的类内更加紧凑且类间区分度更大的实例集合。其中每个单实例化多核超限学习机采用加权多核学习超限学习机MKL-ELM来实现，能解决训练样本中类别个数分布不均的问题；采用多核学习策略有效融合每个样本的多种模态视觉特征进行分类判决。其中由单层网络构成的ELM判决器采用随机分配的隐层参数，在训练过程不需要调整，输出层参数学习采用线性求逆方法得到。实验表明，相比于类似的Exemplars-SVM模型，本文所提出的Exemplars-MKL-ELM分类判决模型在计算效率和识别准确度上均具有显著优势。　　针对 Exemplars-MKL-ELM模型在测试阶段的分类效率与实时性要求有一定差距，利用由对比数据挖掘方法获取的具有类别代表性的 Exemplars实例，本文采用了一种贪婪式分层分类预测策略来解决在线人体行为动作识别的问题。首先，采用结合多核 K近邻 MK-KNN方法对测试样本进行粗粒度分类判决；然后，采用Exemplars-MKL-ELM模型对MK-KNN判决置信度过低的测试样本进行细粒度判决。实验表明，相比于单一的 Exemplars-MKL-ELM预测方法，本文贪婪式分层判决策略能有效地权衡分类精度和效率，更好满足实时性的要求。

目录

封面

声明

中文摘要

英文摘要

目录

专用术语注释表

第一章 绪论

1.1研究背景和意义

1.2 研究中面临的挑战

1.3 研究内容与论文结构

第二章 人体行为识别的相关工作与基本概念

2.1人体行为识别中的特征提取

2.2人体行为识别中的分类模型

2.3本章小结

第三章 多模态人体行为识别系统框架

3.1 多模态人体行为识别框架概览

3.2 多模态人体行为识别相关模块

3.3 多模态相关数据集简介

3.4 本章小节

第四章 RGB-D视频行为动作多模态特征提取

4.1 人体行为低层运动视觉特征提取

4.2 人体行为低层外观视觉特征提取

4.3 实验过程与分析

4.4 本章小结

第五章 基于多核超限学习机和贪婪思想的分类模型

5.1 ELM模型简介

5.2 Exemplars-MKL-ELM模型

5.3贪婪式分层分类预测策略

5.4 实验过程与分析

5.5 本章小结

第六章 总结与展望

6.1工作总结

6.2研究展望

参考文献

附录1攻读硕士学位期间申请的专利

致谢