基于RGB-D的多线性异构信息的动作识别研究

摘要

深度传感器不仅能获得RGB视频数据还能获得3D深度数据，因而基于RGB-D相机的动作识别的研究越来越多。3D结构信息简化了动作识别的运动内部变化，并且去除了杂乱的背景噪声，因此3D结构信息能够有效地用于识别任务。虽然3D结构信息很有效，但是有关3D结构信息的方法仅适用于深度数据。由于深度数据是不连续的，会产生噪声，而RGB数据是连续的，刚好可以弥补深度数据的缺点。而人体部位的动作是高度相关的，因而采用深度序列。但是深度序列是串联的高维向量增加了参数数目和计算时间，而用矩阵形式表示就可以克服这个问题。为了解决上述问题，本文进行了以下研究工作：
　　（1）针对 RGB数据和深度数据以及骨骼数据优缺点之间的互补关系，提出了基于RGB-D的双线性异构信息的动作识别研究。该方法有效地利用两种数据，并进行交叉模态特征空间学习。用矩阵的形式表示捕获的时空特征。该方法学习了两种数据的共享特征空间，并产生了交叉模态特征。在该模型中，许多噪声可以用信息测度来减少。使用学习交叉模态特征的共享特征空间来进行动作分类。实验表明，当一种数据缺失或者丢失时，依然能够通过另一模态进行识别，提高了识别泛化能力。且用矩阵表示特征提高了计算效率。
　　（2）针对 RGB数据和深度数据都缺失的情况下不能识别的问题，增加骨骼特征来进行动作识别，提出了基于RGB-D的多线性异构信息的动作识别研究。该方法充分地利用RGB数据、深度数据和骨骼数据，并用矩阵形式进行捕获到的时空关系特征表示。该方法学习了RGB数据、深度数据和骨骼数据的共享空间，并产生交叉模态特征。在该模型中，用信息测度减少噪声。用学习到的交叉模态特征的共享空间来进行分类。实验表明，当RGB数据或深度数据或骨骼数据缺失或者丢失时，依然能够通过其他模态进行识别，提高了识别泛化能力。且用矩阵表示特征提高了计算效率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景及意义

1.2研究现状

1.3本文的主要工作和内容安排

第二章 相关工作

2.1基于线性分类器的动作识别

2.2基于双线性分类器的动作识别

2.3基于3D骨骼的动作识别

2.4本章小结

第三章 基于RGB-D的双线性异构信息的动作识别研究

3.1模型建立

3.2模型学习

3.3实验结果与分析

3.4本章小结

第四章 基于RGB-D的多线性异构信息的动作识别研究

4.1模型建立

4.2模型学习

4.3实验结果与分析

4.4本章小结

第五章 总结与展望

5.1工作总结

5.2展望未来

参考文献

发表论文和科研情况说明

致谢