基于多视角深度视频及人体骨架序列的行为识别研究

摘要

随着社会老龄化问题的日益严重，家庭服务机器人逐步走进人类的生活，在照顾老人和残障人士中发挥着举足轻重的作用。智能化机器人在其日常工作中需要广泛进行人机交互与智能监控，故而人体行为的识别成为共融式家庭服务机器人的基础。由于深度传感器的发展，采集深度视频并从其中提取人体骨架序列变得越来越容易，同时考虑到机器人机载传感器视角受限以及生产成本等问题，该文分别对基于多视角深度视频的人体行为识别、基于人体骨架序列的行为识别展开研究，具体内容如下：　　首先，服务机器人执行任务过程中，机载传感器难以保证时刻捕捉人体正面信息，针对视角变化造成的行为识别误差，提出一种与视角无关的深度视频时空联合行为识别模型。该模型采用多视角人体姿态图像训练深度卷积神经网络，利用其全连接层将不同视角的特征映射到与视角无关的高维空间，形成空间特征，继而联合时间等级池化及傅里叶时间金字塔进行视频的时间信息建模，最后融合时空信息进行行为识别。实验表明，所提出的时空联合行为识别模型在提高多视角行为识别精度的同时，具有鲁棒的泛化能力。　　其次，基于人体骨架序列数据，针对骨架不同关节的关系，提出一种基于关节子组的时空特征提取方式，并利用K-means聚类以及局部聚合描述符(Vector of Locally Aggregated Descriptors, VLAD)算法对局部时空特征进行聚合，进而形成全局时空特征，最后联合最优边界分配机实现具体行为的分类识别。实验表明，所提模型在保证人体行为识别精度的同时，拥有良好的实时性。

目录

声明

第1章 绪 论

1.1 课题背景及意义

1.2 国内外研究现状及分析

1.2.1 视频的行为识别研究现状

1.2.2 人体骨架序列的行为识别研究现状

1.2.3 深度学习行为识别的研究现状

1.3 本文的主要研究内容

1.3.1 多视角深度视频行为识别研究

1.3.2 人体骨架序列行为识别研究

1.4 本文组织结构

第2章 行为识别理论基础

2.1 引言

2.2 卷积神经网络

2.2.1 卷积神经网络的概述

2.2.2 卷积神经网络的工作原理

2.3 时间等级池化

2.3.1 表示时间信息的函数参数

2.3.2 等级池化方法

2.4 傅里叶时间金字塔

2.5 行为识别分类算法

2.5.1 支持向量机

2.5.2 最优边界分配机

2.6 本章小结

第3章 与视角无关的人体行为识别模型

3.1 引言

3.2 与视角无关的行为识别整体框架

3.3 与视角无关的人体姿态模型

3.3.1 人体姿态模型结构

3.3.2 人体姿态模型构建

3.4 视频时间信息建模

3.4.1 视频子序列时间等级池化模型

3.4.2 全局时间编码和分类

3.5 实验结果分析

3.5.1 UWA3DII实验数据集

3.5.2 UWA3DII数据集实验分析

3.6 模型泛化能力验证实验

3.6.1 MSR Daily Activity3D实验数据集

3.6.2 MSR Daily Activity3D数据集实验分析

3.6.3 分类算法实验分析

3.7 本章小结

第4章 人体骨架序列的行为识别模型

4.1 引言

4.2 模型整体框架及描述

4.3 局部时空特征提取方法

4.3.1 局部时空特征的表示

4.3.2 骨架序列关节子组的划分

4.4 特征的聚合方法

4.5 实验结果及分析

4.5.1 MSR Action3D实验数据集

4.5.2 实验条件及参数设定

4.5.3 MSR Action3D数据集实验结果分析

4.6 模型泛化能力验证实验

4.6.1 Florence 3D实验数据集

4.6.2 Florence 3D数据集实验结果分析

4.7 框架实时性分析

4.8 本章小结

结论

参考文献

攻读硕士学位期间承担的科研任务与主要成果

致谢