基于V-DBN与空间双流LSTM的人体行为识别算法研究

摘要

近年来，深度学习算法在多领域取得了重大突破，极大的推动了人工智能的发展。基于卷积神经网络的多种深度网络模型在RGB图像上的分类、分割以及目标检等领域取得了重大突破，这激发了研究人员对深度学习模型的进一步研究。 由于深度传感器的商业化，人们获取3D数据的方法越来越便捷。应用程序可根据深度传感器得到人体在场景中的深度信息，提取出人体区域及关键点的3维位置信息。通过提取关键点位置信息中的相关特征，网络模型可完成人体行为识别。本课题主要研究基于3D骨骼点的人体行为识别，设计了基于V-DBN（VLAD-Deep Belief Network）与空间双流LSTM（LongShort-Term Memory）的两类网络模型。主要研究内容及方法如下： （1）设计并提取了基于3D骨骼点位置信息的时空特征。在时间维度上，利用相同骨骼点在相邻帧的位移、速度及加速度特征描述动作变化趋势；利用同一帧中指定骨骼点和参考骨骼点之间的相对位置及指定骨骼之间的角度变化特征描述动作状态。 （2）提出使用VALD(vector of locally aggregated descriptors)方法解决动作序列长度不一致的问题。由于不同目标之间存在个体性差异，动作与动作之间的序列长度不同，不利于分类器进行动作识别。本课题通过VLAD算法完成动作序列长度的统一。 （3）设计V-DBN网络模型完成动作识别。该模型中将VLAD算法和DBN网络相结合，通过对比散度算法完成特征降维，对网络中存在的关键参数进行分析。实验讨论了网络参数、组合特征、初始化方法、特征融合方式以及不同分类器对识别结果的影响。 （4）V-DBN模型中使用的VLAD算法在一定程度上破坏了骨骼序列帧与帧之间的连续性。为克服这个问题，本文设计时空双流LSTM网络模型完成动作识别。该模型以Tensorflow框架为基础，通过多个LSTM网络单元搭建网络模型，旨在解决由于聚类引起的信息丢失问题对动作分类的影响。实验中对比了多种基于LSTM的网络模型构建方式。 本课题主要完成了基于3D骨骼点的时空动作特征设计、改进了特征编码及归一化方法并搭建了两种用于识别人体行为的网络结构。在实验阶段，本文在常见的两类人体行为数据库和采集的数据集上对本文方法进行验证，证明了所提方法在特征设计，特征编码及动作识别上的有效性。

目录

第1章 绪 论

1.1 课题研究的背景及意义

1.2 研究现状与存在的问题

1.2.1 根据数据种类分类

1.2.2 根据特征提取方法分类

1.3 课题主要研究内容

1.4 论文的组织结构

第2章 特征设计及网络模型概述

2.1 基于3D骨骼点位置信息的特征设计

2.2 特征编码

2.3 多层感知机与Back Propagation 算法

2.3.1 多层感知机

2.3.2 反向传播算法

2.4 随机梯度下降法

2.5 深度信念网络模型

2.6 长短时记忆网络模型

2.7 本章小结

第3章 V-DBN网络模型的设计

3.1 3D动作数据采集

3.2 时空特征设计

3.2.1 骨骼点划分方式

3.2.2 时间序列特征

3.2.3 空间相对位置特征

3.3 固定特征序列的长度

3.4 V-DBN网络模型

3.5 实验结果及分析

3.5.1 实验数据介绍及实验分析

3.5.2 实验参数分析

3.6 本章小结

第4章 空间双流LSTM网络模型的设计

4.1 LSTM模型与V-DBN模型

4.2 设计角度特征

4.3 LSTM网络架构与实验分析

4.3.1 构建LSTM网络结构

4.3.2 实验结果与分析

4.4 LSTM网络结构优化与实验分析

4.4.1 LSTM网络结构优化

4.4.2 实验结果与分析

4.5 空间双流LSTM网络结构与实验分析

4.5.1 空间双流LSTM网络结构

4.5.2 实验结果与分析

4.6 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致谢