基于计算机视觉的人体动作识别研究

摘要

随着传感器技术、互联网的快速发展和机器学习理论的成熟，视频人体动作识别技术越来越得到研究人员的关注。人体动作识别技术具有较高的学术价值和商业价值，可以在人机交互、智能监控、运动分析、视频检索等多个场景得到应用。传统的人体动作识别方法的效果很大程度上依赖于人工提取出的特征的优劣，特征的计算过程复杂，提取出的特征泛化性不强。本文采用深度神经网络模拟生物大脑对于视觉信息的处理过程，实现视频人体动作特征提取，能够适应复杂环境下的人体动作识别，简化了传统人工特征提取的流程，同时提高识别准确率。 首先，本文构建了扩展到三维的3D卷积神经网络模型。考虑到运动过程中人体变化显著区域对动作识别的影响，本文使用三帧差法计算人体运动前后变化区域得到帧间差分通道，同原始灰度视频通道一起构成双通道输入进本文构建的3D卷积神经网络，进行特征提取。在 KTH 数据集上的实验表明，使用本文构建的双通道 3D 卷积神经网络可以达到 92.5%的识别准确率，在减少特征提取工作了的同时获得了较高的算法鲁棒性。另外，本文通过对比实验研究了3D卷积神经网络中网络结构和各类参数对识别性能的影响，其中，3×3×3的卷积核识别准确率略低于5×5×5，但有着更高的效率；对数似然代价函数相较于普通的均方差函数有着更快的收敛速度；dropout可以在一定程度上避免小数据集上的过拟合。 然后，为了能够在UCF-101这类数据量大、视频内容丰富、背景环境复杂的数据集上提取出足够的特征，本文利用利用迁移学习原理，使用 CNN 预训练模型，将预训练模型在 ImageNet 数据集上训练好的分类网络的权值迁移到本文使用的UCF-101人体动作识别数据集上进行微调，辅助提取视频帧中的人体动作特征。针对现实中的人体动作执行时间差异，本文并未使用传统的帧对齐方式，而是使用LSTM网络对变长人体动作序列进行识别。使用CNN预训练模型和LSTM网络的人体动作识别模型在UCF-101数据集上取得了88.7%的准确率，验证了该模型在视频人体行为识别上的有效性。

目录

第一个书签之前

摘要

Abstract

第1章 绪论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 论文主要研究内容

1.4 论文结构安排

第2章 视频中人体动作识别方法概述

2.1 引言

2.2 人体动作特征提取方法

2.2.1 人体结构模型

2.2.2 人体外观特征

2.2.3 人体运动特征

2.3 人体动作识别方法

2.3.1 模板匹配法

2.3.2 状态空间法

2.3.3 深度学习法

2.4 人体动作识别数据集

2.5 实验环境和平台

2.5.1 实验环境

2.5.2 实验平台

2.6 本章小结

第3章 基于双通道3D卷积神经网络的人体动作识别

3.1 卷积神经网络

3.1.1 卷积层

3.1.2 池化层

3.1.3 激活函数

3.1.4 Dropout

3.2 3D卷积神经网络

3.2.1 3D卷积层

3.2.2 3D下采样层

3.3 基于双通道3D卷积神经网络的人体动作识别模型

3.3.1 帧间差分通道

3.3.2 算法流程

3.3.3 网络结构

3.3.4 参数设置

3.4 实验及结果分析

3.4.1 模型性能对比实验结果

3.4.2 卷积核尺寸对比实验

3.4.3 损失函数选择实验

3.4.4 Dropout实验

3.5 本章小结

第4章 基于迁移学习和LSTM的人体动作识别

4.1 引言

4.2 基于迁移学习的特征提取

4.2.1 迁移学习

4.2.2 预训练模型

4.2.3 基于CNN预训练模型的特征提取和分类

4.3 变长序列的分类和识别

4.3.1 循环神经网络介绍

4.3.2 LSTM网络

4.4 基于预训练模型和LSTM的人体动作识别

4.4.1 算法流程

4.4.2 视频帧特征提取

4.4.3 LSTM分类

4.5 实验及结果分析

4.6 本章小结

第5章 结论与展望

5.1 结论

5.2 展望

参考文献

攻读硕士学位期间发表的论文及其它成果

致谢