深度神经网络在视频行为识别中的应用研究

摘要

视频中人体行为识别长期以来都是计算机视觉中的一个重要领域，近年来其在学术界以及工业界得到了广泛的重视，是视频监控、人机交互等应用的基础。在深度神经网络大规模应用于人体行为识别之前，传统方法需要具有丰富经验的专家手工设计提取视频中的目标特征。随着计算机计算能力的迅猛提升以及大量训练数据集的出现，深度神经网络学习算法在图像识别、语音识别等各个领域取得了巨大的成就。在成功将深度神经网络应用于静态图像的识别后，其已逐渐被推广至具有时序关联的视频行为识别研究中。 本文研究了应用于视频行为识别的深度神经网络模型，在公开数据集上对模型进行训练、测试。研究了注意力机制和卷积神经网络对时序信息进行建模，主要工作包括： （1）针对不同公开数据集进行数据预处理，建立统一的训练、测试流程。 （2）采用成熟的应用于静态图片分类的深度神经网络模型来提取视频帧的特征，采用金字塔池化的方法来适应不同尺寸的视频输入。 （3）提出了基于改进注意力机制的视频行为识别模型VideoAttn，在原有的空间注意力的基础上加入了时间注意力机制，通过时间注意力机制来编码视频帧序列中包含的动作上下文信息，以正确识别出视频中的人体动作类别。通过在公开数据集上的实验验证，VideoAttn模型的时空注意力机制在进行行为识别时选择性地关注了帧图片的不同区域以及与视频中人体行为相关的视频帧。 （4）提出了全部由卷积层构成的VideoCNN模型，其具有运算速度快、参数量少等优点。常见的应用于视频时序建模的深度模型大都会采用循环神经网络，如LSTM、GRU等。循环神经网络存在计算量大、运算速度慢等问题，这类网络在对较长的序列也存在不能完全编码所有时序信息的不足，其次在训练过程中循环神经网络还会出现梯度消失或者梯度爆炸的现象。通过在公开数据集上的实验验证，本文提出的VideoCNN模型具有很好的训练以及推理效率。

目录

声明

第一章 绪 论

1.1 研究背景及意义

1.2 行为识别技术的发展

1.2.1 行为识别研究难点

1.2.2 国内外研究现状

1.3 本文主要贡献与创新

1.4 论文结构安排

第二章 神经网络理论基础

2.1.1 感知器

2.1.2 反向传播算法

2.2 卷积神经网络

2.2.1 卷积层

2.2.2 池化层

2.2.3 CNN的网络架构

2.2.4 参数学习

2.3 循环神经网络

2.3.1 时序数据的处理

2.3.2 循环神经网络模型

2.3.3 参数学习

2.4 本章小结

第三章 视频数据预处理和特征提取

3.1 数据集介绍

3.1.1 UCF101

3.1.2 HMDB51

3.2 截取视频帧序列

3.2.1 均匀切帧

3.2.2 随机切帧

3.2.3 随机均匀切帧

3.3 帧序列预处理

3.3.1 裁剪黑边

3.3.2 归一化

3.4 基于预训练网络的特征提取

3.4.1 常见的卷积神经网络模型

3.4.2 使用预训练的CNN作为特征提取器

3.4.3 金字塔池化层

3.5 本章小结

第四章 基于改进注意力机制的视频行为识别模型

4.1.1 简单循环神经网络

4.1.2 长短期记忆网络

4.2 注意力机制简介

4.3.1 VideoAttn模型

4.3.2 模型训练

4.4.1 UCF101数据集实验分析

4.4.2 HMDB51数据集实验分析

4.5 VideoAttn模型在司机违规行为识别中的应用

4.5.1 数据集描述与预处理

4.5.2 实验结果分析

4.6 本章小结

第五章 基于卷积网络的视频行为识别模型

5.1 卷积神经网络应用于序列建模

5.2.1 VideoCNN模型

5.2.2 模型训练

5.3 实验结果与分析

5.4 VideoCNN模型在司机违规行为识别中的应用

5.5 本章小结

第六章 全文总结与展望

6.1 全文总结

6.2 后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果