基于CNN-RNN的视频事件分类

摘要

长期以来机器学习领域主要集中在图像领域，以CNN为代表的深度学习网络模型在图像领域取得了很好的成果。然而在视频领域，视频中除了帧内的图像信息还存在着帧间的时序信息。由于传统的模型不能很好地处理时序信息，视频事件分类一直未能取得大的突破。近年来RNN在语音方面取得了很好了成果，证明了其处理时序信息的能力。本文将CNN与RNN结合来解决视频事件分类问题。本文的主要工作和贡献如下:
　　首先，通过实际测试验证了CNN能够提取出本文需要的帧特征，之后对CNN提取的特征进行调整以使其更适用于本文模型。通过实际测试，经过网络调整后提取的特征向量拥有更低的冗余以及更好的时序信息。
　　然后，本文讨论了传统RNN结构在实际应用中的问题，阐述了两种改进方案的内部结构。通过实际测试，使用RNN改进结构可以提升视频分类准确率，两层收敛型的网络结构拥有更好的性能。
　　最后，将CNN与RNN结合验证本文方案可行性。结果证明相较于单一使用CNN或RNN，将二者结合可以极大地提升网络性能。同时对RNN的两种改进结构LSTM与GRU性能进行对比。在本文方案中，GRU性能优于LSTM。
　　本文方案在三个权威视频数据库上进行测试。通过与最新的研究成果对比，证明本文方案性能达到行业内尖端水平，相较于传统的关键帧特征提取分类方法性能有巨大提升，且拥有很好的适用性和鲁棒性。

目录

声明

摘要

第1章绪论

1．1选题背景

1．2视频处理特点

1．3国内外研究现状

1．4本文主要组织框架

第2章CNN结构调整

2．1 CNN起源与发展

2．2 CNN运行原理

2．3 CNN数据流程

2．3．1前向传播

2．3．2反向传播

2．3．3卷积层梯度计算

2．3．4下采样层梯度计算

2．3．5特征图的组合

2．4测试使用的数据库

2．5 CNN结构调整

2．5．1基本CNN结构选择

2．5．2采用CNN模型结构及性能

2．5．3 CNN调整后的性能

2．6本章小结

第3章RNN结构测试

3．1．1 RNN节点内部数据运行流程

3．1．2 RNN不同任务下数据流程

3．2梯度消失与梯度爆炸

3．3长短时间网络LSTM

3．3．1 LSTM正向传播数据流程

3．3．2 LSTM反向传播数据流程

3．4门结构分析

3．5门控循环单元GRU

3．6 RNN不同结构性能对比

3．7本章小结

第4章网络连调与实验结果

4．1实验平台

4．2网络整体结构

4．3实验过程

4．4实验结果

4．4．1 UCF101数据库结果

4．4．2 HMDB51数据库结果

4．4．3 CCV数据库结果

4．5本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢