基于时空融合卷积神经网络的异常行为识别

摘要

为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别.使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流信息.使用UCF101数据集预训练网络模型,将模型迁移学习到CASIA数据集上并微调网络.实验结果表明,与Multi-resolution CNN方法和Two-stream CNN(AlexNet)方法相比,该方法具有更高的准确率.