相邻帧光流约束的视频异常行为检测

摘要

异常行为检测存在异常样本缺乏的问题,现有方法大都基于帧的重建方法,但漏检率较高.文章提出了一种利用条件生成对抗网络预测未来帧的无监督检测网络.正常视频片段的相邻帧之间的光流变化较小,而异常视频片段的光流变化较大,基于该发现设计光流引导子网,并将该子网输出的稀疏光流引导特征约束生成器.为了保证生成器能够利用正常的视频帧产生清晰的高质量预测而让异常的帧预测不清晰,基于U-net设计了输入具有时间差的两帧的双流生成器.所提出的模型在CUHK Avenue、ShanghaiTech和Ucf-crime实际监控场景数据集上AUC指标分别达到84.3％、69％、68.7％,优于很多主流算法.加入相邻帧光流约束网络较未加入约束的网络在AUC指标上有2％的提升.结果表明,该约束可以有效引导正常视频帧、限制异常帧的表达、较好地区分正常和异常视频片段.