基于3D卷积自编码器的视频异常行为检测

摘要

视频异常行为检测是目前计算机视觉领域的热点问题之一.然而,由于异常行为难以具体定义,使得基于监督学习的二类分类方法难以应用在该领域.本文提出了一种无监督的视频异常检测模型,称之为基于时空特征融合的3D自编码器模型(ST-3DCAE).模型采用PWCNet提取场景光流特征图,并与原视频帧融合作为基本单元,由多个基本单元组成连续基本单元作为模型的输入;利用3DConv和ConvLSTM模块进行时空特征的自主提取,3DSEblock模块进行重要特征的筛选;最终,通过输入数据和自编码器重建视频块之间的重建误差,来判断视频是否出现异常行为.通过在UCSD、Avenue等公开数据集上进行验证,实验结果的定性和定量分析证明了本方法具有较好的性能.