基于外观和动作特征双预测模型的视频异常行为检测

摘要

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型.该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图.此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的"生成"能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的"原型"特征的记忆增强模块,从而使异常样本能获得更大的预测误差.在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验.实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现.具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积(AUC)分别达到了88.2％、97.5％和73.0％.