基于协同时空建模的视频行为识别算法

摘要

行为识别是计算机视觉领域的一个重要研究方向,已被广泛应用于视频监控、人群分析、人机交互、虚拟现实等领域。而时空建模是视频行为识别的一个重要部分,有效地进行时空建模可以极大地提高行为识别的精度。现有的先进算法采用3D CNN学习强大的时空表示,但在计算上是复杂的,这也使得相关部署昂贵;此外,改进的具有时间迁移操作的2D CNN算法也被用来进行时空建模,这种算法通过沿时间维度移动一部分特征通道用以进行高效的时序建模。然而,时间迁移操作不允许自适应地重新加权时空特征。以前的工作没有考虑将这两种方法结合利用起来,取长补短,以便更好地建模时空特征。本文提出了一个协作网络用以有效地结合3D CNN和2D卷积形式的时间迁移模块。特别是一个新的嵌入注意力机制的协同时空模块(Collaborative Spatial-temporal module,CSTM)被提出用以有效的学习时空特征。本文在与时序相关的数据集(Something-Something v1,v2,Jester)上验证了该算法的有效性,并且获得了竞争性的性能。