基于时空自注意力转换网络的群组行为识别

摘要

个体间关系信息的获取是群组行为识别中关键问题.为了获取更加丰富的关系信息,本文提出了一种时空自注意力转换网络(Spatio-Temporal Transformer Network).空间自注意力转换模块可以同时处理群组中的所有个体,包括其外观特征和位置特征,以便提取个体间空间关系信息.使用时序自注意力转换模块进行时序建模.为了获得更加丰富有效的关系信息,提出了全局空间注意图,用以增强模型空间关系推理能力,使用时序掩膜优化时序自注意力转换模块.通过在Volleyball和Collective Activity数据集上实验验证,结果表明本文方法性能优于其它方法.