结合残差收缩和时空上下文的行为检测网络

摘要

针对R-C3D行为检测网络特征提取冗余度高及边界定位不准确的问题,结合残差收缩结构和时空上下文,提出一种改进的行为检测网络(RS-STCBD)。首先,将收缩结构和软阈值化操作融入到3D-ResNet的残差模块中,设计通道自适应阈值的残差收缩单元(3D-RSST),并级联多个3D-RSST单元构建特征提取网络以消除行为特征中的噪声、背景等冗余信息;然后,在时序候选子网中嵌入多层卷积替代一次卷积,以增加时序侯选片段的时序维度感受野;最后,在行为分类子网引入非局部注意力机制,通过捕获优质行为时序片段间的远程依赖以获取动作时空上下文信息。在THUMOS14和ActivityNet1.2数据集上的实验结果表明:改进网络的mAP@0.5分别达到36.9%和41.6%,比R-C3D方法提升了8.0%和14.8%。基于改进网络的行为检测方法提高了动作边界定位精度和行为分类准确率,有利于改善自然场景下的人机交互质量。