基于混合卷积的多级特征融合模型的视频动作识别方法及系统

摘要

本发明涉及一种基于混合卷积的多级特征融合模型的视频动作识别方法及系统，属于计算机视觉技术领域，采用二维卷积和可分离三维卷积构造混合卷积模块；沿着时间维度对各输入特征执行通道移位操作，构建时间移位模块，促进相邻帧之间的信息流动，补偿二维卷积操作对动态特征进行捕捉的缺陷；从骨干网络的不同卷积层中导出多级互补特征，并对其进行空间调制与时间调制，从而使各层次特征在空间维度上具有一致的语义信息，在时间维度上具有多变的视觉节奏线索；通过构造自下而上的特征流和自顶向下的特征流，使各个特征之间相辅相成，互为补充，并对所述特征流进行并行处理，以实现多级特征融合；利用两阶段训练策略进行模型训练。