深度连接的超轻量化子空间注意模块

摘要

针对紧凑型卷积神经网络在部署现有注意力机制存在计算量或参数开销大的问题,提出一种改进的超轻量化子空间注意模块.首先,深度连接的子空间注意模块(Deep Connected Subspace Attention Mechanism,DCSAM)划分特征图为若干特征子空间,为每个特征子空间推导不同的注意特征图;其次,改进特征子空间进行空间校准的方式;最后,建立前后特征子空间的连接,实现前后特征子空间的信息流动.该子空间注意机制能够学习到多尺度、多频率的特征表示,更适合细粒度分类任务,且与现有视觉模型中的注意力机制是正交和互补的.实验结果表明,在ImageNet-1K和Stanford Cars数据集上,MobileNetV2在参数量和浮点运算数分别减少12％和24％的情况下,最高精度分别提高了0.48和约2个百分点.