基于多分支结构的不确定性局部通道注意力机制

摘要

近几年的研究表明视觉注意力机制是提升深层卷积神经网络性能的有效途径.然而,现有的视觉注意力方法更多地致力于建模所有卷积通道之间的相关性,在一定程度上限制了模型的计算效率.此外,这些方法尚未明确考虑相关性建模过程中不确定性带来的影响,缺少对注意力机制在泛化能力和稳定性方面的探索.为解决上述问题,提出了一种多分支局部通道注意力模块(Multi-Branch Local Channel Attention,MBLCA).通过建模通道之间的局部相关性学习各个通道的权重,提升了模型的计算效率.并采用蒙特卡洛(Monte Carlo,MC)Dropout近似的深度贝叶斯学习方法对局部通道注意力模块进行不确定性建模,从而得到一个多分支的局部通道注意力模块.提出的MBLCA模块可以灵活地应用于各种深层卷积神经网络架构中,与同类型的工作相比,嵌入MBLCA模块的ResNet-50网络结构在ImageNet-1K和MS COCO数据集上分别取得了2.58%的分类精度提升和1.9%的AP提升.