基于注意力融合的语义分割网络

摘要

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独分割的能力.最后,对各个评估支路的输出进行注意力路由算法从而对各空洞卷积分配权重.在PascalVOC 2012和Cityscapes两个数据集上,提出的模型在各组实验中均能提升1个百分点以上,并通过可视化注意力图表明,提出模型能够根据上下文信息对各空洞卷积支路进行有侧重的反向传播.