并行注意力机制在图像语义分割中的应用

摘要

在卷积神经网络中融入注意力机制越来越成为语义分割强化特征学习的重要方法。提出了一种融合了局部注意力和全局注意力的卷积神经网络。输入图像经主干网络的特征提取,并行输入给局部注意力和全局注意力模块。局部注意力模块以编码-解码结构实现多尺寸的局部特征融合,全局注意力模块根据每个像素与其所在特征图上所有像素的相关性捕获全局信息。融合两个注意力模块不仅减少了局部信息的丢失,而且捕获了具有长距离依赖的全局信息,有效提升了特征提取的能力。采用一种数据相关的上采样方法代替双线性插值法恢复特征图至输入尺寸,同时改善了分割效果。采用Dice Loss损失函数并针对样本不平衡问题在类别损失前加入权重系数进一步改善了分割效果。该方法在药丸污点数据集、药丸缺损数据集以及走廊数据集上分别得到了96.39%、93.44%、96.28%的平均交并比结果。