LSTFormer:基于Swin Transformer的轻量化语义分割网络

摘要

针对现有基于Transformer的语义分割网络普遍存在计算复杂度高的问题,提出了一种基于Swin Transformer的轻量化语义分割网络。该网络通过Swin Transformer获取多个尺度的特征图;采用全感知模块和改进的级联融合模块跨层融合不同尺度的特征图,减小不同层级特征图的语义差距;引入单个Swin Transformer block对初分割特征映射进行优化,通过移动窗口自注意力机制提升网络对不同像素点进行分类的能力;训练阶段加入Dice损失函数和交叉熵损失函数,提高网络的分割性能和收敛速度。实验结果表明,LSTFormer在数据集ADE20K和Cityscapes上mIoU分别达到49.47%和81.47%,相较于SETR和Swin-UPerNet等同类网络,LSTFormer在保持相当分割精度的同时具有更低的参数量和计算量。