FMNet:基于特征对齐的多方位注意力机制服装图像分割网络

摘要

针对语义分割中不同尺度特征融合导致的特征错位问题,提出了一种用于不同尺度语义特征融合的上采样方法。首先,将不同尺度特征图初步融合,将得到的语义信息作为低分辨率特征图进行上采样的位置参照;随后,将低分辨率特征图上采样后,再与高分辨率特征图进行融合。针对神经网络中语义学习模块对语义特征信息学习不充分的问题,提出了一种多方位注意力机制(multi-directional attention mechanism,MAM),从空间、通道和类别3个方位学习语义信息。根据上述2个方面的创新,提出了用于服装图像分割的网络——FMNet,并选取、划分服装数据集DeepFashion2作为训练、验证和测试的数据集。实验结果表明,所提FMNet的平均交并比(mean intersection over union,mIoU)相较于OCRNet提高了2%,相较于DeepLabv3+和PSPNet分别提高了5%和10%。