基于特征融合注意力的小样本语义分割算法

摘要

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5i和COCO-20i公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20i数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。