互联网图像驱动的语义分割自主学习

摘要

针对目标任务收集新类别的海量标注数据通常需要大量时间和人力成本,并已成为语义分割技术投入实际产业应用过程的主要瓶颈.本文旨在以"网络监督"的方式,在仅利用用户提供的目标类别关键词以及相应自动搜索到的网络数据的条件下实现语义分割模型的自主学习.该任务的核心挑战在于网络爬取的图像中存在一定量的类别噪声,从而影响自主学习的可靠性.为了解决类别噪声问题,本文设计了一种新颖的噪声擦除模型.该模型通过每次从小批次样本的置信注意力区域中以跨样本的方式学习语义信息来擦除训练图像中与搜索关键词无关的区域.基于该模型,本文同时提出了一种能够用于训练语义分割模型的高质量伪标注生成方法.在国际主流的公开数据集(PASCAL VOC2012)上的大量实验表明,基于该方法的语义分割模型在利用网络监督与弱监督的条件下均取得了良好结果(mIoU=62.0%以及66.1%).