一种基于图像边界知识迁移的引导语义分割方法

摘要

本发明公开了一种基于图像边界知识迁移的引导语义分割方法包括如下步骤：S1，引导分割模块构建，S2构建约束条件，具体分为三个部分，分别是有限样本的监督、表示一致性约束、以及边界一致性约束；S3，边界知识迁移模块构建，其中主要包括伪三元组判别数据生成、边界对抗学习；通过上述步骤建立的基于图像边界知识迁移的引导语意分割方法，能够仅通过数十张有标签样本以及大量任务无关图像数据，利用图像边界知识，通过指定语义相关图像，利用语义空间特征约束，实现特定种类样本目标的语义分割。

说明书

技术领域

本发明涉及小样本语义分割领域，尤其是涉及一种基于图像边界知识迁移的引导语义分割方法。

背景技术

深度神经网络在很多计算机视觉应用上都取得了显著的作用，例如在自动驾驶以及医学影像中起着重要作用的图像语义分割任务。一般而言，训练一个深度神经网络需要大量有标签样本数据，然而数据的获取与标注过程经常是耗时耗力的。针对这个难题，现有的工作主要聚焦在小样本学习和迁移学习这两种任务上。小样本学习旨在通过很少的标注样本来学习训练一个可靠的模型，而迁移学习则是通过一种任务上学习到的模型迁移到新的场景上。尽管小样本学习和迁移学习已经取得了一些进展，但是这些方法，不是获得精度较差难以达到应用的水平，就是适配的场景必须足够的相似，这限制了有限样本的进一步应用。对于很多小样本和迁移学习方法来说，随着类别种类的增加准确率会持续下降。一个重要的因素是，现有方法主要识别逐类别特征以及分割相应区域。现有的模型层面的知识迁移的不足之处在于，源数据集的种类会影响特定的分割能力，这会限制在目标数据集中的准确度上限，最明显的就是当类别种类增加时分割性能会急剧下降。

发明内容

为解决现有技术中需要大量复杂的标注样本，同时难以指定特定语义进行分割的问题，实现特定种类样本目标的语义分割的目的，本发明采用如下的技术方案：

一种基于图像边界知识迁移的引导语义分割方法，包括如下步骤：

S1，构建引导分割模块，引导分割模块包括：引导特征提取层和目标分割网络，其 中，目标分割网络包括编码层与解码层

S2，构建约束条件，包括如下步骤：

S21，有限样本监督，在训练阶段，有限标注的样本输入至目标分割网络，并直接产 生监督信息，得到有限样本监督的损失函数

S22，表达一致性约束，当引导图

S23，边界一致性约束，通过针对图像分割边界的约束来增强自监督的结果，得到 边界一致性损失函数

S3，构建边界知识迁移模块，包括如下步骤：

S31，伪三元组判别数据生成；

S32，边界对抗学习，伪三元组判别数据生成之后，通过计算判别损失，将源数据集的边界知识迁移到分割网络中。

进一步地，所述步骤S1中，对于给定的目标图像

进一步地，所述步骤S21中，给定输入

进一步地，所述步骤S22中，定义

进一步地，所述步骤S23中，给定随机仿射变换矩阵

进一步地，所述步骤S31包括如下步骤：

S311，定义外边界判别损失，得到外边界预测三元组的判别器结果

S312，定义内边缘判别损失，得到内边界预测三元组的判别器结果

进一步地，所述步骤S311，随机从目标数据采样样本

计算分割目标

定义外边界判别损失：

其中，E表示数学期望，

进一步地，所述步骤S312，另一方面，考虑样本背景掩模

此时对应的预测三元组为

此时定义内边缘判别损失：

其中，

进一步地，所述步骤S32，有限样本监督的损失函数

本发明的优势和有益效果在于：

仅仅通过数十张有标签样本以及大量任务无关数据训练，利用图像边界知识完成小样本情况下语义分割，实现指定语义相关图像，利用语义空间特征约束，实现特定种类样本目标的语义分割。利用大量开源的非目标类别的标注样本，可以实现在极少量目标类别标注样本条件下，通过指定语义相关图像，利用语义空间特征约束，实现特定种类样本目标的语义分割。

附图说明

图1是本发明的方法流程图。

图2是本发明的结构示意图。

图3是本发明中SOTA方法在Citycapes数据集上的的视觉结果。

图4是本发明中SOTA方法在SBD数据集上的的视觉结果。

图5是本发明中SOTA方法在THUR数据集上的的视觉结果。

图6是本发明中SOTA方法在人、鸟、花上的的视觉结果。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明要解决当前基于深度学习的语义分割方法需要大量标注的问题。人类在进行视觉感知时，并不需要知道图像的类别仅通过物体的边缘便能很好的分割语义目标，然而现有的语义分割方法均基于图像的类别标注监督分割网络实现对应类别目标的分割。为解决深度网络需要大量标注以及指定语义目标分割的难题，本发明设计了一种图像边界知识迁移的引导语义分割方法，仅通过数十张有标签样本以及大量任务无关数据训练，利用图像边界知识完成小样本情况下语义分割，通过指定语义相关图像（即给定一张语义引导图），利用语义空间特征约束（即在特征层面的约束），实现特定种类样本目标的语义分割。

相较于现有技术，本发明只有目标样本会被输入到分割网络中，而开源数据中的边界知识则会以对抗形式被迁移到分割网络中。这意味着只有目标数据集中的数据流会被传输到分割网络中；与现有的模型层面的知识迁移存在着根本性的不同，不存在目标数据集中的准确度的限制；与此同时，当给定一张特定种类语义的图像时，人眼可以轻易地了解分割的目标。

如图1、图2所示，本发明基于图像边界知识迁移的引导语义分割方法，包括如下步骤：

1)开源语义分割标注数据集收集整理；

为了辅助进行目标类别的语义分割，本发明首先需要收集整理大量已有的开源语义分割数据集。针对开源数据集，首先需要考虑语义分割数据集的类别应尽可能的多样性（验证阶段需要剔除和目标待分割数据集种类一致的数据），同时对于样本总量应尽可能的多（例如至少应收集整理超过两万张语义分割图像数据）。

2)确定小样本目标数据集以及相关数据增强；

在开源语义分割标注数据集收集整理的基础上，针对目标待分割语义图像数据集，确定每个类别有标签样本数二十张，对于每个类别的目标数据，在训练过程中，实施三种数据增强策略。首先是基本的缩放、旋转、剪切、镜像等图像操作，其次，将有标签目标图像通过掩模抠出目标后贴入目标数据集中无标签图像上形成新的数据。最后，利用现有的工具进行语义级别数据增强，例如图像上目标颜色变换，目标层面仿射变换形成新的训练数据。

3)结合边界知识迁移的语义引导分割框架构建；

引导分割模块主要由两个神经网络分支组成，分别是引导特征提取层

4)约束条件构建；

在训练阶段，有限标注的样本输入至目标分割网络分支并直接产生监督信息。给 定输入

5)边界知识迁移构建；

边界知识模块的构建主要有两个步骤构成，分别是伪三元组判别数据生成和边界 对抗学习。随机从目标数据采样样本

这其中，

同样道理，

本发明的方法分别与现有技术，在多个公开的数据集上进行对比，如图3-图5所示，其中Input为输入的目标图像，GT为本发明方法的视觉结果，根据SOTA方法，对比其他模型，本发明的方法对应的模型最优。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。