一种基于半监督变分自编码器的主动众包图像学习方法

摘要

本发明公开了一种基于半监督变分自编码器的主动众包图像学习方法，具体为：获取图片集，随机抽选一定比例的图像，将其分发给网络上的标注者进行标注，获得众包标记；搭建基于半监督变分自编码器的众包学习网络模型；将数据集输入模型，构造损失函数；基于随机梯度下降，端到端地对模型进行训练；选择预测真实标记的熵最大的图像，查询真实标记；与上一轮迭代所使用的训练集组合，生成新的数据集，返回第三步，直到当前迭代次数到达阈值为止；删去模型重构部分和众包映射层部分，将网络的剩余部分作为分类器。本发明同时利用众包数据和无标记数据，降低数据的标注成本。并通过引入少量真实标记，来缓解模型对于噪声的过拟合，提高模型的泛化性能。

说明书

技术领域

本发明涉及一种基于半监督变分自编码器的主动众包图像学习方法，属于图像标注技术领域。

背景技术

传统的监督学习需要大量的专家图像，需要比较高的标注成本。为了降低成本，人们提出了多种方法，比如众包学习、半监督学习和主动学习。

众包学习的流程是首先发布标注任务在网络平台上，任何人都可以进行这个标注任务，所收集到的数据比专家标注噪声比例更多。为了解决众包中非专家标注者的不确定性，通常会让每张图像由多个标注者进行标注，即重复标注。如何利用这种具有噪声和重复标记的众包数据成为了众包学习的关键点。代表性的方式有从每张图像的多个标签集估计其真实标记的真实标记推断，其中最为简单的是Majority-voting，对每个标注者的可靠度进行建模的DS模型及其变种，使用EM式算法联合学习分类器模型和标注者噪声模型, 使用预测模型来提高数据质量，与主动学习结合等。其中，尽管众包学习中的标签聚合方法可以与任何类型的机器学习算法结合使用，但与同样联合学习分类器本身的方法相比，它们是次优的。

半监督学习通过引入大量的无标记数据，这些无标记数据和有标记数据是同分布的，通过无标记数据来对模型进行约束，缓解模型的过拟合，提高它的性能同时降低对专家标记数量的需求。不过，将众包学习和半监督学习结合起来的工作都没有考虑过引入少量的额外监督信息来缓解模型对于众包数据中噪声的拟合。

主动学习则是通过某种指标或策略选择出无标记数据中最具有信息量的图像，之后询问专家这些图像的标记。将众包学习和主动学习结合起来的工作均聚焦于询问图像的众包标注而非专家标注。但是在实际情况中，少量图像的真实标记不会增加太多的标记成本，但却很有可能较大地提高模型的泛化性能。

发明内容

本发明所要解决的技术问题是：提供一种基于半监督变分自编码器的主动众包图像学习方法，同时利用众包数据和无标记数据，降低数据的标注成本。并通过引入少量真实标记，来缓解模型对于噪声的拟合，提高模型的泛化性能。

本发明为解决上述技术问题采用以下技术方案：

一种基于半监督变分自编码器的主动众包图像学习方法，包括如下步骤：

步骤1，获取图像集

步骤2，搭建半监督众包学习网络模型，所述半监督众包学习网络模型包括半监督变分自编码器、众包映射层和主动学习框架；

步骤3，将第一图像集

步骤4，基于随机梯度下降方法，端到端地对半监督众包学习网络模型进行训练，得到训练好的半监督众包学习网络模型；

步骤5，利用训练好的半监督众包学习网络模型对第二图像集

步骤6，将图像

步骤7，对最终的半监督众包学习网络模型，删掉重构部分和众包映射层部分，将剩余部分作为众包图像分类器；

步骤8，利用众包图像分类器对待标注图像进行标注，得到众包学习标记。

作为本发明的一种优选方案，步骤2所述众包映射层，具体形式如下：

其中，

作为本发明的一种优选方案，步骤3所述变分下界损失函数的构造方法为：

对于

其中，

对于

其中，

最终的变分下界损失函数为：

当第一次迭代时，损失函数的第四项为0；

其中，

作为本发明的一种优选方案，步骤4所述端到端地对半监督众包学习网络模型进行训练所采用的优化器为SGD或Adam。

作为本发明的一种优选方案，所述步骤5的具体过程如下：

1）利用训练好的半监督众包学习网络模型对第二图像集

2）计算

3）从第二图像集

4）获取图像

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明结合半监督学习、众包学习以及主动学习的优势，使用半监督变分自编码器完成众包数据集共享表示学习，使用众包映射层完成真实标记层到众包标记层的映射，使用主动挑选不断迭代的方式引入少量真实标记，实现了端到端训练，提高了图像估计的效果和效率。

附图说明

图1是本发明一种基于半监督变分自编码器的主动众包图像学习方法的流程图。

图2是本发明模型的结构图。

图3是本发明迭代挑选的具体流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，展示了基于半监督变分自编码器与主动学习的众包图像学习方法的具体流程，包括以下步骤：

步骤1：构造图像众包数据集。

获取图像后，随机抽选

步骤2：搭建半监督众包学习网络模型，图2是模型的结构图。

在步骤2中，我们所搭建的半监督主动众包学习网络由一个半监督变分自编码器、一个映射层与一套迭代的主动学习框架组成。

首先，我们将表示整个数据集表示为

其中，

然后，我们引入变分推断的方式。以

其中，

步骤3：将图片

对于

其中，

对于

其中，

我们将两者求和，即可得到损失函数

然而，我们发现

其中，

最后，在众包学习中，对于有标记数据，我们没有一个单独的真实标记，而是拥有 由多个标注者提供的多个标记。这里我们使用一个映射层

将其代入变分下界损失函数中，得到

最后，我们要加入之前迭代所挑选出来的数据集

当第一次迭代时，损失函数的第四项为0；

其中，

步骤4：基于随机梯度下降，端到端地对模型进行训练

我们使用优化器，如SGD、Adam等，对整个网络进行端到端的训练。

步骤5：基于最大熵指标，获取

步骤5的具体步骤如图3所示：

1）获取所有

2）计算

3）挑选

4）将

步骤6：将

将挑选出来的真实标记数据加入原来的训练集中，形成新的数据集。将其投入到下一次的训练当中去。

步骤7：删去模型重构部分和众包映射层部分，将网络的剩余部分作为分类器。

当完成训练之后，在整个模型中，我们所需要的只是

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。