基于自适应实例分类器细化的弱监督目标检测方法与系统

摘要

本发明提供了一种自适应实例分类器细化的弱监督目标检测方法，包括以下步骤：1）通过骨干网络提取图像中目标候选区域的特征，作为分类器的输入；2）通过多实例检测网络训练基本的分类器，生成下一阶段的监督信息；3）通过自适应实例分类器细化框架逐步训练细化的分类器以尽可能多地检测到完整的目标。本发明的有益效果是：利用候选区域的分数分布和空间相似性，可以尽可能多地检测图像中完整的目标，缓解检测器陷入局部最优状态的问题。

说明书

技术领域

本发明涉及计算机视觉识别方法，尤其涉及一种自适应实例分类器细化的弱监督目标检测方法与系统。

背景技术

目标检测是计算机视觉领域中基础且关键的研究课题，旨在生成输入图像中特定类别物体的包围框。因此，目标检测可分为两个子任务：目标定位和目标分类。目标定位任务负责确定感兴趣物体的位置，用矩形包围框表示；目标分类任务负责判断物体所属类别，用一系列带分数的标签表示物体属于各类别的可能性。

目前，基于深度学习的目标检测器已取得巨大的成功，这得益于卷积神经网络的发展和大规模标注数据的可用性。然而，制作大规模标注数据集需要耗费大量的人力和时间，因此限制了此类检测器在实际应用中的发展。

为突破这一限制，仅需图像级别标注的弱监督目标检测方法受到了广泛关注。在实际应用中，图像级别的标签比较容易获取或标注，比如在互联网上搜索关键词获得海量相关图像后，经过人工筛选，即可获得大量图像和相应的标签。当前的方法通常将弱监督目标检测问题建模为一种多实例学习问题。在多实例学习问题中，给定一组带标签的袋子，且每个袋子包含多个未标注的实例。这样，弱监督目标检测问题转化为仅给定袋子(即图像)标签的实例(即生成的目标候选区域)分类问题。受卷积神经网络的巨大成功的启发，大部分最新的方法将多实例学习与卷积神经网络结合在一起并以端到端的方式训练，即多实例检测网络。通常，这些方法通过选择置信度最高的候选区域及其邻接区域来训练基于卷积神经网络的分类器。

然而，与完全监督的目标检测器相比，多实例检测网络仍存在很大的差距。其核心问题是图像级别弱监督与实例级别学习目标之间的不一致。卷积神经网络仅利用目标的一部分对其分类，而目标检测需对整个目标定位。所以，基于卷积神经网络的分类器通常对目标的部分区域有较高的响应，这导致具有较高置信度的候选区域通常无法包围完整的目标，即陷入局部最优状态。

因此，如何提供一种避免陷入局部最优状态的弱监督目标检测方法，是本领域技术人员亟待解决的技术问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种用于计算机视觉识别的基于自适应实例分类器细化的弱监督目标检测方法与系统。

本发明提供了一种自适应实例分类器细化的弱监督目标检测方法，包括以下步骤：

1)通过骨干网络提取图像中目标候选区域的特征，作为分类器的输入；

2)通过多实例检测网络训练基本的分类器，生成下一阶段的监督信息；

3)通过自适应实例分类器细化框架逐步训练细化的分类器以尽可能多地检测到完整的目标。

作为本发明的进一步改进，所述的骨干网络由原始的VGGNet添加一个空间金字塔池化层和两个全连接层修改而成。

作为本发明的进一步改进，在步骤1)中，所述的骨干网络提取图像中目标候选区域的特征包括以下过程：

a1)、通过原始的VGGNet提取图像的卷积特征，并通过选择性搜索算法生成图像中的目标候选区域；

b1)、通过一个空间金字塔池化层生成每个候选区域对应的卷积特征；

c1)、通过两个全连接层生成候选区域的特征向量。

作为本发明的进一步改进，在步骤2)中，所述的多实例检测网络的建立方法如下：

a2)、将步骤c1)生成的两个特征向量分别馈入两个具有全连接层的分支，生成两个矩阵；

b2)、将步骤a2)生成的两个矩阵分别输入到两个Softmax层中，并沿着类别和候选区域两个不同的维度计算，得到两个计算结果；

c2)、将步骤b2)计算得到的两个计算结果做逐元素乘法以生成每个候选区域的分数，并计算图像包含各类别目标的可能性。

作为本发明的进一步改进，如果在训练阶段，则进行步骤d2)，输入步骤c2)生成的各类别目标的可能性和图像标签，使用损失函数训练基本分类器；如果在测试阶段，则跳过此步骤d2)。

作为本发明的进一步改进，在步骤3)中，所述的自适应实例分类器细化框架的建立方法如下：

a3)、将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数；

b3)、利用候选区域的分数分布和空间相似性生成监督信息，如果在训练阶段，则进入步骤c3)，如果在测试阶段，则进入d3)；

c3)、输入步骤a3)生成的每个候选区域的分数和步骤b3)生成的监督信息，使用损失函数训练每一阶段的分类器；

d3)、重复步骤a3)、步骤b3)和步骤c3)K次，即形成K个实例分类器细化阶段；

e3)、将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数；

f3)、为步骤a3)中的每个候选区域的分数设置对应的可学习参数，得到加权平均区域分数，采用与步骤b3)相同的方式生成监督信息；

g3)、输入步骤e3)生成的每个候选区域的分数和步骤f3)生成的监督信息，采用与步骤c3)相同的方式训练。

作为本发明的进一步改进，所述的骨干网络提取目标候选区域特征的方式如下：

输入：X∈R

输出：F∈R

a1)、通过原始的VGGNet提取图像的卷积特征，并通过选择性搜索算法生成图像中的目标候选区域；

b1)、通过一个空间金字塔池化层生成每个候选区域对应的卷积特征；

c1)、通过两个全连接层生成候选区域的特征向量。

作为本发明的进一步改进，所述的多实例检测网络的建立方法如下：

输入：F∈R

输出：

a2)、将步骤c1)生成的特征向量分别馈入两个具有全连接层的分支，生成两个矩阵x

b2)、将步骤a2)生成的矩阵x

c2)、将步骤b2)生成的σ(x

d2)、如果在训练阶段，输入步骤c2)生成的φ

作为本发明的进一步改进，所述的自适应实例分类器细化框架包括K个实例分类器细化阶段和1个自适应知识细化阶段。

作为本发明的进一步改进，所述的自适应实例分类器细化框架的建立方法如下：

输入：对于第k个实例分类器细化阶段：F∈R

输出：对于第k个实例分类器细化阶段：

a3)、将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数

b3)、利用候选区域的分数分布和空间相似性生成监督信息

c3)、如果在训练阶段，输入步骤a3)生成的

d3)、重复步骤a3)、步骤b3)和步骤c3)K次，即形成K个实例分类器细化阶段；

e3)、将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数

f3)、为

g3)、如果在训练阶段，输入步骤e3)生成的

本发明还提供了一种自适应实例分类器细化的弱监督目标检测系统，包括可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上述中任一项所述的方法。

本发明的有益效果是：利用候选区域的分数分布和空间相似性，可以尽可能多地检测图像中完整的目标，缓解检测器陷入局部最优状态的问题。

附图说明

图1是本发明一种自适应实例分类器细化的弱监督目标检测方法的流程图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1所示，一种基于自适应实例分类器细化的弱监督目标检测方法，包含三部分：骨干网络、多实例检测网络和自适应实例分类器细化框架，具体步骤如下：

1)通过骨干网络提取图像中目标候选区域的特征，作为分类器的输入；

2)通过多实例检测网络训练基本的分类器，生成下一阶段的监督信息；

3)通过自适应实例分类器细化框架逐步训练细化的分类器以尽可能多地检测到完整的目标。

步骤1)所述的骨干网络由原始的VGGNet(Simonyan，Karen，and AndrewZisserman.“Very deep convolutional networks for large-scale imagerecognition.”ArXiv.2014.)添加一个空间金字塔池化层和两个全连接层修改而成。

骨干网络提取目标候选区域特征的方式如下：

输入：X∈R

输出：F∈R

步骤a1)通过原始的VGGNet提取图像的卷积特征，并通过选择性搜索算法生成图像中的目标候选区域；

步骤b1)通过一个空间金字塔池化层生成每个候选区域对应的卷积特征；

步骤c1)通过两个全连接层生成候选区域的特征向量。

至此，完成了对骨干网络的建立，实现了候选区域特征向量的提取，为分类器提供输入。

步骤2)中所述的多实例检测网络由原始的WSDDN(Bilen，Hakan，and AndreaVedaldi.“Weakly supervised deep detection networks.”Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2016.)修改而成。

多实例检测网络的具体建立方法如下：

输入：F∈R

输出：

步骤a2)将步骤c1)生成的特征向量分别馈入两个具有全连接层的分支，生成两个矩阵x

步骤b2)将步骤a2)生成的矩阵x

步骤c2)将步骤b2)生成的σ(x

步骤d2)在训练阶段，输入步骤c2)生成的φ

至此就完成了多实例检测网络的建立，训练了基本的分类器，并为下一阶段提供了监督信息。

步骤3)中所述的自适应实例分类器细化框架包括K个实例分类器细化阶段和1个自适应知识细化阶段。

自适应实例分类器细化框架的具体建立方法如下：

输入：对于第k个实例分类器细化阶段：F∈R

输出：对于第k个实例分类器细化阶段：

步骤a3)将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数

步骤b3)利用候选区域的分数分布和空间相似性生成监督信息

步骤c3)在训练阶段，输入步骤a3)生成的

步骤d3)重复步骤a3)、步骤b3)和步骤c3)K次，即形成K个实例分类器细化阶段。

步骤e3)将步骤c1)生成的特征向量馈入一个全连接层和一个Softmax层，并沿着类别维度计算，得到每个候选区域的分数

步骤f3)为

步骤f3)输入步骤e3)生成的

至此完成自适应实例分类器细化框架的建立。

图1为本发明方法的实施流程，包括骨干网络、多实例检测网络和自适应实例分类器细化框架三部分。其中，骨干网络负责提取图像中目标候选区域的特征，多实例检测网络用于训练基本的分类器并生成下一阶段的监督信息，自适应实例分类器细化框架逐步训练细化的分类器以尽可能多地检测到完整的目标。

本发明提供的一种基于自适应实例分类器细化的弱监督目标检测方法，骨干网络提取图像中目标候选区域的特征以作为分类器的输入，多实例检测网络训练基本的分类器并生成下一阶段的监督信息，自适应实例分类器细化框架利用区域分数分布和空间相似性逐步训练细化的分类器以尽可能多地检测到完整的目标，为缓解弱监督目标检测器陷入局部最优状态提供了解决方案，具有非常大应用价值和商业价值。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。