一种深度特征学习多标签的神经网络影像自动标记方法

摘要

本发明公开了一种深度特征学习多标签的神经网络影像自动标记方法，用于解决现有的图像标记方法标记性能不佳的技术问题。本发明包括：获取待标记医学图像；将所述待标记医学图像输入预训练的深度特征学习网络；通过所述预训练的深度特征学习网络输出针对所述待标记医学图像的标记结果。

说明书

技术领域

本发明涉及影像标记技术领域，尤其涉及一种深度特征学习多标签的神经网络影像自动标记方法。

背景技术

随着多媒体技术的飞速发展和医学图像采集设备的日趋便捷，影像数据呈爆炸式增长，如何从海量的医学影像中快速检索出有意义的信息已经成为医学图像处理领域重要的研究方向。图像自动标记技术能够实现对图像的自动标注，进而反应其语义内容的关键词，从而缩小图像底层视觉特征与高层语义标签之间的鸿沟，提高图像检索的效率和准确性，在医学图像处理领域具有广泛的应用前景。

图像特征是图像语义内容的一种重要表示，因此图像特征提取方法对于改善图像标注性能至关重要。近几年来，以cnn为代表的深度学习被广泛地应用于计算机视觉领域，取得了较浅层学习更好的效果。

然而，在图像自动标注领域，普遍存在着标准数据集样本数量有限并且标签分布不均匀的问题，造成网络过拟合及标注性能不佳的问题。

发明内容

本发明提供了一种深度特征学习多标签的神经网络影像自动标记方法，用于解决现有的图像标记方法标记性能不佳的技术问题。

本发明提供了一种深度特征学习多标签的神经网络影像自动标记方法，包括：

获取待标记医学图像；

将所述待标记医学图像输入预训练的深度特征学习网络；

通过所述预训练的深度特征学习网络输出针对所述待标记医学图像的标记结果。

可选地，所述获取待标记医学图像的步骤之前，还包括：

获取多标签数据集；

采用所述多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络；

获取校验标签数据；

采用所述校验标签数据对所述初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

可选地，所述采用所述多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络的步骤，包括：

对所述多标签数据集进行平滑处理，得到平滑多标签数据集；

采用所述平滑多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络。

可选地，所述采用所述校验标签数据对所述初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络的步骤，包括：

将所述校验标签数据输入所述初步训练深度特征学习网络，得到校验结果数据；

获取所述校验标签数据对应的目标结果数据；

根据所述校验结果数据和所述目标结果数据，对所述初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

本发明还提供了一种深度特征学习多标签的神经网络影像自动标记装置，包括：

待标记医学图像获取模块，用于获取待标记医学图像；

输入模块，用于将所述待标记医学图像输入预训练的深度特征学习网络；

标记结果输出模块，用于通过所述预训练的深度特征学习网络输出针对所述待标记医学图像的标记结果。

可选地，还包括：

多标签数据集获取模块，用于获取多标签数据集；

初步训练深度特征学习网络训练模块，用于采用所述多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络；

校验标签数据获取模块，用于获取校验标签数据；

预训练的深度特征学习网络生成模块，用于采用所述校验标签数据对所述初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

可选地，所述初步训练深度特征学习网络训练模块，包括：

平滑处理子模块，用于对所述多标签数据集进行平滑处理，得到平滑多标签数据集；

初步训练深度特征学习网络训练子模块，用于采用所述平滑多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络。

可选地，所述预训练的深度特征学习网络生成模块，包括：

校验结果数据获取子模块，用于将所述校验标签数据输入所述初步训练深度特征学习网络，得到校验结果数据；

目标结果数据获取子模块，用于获取所述校验标签数据对应的目标结果数据；

预训练的深度特征学习网络生成子模块，用于根据所述校验结果数据和所述目标结果数据，对所述初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上任一项所述的深度特征学习多标签的神经网络影像自动标记方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的深度特征学习多标签的神经网络影像自动标记方法。

从以上技术方案可以看出，本发明具有以下优点：本发明通过获取待标记医学图像，将待标记医学图像输入预训练的深度特征学习网络中，以得到针对待标记医学图像的标记结果，从而解决现有的图像标记方法标记性能不佳的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种深度特征学习多标签的神经网络影像自动标记方法的步骤流程图；

图2为本发明实施例提供的一种深度特征学习多标签的神经网络影像自动标记装置的结构框图。

具体实施方式

本发明实施例提供了一种深度特征学习多标签的神经网络影像自动标记方法，用于解决现有的图像标记方法标记性能不佳的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种深度特征学习多标签的神经网络影像自动标记方法的步骤流程图。

本发明提供的一种深度特征学习多标签的神经网络影像自动标记方法，具体可以包括以下步骤：

步骤101，获取待标记医学图像；

步骤102，将待标记医学图像输入预训练的深度特征学习网络；

在图像自动标注领域，普遍存在着标准数据集样本数量有限并且标签分布不均匀的问题。因此，本发明预先训练一个基于迁移学习的深度特征学习网络，来弱化标签分布不均匀对标记结果的影响。在训练得到预训练的深度特征学习网络后，可以将待标记医学图像输入该预训练的深度特征学习网络，来获取对应的标记结果，得到标记完成的医学图像。

在本发明实施例中，对于深度特征学习网络的训练，可以包括以下步骤：

S11，获取多标签数据集；

S12，采用多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络；

在本发明实施例中，首先以医学神经影像作为深度特征学习网络的训练样本来生成标签数据集。

一般地，从医学神经影像中的标签会存在分布不均匀的情况，在训练时，高频标签对应的网络输出值与低频标签对应的网络输出值差距很大，用于网络学习之后会使得网络对于高频标签敏感而对于低频标签不敏感。为了改善这种情况，本发明需要对多标签数据集进行平滑处理，以弱化网络模型对于高频标签的偏好，消除医学神经影像中的标签分布不平衡的情况。

其中，医学神经影像中的标签可以为病灶标签，包括大脑后动脉、脑膜中动脉、颞浅动脉、蛛网膜囊肿、神经上皮瘤、表皮样囊肿等。高频标签可以包括大脑后动脉、脑膜中动脉、颞浅动脉、蛛网膜囊肿等，低频标签可以包括神经上皮瘤、表皮样囊肿等。

具体地，步骤S12可以包括以下子步骤：

S121，对多标签数据集进行平滑处理，得到平滑多标签数据集；

S122，采用平滑多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络。

在具体实现中，对于每个医学神经影像的多个标签，假设每个标签都是相对独立的，将这些标签组成一个标签向量y，K为数据集中的标签总数，则有：

y∈R

再创立一个向量Ω，作为多标签数据集标签的平滑参数：

Ω＝[ε

其中，

ε

其中，n

因此，对于样本x所对应的标签向量y，可以根据平滑参数进行调整，通过定义一个新的标签y′

其中，

y′

其中，u(K)为均匀分布的概率函数。

在完成对所有标签的平滑处理后，可以得到平滑多标签数据集，并进而根据平滑多标签数据集训练得到初步训练深度特征学习网络。

S13，获取校验标签数据；

S14，采用校验标签数据对初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

在本发明实施例中，在训练得到初步训练深度特征学习网络后，需要对其进行微调，以消除训练误差。

具体地，微调的过程可以包括以下子步骤：

S21，将校验标签数据输入初步训练深度特征学习网络，得到校验结果数据；

S22，获取校验标签数据对应的目标结果数据；

S23，根据校验结果数据和目标结果数据，对初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

在本发明实施例中，在本发明实施例中，可以以已知目标结果数据的校验标签数据作为初步训练深度特征学习网络的输入，来获取初步训练深度特征学习网络输出的校验结果数据，通过比较目标结果数据和校验结果数据来对初步训练特征学习网络进行微调，从而得到预训练的深度特征学习网络。

具体地，可以计算网络的多标签损失值，来判断网络的误差，通过调整网络的参数来使得多标签损失值最小，以完成对网络的微调。

具体地，由于平滑多标签数据集是多标签的，因此要对一般的损失函数进行处理，以使损失函数满足深度特征学习网络的需要。本发明对sigmoid损失函数进行修改，使其能够适应多标签的分类任务。其公式如下：

其中，N表示样本数量，K表示标签向量的长度，即标签的总个数。

p′

其中，x

进行梯度下降法求导可得：

简化可得多标签损失值

在实际场景中，多标签损失值越大，则表征网络模型的误差越大，通过调整网络模型的参数，使得多标签损失值最小，可调整得到最优的预训练的深度特征学习网络。

步骤103，通过预训练的深度特征学习网络输出针对待标记医学图像的标记结果。

在训练得到预训练的深度特征学习网络后，可以将待标记医学图像输入该预训练的深度特征学习网络，获取标记待标记医学图像中的标签信息，完成对待标记医学图像的自动标记。

本发明通过获取待标记医学图像，将待标记医学图像输入预训练的深度特征学习网络中，以得到针对待标记医学图像的标记结果，从而解决现有的图像标记方法标记性能不佳的技术问题。

请参阅图2，图2为本发明实施例提供的一种深度特征学习多标签的神经网络影像自动标记装置的结构框图。

本发明实施例提供了一种深度特征学习多标签的神经网络影像自动标记装置，包括：

待标记医学图像获取模块201，用于获取待标记医学图像；

输入模块202，用于将待标记医学图像输入预训练的深度特征学习网络；

标记结果输出模块203，用于通过预训练的深度特征学习网络输出针对待标记医学图像的标记结果。

在本发明实施例中，还包括：

多标签数据集获取模块，用于获取多标签数据集；

初步训练深度特征学习网络训练模块，用于采用多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络；

校验标签数据获取模块，用于获取校验标签数据；

预训练的深度特征学习网络生成模块，用于采用校验标签数据对初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

在本发明实施例中，初步训练深度特征学习网络训练模块，包括：

平滑处理子模块，用于对多标签数据集进行平滑处理，得到平滑多标签数据集；

初步训练深度特征学习网络训练子模块，用于采用平滑多标签数据集训练预设的初始深度特征学习网络，得到初步训练深度特征学习网络。

在本发明实施例中，预训练的深度特征学习网络生成模块，包括：

校验结果数据获取子模块，用于将校验标签数据输入初步训练深度特征学习网络，得到校验结果数据；

目标结果数据获取子模块，用于获取校验标签数据对应的目标结果数据；

预训练的深度特征学习网络生成子模块，用于根据校验结果数据和目标结果数据，对初步训练深度特征学习网络进行微调，得到预训练的深度特征学习网络。

本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行本发明任一实施例的深度特征学习多标签的神经网络影像自动标记方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明任一实施例的深度特征学习多标签的神经网络影像自动标记方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。