分类模型的处理方法、装置、电子设备及存储介质

摘要

本申请是关于一种分类模型的处理方法、装置、电子设备及存储介质。获取待评估分类模型和至少两个样本数据；获取标签体系与待评估分类模型的标签体系相同的参考分类模型；使用待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；使用参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；根据新概率和参考概率绘制待评估分类模型对应于每一个预设标签的准召曲线。通过本申请，无需人工标注样本数据的标注标签，通过标签体系与待评估分类模型的标签体系相同的参考分类模型就可以预测每一个样本数据分别属于每一个预设标签的参考概率，从而可以降低人工成本并提高效率。

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及一种分类模型的处理方法、装置、电子设备及存储介质。

背景技术

当前，深度学习在视频图像、语音识别以及自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得图像分类任务在应用卷积神经网络之后，预测精度大幅提升。

虽然基于卷积神经网络的分类模型的预测精度大幅度提升，但是远未达到100％的准确度，所以对分类模型优化是一个永恒的话题。

目前优化分类模型的基本思路是使用最新的数据集，重新训练一个与原有的分类模型的标签体系相同的新的分类模型。随着数据集的积累，使用更多的数据更优的网络结构确实可以训练出更好的分类模型。但是，在真实的应用场景中，往往首先需要对新的分类模型评估，评估结果满足要求后才能将新的分类模型直接应用到线上替换原有的分类模型。

其中，在对新的分类模型评估时，需要人工筛选出样本数据，并在至少两个预设标签中人工标注样本数据的标注标签，再使用新的分类模型预测样本数据属于每一个预设标签的概率，并根据样本数据属于每一个预设标签的概率和样本数据的标注标签人工确定新的分类模型对样本数据的预测结果是否准确，进而绘制新的分类模型对应于每一个预设标签的准召曲线，之后根据准召曲线确定评估结果。

然而，发明人发现，当预设标签较多且样本数据较多时，对样本数据人工标注的工作量非常高，耗时较长，且人工成本较高。

发明内容

为克服相关技术中存在的问题，本申请提供一种分类模型的处理方法、装置、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种分类模型的处理方法，所述方法包括：

获取待评估分类模型和至少两个样本数据；

获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型；

使用所述待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线，包括：

根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度，包括：

判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；

如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；

如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

在一个可选的实现方式中，参考分类模型为至少两个；

所述使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率，包括：

根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

使用每一个参考分类模型分别预测所述目标样本数据属于每一个预设标签的预测概率；

在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率，包括：

在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为所述目标样本数据属于所述预设标签的参考概率；或，

计算确定的预设概率区间中包含的所有预测概率的平均值，并作为所述目标样本数据属于每一个预设标签的参考概率；或，

在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型，包括：

获取所述待评估分类模型的模型标识；

在模型标识与历史版本分类模型之间的对应关系中，查找与所述模型标识相对应的历史版本分类模型，并作为所述参考分类模型。

在一个可选的实现方式中，所述绘制所述待评估分类模型对应于每一个预设标签的准召曲线之后，所述方法还包括：

将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中。

在一个可选的实现方式中，所述将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中之后，还包括：

在所述模型标识与历史版本分类模型之间的对应关系中，删除与所述模型标识相对应的、最低版本的分类模型。

根据本申请实施例的第二方面，提供一种分类模型的处理装置，所述装置包括：

第一获取模块，被配置为获取待评估分类模型和至少两个样本数据

第二获取模块，被配置为获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型；

第一预测模块，被配置为使用所述待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

第二预测模块，被配置为使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

绘制模块，被配置为根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述绘制模块包括：

第一确定单元，被配置为根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

绘制单元，被配置为根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述第一确定单元包括：

判断子单元，被配置为判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；

第一确定子单元，被配置为如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；

第二确定子单元，被配置为如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

在一个可选的实现方式中，参考分类模型为至少两个；

所述第二预测模块包括：

第二确定单元，被配置为根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

预测单元，被配置为使用每一个参考分类模型分别预测所述目标样本数据属于每一个预设标签的预测概率；

第三确定单元，被配置为在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

第四确定单元，被配置为在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

第五确定单元，被配置为根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述第五确定单元包括：

第一选择子单元，被配置为在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为所述目标样本数据属于所述预设标签的参考概率；或，

计算子单元，被配置为计算确定的预设概率区间中包含的所有预测概率的平均值，并作为所述目标样本数据属于每一个预设标签的参考概率；或，

第二选择子单元，被配置为在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述第二获取模块包括：

获取单元，被配置为获取所述待评估分类模型的模型标识；

查找单元，被配置为在模型标识与历史版本分类模型之间的对应关系中，查找与所述模型标识相对应的历史版本分类模型，并作为所述参考分类模型。

在一个可选的实现方式中，所述第二获取模块还包括：

存储单元，被配置为将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中。

在一个可选的实现方式中，所述第二获取模块还包括：

删除单元，被配置为在所述模型标识与历史版本分类模型之间的对应关系中，删除与所述模型标识相对应的、最低版本的分类模型。

根据本申请实施例的第三方面，提供一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第一方面所述的分类模型的处理方法。

根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的分类模型的处理方法。

根据本申请实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的分类模型的处理方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，获取待评估分类模型和至少两个样本数据；获取标签体系与待评估分类模型的标签体系相同的参考分类模型；使用待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；使用参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制待评估分类模型对应于每一个预设标签的准召曲线。通过本申请实施例，无需人工标注样本数据的标注标签，通过标签体系与待评估分类模型的标签体系相同的参考分类模型就可以预测每一个样本数据分别属于每一个预设标签的参考概率，从而可以降低人工成本并提高效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种分类模型的处理方法的流程图。

图2是根据一示例性实施例示出的一种分类模型的处理装置的框图。

图3是根据一示例性实施例示出的一种电子设备的框图。

图4是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种分类模型的处理方法的流程图，如图1所示，该方法用于电子设备中，该方法包括以下步骤。

在步骤S101中，获取待评估分类模型和至少两个样本数据；

在本申请实施例中，当技术人员优化出待评估分类模型之后，可以在电子设备中输入待评估分类模型，以及输入至少两个样本数据，以使电子设备根据至少两个样本数据绘制待评估分类模型的准召曲线，电子设备获取技术人员输入的待评估分类模型和至少两个样本数据。

在步骤S102中，获取标签体系与待评估分类模型的标签体系相同的参考分类模型；

由标签组成的集合叫做标签体系，在本申请实施例中，分类模型的标签体系包括分类模型能够将数据划分出的标签的集合。

在本申请实施例中，当两个分类模型的标签体系相同时，这两个分类模型针对同一数据会分别输出该数据属于同一预设标签的概率。

在一个实施例中，技术人员可以在电子设备中指定与待评估分类模型的标签体系相同的参考分类模型，例如，技术人员可以在电子设备中输入与待评估分类模型的标签体系相同的参考分类模型，电子设备获取技术人员输入的与待评估分类模型的标签体系相同的参考分类模型。

其中，技术人员指定的参考分类模型可以是市面上已经存在的分类模型，且其分类准确度较高。

在另一个实施例中，在历史过程中，技术人员在训练出一个分类模型之后，就可以使用该分类模型对数据分类，然而，训练出的分类模型可能并不是最优的，也即，分类准确度还有待提高，技术人员往往需要优化训练出的分类模型，以提高分类准确度，之后，可能会对优化得到的分类模型继续优化，每次优化都会得到一个新的分类模型，训练出的该一个模型的标签体系与之后优化得到的分类模型的标签体系相同。

技术人员最初可能训练出多种不同的标签体系的分类模型，不同的标签体系的分类模型的模型标识不同，同一标签体系的分类模型的模型标识相同。

在历史过程中，当训练出一个分类模型之后，就会将训练出的分类模型的模型标识与训练出的分类模型组成对应表项，并存储在模型标识与历史版本分类模型之间的对应关系中。其次，之后在对训练出的分类模型优化过程中，每得到一个新的分类模型，就会将新的分类模型的模型标识与新的分类模型组成对应表项，并存储在模型标识与历史版本分类模型之间的对应关系中。

如此，当需要获取标签体系与待评估分类模型的标签体系相同的参考分类模型时，可以获取待评估分类模型的模型标识；然后根据待评估分类模型的模型标识获取新分类模型的历史版本分类模型，例如，在模型标识与历史版本分类模型之间的对应关系中，查找与待评估分类模型的模型标识相对应的历史版本分类模型，并作为参考分类模型。

其中，在模型标识与历史版本分类模型之间的对应关系中，有时候会查找到与待评估分类模型的模型标识相对应的至少两个历史版本分类模型，可以将查找到的至少两个历史版本分类模型均作为参考分类模型。

或者，从查找到的至少两个历史版本分类模型中选择部分历史版本分类模型作为参考分类模型，由于查找到的至少两个历史版本分类模型中的版本最高的参考分类模型与待评估分类模型最相似，因此，使用与待评估分类模型最相似的参考分类模型可以提高绘制待评估分类模型的准召曲线的准确度，因此，为了提高获取的待评估分类模型的准召曲线的准确度，则可以在查找到的至少两个历史版本分类模型中选择版本最高的部分历史版本分类模型作为参考分类模型。

进一步地，如果待评估分类模型在评估之后成功上线，则可以将待评估分类模型的模型标识与待评估分类模型组成对应表项，并存储在模型标识与历史版本分类模型之间的对应关系中。以使之后如果在待评估分类模型的基础上优化出更新的分类模型，则可以使用待评估分类模型获取更新的分类模型的准召曲线，进而评估更新的分类模型。

在前述实施例中，在最初训练出的分类模型之后，每当优化得到一个新的分类模型，就会在模型标识与历史版本分类模型之间的对应关系中存储新的分类模型的模型标识与新的分类模型之间的对应表项。

然而，每当需要对一个分类模型评估时，只需用到部分参考分类模型，例如3个、5个或7个等等，也即只需用到在模型标识与历史版本分类模型之间的对应关系中存储的部分历史版本分类模型，因此，如果在模型标识与历史版本分类模型之间的对应关系中存储所有历史版本分类模型的模型标识与历史版本分类模型之间的对应表项，则会占用较多的存储空间。

因此，为了节省存储空间，将待评估分类模型的模型标识和待评估分类模型组成对应表项，并存储在模型标识与历史版本分类模型之间的对应关系中之后，还可以在模型标识与历史版本分类模型之间的对应关系中删除与待评估分类模型的模型标识相对应的部分历史版本分类模型，例如，删除与待评估分类模型的模型标识相对应的最低版本的分类模型。

在步骤S103中，使用待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

对于任意一个样本数据，将该样本数据输入待评估分类模型，之后待评估分类模型就会输出该样本数据分别属于每一个预设标签的新概率。对于其他每一个样本数据，同样执行上述操作。

在步骤S104中，使用参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

在本申请实施例中，参考分类模型可以为至少两个；本步骤具体可以通过如下流程实现，包括：

1041)、根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

其中，在步骤S103中已得到每一个样本数据分别属于每一个预设标签的新概率，对于任意一个预设标签，就可以获知每一个样本数据分别属于该预设标签的新概率，对于任意一个样本数据和任意一个预设标签，如果该样本数据属于该预设标签的新概率低于预设阈值，则说明该样本数据不属于该预设标签，如果该样本数据属于该预设标签的概率高于或等于预设阈值，则说明该样本数据属于该预设标签。预设阈值可以为50％、51％或52％等等，本申请实施例对此不加以限定。对于其他每一个样本数据和其他每一个预设标签，同样如此。

对于任意一个预设标签，在至少两个样本数据中，可以将属于该预设标签的新概率大于预设阈值的样本数据作为目标样本数据。对于其他每一个预设标签，同样如此。

1042)、使用每一个参考分类模型分别预测目标样本数据属于每一个预设标签的预测概率；

对于任意一个参考分类模型，可以将目标样本数据输入该参考分类模型中，得到该参考分类模型输出的目标样本数据属于该预设标签的预测概率。对于其他每一个参考分类模型，同样如此。

1043)、在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

在本申请实施例中，事先会设置至少两个不同的预设概率区间。

1044)、在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

1045)、根据确定的预设概率区间中包含的预测概率，确定目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为目标样本数据属于预设标签的参考概率；或，

在另一个可选的实现方式中，计算确定的预设概率区间中包含的所有预测概率的平均值，并作为目标样本数据属于每一个预设标签的参考概率；或，

在又一个可选的实现方式中，在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为目标样本数据属于每一个预设标签的参考概率。

在步骤S105中，根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制待评估分类模型对应于每一个预设标签的准召曲线。

其中，本步骤可以通过如下流程实现，包括：

1051、根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

在本步骤中，可以判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

具体地，对于任意一个样本数据和任意一个预设标签，判断该样本数据属于该预设标签的新概率与该样本数据属于该预设标签的参考概率是否位于同一预设概率区间内；在本申请实施例中，事先可以设置两个不同的预设概率区间，例如区间[0，0.5)和区间[0.5，1]。如果位于同一预设概率区间内，则将该样本数据属于该预设标签的新概率的准确度设置为第一预设准确度；第一预设准确度用于表明该样本数据属于该预设标签的新概率是准确的，如果不位于同一预设概率区间内，则将该样本数据属于该预设标签的新概率的准确度设置为第二预设准确度。第二预设准确度用于表明该样本数据属于该预设标签的新概率是不准确的。对于其他每一个样本数据和其他每一个预设标签，同样如此。

1052、根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制待评估分类模型对应于每一个预设标签的准召曲线。

其中，对于任意一个预设标签，可以根据每一个样本数据分别属于该预设标签的新概率的准确度绘制待评估分类模型对应于该预设标签的准召曲线，对于其他每一个预设标签，同样执行上述操作。

在本申请实施例中，获取待评估分类模型和至少两个样本数据；获取标签体系与待评估分类模型的标签体系相同的参考分类模型；使用待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；使用参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制待评估分类模型对应于每一个预设标签的准召曲线。通过本申请实施例，无需人工标注样本数据的标注标签，通过标签体系与待评估分类模型的标签体系相同的参考分类模型就可以预测每一个样本数据分别属于每一个预设标签的参考概率，从而可以降低人工成本并提高效率。

图2是根据一示例性实施例示出的一种分类模型的处理装置框图。参照图2，该装置包括：

第一获取模块11，被配置为获取待评估分类模型和至少两个样本数据

第二获取模块12，被配置为获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型；

第一预测模块13，被配置为使用所述待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

第二预测模块14，被配置为使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

绘制模块15，被配置为根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述绘制模块15包括：

第一确定单元，被配置为根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

绘制单元，被配置为根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

在一个可选的实现方式中，所述第一确定单元包括：

判断子单元，被配置为判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；

第一确定子单元，被配置为如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；

第二确定子单元，被配置为如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

在一个可选的实现方式中，参考分类模型为至少两个；

所述第二预测模块14包括：

第二确定单元，被配置为根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

预测单元，被配置为使用每一个参考分类模型分别预测所述目标样本数据属于每一个预设标签的预测概率；

第三确定单元，被配置为在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

第四确定单元，被配置为在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

第五确定单元，被配置为根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述第五确定单元包括：

第一选择子单元，被配置为在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为所述目标样本数据属于所述预设标签的参考概率；或，

计算子单元，被配置为计算确定的预设概率区间中包含的所有预测概率的平均值，并作为所述目标样本数据属于每一个预设标签的参考概率；或，

第二选择子单元，被配置为在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为所述目标样本数据属于每一个预设标签的参考概率。

在一个可选的实现方式中，所述第二获取模块12包括：

获取单元，被配置为获取所述待评估分类模型的模型标识；

查找单元，被配置为在模型标识与历史版本分类模型之间的对应关系中，查找与所述模型标识相对应的历史版本分类模型，并作为所述参考分类模型。

在一个可选的实现方式中，所述第二获取模块12还包括：

存储单元，被配置为将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中。

在一个可选的实现方式中，所述第二获取模块12还包括：

删除单元，被配置为在所述模型标识与历史版本分类模型之间的对应关系中，删除与所述模型标识相对应的、最低版本的分类模型。

在本申请实施例中，获取待评估分类模型和至少两个样本数据；获取标签体系与待评估分类模型的标签体系相同的参考分类模型；使用待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；使用参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制待评估分类模型对应于每一个预设标签的准召曲线。通过本申请实施例，无需人工标注样本数据的标注标签，通过标签体系与待评估分类模型的标签体系相同的参考分类模型就可以预测每一个样本数据分别属于每一个预设标签的参考概率，从而可以降低人工成本并提高效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请的执行主体可以是电子设备，如图3所示，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。如图4所示，电子设备400可以是服务器等。

参照图3，电子设备300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(I/O)的接口312，传感器组件314，以及通信组件316。

处理组件302通常控制电子设备300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在电子设备300的操作。这些数据的示例包括用于在电子设备300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件306为电子设备300的各种组件提供电力。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为电子设备300生成、管理和分配电力相关联的组件。

多媒体组件308包括在所述电子设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(MIC)，当电子设备300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为电子设备300提供各个方面的状态评估。例如，传感器组件314可以检测到电子设备300的打开/关闭状态，组件的相对定位，例如所述组件为电子设备300的显示器和小键盘，传感器组件314还可以检测电子设备300或电子设备300一个组件的位置改变，用户与电子设备300接触的存在或不存在，电子设备300方位或加速/减速和电子设备300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件316被配置为便于电子设备300和其他设备之间有线或无线方式的通信。电子设备300可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由电子设备300的处理器320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

参照图4，电子设备400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

电子设备400还可以包括一个电源组件426被配置为执行电子设备400的电源管理，一个有线或无线网络接口450被配置为将电子设备400连接到网络，和一个输入输出(I/O)接口458。电子设备400可以操作基于存储在存储器432的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本申请实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如图1所述的图像分类方法。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如图1所述的图像分类方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

本申请还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如图1所述的分类模型的处理方法。

本申请还提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如图1所述的分类模型的处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

A1、一种分类模型的处理方法，所述方法包括：

获取待评估分类模型和至少两个样本数据；

获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型；

使用所述待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

A2、根据A1所述的方法，所述根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线，包括：

根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

A3、根据A2所述的方法，所述根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度，包括：

判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；

如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；

如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

A4、根据A1所述的方法，参考分类模型为至少两个；

所述使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率，包括：

根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

使用每一个参考分类模型分别预测所述目标样本数据属于每一个预设标签的预测概率；

在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率。

A5、根据A4所述的方法，所述根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率，包括：

在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为所述目标样本数据属于所述预设标签的参考概率；或，

计算确定的预设概率区间中包含的所有预测概率的平均值，并作为所述目标样本数据属于每一个预设标签的参考概率；或，

在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为所述目标样本数据属于每一个预设标签的参考概率。

A6、根据A1所述的方法，所述获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型，包括：

获取所述待评估分类模型的模型标识；

在模型标识与历史版本分类模型之间的对应关系中，查找与所述模型标识相对应的历史版本分类模型，并作为所述参考分类模型。

A7、根据A6所述的方法，所述绘制所述待评估分类模型对应于每一个预设标签的准召曲线之后，所述方法还包括：

将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中。

A8、根据A7所述的方法，所述将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中之后，还包括：

在所述模型标识与历史版本分类模型之间的对应关系中，删除与所述模型标识相对应的、最低版本的分类模型。

A9、一种分类模型的处理装置，所述装置包括：

第一获取模块，被配置为获取待评估分类模型和至少两个样本数据

第二获取模块，被配置为获取标签体系与所述待评估分类模型的标签体系相同的参考分类模型；

第一预测模块，被配置为使用所述待评估分类模型预测每一个样本数据分别属于每一个预设标签的新概率；

第二预测模块，被配置为使用所述参考分类模型预测每一个样本数据分别属于每一个预设标签的参考概率；

绘制模块，被配置为根据每一个样本数据属于每一个预设标签的新概率和每一个样本数据属于每一个预设标签的参考概率，绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

A10、根据A9所述的装置，所述绘制模块包括：

第一确定单元，被配置为根据每一个样本数据属于每一个预设标签的参考概率判断每一个样本数据属于每一个预设标签的新概率的准确度；

绘制单元，被配置为根据每一个样本数据分别属于每一个预设标签的新概率的准确度绘制所述待评估分类模型对应于每一个预设标签的准召曲线。

A11、根据A10所述的装置，所述第一确定单元包括：

判断子单元，被配置为判断每一个样本数据属于每一个预设标签的新概率与每一个样本数据属于每一个预设标签的参考概率是否位于同一预设概率区间内；

第一确定子单元，被配置为如果位于同一预设概率区间内，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第一预设准确度；

第二确定子单元，被配置为如果位于同一预设概率区间外，则将每一个样本数据属于每一个预设标签的新概率的准确度设置为第二预设准确度。

A12、根据A9所述的装置，参考分类模型为至少两个；

所述第二预测模块包括：

第二确定单元，被配置为根据每一个样本数据属于每一个预设标签的新概率，在至少两个样本数据中确定属于每一个预设标签的目标样本数据；

预测单元，被配置为使用每一个参考分类模型分别预测所述目标样本数据属于每一个预设标签的预测概率；

第三确定单元，被配置为在至少两个预设概率区间中，分别确定得到的每一个预测概率所在的预设概率区间；

第四确定单元，被配置为在至少两个预设概率区间中，确定包含的预测概率最多的预设概率区间；

第五确定单元，被配置为根据确定的预设概率区间中包含的预测概率，确定所述目标样本数据属于每一个预设标签的参考概率。

A13、根据A12所述的装置，所述第五确定单元包括：

第一选择子单元，被配置为在确定的预设概率区间中包含的预测概率中，随机选择一个预测概率，并作为所述目标样本数据属于所述预设标签的参考概率；或，

计算子单元，被配置为计算确定的预设概率区间中包含的所有预测概率的平均值，并作为所述目标样本数据属于每一个预设标签的参考概率；或，

第二选择子单元，被配置为在确定的预设概率区间中包含的所有预测概率中选择最大的预测概率，并作为所述目标样本数据属于每一个预设标签的参考概率。

A14、根据A9所述的装置，所述第二获取模块包括：

获取单元，被配置为获取所述待评估分类模型的模型标识；

查找单元，被配置为在模型标识与历史版本分类模型之间的对应关系中，查找与所述模型标识相对应的历史版本分类模型，并作为所述参考分类模型。

A15、根据A14所述的装置，所述第二获取模块还包括：

存储单元，被配置为将所述模型标识和所述待评估分类模型组成对应表项，并存储在所述模型标识与历史版本分类模型之间的对应关系中。

A16、根据A15所述的装置，所述第二获取模块还包括：

删除单元，被配置为在所述模型标识与历史版本分类模型之间的对应关系中，删除与所述模型标识相对应的、最低版本的分类模型。