对小样本学习任务生成集成分类器的可视分析系统和方法

摘要

本发明提出了一种用于对小样本学习任务生成集成分类器的可视分析系统和方法，其中，系统包括：接收模块用于接收多个基学习器和多个样本；基学习器选择模块用于根据多个基学习器和多个样本，选择适合小样本学习任务的基学习器；样本选择模块用于根据选择的基学习器和多个样本，选择适合小样本学习任务的有标注样本；集成分类器生成模块用于根据选择的基学习器和选择的有标注样本，生成集成分类器；可视化模块用于显示集成分类器对多个样本的分类结果。

说明书

技术领域

本发明涉及计算机技术，特别地，本发明涉及一种用于对小样本学习任务生成集成分类器的可视分析系统、方法、以及计算机可读存储介质。

技术背景

随着大数据时代的到来，数据驱动的机器学习方法在许多领域取得了成功，而这些成功的一个重要因素是机器学习使用了大量的有标注样本。然而在现实应用中，大量的有标注样本通常不易获得，有时只能获得极少量的有标注样本。在机器学习，仅使用极少量的有标注样本很容易产生过拟合的问题。与之相对的，人类拥有快速学习的能力，擅长通过极少量的有标注样本就能识别新类别物体，而深度学习在此情况下很容易产生过拟合。因此，如何让机器学习方法在仅有极少量的有标注就能得到不错的性能，即小样本学习问题，成为了机器学习领域中重要的研究方向之一。另外，通过小样本学习训练一个机器学习模型涉及的过程也非常复杂，人们对其理解有限。因此，利用可视化技术展示机器学习模型是现在工业界研究的热点。相关技术中的机器学习模型可视化工具为用户提供机器学习模型的分类结果，能够使得用户更深入地理解机器学习模型，并帮助用户生成性能更好的机器学习模型。

发明内容

本发明旨在至少在一定程度上解决上述技术问题。

为此，本发明的第一个目的在于提出一种用于对小样本学习任务生成集成分类器的可视分析系统，该系统使得用户可从多个基学习器和多个样本中选择适合小样本学习任务的基学习器和有标注样本，进而建立性能更好的集成分类器。

本发明的第二个目的在于提出一种在用于对小样本学习任务生成集成分类器的可视分析系统中选择基学习器和有标注样本并建立集成分类器方法。

本发明的第三个目的在于提出一种对小样本图像集合选择图像基学习器和有标注图像样本并建立图像集成分类器的方法。

本发明的第四个目的在于提出一种计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，根据本发明第一方面实施例提出了一种用于对小样本学习任务生成集成分类器的可视分析系统，包括：接收模块，被配置为接收多个基学习器和多个样本，多个样本中包含有限数量的有标注样本；基学习器选择模块，被配置为根据多个基学习器和多个样本，选择适合小样本学习任务的基学习器；样本选择模块，被配置为根据选择的基学习器和多个样本，选择适合小样本学习任务的有标注样本；集成分类器生成模块，被配置为根据选择的基学习器和选择的有标注样本，生成集成分类器；可视化模块，被配置为显示集成分类器对多个样本的分类结果。

根据本发明第二方面实施例提出了一种在用于对小样本学习任务生成集成分类器的可视分析系统中选择基学习器和有标注样本并建立集成分类器方法，包括：获取多个基学习器和多个样本，多个样本中包含有限数量的有标注样本；通过计算多个基学习器中每个基学习器和多个样本中每个样本之间的不相似度、多个基学习器中任意两个基学习器之间的不合作度、多个基学习器中每个基学习器的代价，选择适合小样本学习任务的基学习器；根据选择的基学习器，通过计算多个样本中任意两个样本之间的不相似度、多个样本中的每个样本的代价，选择适合小样本学习任务的有标注样本；利用选择的基学习器和选择的有标注样本，生成集成分类器；利用集成分类器，对多个样本中的无标注样本进行分类；显示集成分类器对多个样本的分类结果；根据选择的基学习器，通过计算多个样本中任意两个样本之间的不相似度、多个样本中的每个样本的代价，选择适合小样本学习任务的无标注样本；利用生成的集成分类器对选择的无标注样本进行类别标注；接收输入以对选择的无标注样本的生成的集成分类器的类别标注进行类别标注验证，以使其成为另一组有标注样本；根据选择的基学习器和选择的有标注样本及另一组有标注样本，生成改进的集成分类器。

本发明第三方面实施例提出了一种对小样本图像集合选择图像基学习器和有标注图像样本并建立图像集成分类器的方法，包括：获取多个图像基学习器和多个图像样本，多个图像样本中包含有限数量的有标注图像样本；通过计算多个图像基学习器中每个图像基学习器和多个图像样本中每个图像样本之间的不相似度、多个图像基学习器中任意两个图像基学习器之间的不合作度、多个图像基学习器中每个图像基学习器的代价，选择适合小样本图像分类任务的图像基学习器；根据选择的图像基学习器，通过计算多个图像样本中任意两个图像样本之间的不相似度、多个图像样本中的每个图像样本的代价，选择适合小样本图像分类任务的有标注图像样本；利用选择的图像基学习器和选择的有标注图像样本，生成图像集成分类器；利用图像集成分类器，对多个图像样本中的无标注图像样本进行分类；显示图像集成分类器对多个图像样本的分类结果；根据选择的图像基学习器，通过计算多个图像样本中任意两个图像样本之间的不相似度、多个图像样本中的每个图像样本的代价，选择适合小样本学习任务的无标注图像样本；利用生成的图像集成分类器对选择的无标注图像样本进行类别标注；接收输入以对选择的无标注图像样本的生成的集成分类器的类别标注进行类别标注验证，以使其成为另一组有标注图像样本；根据选择的图像基学习器和选择的有标注图像样本及另一组有标注图像样本，生成改进的图像集成分类器。

本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明第一方面实施例的用于对小样本学习任务生成集成分类器的可视分析系统。

本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明第一方面实施例的用于对小样本学习任务生成集成分类器的可视分析系统。

本发明的附加方面和优点将在下面的具体实施方式部分中给出，本发明的优点将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

通过参照附图阅读下面对说明性实施例的详细说明可更好地理解发明本身以及其优选实施方式的使用模式、目标、特征以及优点，在附图中：

图1示出了一个对于鸟类图片分类的小样本学习任务；

图2示出了用于建立小样本学习集成分类器的3个基学习器和6个样本；

图3示出了根据本发明的实施例提出的一种用于对小样本学习任务生成集成分类器的可视分析系统的结构框图；

图4示出了图3的基学习器选择模块中对图2所示的3个基学习器和6个样本进行选择，得到2个选择的基学习器的过程；

图5示出了图3的样本选择模块中对图2所示的6个样本进行选择，得到2个选择的有标注样本的过程；

图6示出了一个根据本发明的实施例提出的一种用于对小样本学习任务生成集成分类器的可视分析系统的可视化模块的界面；

图7示出了一种在用于对小样本学习任务生成集成分类器的可视分析系统中选择基学习器和有标注样本并建立集成分类器方法的流程图；

图8示出了一种对小样本图像集合选择图像基学习器和有标注图像样本并建立图像集成分类器的方法的流程图。

具体实施方式

以下描述包括体现本发明技术的示例性方法、系统、技术和指令序列。然而，应该理解，在一个或多个方面，可以在没有这些具体细节的情况下实践所描述的发明。在其他情况下，没有详细示出公知的协议、结构和技术，以免模糊本发明。本领域普通技术人员将理解，所描述的技术和机制可以应用于对小样本学习任务生成集成分类器的可视分析系统的各种体系结构。

下面参照附图来说明本发明的实施例。在下面的说明中，阐述了许多具体细节以便更全面地了解本发明。但是，对于本技术领域内的技术人员明显的是，本发明的实现可不具有这些具体细节中的一些。此外，应当理解的是，本发明并不限于所介绍的特定实施例。相反，可以考虑用下面的特征和要素的任意组合来实施本发明，而无论它们是否涉及不同的实施例。因此，下面的方面、特征、实施例和优点仅作说明之用而不应被看作是所附权利要求的要素或限定，除非权利要求中明确提出。

如前所述，小样本学习问题是机器学习领域中重要的研究方向之一，且具有很广的应用前景。小样本学习中，样本中包含有标注样本和无标注样本，其中有标注样本的数量很少。小样本学习旨在仅使用少量有标注样本信息就能训练出一个效果良好的机器学习模型。近年来已经有许多相关的研究，其中基于集成模型的方法综合了各个基学习器给出的结果，能够较好地平衡模型准确率和模型泛化能力。但在实际应用中，现有的基于集成模型的方法不是针对于小样本学习，将其用于小样本学习中其准确率和泛化能力仍然不尽如人意。已有研究表明集成模型中每个基学习器的多样性和合作能力、以及有标注样本的代表性都会极大的影响小样本学习模型的表现。例如，低质量的基学习器会做出错误的分类并误导集成模型，导致集成模型的性能下降；低质量的有标注样本往往会使现有的集成模型出现过拟合问题，使得现有的集成模型应用于小样本学习时性能显著下降。因此，针对小样本学习任务，需要提出改进的集成模型。同时，现有可视化技术不能很好地展示集成模型的分类结果，也不能很好地和用户进行交互来进一步改进集成模型。

在本发明中，可以在小样本学习的情景下选择基学习器和有标注样本，形成改进的集成模型。改进的集成模型可以取得更高的模型准确率和模型泛化能力。并且通过可视化技术很好地展示集成模型的分类结果，并且很好地和用户进行交互来进一步改进集成模型。

例如，图1示出了一个对于鸟类图片分类的小样本学习任务，其中有三个基学习器，四个有标注样本

以上是以图像为例描述的小样本学习任务。事实上，本领域技术人员可以知道，小样本学习不仅适用于图像样本，还适用于视频样本、文本样本、表格样本或用户指定样本，等等。

例如，图2示出了用于建立小样本学习集成分类器的3个基学习器(包括基学习器201-203)和6个样本(包括有标注样本204-205和无标注样本206-209)。本领域技术人员应该可以知道，前面所述3个基学习器和6个样本仅是示例性的，实际应用中可以是任意数量的基学习器和任意数量的样本。本发明以图2的场景为例，旨在对于小样本学习任务，选择合适的基学习器和有标注样本，形成改进的集成分类器，从而提高小样本学习任务的分类精度。

图3示出了根据本发明的实施例提出的一种用于对小样本学习任务生成集成分类器的可视分析系统300的结构框图。如图3所示，系统300包括接收模块310，基学习器选择模块320，样本选择模块330，集成分类器生成模块340，可视化模块350。接收模块310被配置为接收多个基学习器301和多个样本302，多个样本302中包含有限数量的有标注样本；基学习器选择模块320，被配置为根据多个基学习器301和多个样本302，选择适合小样本学习任务的基学习器303；样本选择模块330被配置为根据选择的基学习器303和多个样本302，选择适合小样本学习任务的有标注样本304；集成分类器生成模块340被配置为根据选择的基学习器303和选择的有标注样本304，生成集成分类器305；可视化模块350被配置为显示集成分类器305对多个样本302的分类结果。可视化模块350进一步包括基学习器可视化模块360，其被配置为显示多个基学习器301和集成分类器305对多个样本302的分类结果的差异。该用于对小样本学习任务生成集成分类器的可视分析系统300可实现为一般的计算机系统上的应用程序，或者实现为服务器系统上的应用程序，或者实现为网络应用程序，或者实现为云平台上的应用程序。

在一种实施方式中，接收模块310可以被配置为通过图形用户接口或者用户命令等从用户处接收上传的多个基学习器301和多个样本302。接收模块310也可以被配置为将多个基学习器301和多个样本302存储在某处由接收模块310读取。接收模块310也可以被配置为通过网络传输获取多个基学习器301和多个样本302，等等。

在一种实施方式中，基学习器选择模块320可以被配置为通过计算多个基学习器301中每个基学习器和多个样本302中每个样本之间的不相似度、多个基学习器301中任意两个基学习器之间的不合作度、多个基学习器301中每个基学习器的代价，选择适合小样本学习任务的基学习器303。

在一种实施方式中，基学习器和样本间的不相似度可以使用基学习器对样本预测信心(也称置信度)来指示，预测信心在现有技术中有多种定义。本发明可以采用任意一种定义方式。在一种优选的实施方式中，预测信心可以定义为基学习器对样本预测的类标分布中的最大值减去次大值，值越低表示不相似度越高。在另一种实施方式中，预测信心可以定义为1减去基学习器对样本预测的类标分布中次大值。

在一种实施方式中，任意两个基学习器间的不合作度可以使用两个基学习器对多个样本302预测的类标分布的对称KL散度的均值来指示，对称KL散度的均值可以用如下公式计算：

其中，

在一种实施方式中，每个基学习器的代价可以使用基学习器对于有标注样本的负对数似然函数值的均值来指示，负对数似然函数值的均值可以用如下公式计算

负对数似然函数值的均值＝-∑logp(y

其中p(y

基学习器选择模块320期望选择的基学习器303满足：选择的基学习器303和多个样本302之间的不相似度低、选择的基学习器303中任意两个基学习器之间的不合作度低、选择的基学习器303中每个基学习器的代价低，因此代价函数可以定义为三项的和，其中第一项为多个样本302与选择的基学习器303之间的不相似度的最小值的和，第二项为选择的基学习器303中任意两个基学习器间不合作度的和，第三项为选择的基学习器303中每个基学习器代价的和。本领域技术人员可以知道，求和只是一种具体的实施方式，还可以使用其他的函数关系，例如加权求和，先做对数变换再求和，等等。

图4示出了图3的基学习器选择模块320中对图2所示的3个基学习器和6个样本进行选择，得到2个选择的基学习器的过程。图4的左半部分表示了基学习器选择模块320计算得到的多个基学习器301中每个基学习器和多个样本中302每个样本之间的不相似度、多个基学习器301中任意两个基学习器之间的不合作度、多个基学习器301中每个基学习器的代价的另一种展示方式。其中假设基学习器和样本间的连线中，虚线连边表示基学习器和样本间的不相似度较大(假设为100)，而实线连边表示基学习器和样本间的不相似度较小(假设为1)；并且假设每两个基学习器间的不合作度为1，每个基学习器的代价为10。在一种实施方式中，可以通过将上面这些参数输入稀疏子集选择算法，选择出基学习器201和基学习器203，此时总代价为6*1+1*1+10*2＝27，是总代价最低的一个基学习器选择方式。本领域技术人员可以知道，在基学习器选择模块320中使用的子集选择方法可以是现有的任意稀疏子集选择方法(如穷举法，贪心搜索法、求解优化系统法等)或未来开发的任何稀疏子集选择方法。

在一种实施方式中，样本选择模块330可以被配置为计算多个样本302中任意两个样本之间的不相似度、多个样本302中每个样本的代价，来选择适合小样本学习任务的有标注样本304。

在一种实施方式中，任意两个样本间的不相似度可以使用任意两个样本在基学习器选择模块320中选择的基学习器303得到的特征空间里的欧式距离的均值来指示，其中欧式距离的均值越低表示不相似度越低。本领域技术人员应该可以知道，样本间的不相似度也可以使用样本间在基学习器选择模块320中选择的基学习器303得到的特征空间里的余弦距离的均值、样本间在多个基学习器301得到的特征空间里的欧式距离的均值、样本间在多个基学习器301得到的特征空间里的余弦距离的均值等等来指示。这些计算方式都是本领域技术人员所熟知的，这里不再赘述。

在一种实施方式中，每个样本的代价可以使用基学习器选择模块320中选择的基学习器303对样本预测信心的均值来指示，样本预测信心的均值越小表示样本代价越小。与此同时，若样本已经有标注，则其代价会进一步变小，可以为已有标注的样本的代价乘上缩小因子0.1来实现。本领域技术人员应该可以知道，这里乘的缩小因子的值仅是示例性的，实际应用中可以是任意大于等于0且小于1的实数。

样本选择模块330期望选择的有标注样本304满足：选择的有标注样本304和多个样本302之间的不相似度低、选择的有标注样本304的中每个样本代价低，因此代价函数定义为两项的和，其中第一项为多个样本302与选择的有标注样本304之间的不相似度的最小值的和，第二项为选择的有标注样本304中每个样本的代价的和。本领域技术人员可以知道，求和只是一种具体的实施方式，还可以使用其他的函数关系，例如加权求和，先做对数变换再求和，等等。

在一种实施方式中，样本选择模块330可以被进一步配置为计算多个样本302中任意两个样本之间的不相似度、多个样本302中每个样本的代价，来选择适合小样本学习任务的无标注样本。集成分类器生成模块340可以被进一步配置为利用集成分类器305对选择的无标注样本进行类别标注。可视化模块350可以被进一步配置为接收输入以对该无标注样本的分类器标注进行类别标注验证，从而使其成为另一组有标注样本。输入可以来自于用户，用户对集成分类器305对无标注样本的分类结果可以进一步修订，使其分类更准确。然后，集成分类器生成模块340可以被进一步配置为根据选择的基学习器303和选择的有标注样本304及所述另一组有标注样本，生成改进的集成分类器。由于利用更准确的有标注样本生成改进的集成分类器，并且该过程可以迭代进行，最终改进的集成分类器的分类精度将有较大的提高。

图5示出了图3的样本选择模块330中对图2所示的6个样本进行选择，得到2个选择的有标注样本的过程。图5的左半部分表示了样本选择模块330计算多个样本302中任意两个样本之间的不相似度、多个样本302中每个样本的代价的另一种展示形式。其中假设样本和样本间的连线中，虚线连边表示样本和样本间的不相似度较大(假设为100)，而实线连边表示样本和样本间的不相似度较小(假设为1)；并且假设有标注样本的代价为1，无标注样本的代价为10。通过稀疏子集选择算法可以选择出有标注样本205和无标注样本208作为有标注样本，此时总代价为6*1+1+10＝17，是最低的一个有标注样本选择方式。其中，由于无标注样本208之前没有类别标注，在选择后需要专家进行类别标注确认。本领域技术人员可以知道，在样本选择模块330中使用的子集选择方法可以是现有的任意稀疏子集选择方法(如穷举法，贪心搜索法、求解优化系统法等)或未来开发的任何稀疏子集选择方法。

在一种实施方式中，集成分类器生成模块340中可以被配置为利用选择的基学习器303和选择的有标注样本304可以生成集成分类器305。这里生成集成分类器305可以使用任何现有技术的集成分类器生成方法，这里不再赘述。

在一种实施方式中，可视化模块350中可以被配置为利用生成的集成分类器305和多个样本302，用可视化的形式展现出生成的集成分类器305对多个样本302的分类结果。图6示出了一个根据本发明的实施例提出的一种用于对小样本学习任务生成集成分类器的可视分析系统的可视化模块350的界面。在一种实施方式中，可以使用降维算法(例如tSNE算法)对多个样本302进行降维，可以使用各种图形(例如圆形、矩形等)表示样本，可以使用图形的属性(例如图形的颜色、线条粗细等)表示样本预测的类别，进而将多个样本302转化为二维的散点图。图6中的方框610示出了使用tSNE算法对多个样本302进行降维，使用圆形表示样本，使用圆形的颜色表示样本预测的类别，进而将多个样本302转化为二维的散点图的例子。本领域技术人员可以知道，将多个样本302进行降维时也可以使用MDS算法、UMAP算法、Isomap算法，等等。这些降维算法都是本领域技术人员所熟知的，这里不再赘述。本领域技术人员可以知道，将多个样本302的投影结果转化为二维的散点图时，也可以使用矩形、三角形、菱形等其他图形来表示样本；也可以使用纹理、阴影等其他图形属性来表示样本预测的类别。这些可视化方法都是本领域技术人员所熟知的，这里不再赘述。

用户可以通过可视化模块350对所述多个样本302中的一部分进行类别标注，进而对样本选择模块330中选择的有标注样本304进行修改。用户可以使用鼠标圈选一部分无标注样本，在图6中的方框620中查看集成分类器305对这部分样本的分类情况后，通过鼠标点击进行样本的类别标注确认，完成有标注样本的增加。用户可以使用鼠标圈选一部分有标注样本，在图6中的方框620中查看集成分类器305对这部分样本的类别分类情况后，通过鼠标点击确定移除的有标注样本，完成有标注样本的删除。用户可以通过上述两个操作，迭代式地形成调整的有标注样本。集成分类器生成模块340根据调整的有标注样本，生成进一步改进的集成分类器。通过这些可视化的操作，用户能够更好地理解不同的有标注样本在集成分类器305中的作用，从而更好地调整有标注样本，形成精度更高的集成分类器。

在基学习器可视化模块360中，利用多个基学习器301和集成分类器305，使用基于矩阵的视图显示多个基学习器301和集成分类器305对多个样本302的分类结果的差异，其中矩阵的每个单元使用图形(例如矩形)来展示多个基学习器301和集成分类器305对多个样本302的分类结果的差异，其中使用图形的第一属性(例如矩形的长度)表示被多个基学习器301或集成分类器305分类为一个特定类别的样本的总数量，使用图形的第二属性(例如矩形的宽度)表示仅被多个基学习器301分类为一个特定类别的样本的数量、仅被集成分类器305分类为一个特定类别的样本的数量、同时被多个基学习器301和集成分类器305分类为一个特定类别的样本的数量。图6中的方框630示出了使用矩形来展示多个基学习器301和集成分类器305的预测结果的差异的例子，其中使用矩形的长度表示被多个基学习器301或集成分类器305预测为一个特定类别的样本的总数量，使用矩形的宽度表示仅被多个基学习器301预测为一个特定类别的样本的数量(图6中的方框640)、仅被集成分类器305预测为一个特定类别的样本的数量(图6中的方框650)、同时被多个基学习器301和集成分类器305预测为一个特定类别的样本的数量(图6中的方框660)。在另一种实施方式中，也可以使用扇形来展示所述多个基学习器301和所述集成分类器305的预测结果的差异的例子，其中使用扇形的半径表示被多个基学习器301或集成分类器305预测为一个特定类别的样本的总数量，使用扇形的角度表示仅被多个基学习器301预测为一个特定类别的样本的数量、仅被集成分类器305预测为一个特定类别的样本的数量、同时被多个基学习器301和集成分类器305预测为一个特定类别的样本的数量，等等。

同时，用户可以通过基学习器可视化模块360，对比多个基学习器301预测的结果，决定是否在现有的集成分类器305的基础上加入或删除基学习器，对基学习器选择模块320中选择的基学习器303进行修改。可以使用鼠标点击矩形里格子的图形，查看对应的样本在散点图内的分布情况。可以通过鼠标点击从未被选择的基学习器中挑选基学习器加入集成分类器，也可以通过鼠标点击从已有的集成分类器中去除基学习器。用户可以通过上述两个操作，形成调整的基学习器，集成分类器生成模块340根据调整的基学习器生成更进一步改进的集成分类器。通过这些可视化的操作，用户能够更好地理解不同的基学习器在集成分类器305中的作用，从而更好地调整基学习器，从而形成精度更高的集成分类器。

本发明还提出了一种在用于对小样本学习任务生成集成分类器的可视分析系统中选择基学习器和有标注样本并建立集成分类器方法。图7示出了一种在用于对小样本学习任务生成集成分类器的可视分析系统300中选择基学习器和有标注样本并建立集成分类器方法的流程图700。如图7所示，在步骤710，获取多个基学习器和多个样本。在步骤720，通过计算多个基学习器中每个基学习器和多个样本中每个样本之间的不相似度、多个基学习器中任意两个基学习器之间的不合作度、多个基学习器中每个基学习器的代价，选择基学习器。在步骤730，根据选择的基学习器，通过计算多个样本中任意两个样本之间的不相似度、多个样本中的每个样本的代价，选择有标注样本。在步骤740，利用选择的基学习器和选择的有标注样本，生成集成分类器。

在一种实施方式中，方法700还包括：在步骤750，利用生成的集成分类器，对多个样本中的无标注样本进行分类。在一种实施方式中，方法700还包括：在步骤760，显示生成的集成分类器对多个样本的分类结果。其中多个基学习器中每个基学习器和多个样本中每个样本之间的不相似度、多个基学习器中任意两个基学习器之间的不合作度、多个基学习器中每个基学习器的代价、多个样本中任意两个样本之间的不相似度、多个样本中的每个样本的代价如何计算已经在前面描述了，这里不再赘述。

本发明还提出了一种对小样本图像集合选择图像基学习器和有标注图像样本并建立图像集成分类器的方法。图8示出了一种对小样本图像集合选择图像基学习器和有标注图像样本并建立图像集成分类器的方法的流程图800。如图8所示，在步骤810，获取多个图像基学习器和多个图像样本。在步骤820，通过计算多个图像基学习器中每个图像基学习器和多个图像样本中每个图像样本之间的不相似度、多个图像基学习器中任意两个图像基学习器之间的不合作度、多个图像基学习器中每个图像基学习器的代价，选择图像基学习器。在步骤830，根据选择的图像基学习器，通过计算多个图像样本中任意两个图像样本之间的不相似度、多个图像样本中的每个图像样本的代价，选择有标注图像样本。在步骤840，利用选择的图像基学习器和选择的有标注图像样本，生成图像集成分类器。

在一种实施方式中，方法800还包括：在步骤850，利用生成的图像集成分类器，对多个图像样本中的无标注图像样本进行分类。在一种实施方式中，方法800还包括：在步骤860，显示生成的图像集成分类器对所述多个图像样本的分类结果。其中多个图像基学习器中每个图像基学习器和多个图像样本中每个图像样本之间的不相似度、多个图像基学习器中任意两个图像基学习器之间的不合作度、多个图像基学习器中每个图像基学习器的代价、多个图像样本中任意两个图像样本之间的不相似度、多个图像样本中的每个图像样本的代价如何计算已经在前面描述了，这里不再赘述。

本发明可以是系统、方法和/或计算机可读存储介质。计算机可读存储介质上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。本发明的方法可以在独立的计算机系统上执行，也可以在分布式计算系统上执行，甚至可以在云平台上执行。

这里参照根据本发明实施例的方法、装置(系统)和计算机可读存储介质的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机可读存储介质的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。