样本扩展方法、训练方法和系统、及样本学习系统

摘要

本公开提出一种样本扩展方法、训练方法和系统、及样本学习系统，涉及机器学习技术领域。本公开的一种样本扩展方法，包括：通过特征提取网络提取样本的特征；根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征；根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别，进而标注对应的待确定类别的样本，获取扩展样本。通过这样的方法，当采用已有样本进行训练时，通过对样本的价值进行衡量，能够得到可信的扩展样本，提高样本扩展的鲁棒性和准确度，提高样本采集的可信度、效率和准确度，降低样本采集的负担。

说明书

技术领域

本公开涉及机器学习技术领域，特别是一种样本扩展方法、训练方法和系统、及样本学习系统。

背景技术

在实际生活中，常常需要对物体的类别进行归类，比如对同一种物品采用统一的表征，方便后续的物品分类、检索以及其他操作。目前的物品归类往往基于深度学习获取。由于深度模型的复杂性，往往需要大量的标注数据(物品样本数据)进行训练，才能获取较为鲁棒且可信度高的深度归类模型。

由于在实际场景中，获取大量的标注样本数据费时费力，且部分场景下，仅能获取少量的标注样本。因此如何从有限的标注样本中学习鲁棒且可信度高的新类别知识，即小样本学习，具有重要的实际价值。我们将实际生活中，基于少量标注样本对物体的类别进行归类的问题建模称为小样本学习问题。

小样本学习中最主要的解决方式是元学习(Meta-Learning)。元学习的核心是希望模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。目前针对小样本问题的元学习方法可以大致分为两类：

一、基于优化的元学习方法，即通过少量数据，学习模型的参数初始化、模型的学习率、模型的梯度更新策略等；

二、基于度量的元学习方法，即学习样本的表示以及属于同一类的类别表示，从而直接度量新样本表示和类别表示的距离预测新样本的类别。

发明内容

本公开的一个目的在于提高样本扩展的准确度，提高样本采集的效率和准确度。

根据本公开的一些实施例的一个方面，提出一种样本扩展方法，包括：通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本；根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别；用确定的类别标注对应的待确定类别的样本，获取扩展样本。

在一些实施例中，在样本为图像的情况下，通过特征学习提取网络提取样本的特征包括：通过CNN(Convolutional Neural Networks，卷积神经网络)获取样本的初始特征；将初始特征进行二阶池化处理，获取样本的特征。

在一些实施例中，在样本为文本信息的情况下，通过特征学习提取网络提取样本的特征包括：通过LSTM(Long Short-Term Memory，长短期记忆人工神经网络)提取样本的特征。

在一些实施例中，根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数包括：根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；将各个标量特征串行连接，获取样本集合特征向量；根据样本集合特征向量，通过样本价值估计网络获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。

在一些实施例中，根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别包括：获取待确定类别的样本的特征与每个类别的特征的余弦相似性；确定与待确定类别的样本的特征的余弦相似性最大的特征所属的类别，作为待确定类别的样本的类别。

通过这样的方法，能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，从而减少无效信息对样本学习准确度的影响，提高样本类型确定的鲁棒性和准确度，有利于获得置信度高的、更加准确的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的可信度、效率和准确度。

根据本公开的一些实施例的一个方面，提出一种样本扩展训练方法，包括：通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本；根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别；基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。

在一些实施例中，样本扩展训练方法还包括：基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。

在一些实施例中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：根据具有类别的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数；根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。

在一些实施例中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：

根据公式

确定第一目标参数L

其中，

通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使L

在一些实施例中，基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：

根据公式

确定第二目标参数L

其中，

通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使L

通过这样的方法，能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，从而减少无效信息对样本学习准确度的影响，提高样本类型确定的可信度和准确度，提高样本扩展的可信度和准确度。

根据本公开的一些实施例的一个方面，提出一种样本扩展系统，包括：特征提取网络，被配置为通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本；样本价值确定单元，被配置为具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；类别特征确定单元，被配置为获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；类别确定单元，被配置为根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别；样本标注单元，被配置为用确定的类别标注对应的待确定类别的样本，获取扩展样本。

在一些实施例中，样本价值确定单元包括：预处理子单元，被配置为根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；将各个标量特征串行连接，获取样本集合特征向量；样本价值估计网络，被配置为根据样本集合特征向量获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。

这样的样本扩展系统能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，从而有利于获得更加准确且鲁棒的样本，提高样本扩展的可信度和准确度。

根据本公开的一些实施例的一个方面，提出一种样本扩展训练系统，包括：特征提取单元，被配置为通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本；价值确定单元，被配置为第二神经网络，被配置为根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；类别特征确定单元，被配置为获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；类别确定单元，被配置为根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别；目标函数单元，被配置为基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。

在一些实施例中，目标函数单元，还被配置为基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。

在一些实施例中，目标函数单元被配置为：根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；根据具有类别标注的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数；根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。

这样的样本扩展训练系统能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，提高样本扩展的可信度和准确度。

根据本公开的一些实施例的一个方面，提出一种样本学习系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种方法。

根据本公开的一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种方法的步骤。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为本公开的样本扩展方法的一些实施例的流程图。

图2为本公开的样本扩展方法的另一些实施例的流程图。

图3为本公开的样本扩展训练方法的一些实施例的流程图。

图4为本公开的样本扩展训练方法中基于目标函数训练的另一些实施例的流程图。

图5为本公开的样本扩展系统的一些实施例的示意图。

图6为本公开的样本扩展系统中样本价值确定单元的一些实施例的示意图。

图7为本公开的样本扩展训练系统的一些实施例的示意图。

图8为本公开的样本学习系统的一些实施例的示意图。

图9为本公开的样本学习系统的另一些实施例的示意图。

具体实施方式

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

基于优化的元学习方法，在推理测试阶段，需要按照学习到的策略，在新任务上对网络进行微调。这个过程费时费力，学习优化目标的方法的实用性有限。基于度量的元学习方法则是利用训练好的模型，在新任务的少量标注样本上，学习样本类别表征，从而直接通过需要咨询分类的样本和已确定分类的样本之间的距离，确定样本的类别。

发明人发现，相关技术中在通过少量标注样本学习样本类别表征时，默认所有样本具有同样的重要性。而实际上不同样本所含的有效信息量、有效信息量在样本信息中所占的比例不同，例如同样是图像样本，一幅具有标注目标的图像比一幅充满背景的图像在学习样本类别表征时更有价值；又比如，当一幅图像具有多种标注类别信息时，往往会对最终所需类别表征产生负面影响，因此这种图像的实际价值较低。将样本默认为具有同样重要性的处理方式容易造成特征确定的偏差，受无效信息的干扰大，影响了小样本学习、样本扩展的鲁棒性和可信度。

本公开的样本扩展方法的一些实施例的流程图如图1所示。

在步骤101中，通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本。在一些实施例中，特征提取网络可以为基于神经网络进行训练生成。

在一些实施例中，若样本为图像样本，则特征提取网络可以基于CNN；若样本为文本样本，则特征提取网络可以基于LSTM。通过这样的方式，能够选择合适的神经网络模型，提高对于样本的处理能力，提高样本扩展的效率和准确度。

在步骤102中，根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数。在一些实施例中，可以通过关键特征匹配、基于关键特征的价值参数赋值的方式确定样本的价值参数。在一些实施例中，可以搭建神经网络，通过利用训练样本进行训练的方式生成样本价值估计网络，利用该网络确定不同具有类别标注的样本的特征的价值参数。

在步骤103中，获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。

在步骤104中，根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别。在一些实施例中，可以计算待确定类别的样本的特征与每个类别的特征之间的余弦距离，确定待确定类别的样本的特征与各个类别的特征的相似性，筛选出特征与待确定类别的样本的特征相似性最高的类别，即为确定的待确定类别的样本的类别。

在步骤105中，用确定的类别标注对应的待确定类别的样本，获取扩展样本。

通过这样的方法，能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，从而有利于获得更加鲁棒且准确的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的置信度、效率和准确度。

本公开的样本扩展方法的另一些实施例的流程图如图2所示。

在步骤201中，通过特征提取网络提取具有类别标注的样本的特征。

在一些实施例中，在样本为图像的情况下，可以先通过CNN获取样本的初始特征。卷积神经网络的结构可以为4个残差块，每个残差块包含3个3＊3的卷积结构，其中每一个卷积结构使用Relu激活函数，且使用Batch normalization。每一个残差块之间有2＊2的max pooling进行降采样。其过程定义为：

x

其中x

进一步的，利用二阶池化(Second-order Pooling)，获取细粒度的图像表征，即样本的特征。其过程定义为：

其中

其中

在步骤202中，根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征。

由于小样本特征维度较大

在步骤203中，将各个标量特征串行连接，获取样本集合特征向量，即

y＝Concat(a

其中，y为样本集合特征向量，Concat()为串行连接标量特征的函数；具有类别标注的样本的数量为K。

在步骤204中，根据样本集合特征向量，通过样本价值估计网络获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配，即

e＝Sigmoid(Wy+b)

其中，样本集合特征向量e的第i个元素为第i个具有类别标注的样本的价值参数，Sigmoid()为S型函数。

在步骤205中，获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数，即类别的特征c为：

样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。

在步骤206中，通过特征提取网络提取待确定类别的样本的特征。在一些实施例中，步骤206可以在步骤207前任一时间点执行，包括与步骤201同步执行。在一些实施例中，提取待确定类别的样本的特征的特征提取网络可以与步骤201中的特征提取网络相同，或为同一个特征提取网络。

在步骤207中，获取待确定类别的样本的特征与每个类别的特征的余弦相似性。

在一些实施例中，可以根据公式：

d

确定待确定类别的样本的特征q与类别i的特征c

在步骤208中，确定与待确定类别的样本的特征的余弦相似性最大的特征所属的类别，作为待确定类别的样本的类别，即确定最大的d

在步骤209中，用确定的类别标注对应的待确定类别的样本，获取扩展样本。

通过这样的方法，在运算过程中降低了复杂度，提高了处理效率；通过待确定类别的特征和特征间距离的计算两个步骤，对待确定类别的样本进行分类，从而确定待确定类别的样本的类别，实现了扩充具有类别标注的样本的数量；由于在确定类别特征的过程中通过样本价值估计网络确定了各个样本的价值参数，并将其通过权重的方式应用，降低了样本特征中无效信息对类别的特征的影响，提高了扩充的样本的可信度和准确度。

为了获得样本扩展方法中使用的神经网络，可以采集训练样本，其中部分训练样本为具有类别标注的训练样本，另一部分为待确定类别的训练样本，构建神经网络模型并设计目标函数，利用训练样本执行训练操作。

本公开的样本扩展训练方法的一些实施例的流程图如图3所示。

在步骤301中，通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本。在一些实施例中，可以先获得具有类别标注的训练样本的特征，在步骤304之前的任意时刻提取待扩展的训练样本的特征。

在一些实施例中，可以构建神经网络模型，如基于CNN或LSTM的网络，来提取样本的特征。

在步骤302中，根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数。

在一些实施例中，可以先对具有类别标注的训练样本的特征进行预处理，预处理的过程可以如步骤202、203中所示。

在一些实施例中，可以构建神经网络模型，作为待训练的样本价值估计网络。

在步骤303中，获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。

在步骤304中，根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别。在一些实施例中，可以通过与上述步骤207、208中相似的方法确定待确定类别的训练样本的类别。

在步骤305中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。

在一些实施例中，可以构建运算结果为第一目标参数的第一目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第一目标参数减小。

在一些实施例中，在训练样本使用完成，或训练的轮数达到预定次数时，训练完成。

通过这样的方法，能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的可信度和准确度，提高样本扩展的置信度和准确度。

在一些实施例中，样本扩展训练方法还可以包括步骤306：基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低，提升训练对于不同类别特征的区分性。

在一些实施例中，可以构建运算结果为第二目标参数的第二目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第二目标参数减小。

通过这样的方法，能够在训练过程中将不同类别的特征的区别作为目标之一，增加不同类别的特征的区分度，提高收敛效率，也进一步提高训练后特征提取网络和样本价值估计网络的运算效果，提高被扩展的样本的可信度和准确度。

本公开的样本扩展训练方法中基于目标函数训练的另一些实施例的流程图如图4所示。

在步骤401中，根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数。

在一些实施例中，可以根据公式

确定第一目标参数L

其中，

可以看出，L

在步骤402中，根据具有类别的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数。

在一些实施例中，可以根据公式

确定第二目标参数L

其中，

可以看出，L

在步骤403中，根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。第一目标参数和第二目标参数的加权和越小，则样本类别确定的稳定性越高，特征之间的差异越大，收敛效果越好。

通过这样的方法，能够从类别特征的稳定性和不同类别特征的差异性两个角度，同步的训练样本扩展系统中的神经网络，提高训练效率，也能够提高样本扩展的鲁棒性和置信度。

本公开的样本扩展系统的一些实施例的示意图如图5所示。

特征提取网络501能够提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本。在一些实施例中，特征提取网络可以为基于神经网络进行训练生成。

样本价值确定单元502能够根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数。在一些实施例中，可以通过关键特征匹配、基于关键特征的价值参数赋值的方式确定样本的价值参数。在一些实施例中，可以搭建神经网络，通过利用训练样本进行训练的方式生成样本价值估计网络，利用该网络确定不同具有类别标注的样本的特征的价值参数。

类别特征确定单元503能够获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。

类别确定单元504能够根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别。在一些实施例中，可以计算待确定类别的样本的特征与每个类别的特征之间的余弦距离，确定待确定类别的样本的特征与各个类别的特征的相似性，筛选出特征与待确定类别的样本的特征相似性最高的类别，即为确定的待确定类别的样本的类别。

样本标注单元505能够用确定的类别标注对应的待确定类别的样本，获取扩展样本。

这样的样本扩展系统能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的鲁棒性和准确度，从而有利于获得更加准确且置信度高的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的可信度、效率和准确度。

本公开的样本扩展系统中样本价值确定单元的一些实施例的示意图如图6所示。

预处理子单元601能够采用如步骤201～203中的方式，获得样本的标量特征。

样本价值估计网络602能够根据样本集合特征向量获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。

这样的系统能够降低样本特征处理的计算复杂度，降低处理压力，提高处理的鲁棒性和效率。

本公开的样本扩展训练系统的一些实施例的示意图如图7所示。

特征提取单元701能够通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本。在一些实施例中，可以先获得具有类别标注的训练样本的特征，在步骤304之前的任意时刻提取待扩展的训练样本的特征。

价值确定单元702能够根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数。

类别特征确定单元703能够获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。

类别确定单元704能够根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别。在一些实施例中，可以通过与上述步骤207、208中相似的方法确定待确定类别的训练样本的类别。

目标函数单元705能够基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。在一些实施例中，可以构建运算结果为第一目标参数的第一目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第一目标参数减小。

这样的系统能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的鲁棒性和准确度，提高样本扩展的置信度和准确度。

在一些实施例中，目标函数单元705还能够基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低，提升模型对不同类别特征的区分度，直至完成训练。在一些实施例中，可以构建运算结果为第二目标参数的第二目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第二目标参数减小。

这样的系统能够在训练过程中将不同类别的特征的区别作为目标之一，增加不同类别的特征的区分度，提高收敛效率，也进一步提高训练后特征提取网络和样本价值估计网络的运算效果，提高被扩展的样本的鲁棒性和准确度。

在一些实施例中，目标函数单元706能够根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。第一目标参数和第二目标参数的加权和越小，则样本类别确定的稳定性越高，特征之间的差异越大，收敛效果越好。

这样的系统能够从类别特征的稳定性和不同类别特征的差异性两个角度，同步的训练样本扩展系统中的神经网络，提高训练效率，也能够提高样本扩展的鲁棒性。

本公开样本学习系统的一个实施例的结构示意图如图8所示。样本学习系统包括存储器801和处理器802。其中：存储器801可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中样本扩展方法或样本扩展训练方法的对应实施例中的指令。处理器802耦接至存储器801，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器802用于执行存储器中存储的指令，能够提高样本类型确定的准确度，提高样本扩展的准确度。

在一个实施例中，还可以如图9所示，样本学习系统900包括存储器901和处理器902。处理器902通过BUS总线903耦合至存储器901。该样本学习系统900还可以通过存储接口904连接至外部存储装置905以便调用外部数据，还可以通过网络接口906连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高样本类型确定的准确度，提高样本扩展的准确度。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现样本扩展方法或样本扩展训练方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。