一种基于对抗互惠点学习的开集类别发掘训练方法及系统

摘要

本申请涉及深度神经网络技术领域，具体而言，本申请涉及一种基于对抗互惠点学习的开集类别发掘训练方法及系统。所述方法包括以下步骤：基于已定义类别的样本集，分别构建判别器、生成器和分类器，其中，所述分类器包含基于深度卷积神经网络的特征提取器、互惠点集和自学习半径；所述生成器生成样本并输入所述分类器，所述分类器提取所述样本的深度特征并比较所述深度特征与所述互惠点集，以将所述样本分类为已知类，所述判别器判断所述样本的类别为已知样本；分别计算判别器损失、生成器损失和分类器损失并依次更新所述判别器、生成器和分类器。本申请的方法及系统能够更有效地处理开集识别的问题，进而解决真实场景下未预定义类别识别问题。

说明书

技术领域

本申请涉及深度神经网络技术领域，更为具体来说，本申请涉及一种基于对抗互惠点学习的开集类别发掘训练方法及系统。

背景技术

深度神经网络在许多的视觉识别、自然语言问题上取得了卓越的成就，并且引导了很多具有巨大影响力的工业应用与学术研究。尤其在一些图像分类问题上，其展示了极其优秀的性能。然而，如今大部分识别系统的设定更多的是在一个静态封闭的世界基础上设计的，都基于识别类别是先验知识的前提假设下。在真实的世界中，识别的场景是动态变化的，成千上万个不同的识别场景涵盖了不可计数的识别类别。即使在固定特定的场景下，我们能够定义特定的识别类别，也不可避免会出现诸如异常和未知事件，这些将导致识别系统的一系列安全问题。为了部署更强大识别应用系统，识别系统不仅应该能够识别已定义类的所有测试实例，而且还能够处理未知样本或未见过的新事件或异常事件。而真实世界的识别问题本质上是一个开集问题，识别系统需要能够发现并学习未知类别。综上，开集识别问题是模式识别和多媒体社区中一个重要而又具有挑战性的问题。

基于上述原因，越来越多的注意力被吸引到开集识别上，其目的是为学习一个更具有鲁棒性的识别分类器能够明确地检测样本是否属于已定义类别，同时能够对已定义类别进行正确的分类。基于深度神经网络的大多数方法，将所有已定义类别训练样本嵌入到一个特征空间，并且将未定义样本特征当做异常值检测。具体而言，很多的分类方法采用基于原型的学习方法，通过利用欧几里得距离来学习一个更能表征类别信息的原型特征，来减小类内距离，并通过原型对其进行分类。然而原型学习并没有考虑到深度学习特征对未知样本的响应分布，反而会因为对未知的无知带来额外的开集空间风险。此外，还有一些方法将生成模型引入到整个识别系统中，通过生成模型生成未定义样本以考虑未知类别在训练过程中的影响，然而整个未知空间相对较大，而使用生成模型生成的样本所占比例较小，并不能有效地引入所有的未知信息。

因此，本申请提出一种改进的方法，提出了一种基于互惠点学习的开集类别发掘训练方法，其可以通过基于多个互惠点构建的有界深度特征空间有效地减少开集空间风险，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本申请提供了一种基于互惠点学习的开集类别发掘训练方法，包括以下步骤：

基于已定义类别的样本集，分别构建判别器、生成器和分类器，其中，所述分类器包含基于深度卷积神经网络的特征提取器、互惠点集和自学习半径，所述互惠点为非目标类别K样本空间的代表性点，每个类别对应的互惠点相对于其它类别离该类别样本空间更远；

所述生成器生成样本并输入所述分类器，所述分类器提取所述样本的深度特征并比较所述深度特征与所述互惠点集，以将所述样本分类为已知类，所述判别器判断所述样本的类别为已知样本；

分别计算判别器损失、生成器损失和分类器损失并依次更新所述判别器、生成器和分类器。

具体地，所述构建分类器包括：

初始化分类器的深度神经网络，将网络的最后一层作为特征输出；

构建和特征维度一致的互惠点集，使每个类别至少包含一个互惠点，按照随机正态分布进行初始化；

构建一个自更新半径，初始化为1。

具体地，所述计算判别器损失的方法为：

其中，x为已定义类别的样本，z为生成样本，log D(x

具体地，所述计算生成器损失的步骤为：

其中，z为生成样本，

计算信息熵损失，方法为：

其中，k表示对应类别，P为互惠点，S表示熵函数；

计算最终生成器损失，方法为：

其中，H为信息熵损失，β为控制信息熵损失的超参数。

优选地，所述计算分类器损失通过已定义类别的样本损失和生成样本约束损失构建，所述已定义类别的样本损失为分类损失与开集空间约束损失之和。

进一步地，计算所述分类损失的步骤为：

计算已定义类别的样本x的特征f(x)与互惠点集之间距离：

其中，k表示对应类别，P表示互惠点，C表示分类器函数；

计算已定义类别的样本x属于类别k的概率：

其中，N表示已定义类别数目，y表示真实值；

根据交叉熵损失函数计算最终互惠点分类损失，方法为：

其中，θ为特征提取器参数。

进一步地，所述计算开集空间约束损失的方法为：

其中，R为自更新半径，d为欧式距离计算函数。

进一步地，所述计算分类器损失通过已定义类别的样本损失和生成样本约束损失构建的方法为：

其中，H为信息熵损失，β为控制信息熵损失的超参数；x为已定义类别的样本，y为真实值，z为生成样本，P表示互惠点。

另一方面，本申请提供了一种基于互惠点学习的开集类别发掘训练系统，包括判别器、生成器和分类器，其中，所述分类器包含基于深度卷积神经网络的特征提取器、互惠点集和自学习半径，所述生成器生成样本并输入所述分类器，所述分类器提取所述样本的深度特征并比较所述深度特征与所述互惠点集，以将所述样本分类为已知类，所述判别器判断所述样本的类别为已知样本，所述互惠点为非目标类别K样本空间的代表性点，每个类别对应的互惠点相对于其它类别离该类别样本空间更远。

进一步地，所述分类器的深度神经网络包括辅助BN层，所述辅助BN层含两个BN层，以分别统计已定义类别的样本和生成样本的特征分布。

本申请的有益效果为：

本申请提出的基于对抗互惠点学习的开集类别发掘训练方法，通过分类器的训练阶段引入互惠点和自更新半径，使得深度神经网络学习的特征能够间接引入未知信息，从而将已知类别特征和未知类别特征进行分离，同时使得开集空间风险能够形式化；同时通过判别器和分类器间的已知和未知的对抗双目标，混淆生成器生成样本，尽可能实例化分类器特征空间中的未知空间特征，最终使分类器能更好地处理开集类别的发掘问题，更贴近真实识别场景下的应用。总之，本申请能够更有效地处理开集识别的问题，进而解决真实场景下未预定义类别识别问题。

附图说明

图1示出了本申请的实施例1的流程示意图；

图2示出了本申请的实施例2的结构示意图；

图3示出了本申请的实施例3的关系示意图；

图4示出了本申请的实施例4的原理示意图；

图5示出了本申请一实施例所提供的一种电子设备的结构示意图；

图6示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本申请提供了一种基于互惠点学习的开集类别发掘训练方法，如图1所示，包括以下步骤：

基于已定义类别的样本集，分别构建判别器、生成器和分类器，其中，所述分类器包含基于深度卷积神经网络的特征提取器、互惠点集和自学习半径，互惠点为非目标类别K样本空间的代表性点，每个类别对应的互惠点相对于其它类别离该类别样本空间更远；

生成器生成样本并输入分类器，分类器提取所述样本的深度特征并比较深度特征与所述互惠点集，以将样本分类为已知类，所述判别器判断所述样本的类别为已知样本；

分别计算判别器损失、生成器损失和分类器损失并依次更新判别器、生成器和分类器。

本申请探究开集问题中最基本的分类情况：什么是猫？大部分方法都提出通过每个类的中心作为其原型来分类。虽然只关注已知样本可以减少类内距离，但是不可避免地会带来开放空间风险，因为根本无法考虑未知空间的暗信息。而对于猫来说，其未知类属于非猫部分，大部分未知类应该和非猫部分的代表特征拥有更多的相似性。所以本申请提出了一个基于“什么不是猫？”的概念：互惠点(Reciprocal Points)。其是类别K对应的非类别K空间的代表性特征，会带来更多与未知类的联系。

本申请提出了基于对抗互惠点学习的开集网络学习方法，其可以通过基于多个互惠点构建的有界深度特征空间，以有效地减少开集空间风险。具体来说，针对分类器，对于已定义类别的样本，我们通过深度卷积神经网络提取每个样本的特征，基于互惠点和每个已知类相互对立，我们根据深度特征和互惠点之间的差异性对已定义类别的样本进行分类。并在此基础上，我们引入基于自学习半径的开集空间风险约束损失，将每个已知类K对应的非K类别空间通过互惠点限制在一个有界的范围内。当多个已知类之间互相影响，所有已知类不仅被其互惠点推到空间的外围，同时还被其他的互惠点限制在有界空间内，从而形成了已知类分布在整个特征空间外围，未知样本被限制在内部的有界空间。对于生成器生成的样本，分类器通过将其特征靠近所有互惠点，即离所有互惠点距离所构成的信息熵损失最大，从而使得生成样本被分类器分类为已知类。

其次，针对判别器，其目标为将已知样本分类为真样本，将生成样本分类为假样本，能够成功的判别已知样本和生成样本之间的差异。针对生成器，一方面，生成器期望其生成的样本能够欺骗过判别器，即使判别器分类生成样本为真样本，即生成样本接近已知样本；另一方面，生成器生成的样本的分类器深度特征能够靠近所有的互惠点，即离所有互惠点距离所构成的信息熵损失最大，从而使得生成的样本来自于分类器的未知特征空间。在这种已知和未知对抗目标的引导下，训练的生成器能够生成分布在分类器未知特征空间边缘的混淆样本，从而提高分类器对未知样本的判别力。

最后，判别器、生成器、分类器依次根据自身损失不断更新各自模型的参数，从而达到最后的平衡。通过对抗互惠点学习可以防止神经网络对未知样本产生任意高的置信度。虽然在训练阶段只有已知的样本，但是已知类和未知类之间的间隔通过互惠点间接的分离。而互惠点学习的优点就是在考虑已知空间分类的同时缩小了未知空间，形成良好的有界深度特征空间分布，这个分布中未知样本的响应要低于已知样本的响应。

对于分类器，在训练阶段首先初始化分类器的深度神经网络，将网络的最后一层作为特征输出；构建和特征维度一致的互惠点集，每个类别至少包含1个互惠点，按照随机正态分布进行初始化；构建一个自更新半径，初始化为1。

对于已知样本集，基于构建的互惠点集，需要定义的基于互惠点的分类损失。首先计算已定义类别的样本集中样本x的经过深度神经网络特征提取器获得的特征f(x)与构建互惠点集之间的距离：

其中，k表示对应类别，P表示互惠点。根据softmax函数定义样本x属于类别k的概率为：

其中，N表示已定义类别数目，C表示分类器函数，y表示真实值。最后根据交叉熵损失函数计算最终互惠点的分类损失为：

其中，θ为特征提取器参数，在训练阶段通过基于互惠点的分类损失和梯度下降法来更新深度神经网络特征提取器参数和互惠点集。

基于构建的互惠点集和自学习半径，定义开集空间风险约束正则化为：

其中，R为自更新半径，d

其中，λ为控制半径约束正则化的超参数。

其次，基于生成样本，促进该部分混淆样本的分类器特征靠近所有的互惠点，即离所有的互惠点距离几乎一致，从而使得离所有互惠点距离所构成的信息熵最大，结合训练已知样本的损失，定义最终分类器损失为：

其中，H为信息熵损失，β为控制信息熵损失的超参数；x为已定义类别的样本，y为真实值，z为生成样本，P表示互惠点。

综上，在训练阶段通过上述损失函数，通过已定义的样本集和生成样本集不断地更新分类器的深度神经网络特征提取器、互惠点集以及自学习半径。

对于判别器来说，初始化判别器的深度卷积神经网络，定义其损失将已知样本集的样本分类为真样本，将生成样本集的样本分类为假样本：

其中，x为已定义类别的样本，z为生成样本，logD(x

对于生成器来说，其从先验分布p生成(混淆)样本，一方面，期待生成的样本能够欺骗判别器，将生成样本判断为真样本，定义损失为：

其中，logD(G(z

另一方面，期待生成样本的分类器特征能够靠近分类器所有的互惠点，即离所有的互惠点距离一致，从而其信息熵最大化：

综上两个方面，更新生成器的最终损失为：

其中，H对应的是其信息熵损失，β为控制信息熵损失的超参数。

最终，按照判别器、生成器、分类器的顺序，依次计算其损失并更新其参数。

实施例2：

我们探究开集问题中最基本的分类情况：什么是猫？正如上文所述，大部分方法都提出通过每个类的中心作为其原型来分类。虽然只关注已知样本可以减少类内距离，但是不可避免会带来开放空间风险，因为根本无法考虑未知空间的暗信息。而对于猫来说，其未知类属于非猫部分，大部分未知类应该和非猫部分的代表特征拥有更多的相似性。所以我们提出了一个基于“什么不是猫？”的概念：互惠点(Reciprocal Points)。其是类别K对应的非类别K空间的代表性特征，会带来更多与未知类的联系。

图2所示为基于互惠点学习的开集类别发掘训练方法的原理示意图，如图2所示，判别器的目标为将已知样本分类为真样本，将生成样本分类为假样本，能够成功地判别已知样本和生成样本之间的差异。而生成器生成样本，生成样本和训练样本都输入分类器。针对分类器，对于已定义类别的样本，通过深度卷积神经网络提取每个样本的特征，基于互惠点和每个已知类相互对立，根据深度特征和互惠点之间的差异性对已定义类别的样本进行分类。并在此基础上，本申请引入基于自学习半径的开集空间风险约束损失，将每个已知类K对应的非K类别空间通过互惠点限制在一个有界的范围内。当多个已知类之间互相影响，所有已知类不仅被其互惠点推到空间的外围，同时还被其他的互惠点限制在有界空间内，从而形成了已知类分布在整个特征空间外围，未知样本被限制在内部的有界空间。对于生成器生成的样本，分类器通过将其特征靠近所有互惠点，即使其离所有互惠点距离所构成的信息熵损失最大，从而使得生成样本被分类器分类为已知类。

其次，针对判别器，其目标为将已知样本分类为真样本，将生成样本分类为假样本，能够成功的判别已知样本和生成样本之间的差异。针对生成器，一方面，生成器期望其生成的样本能够欺骗过判别器，即使判别器分类生成样本为真样本，即生成样本接近已知样本；另一方面，生成器生成的样本的分类器深度特征能够靠近所有的互惠点，即离所有互惠点距离所构成的信息熵损失最大，从而使得生成的样本来自于分类器的未知特征空间。在这种已知和未知对抗目标的引导下，训练的生成器能够生成分布在分类器未知特征空间边缘的混淆样本，从而提高分类器对未知样本的判别力。

最后，判别器、生成器、分类器依次根据自身损失不断更新各自模型的参数，从而达到最后的平衡。通过对抗互惠点学习可以防止神经网络对未知样本产生任意高的置信度。虽然在训练阶段只有已知的样本，但是已知类和未知类之间的间隔通过互惠点间接的分离。而互惠点学习的优点就是在考虑已知空间分类的同时缩小了未知空间，形成良好的有界深度特征空间分布，这个分布中未知样本的响应要低于已知样本的响应。

实施例3：

请继续参照图2所示，本实施例提供的基于互惠点学习的开集类别发掘训练方法基于深度神经网络，首先对于分类器来说，其深度网络中包含辅助Batch Norm(BN)层，即每层中包含两个BN分别统计已知样本和生成的混淆样本的特征分布。一方面，在训练阶段分类器基于互惠点的生成样本损失更新自身参数及互惠点集和自学习半径，另一方面使得生成样本的分类器特征靠近所有互惠点，从而更新参数。其次，对于判别器，根据将已知样本分类为真样本，将未知样本分类为假样本的损失，不断更新自身参数。最后，生成器生成的样本，一方面能够欺骗判别器将生成样本不断分类为真样本，同时能够保证生成样本的分类器特征靠近所有互惠点，即在已知和未知间不断对抗，最终生成能够促进分类器提升未知类判别力的混淆样本。

图3所示为单类别、多类别以及实例化样本对于互惠点的关系图，首先，如图3(a)所示，没有已知类别都有对应的互惠点，其为非目标类别K样本空间的代表性点，非目标类别和未知类都被互惠点限制在有界的范围内。其次，如图3(b)所示，当多个类别融合时，已知类别不仅被自身的互惠点推远，同时被其他类别的互惠点限制在有界的空间内，从而形成了已知类别分布在特征空间外围，而未知类分布在特征空间内的良好特征空间分布。最后，如图3(c)所示，生成样本分布在整个特征空间的未知空间部分，通过使得混淆样本的分类器特征靠近所有类别，从而缩小未知空间大小，减小开集空间风险。

实施例4：

如图4所示，本申请提供了一种基于互惠点学习的开集类别发掘训练系统500，包括：判别器501，生成器502和分类器503，其中，分类器503包含基于深度卷积神经网络的特征提取器、互惠点集和自学习半径，生成器502生成样本并输入分类器503，分类器503提取样本的深度特征并比较深度特征与互惠点集，以将样本分类为已知类，判别器501判断所述样本的类别为已知样本，互惠点为非目标类别K样本空间的代表性点，每个类别对应的互惠点相对于其它类别离该类别样本空间更远。分类器503的深度神经网络包括辅助BN层，辅助BN层含两个BN层，以分别统计已知样本和生成样本的特征分布。判别器501的目标为将已知样本分类为真样本，将生成样本分类为假样本，能够成功地判别已知样本和生成样本之间的差异。生成器502，一方面期望其生成的样本能够欺骗过判别器，即使判别器分类生成样本为真样本，也就是生成样本接近已知样本；另一方面，生成器502生成的样本的分类器深度特征能够靠近所有的互惠点，即离所有互惠点距离所构成的信息熵损失最大，从而使得生成的样本来自于分类器503的未知特征空间。在这种已知和未知对抗目标的引导下，训练的生成器502能够生成分布在分类器503未知特征空间边缘的混淆样本，从而提高分类器503对未知样本的判别力。

请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于互惠点学习的开集类别发掘训练方法。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于互惠点学习的开集类别发掘训练方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于互惠点学习的开集类别发掘训练方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于互惠点学习的开集类别发掘训练方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于互惠点学习的开集类别发掘训练方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。