轻量化语义智能服务适配训练演化方法及系统

摘要

本申请实施例公开了轻量化语义智能服务适配训练演化方法及系统，所述方法包括：对Generator模型进行遮罩语言模型MLM任务训练；将训练文本数据输入生成器Generator模块以生成伪造字；使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；基于Dynamic self‑adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

说明书

技术领域

本申请实施例涉及人工智能技术领域，具体涉及轻量化语义服务模型训练演化方法、系统、设备及可读存储介质。

背景技术

目前计算机科学领域的语义服务主要依靠传统的LSTM(长短期记忆网络)和基于Transformer结构的预训练模型提供。LSTM在循环神经网络结构加入多种激活函数以提高模型性能，基于Transformer结构的预训练模型使用self-attention机制构建的编码器和解码器大量堆叠以实现模型的语义理解能力。随着Transformer语言模型结构的诞生，计算机科学领域中常用的语义服务都基于Transformer结构的模型提供。该类模型的预训练通常采用Masked Language Model(MLM)方法进行训练，并将预训练好的模型应用于特定任务，通过二次fine-tuning(微调)满足特定任务的需求。

相比于传统的RNN模型，Transformer可以解决梯度消失、并行计算困难的问题，通过Transformer中的Multi-Head-Attention机制可以有效的观测文本中各个最小单元文本之间的关联，而不仅仅假设当前文本段落和之前的n个文本段落相关。Transformer结构的语言模型的训练和应用需要满足以下几个需求：

(1)基于强大的计算资源才能正常训练，一般采用GPU或TPU进行训练。

(2)模型需要使用通用语料和MLM任务进行预训练，使其具备一定的语义理解功能。

(3)模型只能理解单独种类的语言，例如使用英文训练的模型无法使其具备中文的语义理解能力。

但两种设计方案均有缺陷，前者准确率不佳，难以实现并行计算，后者需要强大的算力进行预训练和针对下游任务微调。两种方法均无法实际应用于计算能力有限的边缘计算环境。

发明内容

为此，本申请实施例提供轻量化语义智能服务适配训练演化方法及系统，通过Replace Token Restore(RTR)预训练任务，使用动态自适配方法进行模型重构，一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种轻量化语义服务模型训练演化方法，所述方法包括：

将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；

将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；

获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；

使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；

将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；

基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。

可选地，所述恢复器Restorer模块采用多层编码层Encoder Layer堆叠，输出层使用多输出连接遮罩语言模型Masked Language Model和还原替换标记模型Replace TokenRestorer Model，所述遮罩语言模型Masked Language Model用于还原被替换的文本，所述还原替换标记模型Replace Token Restorer Model用于判别被伪造的文本位置；模型底部的双输出层为所述RTR任务的输出层，所述双输出层包括Word Embedding词嵌入层和Position Embedding位置编码层。

可选地，所述恢复器Restorer模块中的每个编码层Encoder Layer将结果输出至对应的决策器decision模块中，所述decision模块会对当前输出的结果和预测目标真实值进行CrossEntropy函数计算，计算得到当前损失，并将输出结果和预测目标真实值进行KL散度计算，以评估当前结果和真实值之间的分布差距。

可选地，所述基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整，包括：

开启Dynamic self-adjustment，针对下游任务进行fine-tuning训练，并提供相应的轻量化语义服务；当训练轮次大于轮次N时且C层的score小于score的阈值D，则[0,C-1]层足够拟合当前训练任务，将模型的C层以及之后的层全部删除，将当前层直接输出至Project投影层，以实现动态自适配。

可选地，所述Restorer模块还用于维护自身测量表，当自身测量表中存储了每一个编码器Encoder Layer层的Score，初始值均为0，所述score的计算由每层的决策器Decision模块决定，公式如下：

其中Epochs为当前训练的轮数。

根据本申请实施例的第二方面，提供了一种轻量化语义服务模型训练系统，所述系统包括：

生成器训练单元，用于将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；

输入文本单元，用于将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；

数据获取单元，用于获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；

恢复器训练单元，用于使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；

还原替换标记单元，用于将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；

动态自适配单元，用于基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。

可选地，所述恢复器Restorer模块采用多层编码层Encoder Layer堆叠，输出层使用多输出连接遮罩语言模型Masked Language Model和还原替换标记模型Replace TokenRestorer Model，所述遮罩语言模型Masked Language Model用于还原被替换的文本，所述还原替换标记模型Replace Token Restorer Model用于判别被伪造的文本位置；模型底部的双输出层为所述RTR任务的输出层，所述双输出层包括Masked Language Model遮罩语言模型输出层和Replace Token Restorer Model替换还原语言模型输出层。

可选地，所述恢复器Restorer模块中的每个编码层Encoder Layer将结果输出至对应的决策器decision模块中，所述decision模块会对当前输出的结果和预测目标真实值进行CrossEntropy函数计算，计算得到当前损失，并将输出结果和预测目标真实值进行KL散度计算，以评估当前结果和真实值之间的分布差距。

综上所述，本申请实施例提供了一种轻量化语义智能服务适配训练演化方法及系统，将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本申请实施例提供的轻量化语义服务模型训练演化方法流程示意图；

图2为本申请实施例提供的模型整体结构示意图；

图3为本申请实施例提供的Generator结构示意图；

图4为本申请实施例提供的Restorer结构示意图；

图5为本申请实施例提供的轻量化语义服务模型训练系统框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本申请实施例提供的轻量化语义服务模型训练演化方法，所述方法包括：

步骤101：将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；

步骤102：将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；

步骤103：获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；

步骤104：使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；

步骤105：将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；

步骤106：基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。

在一种可能的实施方式中，所述恢复器Restorer模块采用多层编码层EncoderLayer堆叠，输出层使用多输出连接遮罩语言模型Masked Language Model和还原替换标记模型Replace Token Restorer Model，所述遮罩语言模型Masked Language Model用于还原被替换的文本，所述还原替换标记模型Replace Token Restorer Model用于判别被伪造的文本位置；模型底部的双输出层为所述RTR任务的输出层，所述双输出层包括MaskedLanguage Model遮罩语言模型输出层和Replace Token Restorer Model替换还原语言模型输出层。

在一种可能的实施方式中，所述恢复器Restorer模块中的每个编码层EncoderLayer将结果输出至对应的决策器decision模块中，所述decision模块会对当前输出的结果和预测目标真实值进行CrossEntropy函数计算，计算得到当前损失，并将输出结果和预测目标真实值进行KL散度计算，以评估当前结果和真实值之间的分布差距。

在一种可能的实施方式中，所述基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整，包括：开启Dynamic self-adjustment，针对下游任务进行fine-tuning训练，并提供相应的轻量化语义服务；当训练轮次大于轮次N时且C层的score小于score的阈值D，则[0,C-1]层足够拟合当前训练任务，将模型的C层以及之后的层全部删除，将当前层直接输出至Project投影层，以实现动态自适配。

在一种可能的实施方式中，所述Restorer模块还用于维护自身测量表，当自身测量表中存储了每一个编码器Encoder Layer层的Score，初始值均为0，所述score的计算由每层的决策器Decision模块决定，公式(1)如下：

其中Epochs为当前训练的轮数。

图2示出了本申请实施例提供的轻量化网络模型整体系统图；关于轻量化网络模型的结构主要分为生成器Generator模块和恢复器Restorer模块，Generator模块用于生成伪造数据，Restorer模块用于对伪造的数据进行识别并还原，通过RTR预训练任务使得Restorer模块拥有较强的语义理解能力，而Generator模块本身则只用于辅助Restorer模块训练。具体的模型运行流程如下：

步骤1：将训练文本数据送入Generator模块，以文章为单位，通过该模块以5％的概率随机将每篇文本中的每个字替换为该位置上的合理字(有一定概率替换后和替换前的字是同一个字)。

步骤2：将训练数据通过Generator模块扩充为三元组(原文本、伪造文本、被伪造的位置)，其中被伪造的位置指被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0。

步骤3：将新的训练数据送入Restorer模块，将伪造文本作为输入，原文本和被伪造的位置作为预测标签，使得Restorer模块还原文本中被替换的字，并对伪造文本中哪些位置的字是被伪造的进行判断。

本申请实施例提供的Generator模块采用多层Encoder Layer堆叠，具体结构如图3所示：使用传统的遮罩语言模型(Masked Language Model，MLM)任务进行预训练，模型底部的双输出层(Masked Language Model遮罩语言模型输出层和Replace Token RestorerModel替换还原语言模型输出层)即为RTR任务的输出层。本申请实施例使用的Generator模块共3层Encoder结构，总参数为320万个。

需要说明的是，为了能够实现分布式训练，Generator模块并不和Restorer模块进行联合训练，而是单独进行训练，训练完成后进行文本伪造，伪造后的文本单独存储在设备闪存中。

本申请实施例提供的恢复器Restorer模块采用多层编码层Encoder Layer堆叠，输出层使用多输出连接，其中遮罩语言模型Masked Language Model用于还原被替换的文本，还原替换标记模型Replace Token Restorer Model用于判别被伪造的文本位置。恢复器Restorer模块结构如图4所示：

模型底部的双输出层(Masked Language Model遮罩语言模型输出层和ReplaceToken Restorer Model替换还原语言模型输出层)即为RTR任务的输出层。本申请实施例提供的恢复器Restorer模型采用12层编码器Encoder Layer，总参数为812万个。

下面介绍本申请实施例提供的决策器Decision模块。在微调阶段，Restorer模块中的每一个Encoder Layer层都会将结果输出至其对应的decision模块中，该模块会对当前输出的结果和预测目标真实值进行CrossEntropy函数计算，从而计算出当前损失，并将输出结果和预测目标真实值进行KL散度计算，评估当前结果和真实值之间的分布差距。

下面介绍本申请实施例提供的Dynamic self-adjustment动态自适配方法，通过Dynamic self-adjustment对模型计算结果的动态监控，实现对模型规模和训练进度的动态调整，使模型可以根据不同的应用场景和训练数据对模型规模和模型性能之间的平衡做动态的调整把控。

Restorer模块会维护一个自身的测量表(table)，当table中存储了每一个Encoder Layer层的Score，初始值均为0，该score的计算由每层的Decision模块决定，具体公式见上述公式(1)。

设定两个超参数：N：轮次；D：score的阈值。当训练轮次大于N时且C层的score小于D，可认为[0,C-1]层足够拟合当前训练任务，则将模型的C层以及之后的层全部删除，让该层直接输出至Project投影层，达到动态自适配的效果。

在一种可能的实施方式中，本申请实施例题提供的轻量化网络模型具体部署方式如下：

1.使用通用语料对Generator模型进行遮罩语言模型MLM任务训练。

2.将Generator模块部署在设备上，使用Generator模块对通用语料进行文本伪造。

3.使用伪造文本对Restorer模块进行RTR任务训练，此阶段不使用Dynamic self-adjustment。

4.将训练好的Restorer模块部署在设备上，开启Dynamic self-adjustment，针对具体的下游任务进行fine-tuning训练，并提供相应的轻量化语义服务(如文本分类、自然语言阅读理解等)，此阶段可抛弃RTR任务对应的双输出层。

需要说明的是，由于Generator进行伪造文本的过程和Restorer进行RTR任务训练的过程并不是真正意义上的联合训练，所以模型的部署允许采用分布式方案，一个Generator可以为多个Restorer提供数据。

本申请实施例通过将预训练模型进行拆分，微调和预测阶段可以只使用整体模型的一部分，有效的降低了模型的参数和计算量，使得模型可以进行分布式训练，部分模型(Generator模块)可以进行单例复用，降低了多模型同时训练时的计算量。

本申请实施例还提出了新的RTR预训练任务，增强了模型在判别方面的语义理解能力，能够有效的保证模型在较小的参数量下依然能有较好的性能。

本申请实施例还提出了Dynamic self-adjustment方法，通过对模型计算结果的动态监控以实现对模型规模和训练进度的动态调整，使模型可以根据不同的应用场景和训练数据对模型规模和模型性能之间的平衡做动态的调整把控。

综上所述，本申请实施例提供了一种轻量化语义服务模型训练演化方法、系统、设备及可读存储介质，将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力，另一方面减少了微调阶段模型的计算量和参数，使模型能够在边缘设备上进行微调和分布式动态适应训练。

基于相同的技术构思，本申请实施例还提供了一种轻量化语义服务模型训练系统，如图5所示，所述系统包括：

生成器训练单元501，用于将通用语料输入生成器Generator模型，以对所述Generator模型进行遮罩语言模型MLM任务训练；

输入文本单元502，用于将训练文本数据输入生成器Generator模块，所述Generator模块用于随机将每篇文本数据中的每个字替换为对应位置上的伪造字；

数据获取单元503，用于获取所述Generator模块生成的三元组数据，所述三元组数据包括原文本、伪造文本和被伪造的位置；其中被伪造的位置为被替换掉的字在原文本中的位置，使用one-hot编码表示，被替换的位置设置为1，未被替换的位置设置为0；

恢复器训练单元504，用于使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练；

还原替换标记单元505，用于将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签，输入所述恢复器Restorer模块，以使得所述Restorer模块还原文本中被替换的字，并对伪造文本中的伪造字进行识别；

动态自适配单元506，用于基于Dynamic self-adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。

在一种可能的实施方式中，所述恢复器Restorer模块采用多层编码层EncoderLayer堆叠，输出层使用多输出连接遮罩语言模型Masked Language Model和还原替换标记模型Replace Token Restorer Model，所述遮罩语言模型Masked Language Model用于还原被替换的文本，所述还原替换标记模型Replace Token Restorer Model用于判别被伪造的文本位置；模型底部的双输出层为所述RTR任务的输出层，所述双输出层包括MaskedLanguage Model遮罩语言模型输出层和Replace Token Restorer Model替换还原语言模型输出层。

在一种可能的实施方式中，所述恢复器Restorer模块中的每个编码层EncoderLayer将结果输出至对应的决策器decision模块中，所述decision模块会对当前输出的结果和预测目标真实值进行CrossEntropy函数计算，计算得到当前损失，并将输出结果和预测目标真实值进行KL散度计算，以评估当前结果和真实值之间的分布差距。

基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。