方言类型的确定方法、装置、设备及存储介质

摘要

本发明公开了一种方言类型的确定方法、装置、设备及存储介质，该方言类型的确定方法包括：获取语音信号；提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征；基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言。本发明实施例提供的技术方案通过语音信号的二维特征以及神经网络进行方言类型的确定，提高了方言确定的准确性，进而提高了语音识别的精度。

说明书

技术领域

本发明涉及语音识别技术领域，尤其涉及一种方言类型的确定方法、装置、设备及存储介质。

背景技术

不同的区域有着不同的方言，各个方言之间有很大的差异，为了便于对不同方言的语音进行有效、精准的识别，需要在语音识别之前，有效地识别语音的方言的类型。

现有的方言识别方法，大部分沿用语音识别的相关方法，如基于隐马尔卡夫模型和高斯混合模型的方法、CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等深度神经网络的方法等，这些方法均仅采用语音的单维语音特征，所提取的特征单一，导致方言分类的准确率较低，无法满足需求。

发明内容

本发明的主要目的在于提供一种方言类型的确定方法、装置、设备及存储介质，通过提取语音的多维特征，进行方言类型的识别，提高了方言类型识别的准确度。

为实现上述目的，第一方面，本发明实施例提供一种方言类型的确定方法，该方言类型的确定方法包括：

获取语音信号；提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征；基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型。

可选地，提取所述语音信号的语音特征，包括：

提取所述语音信号的梅尔频率倒谱系数特征；根据所述梅尔频率倒谱系数特征，提取所述语音信号的移位差分倒谱特征；将所述梅尔频率倒谱系数特征和移位差分倒谱特征进行组合，生成所述语音信号的二维语音特征。

相应的，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型，包括：

基于预设方言分类神经网络，根据所述二维语音特征确定所述语音信号的方言类型。

可选地，所述预设方言分类神经网络包括深度残差网络(Deep ResidualNetworks，ResNet)和基于自注意力机制的Transformer模型；相应的，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型，包括：基于所述深度残差网络，对所述语音特征进行卷积、池化和归一化操作，以提取所述语音特征的高层级特征；基于所述Transformer模型的自注意力机制对所述高层级特征进行时域相关，以生成模型特征；基于所述Transformer模型的输出层，根据所述模型特征确定所述语音信号的方言类型。

可选地，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型，包括：

基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的各个预设类型的类型概率；根据各个所述类型概率确定所述语音信号的方言类型。

可选地，在根据各个所述类型概率确定所述语音信号的方言类型之后，该方法还包括：

根据所述语音信号的方言类型，确定所述语音信号的语音识别算法；基于所述语音识别算法确定所述语音信号的语音文本；将所述语音文本输入各个预设类型对应的预设语言模型，以得到所述语音文本的各个预设类型对应的文本分数；根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确；若准确，则根据所述方言类型对所述语音信号进行语音识别。

可选地，所述预设语言模型为N元语法模型(N-gram语言模型)，将所述语音文本输入各个预设类型对应的预设语言模型，以得到所述语音文本的各个预设类型对应的文本分数，包括：

将所述语音文本输入各个预设类型对应的N元语法模型(N-gram语言模型)，以得到所述语音文本的各个预设类型对应的文本困惑度；针对每个预设类型，根据所述预设类型的文本困惑度确定所述语音文本的文本分数。

可选地，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确，包括：

基于逻辑回归模型，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确。

第二方面，本发明实施例还提供一种方言类型的确定装置，包括：

语音信号获取模块，用于获取语音信号；特征提取模块，用于提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征；方言类型确定模块，用于基于预设训练好的预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型。

第三方面，本发明实施例还提供一种方言类型的确定设备，所述方言类型的确定设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的方言类型的确定程序，所述方言类型的确定程序被所述处理器执行时实现如本发明第一方面对应的任意实施例提供的方言类型的确定方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有方言类型的确定程序，所述方言类型的确定程序被处理器执行时实现如本发明第一方面对应的任意实施例提供的方言类型的确定方法的步骤。

本发明实施例提供的方言类型的确定方法、装置、设备及存储介质，通过语音信号的二维特征，即梅尔频率倒谱系数特征及其移位差分倒谱特征，以及预先训练好的预设方言分类神经网络，进行语音信号的方言类型的确定，充分利用了语音的丰富的特征信息，提高了发音分类的准确度，有效减少了语言类型识别错误的几率，为后续的语音识别提供了良好的基础。

附图说明

图1是本发明实施例提供的方言类型的确定方法的一种应用场景图；

图2是本发明实施例提供的方言类型的确定方法的流程图；

图3是本发明图2所示实施例中步骤S202的流程图；

图4是本发明另一个实施例提供的方言类型的确定方法的流程图；

图5是本发明图4所示实施例提供的方言类型的确定方法的流程图；

图6是本发明实施例提供的方言类型的确定装置的结构示意图；

图7为本发明一个实施例提供的方言类型的确定设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面对本发明实施例的应用场景进行解释：

图1是本发明实施例提供的方言类型的确定方法的一种应用场景图，随着人工智能的不断发展，出现了很多包括智能语音识别模块111的电子设备110，用户A可以与该电子设备110进行语音交互。通常电子设备110的智能语音识别模块111往往需要将用户A输入的语音信号120转换为文本信息130，进而根据文本信息的内容进行响应。由于不同地方有着各自的方言，如闽语、粤语、客家语、东北官话等，不同的方言的发音方式不同，因此，为了提高语音识别的精度，智能语音识别模块111需要首先识别语音信号120的方言类型，进而基于该方言类型，采用该方言类型对应的语音识别算法进行用户语音信号的识别，生成文本信息。

随着深度学习算法的不断发展，CNN、RNN等神经网络也在方言分类领域得到了广泛地应用，然而，现有的基于深度学习的方言分类算法，大多仅利用语音的单维特征，如MFCC、FBank或者SIFT等特征，进行方言分类，分类准确度较低。

为了提高方言分类的准确度，本发明实施例提供的方言分类的确定方法的主要构思为：通过提取的语音信号的二维特征，即MFCC特征和MFCC特征的SDC(Shifted DeltaCepstra，移位差分倒谱)特征，将该二维特征输入预先训练好的预设方言分类神经网络中，基于该神经网络确定语音信号的方言类型，提高了方言分类的准确度。

图2是本发明实施例提供的方言类型的确定方法的流程图，如图2所示，该方言类型的确定方法包括以下步骤：

步骤S201，获取语音信号。

其中，语音信号可以是用户实时输入的用于进行交互的语音信号，或者外部导入的语音信号。

具体的，可以通过语音信号采集装置，如麦克风，获取语音信号。语音信号的方言类型可以是普通话，也可以是任意一种方言，如上海话、四川话、广东话等。

步骤S202，提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征。

其中，梅尔频率倒谱系数(MFCC)特征即为组成梅尔频率倒谱的系数的组合，MFCC特征可以通过梅尔滤波器组进行提取。移位差分倒谱(SDC)，又称为滑动差分倒谱，可以更好地表征语音信号的时序信息，可以根据语音信号的梅尔频率倒谱系数确定该语音信号的移位差分倒谱特征。

可选地，图3是本发明图2所示实施例中步骤S202的流程图，如图3所示，步骤S202包括以下步骤：

步骤S2021，提取所述语音信号的梅尔频率倒谱系数特征。

具体的，在进行语音特征提取之前，可以将语音信号进行分帧操作，以得到各帧语音子信号，其中，相邻两帧语音子信号之间可以存在重叠的部分；对各帧语音子信号进行傅里叶变换，将时域信号转换为频域信号；进而基于转换后的频域的各帧语音子信号，输入相应的梅尔滤波器；再对梅尔滤波器的输出进行取对数操作和离散余弦变换，便可以各个语音子信号的梅尔频率倒谱系数，即上述梅尔频率倒谱系数特征。

步骤S2022，根据所述梅尔频率倒谱系数特征，提取所述语音信号的移位差分倒谱特征。

具体的，在得到语音信号的梅尔频率倒谱系数特征之后，可以基于各个梅尔频率倒谱系数确定语音信号的移位差分倒谱特征。可以通过将梅尔频率倒谱系数输入移位差分倒谱特征对应的各个移位差分倒谱模块中，以输出语音信号的移位差分倒谱特征。

进一步地，假设该语音信号通过分帧操作，被划分为N帧语音子信号，第t帧语音子信号的MFCC特征为：

c(t)＝[c

其中，c(t)为第t帧语音子信号的MFCC特征，t＝1,2,3,…,N；n第帧语音子信号的梅尔频率倒谱系数c

令Δc(t,i)＝c(t+i*p+d)-c(t+i*p-d)，其中，0≤i≤k-1，k为移动差分倒谱模块的数量，p为相邻移位差分倒谱模块的帧移，d为帧间间隔，则相应的SDC特征SDC(t)为：

SDC(t)＝[Δc(t,0),Δc(t,1),Δc(t,2),…,Δc(t,k-1)]

计算各帧语音子信号对应的SDC特征，变得到语音信号的SDC特征。

步骤S2023，将所述梅尔频率倒谱系数特征和移位差分倒谱特征进行组合，生成所述语音信号的二维语音特征。

相应的，后续的步骤S203为：基于预设训练好的预设方言分类神经网络，根据所述二维语音特征确定所述语音信号的方言类型。

步骤S203，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型。

其中，预设方言分类神经网络是根据样本语音数据预先训练好的神经网络模块。方言类型即表示语音信号所属的方言的类型，如可以是闽南语类型、客家话类型、粤语类型等，还可以是以地区进行命名的分类方式，如四川话类型、上海话类型、东北话类型、北京话类型等。

具体的，预设方言分类神经网络的训练过程为：获取大量的各种类型的方言对应的语音数据组成样本数据，将样本数据划分为训练集、验证集和测试集，其中，训练集、验证集和测试集的比值可以是8:1:1、7:2:1、6:2:2或者其他比值，需要保证每个集合中均包括各种方言类型的语音数据，且尽可能均匀。接着，初始化预设方言分类神经网络的模型参数，基于该训练集对预设方言分类神经网络进行训练，通过反向传播不断修正模型的参数，当预设方言分类神经网络的损失函数输出的误差在预设范围内时，得到预设方言分类神经网络的模型参数。进而，通过验证集对预设方言分类神经网络进行验证，若验证通过，则通过测试集评估模型的准确度；若验证不通过，则调整预设方言分类神经网络的参数，重新进行训练。

可选地，所述预设方言分类神经网络包括深度残差网络和基于自注意力机制(self-attention)的Transformer模型。

具体的，深度残差网络可以是ResNet18网络，包括卷积层、池化层和归一化层。

相应的，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型，包括：

基于所述深度残差网络，对所述语音特征进行卷积、池化和归一化操作，以提取所述语音特征的高层级特征；基于所述Transformer模型的自注意力机制对所述高层级特征进行时域相关，以生成模型特征；基于所述Transformer模型的输出层，根据所述模型特征确定所述语音信号的方言类型。

具体的，将上述二维语音特征输入ResNet18网络，经过卷积、池化和归一化等操作自动提取时域频域高层级特征，进而将该高层级特征输入至Transformer模型中，通过Transformer模型的自注意力机制对该高层级特征进行时域相关，得到最终的模型特征，进而将该模型特征传输至输出层，通过输出层的softmax激活函数得到语音信号的方言类型。

在本实施例中，通过语音信号的二维特征，即梅尔频率倒谱系数特征及其移位差分倒谱特征，以及预先训练好的预设方言分类神经网络，进行语音信号的方言类型的确定，充分利用了语音的丰富的特征信息，提高了发音分类的准确度，有效减少了语言类型识别错误的几率，为后续的语音识别提供了良好的基础。

图4是本发明另一个实施例提供的方言类型的确定方法的流程图，本实施例是在图2所示实施例的基础上，对步骤S203的进一步细化，以及在步骤S203之后增加了对方言类型准确度判断的步骤，如图4所示，本实施例提供的方言类型的确定方法包括以下步骤：

步骤S401，获取语音信号。

步骤S402，提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征。

步骤S403，基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的各个预设类型的类型概率。

其中，预设类型可以是该预设方言分类模型所能识别的方言类型。类型概率越大则表示语音信号属于该预设类型的可能性越大。

具体的，预设方言分类神经网络的输出层可以包括M个节点，每个节点对应一种预设类型。进而可以根据该M个节点输出M个类型概率。

步骤S404，根据各个所述类型概率确定所述语音信号的方言类型。

具体的，可以直接将类型概率最大的预设类型确定为语音信号的方言类型。

进一步地，当类型概率中的最大值小于预设概率阈值时，进行识别错提示。

其中，预设概率阈值可以是60％、70％或者其他值。

步骤S405，根据所述语音信号的方言类型，确定所述语音信号的语音识别算法。

其中，语音识别算法(Automatic Speech Recognition，ASR)可以是用于将语音信号识别为文本信号的算法。

具体的，可以预先建立方言类型与语音识别算法的对应关系，进而根据语音信号的方言类型以及该对应关系，确定语音信号的语音识别算法。

步骤S406，基于所述语音识别算法确定所述语音信号的语音文本。

步骤S407，将所述语音文本输入各个预设类型对应的预设语言模型，以得到所述语音文本的各个预设类型对应的文本分数。

其中，预设语言模型可以基于神经网络的模型，还可以是基于现有的srilm工具的N-gram语言模型。文本分数可以是位于100以内的值，或者采用其他方式进行文本分数的描述。文本分数越大，则表示该语音文本属于相应的预设类型的可能性越高。

可选地，所述预设语言模型为N元语法模型(N-gram语言模型)型，将所述语音文本输入各个预设类型对应的预设语言模型，以得到所述语音文本的各个预设类型对应的文本分数，包括：

将所述语音文本输入各个预设类型对应的N-gram语言模型，以得到所述语音文本的各个预设类型对应的文本困惑度；针对每个预设类型，根据所述预设类型的文本困惑度确定所述语音文本的文本分数。

其中，文本困惑度(Perplexity)越大，则表示预设类型的N-gram语言模型越无法正确解读该语音文本，则其相应的文本分数越低，文本困惑度可以采用百分数表示，也可以采用数值表示。

具体的，可以建立文本困惑度与文本分数的对应关系，进而可以根据各个预设类型的文本困惑度以及该对应关系，确定各个预设类型的该语音文本的文本分数。

进一步地，文本分数可以是预设分数与文本困惑度的差值。其中，预设分数可以是100分或者其他值。

步骤S408，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确。

具体的，可以获取各个预设类型对应的类型概率和文本分数的差值，进而计算该差值的平均值和方差，若该差值的平均值方差位于预设范围内，则判断方言类型准确。

可选地，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确，包括：

基于逻辑回归(Logistics Regression，LR)模型，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确。

进一步地，当方言类型不准确时，还可以根据预设类型对应的类型概率对预设方言分类神经网络进行改进。

步骤S409，若准确，则根据所述方言类型对所述语音信号进行语音识别。

具体的，当方言类型准确时，则获取该方言类型对应的语音识别算法，根据该语音识别算法对语音信号进行语音识别，以得到识别结果。

示例性的，图5是本发明图4所示实施例提供的方言类型的确定方法的流程图，如图5所示，该方言类型的确定方法主要由3个模块执行：提取特征模块、分类模块和容错模块。其中，提取特征模块主要用于：将样本语音音频处理为wav格式；利用kaldi工具提取样本语音音频的MFCC特征；根据MFCC特征计算SDC特征；得到MFCC特征和SDC特征的特征组合。分类模块主要经由神经网络模型实现，主要用于：输入MFCC特征和SDC特征的特征组合；基于ResNet提取组合特征的时域频域的高层级特征；基于Transformer模型提取该高层级特征的时域特征；进而通过Softmax层输出分类结果，其中，分类结果包括N中方言类型的概率，以得到样本语音音频的方言类型，即分类结果。容错模块主要用于：预先针对各个方言类型，训练得到N个N-gram语言模型；对样本语音音频输入其方言类型对应的方言ASR系统，得到解码结果；将该解码结果输入各个N-gram语言模型，以得到模型输出的N个ppl；将N个ppl与分类模块输出的N个方言类型的概率进行组合，以得到第二组合特征；将该第二组合特征输入LR模型，以判断分类模块的分类结果是否准确。

在本实施例中，通过语音信号的二维特征，即梅尔频率倒谱系数特征及其移位差分倒谱特征，以及预先训练好的预设方言分类神经网络，确定语音信号的各个预设类型的类型概率，基于各个类型概率确定语音信号的方言类型，充分利用了语音的丰富的特征信息，提高了发音分类的准确度；同时，在确定语音信号的方言类型之后，增加了容错检查的步骤，即通过该方言类型对应的语音识别算法识别语音信号的语音文本，并通过各个预设类型对应的预设语言模型根据该语音文本，输出该文本的文本分数，进而通过比较预设方言分类神经网络输出的各个预设类型的类型概率和该文本分数，判断方言分类是否正确，进一步提高了方言分类的准确度，大大减少了语言类型识别错误的几率，为后续的语音识别提供了良好的基础，并且，可以根据类型概率和文本分数的比较结果改进预设方言分类神经网络，提高了网络模型的质量。

图6是本发明实施例提供的方言类型的确定装置的结构示意图，如图6所示，该方言类型的确定装置包括：语音信号获取模块610、特征提取模块620和方言类型确定模块630。

其中，语音信号获取模块610，用于获取语音信号；特征提取模块620，用于提取所述语音信号的语音特征，其中，所述语音特征包括梅尔频率倒谱系数特征和移位差分倒谱特征；方言类型确定模块630，用于基于预设训练好的预设方言分类神经网络，根据所述语音特征确定所述语音信号的方言类型。

本发明实施例提供的方言类型的确定装置，通过语音信号的二维特征，即梅尔频率倒谱系数特征及其移位差分倒谱特征，以及预先训练好的预设方言分类神经网络，进行语音信号的方言类型的确定，充分利用了语音的丰富的特征信息，提高了发音分类的准确度，有效减少了语言类型识别错误的几率，为后续的语音识别提供了良好的基础。

可选地，特征提取模块620，包括：

第一特征提取单元，用于提取所述语音信号的梅尔频率倒谱系数特征；第二特征提取单元，用于根据所述梅尔频率倒谱系数特征，提取所述语音信号的移位差分倒谱特征；特征组合单元，用于将所述梅尔频率倒谱系数特征和移位差分倒谱特征进行组合，生成所述语音信号的二维语音特征。

相应的，方言类型确定模块630，用于：

基于预设方言分类神经网络，根据所述二维语音特征确定所述语音信号的方言类型。

可选地，所述预设方言分类神经网络包括深度残差网络和基于自注意力机制的Transformer模型；方言类型确定模块630，具体用于：

基于所述深度残差网络，对所述语音特征进行卷积、池化和归一化操作，以提取所述语音特征的高层级特征；基于所述Transformer模型的自注意力机制对所述高层级特征进行时域相关，以生成模型特征；基于所述Transformer模型的输出层，根据所述模型特征确定所述语音信号的方言类型。

可选地，方言类型确定模块630，包括：

类型概率确定单元，用于基于预设方言分类神经网络，根据所述语音特征确定所述语音信号的各个预设类型的类型概率；方言类型确定单元，用于根据各个所述类型概率确定所述语音信号的方言类型。

可选地，该方言类型的确定装置还包括：

语音识别算法确定模块，用于在根据各个所述类型概率确定所述语音信号的方言类型之后，根据所述语音信号的方言类型，确定所述语音信号的语音识别算法；语音文本确定模块，用于基于所述语音识别算法确定所述语音信号的语音文本；文本分数获取模块，用于将所述语音文本输入各个预设类型对应的预设语言模型，以得到所述语音文本的各个预设类型对应的文本分数；分类判断模块，用于根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确；语音识别模块，用于若方言类型准确，则根据所述方言类型对所述语音信号进行语音识别。

可选地，所述预设语言模型为N-gram语言模型，所述文本分数获取模块，具体用于：

将所述语音文本输入各个预设类型对应的N-gram语言模型，以得到所述语音文本的各个预设类型对应的文本困惑度；针对每个预设类型，根据所述预设类型的文本困惑度确定所述语音文本的文本分数。

可选地，所述分类判断模块，具体用于：

基于逻辑回归模型，根据各个预设类型对应的类型概率和文本分数，判断所述方言类型是否准确。

本发明实施例所提供的方言类型的确定装置可执行本发明任意实施例所提供的方言类型的确定方法，具备执行方法相应的功能模块和有益效果。

图7为本发明一个实施例提供的方言类型的确定设备的结构示意图，如图7所示，该方言类型的确定设备包括：存储器710，处理器720以及计算机程序。

其中，计算机程序存储在存储器710中，并被配置为由处理器720执行以实现本发明图2-图5所对应的实施例中任意实施例提供的方言分类的确定方法。

其中，存储器710和处理器720通过总线730连接。

相关说明可以对应参见图2-图5的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本发明一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图2-图5所对应的实施例中任意实施例提供的方言分类的确定方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。