应用于音频监控的音频场景分类方法、装置以及设备

摘要

本发明公开了一种应用于音频监控的音频场景分类方法、装置以及设备，本发明的构思在于针对现有音频场景分类方式耗时且浪费资源的问题，从两个方面解决，一方面是基于处理时效性，实时针对每一个音频分段进行质量研判，保证只对有效音频片段进行检测，并且是以音频片段作为处理单位，一旦检测出分类结果便终止对其他可用片段的处理，这样可以大幅减少不必要的检测过程；另一方面，利用RNN架构的特点在场景类型检测过程中无需再保存各音频片段的信息，仅需要将前一步处理结果作为后续处理的输入，这样可以充分节约资源空间。由此可见，本发明既能够保证处理时效，又能够使系统轻量化，从而可以灵活适用于各种规模的音频监控应用环境。

说明书

技术领域

本发明涉及音频监控领域，尤其涉及一种应用于音频监控的音频场景分类方法、装置以及设备。

背景技术

音频监控领域经过多年的发展，在优质的智慧安防系统中的作用已经凸显出其重要性。由于音频本身的技术特性不会受到视线障碍、光照不利等情况的干扰，可以弥补视觉的不足，为判定事态提供了多种信息，起到视频无法替代的作用。音频场景分析主要是为了分析、决策、预警当前监听环境下发生的异常行为。其核心技术是基于各类异常音频在时域、频域的特征，结合模式识别的分类方法对异常事件进行告警，而对音频信号中所携带的信息进行智能提取与分析，则是音频场景分类技术的关键环节。

针对音频监控领域而言，目前采用的方式是对输入音频信号进行分片处理，再对每个音频信号片段基于稀疏编码提取分类信息，并用校准模型对提取到的分类信息进行校准。接着通过分类模型对每个音频信号片段进行预分类，再对预分类结果进行融合得到融合分类信息，最后对所有音频片段的融合分类信息进行统计分析，获得目标分类结果。

但是经分析发现，现有对于音频监控领域中的场景分类过程既耗费处理时间又耗费处理资源，很难适应某些特定应用环境的需求。

发明内容

鉴于上述，本发明旨在提供一种应用于音频监控的音频场景分类方法、装置以及设备，以及相应地提供了一种计算机可读存储介质和计算机程序产品，能够有效解决音频监控领域所需的场景分类处理既耗时又耗费资源的问题。

本发明采用的技术方案如下：

第一方面，本发明提供了一种应用于音频监控的音频场景分类方法，其中，包括：

对采集到的当前音频数据进行实时分段，得到若干音频片段；

在分段过程中实时根据所述音频片段的质量，判定出当前所述音频片段是否可用；

对判定为可用的所述音频片段实时提取音频特征，并根据预先基于循环神经网络架构训练的场景分类模型进行场景分类检测；

当基于至少一个所述音频片段确定出场景分类结果时，结束对所述当前音频数据的处理。

在其中至少一种可能的实现方式中，所述场景分类检测的过程如下：

对可用的所述音频片段进行转换，得到相应的频谱图；

提取所述音频片段的辅助声学特征；

基于所述频谱图及其N阶差分谱以及所述辅助声学特征，得到所述音频片段与预设的若干场景音频类型在声学层面上的匹配度；

根据所述匹配度确定场景分类结果。

在其中至少一种可能的实现方式中，所述辅助声学特征包括：环境噪声特征和/或语音发音特征。

在其中至少一种可能的实现方式中，所述方法还包枯：

如果基于当前输入的所述音频片段未检测出分类结果，则判断检测过程是否超出预设的第一计时；

若超时，则终止对所述当前音频数据的处理，并重新采集新的音频数据；

若未超时，则继续对下一段所述音频片段进行检测。

在其中至少一种可能的实现方式中，在所述结束对所述当前音频数据的处理之后，所述方法还包括：

在经过预设的第二计时后，继续采集新的音频数据并进行上述处理。

在其中至少一种可能的实现方式中，所述在分段过程中实时根据所述音频片段的质量，判定出当前所述音频片段是否可用包括：

实时计算当前所述音频片段的短时能量值；

根据所述短时能量值与预设的能量阈值的关系，判定当前所述音频片段是否可用。

第二方面，本发明提供了一种应用于音频监控的音频场景分类装置，其中，包括：

分段模块，用于对采集到的当前音频数据进行实时分段，得到若干音频片段；

音频片段筛选模块，用于在分段过程中实时根据所述音频片段的质量，判定出当前所述音频片段是否可用；

场景类型检测模块，用于对判定为可用的所述音频片段实时提取音频特征，并根据预先基于循环神经网络架构训练的场景分类模型进行场景分类检测；

处理终止模块，用于当基于至少一个所述音频片段确定出场景分类结果时，结束对所述当前音频数据的处理。

在其中至少一种可能的实现方式中，所述场景类型检测模块包括：

频谱特征获取单元，用于对可用的所述音频片段进行转换，得到相应的频谱图；

辅助声学特征获取单元，用于提取所述音频片段的辅助声学特征；

匹配度计算单元，用于基于所述频谱图及其N阶差分谱以及所述辅助声学特征，得到所述音频片段与预设的若干场景音频类型在声学层面上的匹配度；

分类结果确定单元，用于根据所述匹配度确定场景分类结果。

在其中至少一种可能的实现方式中，所述辅助声学特征包括：环境噪声特征和/或语音发音特征。

在其中至少一种可能的实现方式中，所述装置还包括处理时效监控模块，所述处理时效监控模块具体包括：

检测超时判定单元，用于如果基于当前输入的所述音频片段未检测出分类结果，则判断检测过程是否超出预设的第一计时；

循环处理单元，用于当所述检测超时判定单元输出为是时，终止对所述当前音频数据的处理，并重新采集新的音频数据；

延续处理单元，用于当所述检测超时判定单元输出为否时，继续对下一段所述音频片段进行检测。

在其中至少一种可能的实现方式中，所述装置还包括：循环处理模块；

所述循环处理模块用于在所述结束对所述当前音频数据的处理之后，在经过预设的第二计时后，继续采集新的音频数据并进行上述处理。

在其中至少一种可能的实现方式中，所述音频片段筛选模块包括：

能量计算单元，用于实时计算当前所述音频片段的短时能量值；

音频片段筛选单元，用于根据所述短时能量值与预设的能量阈值的关系，判定当前所述音频片段是否可用。

第三方面，本发明提供了一种应用于音频监控的音频场景分类设备，其中，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机至少执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第五方面，本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机执行时，用于至少执行第一方面或者第一方面的任一可能实现方式中的所述方法。

在第五方面的至少一种可能的实现方式中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。

本发明的构思在于针对现有音频场景分类方式耗时且浪费资源的问题，从两个方面解决，一方面是基于处理时效性，实时针对每一个音频分段进行质量研判，这样可以保证只对符合质量标准的有效音频片段进行检测，并且为了保证时效是以音频片段作为处理单位，一旦基于当前音频片段实时检测出分类结果便终止对输入音频的其他可用片段的处理，上述片段质量筛选以及单位处理策略，可以大幅减少不必要的检测过程，从而解决检测耗时问题；另一方面，利用RNN架构的特点在场景类型检测过程中无需再保存各音频片段的信息，仅需要将前一步处理结果作为后续处理的输入，这样可以充分节约资源空间。由此可见，本发明能够大幅缩短整个检测时间，保证处理时效，并且又能够使系统轻量化，从而可以灵活适用于各种规模的音频监控应用环境。

进一步地，在本发明的一些实施例中考虑从声学层面入手，匹配输入音频与特定的各类场景音频的声学相关性，而无需进行音频具体内容的识别，从而可以减轻检测负担，提升处理时效。

进一步地，在本发明的一些实施例中还对检测环节设置了计时机制，从而可以确保处理时间能够更为符合既定的时效要求，以此可以更佳地适应各种音频监控所需。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的应用于音频监控的音频场景分类方法的实施例的流程图；

图2为本发明提供的场景分类方法的优选实施例的流程图；

图3为本发明提供的应用于音频监控的音频场景分类装置的实施例的示意图；

图4为本发明提供的应用于音频监控的音频场景分类设备的实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在对本发明具体技术方案介绍之前，再对现有处理思路的弊端进行具体说明，如前所述，现有方法会导致整个处理过程较为耗时，例如整段音频被分为10个片段，编号为1～10，但实际包含特定音频场景信息的片段仅为4～8，现有处理方式则需要延时到第10个片段处理完成后才会输出最终的场景分类结果。

再者，现有场景分类方式需要保存每个音频片段的预分类信息，因为其需要汇总预分类信息后才能对融合分类信息进行统计处理，而且由于需要对每一个分片都进行处理，这样，现有方案必然导致需要占用掉大量的内存与CPU资源，由此，也就难以在小型的诸如边缘计算节点上运行此方案。

另外，还可以指出的是，某些现有场景分类方式还会因为音频分段不完整导致最终分类结果的准确度受到影响，例如输入音频被分为100个片段，编号为1～100，而包含特定音频场景信息的片段为3～6，在进行场景类型检测时如果以每5个片段作为处理单元，例如1～5段切为一个处理单元，6～10段切为一个处理单元，则会因为音频信息不完整导致预测结果出现偏差。

有鉴于此，发明人考虑对上述两种尝试思路进行整合，以期同时规避求解复杂、成本较高、信息缺失的问题。具体地，本发明提供了一种应用于音频监控的音频场景分类方法的实施例，参照图1所示，具体可以包括：

步骤S1、对采集到的当前音频数据进行实时分段，得到若干音频片段。

本步骤涉及的音频分段方式可以借鉴现有技术，对此本发明不作赘述，而需要指出的是，本发明为了提供一种音频监控的快速处理方案，对于时效的考虑在此步骤体现在实时进行分段，也即是一旦采集到输入一端持续的音频数据便可以在采集过程进行的同时，按照预定的切分长度，将输入的当前音频数据进行分割处理。

步骤S2、在分段过程中实时根据所述音频片段的质量，判定出当前所述音频片段是否可用。

同样地，为了确保整个处理过程的时效，在此步骤中一方面体现为在前述分割音频片段的过程中同步地对已分割出的音频片段进行质量评估；另一方面体现在设计对各个已分割音频片段进行质量评估的目的是，在执行类型检测之前淘汰掉一些无效的音频信息，从而可以确保后续检测对象的数量足够精简，且能够使得检测结果的准确度更高。而具体的质量评估方式以及质量考察指标则可以因需而定，例如但不限于信噪比、混响因素、音频能量等，例如在本发明某些实施例中，实时计算分割后的当前音频片段的短时能量值，然后根据所述短时能量值与预设的能量阈值的大小关系，判定出该当前音频片段是否为可用的，也即是在分割音频的同时实时判定出该音频片段是否符合预设的质量要求，对于那些不符合要求的音频片段则可以抛弃掉。

此外，还需指出的是，关于前述能量评估本身，例如对于短时能量的计算，则可以参考已有的相关技术，本发明对此不作赘述。

步骤S3、对判定为可用的所述音频片段实时提取音频特征，并根据预先基于循环神经网络架构训练的场景分类模型进行场景分类检测。

同样地，为了确保整个处理过程的时效，在此步骤中体现在一旦经前述步骤判定出当前音频片段是有效的，则可以实时地送入此检测环节，从声学层面提取诸如频率、振幅、相位、音调、响度、音色、听觉等特征，再由RNN架构的场景分类模型进行场景类型检测。这里需要进一步指出的是，本实施例强调RNN模型并不是随意选择，即并不是任意采用多种神经网络架构，而是基于前文提出的现有场景分类方案耗时耗资源的问题，经由分析特定选择的模型架构，由于RNN模型的特点是不用记录所有输入及运算结果，而可以仅由在先运算的中间结果作为后续运算的输入，因而能够充分缓解资源压力，而在实际操作中，本领域技术人员可以理解的是本实施例所称RNN是一个上位概念，其可以涵盖RNN或者基于RNN思想的改进形式或变体形式等，例如LSTM、GRU等，因而本发明并限定实际所用的循环神经网络的具体形式。

而这里需要补充说明的是一些优选的实现方式参考，如图2所示的一种场景分类检测方法示例，可以包括如下步骤：

步骤S31、对可用的所述音频片段进行转换，得到相应的频谱图；

步骤S32、提取所述音频片段的辅助声学特征；

步骤S33、基于所述频谱图及其N阶差分谱以及所述辅助声学特征，得到所述音频片段与预设的若干场景音频类型在声学层面上的匹配度；

步骤S34、根据所述匹配度确定场景分类结果。

在该实施例中给出了可参考的优选音频特征：频谱图及其N阶差分特征以及作为辅助的其他声学特征，这里需先说明的是，本发明并不限定输入的当前音频数据的类型，可以是任一种已知音频，包括但不限于人类语音，因为音频监控领域涉及的应用环境多种多样，有些是基于语音场景，有些是基于特定音频场景，因此在实际操作中，本实施例提及的频谱图可以因应用环境进行调整，例如在针对语音环境进行音频监控时，所述频谱图可以转化为语谱图，并且这里所述辅助声学特征也可以实际所需而设置，例如包括但不限于环境噪声特征和/或语音发音特征，即如果是非语音应用环境，则无需考虑所述语音发音特征，而只将环境噪声特征作为场景分类的辅助声学信息，而如果是语音应用环境，则可以同时考虑环境噪声特征和语音发音特征，也可以单独考虑使用语音发音特征作为辅助分类信息；当然，在某些特定应用中，没有可用的所述辅助声学特征，那么该辅助声学特征可以默认为空，本发明对此不作限定。

而为了便于理解该优选实施例，此处仅以一个具体实现方式进行举例：

实时接收到第t个有效定长语音片段(记作D

对以上实施例的介绍还需要指出的是，关于前文涉及的特征提取、频谱图转化、N阶差分的计算以及模型训练等，皆可以参考现有的成熟技术方案，本发明对此不作赘述。

步骤S4、当基于至少一个所述音频片段确定出场景分类结果时，结束对所述当前音频数据的处理。

按照同样的设计脉络，在此步骤中依然体现出了本发明确保时效性的构思，由于前述步骤是实时送入检测环节，并实时针对送入的片段进行检测，因而一旦经由对当前音频片段的检测便可以得到符合类型匹配标准的结果时，则可以不再进行前述音频分段、质量筛选以及对后续其他可用音频片段的处理，也即是终止对所述当前音频数据的分类处理，这样也可以避免由于一些不必要的处理导致的处理时间较长的问题以及耗费运算资源的问题。

当然，进一步地为了提升本发明关注的时效问题，在一些其他的优选实施例中，本发明还在前述整个处理过程中插入了计时机制。例如但不限于如下示例：如果基于当前的一个音频片段并未检测出最终的分类结果，那么需要判断整个检测过程是否超出了预设的第一计时时间，一旦超时，则终止对所述当前音频数据的处理，并重新采集新的音频数据，也即是不在当前音频数据耗费过多的时间和资源，继续获取当前应用环境的音频数据(例如发音人持续提供的语音)；如果并未超时，则可以继续接收当前音频数据的下一段可用的音频片段继续进行场景类型检测，对该段音频片段检测后假设仍未获得分类结果，则可以再次执行前述超时判定。

最后，还可以进一步补充的是，，本发明在其他实施例中考虑在获得最终分类结果后并继续采集之后的音频数据之前，进入一个静止态，也即是为下一阶段的音频分类检测提供缓冲和标识，具体的实现手段可以借鉴前文提及的计时策略，即在对当前音频数据分类检测完成后，可以经过一个预设的第二计时之后，再继续采集新的音频数据并执行前述各项实施例及优选方案，对此本发明可不作限定。

综上所述，本发明的构思在于针对现有音频场景分类方式耗时且浪费资源的问题，从两个方面解决，一方面是基于处理时效性，实时针对每一个音频分段进行质量研判，这样可以保证只对符合质量标准的有效音频片段进行检测，并且为了保证时效是以音频片段作为处理单位，一旦基于当前音频片段实时检测出分类结果便终止对输入音频的其他可用片段的处理，上述片段质量筛选以及单位处理策略，可以大幅减少不必要的检测过程，从而解决检测耗时问题；另一方面，利用RNN架构的特点在场景类型检测过程中无需再保存各音频片段的信息，仅需要将前一步处理结果作为后续处理的输入，这样可以充分节约资源空间。由此可见，本发明能够大幅缩短整个检测时间，保证处理时效，并且又能够使系统轻量化，从而可以灵活适用于各种规模的音频监控应用环境。

相应于上述各实施例及优选方案，本发明还提供了一种应用于音频监控的音频场景分类装置的实施例，如图3所示，具体可以包括如下部件：

分段模块1，用于对采集到的当前音频数据进行实时分段，得到若干音频片段；

音频片段筛选模块2，用于在分段过程中实时根据所述音频片段的质量，判定出当前所述音频片段是否可用；

场景类型检测模块3，用于对判定为可用的所述音频片段实时提取音频特征，并根据预先基于循环神经网络架构训练的场景分类模型进行场景分类检测；

处理终止模块4，用于当基于至少一个所述音频片段确定出场景分类结果时，结束对所述当前音频数据的处理。

在其中至少一种可能的实现方式中，所述场景类型检测模块包括：

频谱特征获取单元，用于对可用的所述音频片段进行转换，得到相应的频谱图；

辅助声学特征获取单元，用于提取所述音频片段的辅助声学特征；

匹配度计算单元，用于基于所述频谱图及其N阶差分谱以及所述辅助声学特征，得到所述音频片段与预设的若干场景音频类型在声学层面上的匹配度；

分类结果确定单元，用于根据所述匹配度确定场景分类结果。

在其中至少一种可能的实现方式中，所述辅助声学特征包括：环境噪声特征和/或语音发音特征。

在其中至少一种可能的实现方式中，所述装置还包括处理时效监控模块，所述处理时效监控模块具体包括：

检测超时判定单元，用于如果基于当前输入的所述音频片段未检测出分类结果，则判断检测过程是否超出预设的第一计时；

循环处理单元，用于当所述检测超时判定单元输出为是时，终止对所述当前音频数据的处理，并重新采集新的音频数据；

延续处理单元，用于当所述检测超时判定单元输出为否时，继续对下一段所述音频片段进行检测。

在其中至少一种可能的实现方式中，所述装置还包括：循环处理模块；

所述循环处理模块用于在所述结束对所述当前音频数据的处理之后，在经过预设的第二计时后，继续采集新的音频数据并进行上述处理。

在其中至少一种可能的实现方式中，所述音频片段筛选模块包括：

能量计算单元，用于实时计算当前所述音频片段的短时能量值；

音频片段筛选单元，用于根据所述短时能量值与预设的能量阈值的关系，判定当前所述音频片段是否可用。

应理解以上图3所示的应用于音频监控的音频场景分类装置可中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明所涉及的技术构思可适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种应用于音频监控的音频场景分类设备。该设备具体可以包括：一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或者等效实施方式的步骤/功能。

图4为本发明提供的应用于音频监控的音频场景分类设备的实施例的结构示意图，其中，该设备可以为服务器、台式PC、笔记本电脑、智能终端等。

具体如图4所示，应用于音频监控的音频场景分类设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得应用于音频监控的音频场景分类设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。

进一步地，上述设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。

应理解，该设备900中的各个部件的操作和/或功能，具体可参见前文中关于方法、系统等实施例的描述，为避免重复，此处适当省略详细描述。

应理解，图4所示的应用于音频监控的音频场景分类设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics ProcessingUnit；以下简称：GPU)等，具体在下文中再作介绍。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的应用于音频监控的音频场景分类方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备，并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。