烟火检测方法、装置、烟火检测系统及电子设备

摘要

本公开提供了一种烟火检测方法，包括：从视频流中提取至少一幅图像；对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息；至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。本公开还提供了烟火检测装置、烟火检测系统、电子设备以及可读存储介质。

说明书

技术领域

本公开属于烟火检测技术领域，本公开尤其涉及一种烟火检测方法、装置、烟火检测系统、电子设备及存储介质。

背景技术

传统的烟火检测方法是基于传感器的烟雾探测器，这种方法需要烟雾达到一定的浓度且烟雾点距离烟雾探测器在一定范围内，所以烟雾探测器的应用有一定的限制。

传统的基于视频的烟火检测方法，大多先采用帧间差分法、背景建模法等检测出候选运动区域，再对候选运动区域提取特征，用分类器判定候选运动区域是否是烟火。这种提取候选运到区域的方式很不稳定，一个烟雾区域可能被分割成多个候选区域，无法准确提取烟雾区域的特征，也无法正确检测出烟火区域的大小。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种烟火检测方法、装置、烟火检测系统、电子设备及存储介质。

根据本公开的一个方面，提供一种烟火检测方法，包括：

从视频流中提取至少一幅图像；

对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息；

至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

输出所述至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

根据本公开的至少一个实施方式的烟火检测方法，对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息，包括：

使用烟火检测识别模型对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息。

根据本公开的至少一个实施方式的烟火检测方法，所述烟火检测识别模型通过以下步骤获取：

使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练，获得卷积神经网络图像识别模型。

根据本公开的至少一个实施方式的烟火检测方法，在使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练之前，对所述烟火样本集进行聚类计算，获取目标数量的烟火特征检测锚(anchors)。

根据本公开的至少一个实施方式的烟火检测方法，在所述模型训练的过程中，对所述烟火样本集中的烟火样本图像进行图像角度、图像饱和度和/或图像色调进行调整，以增加样本量。

根据本公开的至少一个实施方式的烟火检测方法，对所述卷积神经网络图像识别模型进行修正，包括：

使用所述卷积神经网络图像识别模型对至少一幅场景图像进行识别，收集误报图像，将所述误报图像作为负样本图像以更新所述负样本集；以及

至少基于更新后的负样本集对所述卷积神经网络图像识别模型进行修正。

根据本公开的至少一个实施方式的烟火检测方法，至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息，包括：

使用火情等级识别模型至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息。

根据本公开的至少一个实施方式的烟火检测方法，所述火情等级识别模型通过以下步骤获取：

使用所述烟火样本集的所有烟火样本图像的烟火特征区域图像作为火情等级识别样本集对卷积神经网络(CNN)进行模型训练，获得火情等级识别模型。

根据本公开的至少一个实施方式的烟火检测方法，所述火情等级识别样本集被预先标注至少两个火情等级。

根据本公开的至少一个实施方式的烟火检测方法，所述烟火样本集为预先标注了烟火特征的类别信息和烟火特征的区域信息的烟火样本集。

根据本公开的至少一个实施方式的烟火检测方法，所述负样本集中的预定数量的负样本图像均不具有烟火特征的图像。

根据本公开的至少一个实施方式的烟火检测方法，所述负样本集中包括误报图像。

根据本公开的至少一个实施方式的烟火检测方法，所述聚类计算使用k均值聚类算法(k-means)进行。

根据本公开的至少一个实施方式的烟火检测方法，所述视频流为视频获取装置获取的视频流。

根据本公开的至少一个实施方式的烟火检测方法，所述烟火特征的类别信息包括白烟、黑烟和/或火焰。

根据本公开的至少一个实施方式的烟火检测方法，所述烟火特征的区域信息为烟火特征的最小外接矩形或者最小外接圆形。

根据本公开的至少一个实施方式的烟火检测方法，所述火情等级至少包括一级火情、二级火情。

根据本公开的至少一个实施方式的烟火检测方法，输出所述至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息，包括：以预警信号的方式输出所述至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

根据本公开的另一个方面，提供一种烟火检测装置，包括：

图像提取模块，所述图像提取模块从视频流中提取至少一幅图像；

烟火检测识别模块，所述烟火检测识别模块对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息；

火情等级识别模块，所述火情等级识别模块至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

输出模块，所述输出模块输出所述至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

根据本公开的至少一个实施方式的烟火检测装置，烟火检测识别模块对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息，包括：

烟火检测识别模块使用烟火检测识别模型对所述至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取所述烟火特征的区域信息以及所述烟火特征的类别信息。

根据本公开的至少一个实施方式的烟火检测装置，所述烟火检测识别模型通过以下步骤获取：

使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练，获得卷积神经网络图像识别模型。

根据本公开的至少一个实施方式的烟火检测装置，在使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练之前，对所述烟火样本集进行聚类计算，获取目标数量的烟火特征检测锚(anchors)。

根据本公开的至少一个实施方式的烟火检测装置，在所述模型训练的过程中，对所述烟火样本集中的烟火样本图像进行图像角度、图像饱和度和/或图像色调进行调整，以增加样本量。

根据本公开的至少一个实施方式的烟火检测装置，对所述卷积神经网络图像识别模型进行修正，包括：

使用所述卷积神经网络图像识别模型对至少一幅场景图像进行识别，收集误报图像，将所述误报图像作为负样本图像以更新所述负样本集；以及

至少基于更新后的负样本集对所述卷积神经网络图像识别模型进行修正。

根据本公开的至少一个实施方式的烟火检测装置，至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息，包括：

使用火情等级识别模型至少基于所述烟火特征的区域信息和所述烟火特征的类别信息，对所述至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息。

根据本公开的至少一个实施方式的烟火检测装置，所述火情等级识别模型通过以下步骤获取：

使用所述烟火样本集的所有烟火样本图像的烟火特征区域图像作为火情等级识别样本集对卷积神经网络(CNN)进行模型训练，获得火情等级识别模型。

根据本公开的又一个方面，提供一种烟火检测系统，包括：

视频获取装置，所述视频获取装置用于获取目标检测区域的视频流；以及上述任一项所述的烟火检测装置，所述烟火检测装置对所述视频流中的烟火特征进行检测。

根据本公开的又一个方面，提供一种电子设备，包括：

存储器，所述存储器存储执行指令；以及

处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述任一项所述的烟火检测方法。

根据本公开的又一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一项所述的烟火检测方法。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开的一个实施方式的烟火检测方法的流程示意图。

图2是本公开的又一个实施方式的烟火检测方法的流程示意图。

图3是本公开的又一个实施方式的烟火检测方法的流程示意图。

图4是本公开的一个实施方式的硬件实现方式的烟火检测装置的结构示意图。

1000烟火检测装置

1002图像提取模块

1004烟火检测识别模块

1006火情等级识别模块

1008输出模块

1100总线

1200处理器

1300存储器

1400其他电路。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上“、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

图1是根据本公开的一个实施方式的烟火检测方法的流程示意图。

如图1所示，烟火检测方法100包括：

102、从视频流中提取至少一幅图像；

104、对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息；

106、至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

108、输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

其中，本公开的烟火检测方法中，视频流可以是通过监控设备(视频获取装置)获取的视频流。

本公开的烟火检测方法中，烟火特征的类别信息可以包括白烟、黑烟和/或火焰。

本公开的烟火检测方法中，烟火样本集为预先标注了烟火特征的类别信息和烟火特征的区域信息的烟火样本集。

本公开的烟火检测方法中，负样本集中的预定数量的负样本图像均不具有烟火特征的图像。

优选地，负样本集中包括误报图像。

图2是根据本公开的又一个实施方式的烟火检测方法的流程示意图。

如图2所示，烟火检测方法100包括：

102、从视频流中提取至少一幅图像；

104、使用烟火检测识别模型对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息；

106、至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

108、输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

根据本公开的优选实施方式，本公开的烟火检测识别模型通过以下步骤获取：

使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练，获得卷积神经网络图像识别模型。

其中，“预定数量”可以是预先设置的，例如9000张烟火样本图像(即包含烟火的图像)，9000张负样本图像(即不包含烟火的图像)。

预定数量的烟火图像可以来源于多种场景下的监控视频，视频场景包括森林火灾、城市火灾、工厂的烟气、草原炊烟、农村炊烟、农村的秸秆焚烧烟气等，烟火图像具有多样性，能有效的描述不同条件的烟火特征，其中，白烟、黑烟、火焰的样本图像各有若干张(例如各3000张)。

三个种类的烟火样本图像数量保证了样本的均衡。

预定数量的不包含烟火的负样本图像来源于容易产生误报的图像，比如包含云、安全帽等的图像，负样本图像不包含烟火。

上述各个实施方式中，优选地，在使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练之前，对烟火样本集进行聚类计算，获取目标数量(例如9个)的烟火特征检测锚(anchors)。

在烟火检测识别样本集上用k-means聚类计算适宜的anchors。

聚类计算出的anchors相比通用的anchors能有效提高检测精度。

示例性的，根据本公开的一个实施方式的九个anchors如下：

10，13；16，30；33，23；30，61；62，45；59，119；116，90；156，198；373，326。

根据本公开的优选实施方式，在模型训练的过程中，对烟火样本集中的烟火样本图像进行图像角度、图像饱和度和/或图像色调进行调整，以增加样本量，从而提高模型的精度。

例如，将预定数量(例如9000张)的烟火样本图像输入CNN检测网络，训练中通过调整样本图像的角度、饱和度、色调等增加样本量，迭代训练预定数量(例如60个)的epoch(即预定次数的完整训练过程)后收敛，得到烟火检测识别模型。

本公开的烟火检测方法，通过负样本的使用，模型的检测精度至少有5％的提升。

根据本公开的优选实施方式，上述各个实施方式中，对卷积神经网络图像识别模型进行修正，包括：

使用卷积神经网络图像识别模型对至少一幅场景图像进行识别，收集误报图像，将误报图像作为负样本图像以更新负样本集；以及

至少基于更新后的负样本集对卷积神经网络图像识别模型进行修正。

上述各个实施方式中，在模型训练过程中，将所有的烟火样本图像和所有的负样本图像按预定比例(例如8:1:1)分成训练集、测试集和验证集，用于上述的模型训练。

上述各个实施方式中，负样本图像的收集方式是用训练的模型测试各种场景的图片，收集产生误报的图像。

本公开通过使用训练的烟火检测识别模型测试各种场景的图像，收集误报图像，更新负样本训练集，用新的烟火检测识别样本集配合较小的学习率，对烟火检测模型做微调(finetune)。

通过反复的收集负样本，反复finetue模型，模型精度会被提升。

上述各个实施方式中，示例性的，烟火样本图像标注可以采用人工标注的方式进行，烟火样本图像标注了烟火的类别(label)和图像中烟火的最小外接矩形(或最小外接圆形)，负样本图像使用空的标注文件。

其中，最小外接矩形或最小外接圆形的使用是为了尽量的包围住烟火区域，同时包含的背景最少。

图3是根据本公开的又一个实施方式的烟火检测方法的流程示意图。

如图3所示，烟火检测方法100包括：

102、从视频流中提取至少一幅图像；

104、使用烟火检测识别模型对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息；

106、使用火情等级识别模型至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

108、输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

根据本公开的优选实施方式，火情等级识别模型通过以下步骤获取：

使用烟火样本集的所有烟火样本图像的烟火特征区域图像(外接矩形或者外接圆形)作为火情等级识别样本集对卷积神经网络(CNN)进行模型训练，获得火情等级识别模型。

上述实施方式中，火情等级识别样本集被预先标注至少两个火情等级。

优选地，本公开将火情等级分为一般火情、严重火情、特别严重火情共三个级别。

火情等级识别样本集例如共9000张图像，样本取自烟火检测识别样本集中外接矩形区域的提取图。

火情等级识别样本标注的标准可以是淡烟为一般火情，浓烟为严重火情，浓烟伴随大火为特别严重火情。

本公开将火情等级识别样本集按预定比例(例如8:1:1)分成训练集、测试集、验证集，用于火情等级识别模型的训练。

本公开利用了烟火检测识别的输出外接矩形，选取烟火区域的图像作为火情等级识别的样本，有效的提高火情等级识别的精度。

将火情等级识别样本输入CNN图像分类网络，迭代训练预定数量的(例如30个)epoch后收敛，得到火情等级识别模型。

上述各个实施方式中，输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息，包括：以预警信号的方式输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

本公开的烟火检测方法创建了全面多样的烟火样本集，有效的使用了负样本集，借助深度学习的特征提取能力，训练出烟火检测识别模型和火情等级识别模型，能快速精准的在监控视频中，定位烟火的位置，识别出烟火的种类，识别出火情的等级，实现有效的预警。

与传统方法相比，本公开的烟火检测方法具有更好的鲁棒性和泛化能力。

根据本公开的一个实施方式的烟火检测装置，包括：

图像提取模块1002，图像提取模块1002从视频流中提取至少一幅图像；

烟火检测识别模块1004，烟火检测识别模块1004对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息；

火情等级识别模块1006，火情等级识别模块1006至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息；以及

输出模块1008，输出模块1008输出至少一幅图像的烟火特征的区域信息、烟火特征的类别信息以及火情等级信息。

其中，图像提取模块1002从视频流中提取至少一幅图像可以是RGB图像。

优选地，烟火检测识别模块1004对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息，包括：

烟火检测识别模块1004使用烟火检测识别模型对至少一幅图像进行检测识别，判断图像中是否存在烟火特征，如果存在烟火特征，则获取烟火特征的区域信息以及烟火特征的类别信息。

优选地，烟火检测识别模型通过以下步骤获取：

使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练，获得卷积神经网络图像识别模型。

优选地，在使用具有预定数量的烟火样本图像的烟火样本集以及具有预定数量的负样本图像的负样本集以及卷积神经网络(CNN)进行模型训练之前，对烟火样本集进行聚类计算，获取目标数量的烟火特征检测锚(anchors)。

优选地，在模型训练的过程中，对烟火样本集中的烟火样本图像进行图像角度、图像饱和度和/或图像色调进行调整，以增加样本量。

优选地，对卷积神经网络图像识别模型进行修正，包括：

使用卷积神经网络图像识别模型对至少一幅场景图像进行识别，收集误报图像，将误报图像作为负样本图像以更新负样本集；以及

至少基于更新后的负样本集对卷积神经网络图像识别模型进行修正。

优选地，至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息，包括：

使用火情等级识别模型至少基于烟火特征的区域信息和烟火特征的类别信息，对至少一幅图像的火情等级进行识别，获取至少一幅图像的火情等级信息。

优选地，火情等级识别模型通过以下步骤获取：

使用烟火样本集的所有烟火样本图像的烟火特征区域图像(外接矩形或者外接圆形)作为火情等级识别样本集对卷积神经网络(CNN)进行模型训练，获得火情等级识别模型。

示例性地，烟火检测识别模块1004的输入是视频图像，进入训练好的烟火检测识别模型，计算烟火proposals的置信度，如果置信度大于阈值(例如0.6)，则判断视频图像中检测到烟火，输出是视频图像中烟火的外接矩形坐标和烟火的类别。

火情等级识别模块1006的输入是烟火样本图像的烟火区域图像，进入火情等级识别模型，计算火情各等级的置信度，选取置信度最大的火情等级类别作为火情等级输出。

烟火检测装置的输出模块1008整理烟火信息。当检测到烟火，烟火检测装置的输出模块1008输出预警信号，并输出烟火的坐标、烟火的种类、火情的等级。

本公开的一个实施方式的烟火检测系统，包括：

视频获取装置，视频获取装置用于获取目标检测区域的视频流；以及上述任一个实施方式的烟火检测装置，烟火检测装置对视频流中的烟火特征进行检测。

图4示出了硬件实现方式的烟火检测装置的结构示意图。

该烟火检测装置1000可以包括执行上述烟火检测方法中各个或几个步骤的相应模块。因此，可以由相应模块执行上述烟火检测方法中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。

图4中的烟火检测装置1000除了包括图像提取模块1002、烟火检测识别模块1004、火情等级识别模块1006以及输出模块1008，还可以包括处理器1200、存储器1300、总线1100、其他电路1400等。

烟火检测装置1000还可以包括其他模块。

模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。

总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。

应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的方法。

本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的方法。

在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。