一种基于视频的火灾烟雾和抛洒物检测方法及系统

摘要

本申请提供了一种基于视频的火灾烟雾和抛洒物检测方法及系统，属于视频检测技术领域，所述方法包括：采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。本申请的方案实现了检测识别效率和准确率的平衡。

说明书

技术领域

本申请涉及视频检测技术领域，具体而言，涉及一种基于视频的火灾烟雾和抛洒物检测方法及系统。

背景技术

为了保障人民的生命财产安全，我们已经建设了超过2亿个摄像头。如何充分利用这些摄像头进行异常事件的自动发现是一个重要课题。这其中有大量的摄像头是用来监控城市道路和高速公路的，而在这些场景中，火灾烟雾和路面的抛洒物无疑是其中重要的需检测事件。对火灾烟雾和路面抛洒物的早发现早处理是监控系统应该具备的重要能力。

本申请的申请人通过检索现有技术发现了如下相关专利文献：专利文献1（CN101339602B）公开了一种基于光流法的视频火灾烟雾图像识别方法，该方法用光流算法进行火灾烟雾识别，然而计算量过大，而且光流算法不适用于烟雾的识别，因此对“烟雾”这一重要因素的区分能力较弱，达不到实战水平。专利文献2（CN102201146B）公开了一种基于主动红外视频的零照度环境火灾烟雾识别方法，然而，该方法主要依赖于红外视频，存在误报较高、感应距离不足的问题。专利文献3（CN101441771B）公开了一种基于色彩饱和度与运动模式的视频火灾烟雾检测方法，该方法基于彩色饱和度与运动模式，容易受到光照、天气等影响，且不易与烟雾相似物体区分，因此方法的漏检率和误检率都达不到实用标准。专利文献4（CN109147254A）公开了一种基于卷积神经网络的视频野外火灾烟雾实时检测方法，该方法采用了基于图像特征的分类算法而缺乏视频运动信息，在实际场景中，仅有静态图像信息难以区分烟雾和云层、火灾和车灯等目标，因此存在较高误检。专利文献5（CN111127507A）公开了一种抛洒物的确定方法和系统，该方法采用基于图像特征的背景提取方法，无法规避路面其它目标物的影响，误检较高。专利文献6（CN111709938A）公开了一种基于深度图的路面缺陷及抛洒物检测方法，该方法采用了D-RGB相机，利用了深度信息来解决路面建模和抛洒物检测，但是需要新建D-RGB相机设备，普适性不高。专利文献7（CN111582070A）公开了一种高速公路视频抛洒物检测的前景提取方法，该方法用混合高思模型对路面进行建模，然后用背景剪除和前景提取的方法来检测抛洒物。该方法没有充分利用视频信息，误检较高。专利文献8（CN111523536A）公开了一种基于Faster RCNN的自适应路面抛洒物智能检测方法，该方法采用基于深度学习的目标检测方法来检测抛洒物，但是该方法的实时性差，而且没有利用时序信息，难以区分抛洒物和其它影响因素。专利文献9（CN111274982A）公开了一种抛洒物的识别方法、装置及存储介质，该方法用了视频中的车辆轨迹和车道线信息，但是没有使用抛洒物的视频维度信息，因此检测抛洒物的精度不高。可见，现有技术中虽然已经存在了一些基于视频识别的事件检测方法，但仍然存在诸多缺点，还难以大规模广泛推广使用。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供了一种在监控视频场景下采用视频事件检测框架进行火灾烟雾和抛洒物检测的方案，实现了监控视频下的火灾烟雾和抛洒物的高效自动检测。

本申请的第一方面提供了一种基于视频的火灾烟雾和抛洒物检测方法，所述方法包括：

采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；

采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。

可选地，所述连续背景建模模块采用高斯混合模型动态建模背景区域。

可选地，所述前景目标提取模块利用帧间差信息提取出所述前景目标。

可选地，所述人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，包括：

所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率

可选地，所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块。

可选地，对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，包括：

所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口特征；所述视频事件识别子模块调用3D卷积模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的卷积特征，还调用光流模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的光流特征，并分别得出判别结果；所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出。

可选地，所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出，包括：

若所述3D卷积模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，且所述光流模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，则输出识别结果为所述疑似火灾烟雾或抛洒物目标为火灾烟雾和抛洒物；否则输出识别结果为所述疑似火灾烟雾或抛洒物目标为人/车。

本申请的第二方面提供了一种基于视频的火灾烟雾和抛洒物检测系统，所述系统包括连续背景建模模块、前景目标提取模块、人车目标过滤模块、识别模块；

所述连续背景建模模块，用于动态建模背景区域；

所述前景目标提取模块，用于基于所述背景区域提取出前景目标；

所述人车目标过滤模块，用于从所述前景目标中提取出疑似火灾烟雾或抛洒物目标；

所述识别模块，用于对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。

本申请的第三方面提供了一种电子设备，该电子设备包括存储器和处理器，该存储器上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本申请的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本发明的有益效果在于：

本申请的方案先采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标，如此设置，可以实现对疑似火灾烟雾或抛洒物目标的初判，从而不需要对所有前景对象进行后续的深度识别，降低了视频分析算法的计算频率，能够显著减少计算开销。同时，还采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，如此还通过进一步的深度识别保障了事件识别的准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种基于视频的火灾烟雾和抛洒物检测方法的流程示意图。

图2是本申请实施例公开的一种基于视频的火灾烟雾和抛洒物检测系统的结构示意图。

图3是本申请实施例公开一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

实施例一

请参阅图1，图1是本申请实施例公开的一种基于视频的火灾烟雾和抛洒物检测方法的流程示意图。如图1所示，本申请实施例的一种基于视频的火灾烟雾和抛洒物检测方法，所述方法包括：

采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；

采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。

在本申请实施例中，通过连续帧的背景建模来提取疑似火灾烟雾或抛洒物目标的感兴趣区域，再对提取出的前景目标进行疑似初判，从而降低了视频分析算法的计算频率，能够显著减少计算开销，还可以保障事件识别的准确率、检全率。

可选地，所述连续背景建模模块采用高斯混合模型动态建模背景区域。

可选地，所述前景目标提取模块利用帧间差信息提取出所述前景目标。

可选地，所述人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，包括：

所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率

在本申请实施例中，可通过图像人车检测模型将人/车识别出并进行标注，如果前景目标位置是人/车的话，则应当与标注框高度重合，否则就应当是火灾烟雾或抛洒物。本申请的上述判断方式简单高效，可以快速实现对疑似火灾烟雾或抛洒物目标的初步筛选。

可选地，所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块。

可选地，对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，包括：

所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口特征；所述视频事件识别子模块调用3D卷积模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的卷积特征，还调用光流模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的光流特征，并分别得出判别结果；所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出。

在本申请实施例中，本申请的方案采用的是two-stream架构，即该架构的一部分用于处理RGB图像，另一部分用于处理光流图像。本申请所采用的two-stream架构包括3D卷积模型和光流模型。具体而言：无论是火灾烟雾还是抛洒物，其均具备明显区别于背景目标和正常的人/车的外观属性和运动属性，例如，火灾烟雾的外形轮廓明显不同于人/车，其运动特性是随机的，抛洒物的外形轮廓也是明显不同于人/车，其运动特性是跳动的且跳动方向大体与车辆的运动方向相同（尤其是抛洒物从车辆上被抛出后的前期时段），针对火灾烟雾或抛洒物的上述外观属性和运动属性特点，本申请采用3D卷积模型RGB图像获得外观属性、采用光流模型处理光流图像获得运动属性，从而进行融合检测识别，使得得出的检测结果可有效降低随机因素导致的误检。

其中，对于时空窗口特征，具体的实现方法是：假设一个疑似火灾烟雾或抛洒物目标在图像帧f

当然，对于3D卷积模型和光流模型是需要进行预先训练的，可以基于所选定的属性信息，将对应的视频帧信息分别输入3D卷积模型和光流模型进行迭代训练、优化，为了提高检测识别能力，还应当大量不同的物体燃烧、不同抛洒物的视频帧进行训练。

另外，对于检测识别逻辑来说，既可以是正向识别，此时需将火灾烟雾或抛洒物的视频帧作为训练集来对应训练3D卷积模型和光流模型，相应地，后续识别时也是将火灾烟雾或抛洒物特征输入3D卷积模型和光流模型与预训练时得到的优化后火灾烟雾或抛洒物特征进行比对分类，以判断疑似火灾烟雾或抛洒物目标是属于火灾烟雾还是抛洒物；还可以是逆向识别（也即排除识别），此时需将人/车的视频帧作为训练集来对应训练3D卷积模型和光流模型，相应地，后续识别时将火灾烟雾或抛洒物特征输入3D卷积模型和光流模型与预训练时得到的优化后火灾烟雾或抛洒物特征进行比对分类，以判断疑似火灾烟雾或抛洒物目标是否不属于人/车。而针对逆向识别方法，则需要进一步区分火灾烟雾和抛洒物，可以通过检测疑似火灾烟雾或抛洒物目标是否具备火灾烟雾和抛洒物的显著特征来判断，例如，当疑似火灾烟雾或抛洒物目标还具备外形轮廓随机属性时可区分为火灾烟雾，当疑似火灾烟雾或抛洒物目标的运动属性为连续翻转跳跃时可区分为抛洒物。对于火灾烟雾与抛洒物的区分来说，还可以在3D卷积模型和光流模型的判别结果的基础上基于前述获得的时空窗口，比如，若基于时空窗口得出疑似火灾烟雾或抛洒物目标的运动范围相对固定或变化较慢，则可以认定为火灾烟雾，否则可认定为抛洒物。

可选地，所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出，包括：

若所述3D卷积模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，且所述光流模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，则输出识别结果为所述疑似火灾烟雾或抛洒物目标为火灾烟雾和抛洒物；否则输出识别结果为所述疑似火灾烟雾或抛洒物目标为人/车。

在本申请实施例中，在3D卷积模型、光流模型分别从不同的角度得出检测结果后，还需要进行融合处理，例如，采用上述逻辑判断的方式，即当疑似火灾烟雾或抛洒物目标的外观属性和运动属性不属于人/车时，说明此时该疑似火灾烟雾或抛洒物目标大概率就是火灾烟雾或抛洒物，可以给出认定结果，提醒管理人员进行处理、人工再识别等后续操作。

当然，还可以采用加权的方式进行融合，此时3D卷积模型和光流模型的输出就不再是检测结论，而是评估值：设定3D卷积模型判定疑似火灾烟雾或抛洒物目标为不属于人/车目标的评估值为A、设定光流模型判定疑似火灾烟雾或抛洒物目标为不属于人/车目标的评估值为B，则融合评估值为R=αA+βB，其中，α、β为各自的权重，α+β=1，且α、β并非常数值，而是基于检测结果实时可变的，其计算原则为：当3D卷积模型输出的评估值A高于阈值Ath1且光流模型输出的评估值B低于阈值Bth1时，说明外观属性上来看疑似火灾烟雾或抛洒物目标更像火灾烟雾或抛洒物，此时设置权重α>β以提高外观属性的权重；当3D卷积模型输出的评估值A高于阈值Ath1-Ath2之间且光流模型输出的评估值B处于阈值Bth1-Bth2之间时，说明不能明显得出外观属性与运动属性谁更像火灾烟雾或抛洒物的结论，此时设置权重α、β为设定值，该设定值可以基于对火灾烟雾或抛洒物外观属性和运动属性显著性、可靠性的判定经验预先设置；当3D卷积模型输出的评估值A低于阈值Ath1且光流模型输出的评估值B高于阈值Bth1时，说明运动属性上来看疑似火灾烟雾或抛洒物目标更像火灾烟雾或抛洒物，此时设置权重α<β以提高外观属性的权重。另外，对于预先设定权重情况之外的情况，可基于常规的调整因素来设置合适的调整公式、参照表等计算出权重α、β的实时值，本申请对此不作限定。

另外，为了进一步提高识别结果的准确性，在输出识别结果之前，还可对融合结果进行如下处理： 预先分别选定火灾烟雾/抛洒物的两个显著特征x、y，基于所述显著特征计算所述融合结果的真实概率，计算方式如下：

其中，Π(CNN_x,OF_y)表示CNN_x 、OF_y 所有可能的联合概率分布的集合，W(CNN_x,OF_y)表示事件CNN_x和事件OF_y之间的距离， γ表示特征x发生在CNN_x中、特征y发生在OF_y中这两个事件同时发生的概率。

若距离值W(CNN_x,OF_y)小于设定值，则可以认定融合结果中显著特征x、y同时发生了，此时即可判断识别结果是准确的，可直接输出识别结果。其中，设定值可以基于经验值或实验比对预先标定。

在本申请实施例中，本申请采用火灾烟雾/抛洒物的两个显著特征x、y的距离来检验融合结果的准确性，例如，可以设定显著特征x为火灾烟雾轮廓的随机运动属性，设定显著特征y为连续翻滚跳动运动轨迹。基于上述公式即可计算得出3D卷积网络模型所针对的外观属性中检测到特征x、光流模型所针对的运动属性中检测到特征y同时发生的概率，然后再基于上述联合分布求出所有特征x与特征y距离的期望，找到使这个期望最小的联合分布，这个期望的下确界就是CNN_x 和OF_y之间的距离。

通过上述校验步骤，本申请的方案明显包括三个检测识别流程，即采用two-stream架构从不同的角度进行第一次识别，对两个识别结果进行融合以完成第二次识别，对融合结果进行校验以实现第三次识别，经过三次识别之后，本申请的火灾烟雾/抛洒物的检测识别结果可以得到充分的肯定，误检率可以显著的降低，也就大大减少了虚警的出现。

实施例二

请参阅图2，图2是本申请实施例公开的一种基于视频的火灾烟雾和抛洒物检测系统的结构示意图。如图2所示，本申请实施例的一种基于视频的火灾烟雾和抛洒物检测系统，所述系统包括连续背景建模模块、前景目标提取模块、人车目标过滤模块、识别模块；

所述连续背景建模模块，用于动态建模背景区域；

所述前景目标提取模块，用于基于所述背景区域提取出前景目标；

所述人车目标过滤模块，用于从所述前景目标中提取出疑似火灾烟雾或抛洒物目标；

所述识别模块，用于对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。

可选地，所述连续背景建模模块采用高斯混合模型动态建模背景区域。

可选地，所述前景目标提取模块利用帧间差信息提取出所述前景目标。

可选地，所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率

可选地，所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块；

其中，所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口；所述视频事件识别子模块调用3D卷积模型对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的卷积特征，还调用光流模型所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像以提取所述疑似火灾烟雾或抛洒物目标的光流特征，并分别得出判别结果；所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出。

可选地，所述识别模块用于：若所述3D卷积模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，且所述光流模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，则输出识别结果为所述疑似火灾烟雾或抛洒物目标为火灾烟雾和抛洒物；否则输出识别结果为所述疑似火灾烟雾或抛洒物目标为人/车。

实施例三

请参阅图3，图3是本申请实施例公开的一种电子设备，其特征在于：所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。

实施例四

本申请实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。