法律状态公告日
法律状态信息
法律状态
2020-03-06
授权
授权
2017-11-24
实质审查的生效 IPC(主分类):G06K9/00 申请日:20170526
实质审查的生效
2017-10-27
公开
公开
技术领域
本发明属于数字图像及视频处理领域范畴,应用本发明的方法可以检测出火灾发生时视 频图像中的烟雾。
背景技术
火给人类带来光明和温暖,是人类迈向文明时代的标志,然而火若是在时间和空间上失 去控制的燃烧就会造成灾害。在各类灾害中,火灾最经常最普遍地危害公众安全和社会发展。 火灾不仅毁坏物质财产,还严重威胁着人的生命健康和安全,一旦发生会给我们造成不可挽 回的损失。因此,如果能够在火灾发生初期及早发现,并将其扑灭才可以最大限度的降低火 灾造成的危害。
传统的火灾报警系统一般是基于红外传感器或烟雾传感器的,这是目前来说比较成功 的,也是应用最为广泛的火灾报警器,但是这类报警器在室内大型仓库和室外大空间场所(如 机场、车站、购物中心)中,或存在强气流的地方,由于无法迅速采集火灾发出的烟温变化 信息,因此不能准确及时的发出报警信号,难以满足在火灾发生早期预警的要求。而且传感 器容易因外界环境的作用而发生老化或损坏,而导致出现事故后的漏报和误报现象发生。
目前,随着人们安防意识的不断增强,视频监控系统已经被广泛的安装在各种公共场所, 因此可以通过光学成像的视频烟雾探测技术来及早发现火灾隐患,其作用距离可以相对较 远,不需要等到烟雾接近或到达设备安装的地方便能感知其发生与否,而且响应速度也会较 快。现在基于视频的火灾预警研究中,很多是对火焰的识别,但是通过研究火灾发生的规律 可以知道,在火灾发生早期总是会先有大量烟雾产生,如果在视频画面中看到明火,通常火 灾已经开始了一段时间,或者有时候已到了不能掌控的阶段。所以“烟为火始”,火灾发生 的前期通常会产生烟雾,若能在视频中及时地检测到烟雾则可提供更早的火灾预警。
基于视频监控的火灾烟雾检测系统,安装在有需求的大空间场所中,可比传统的火灾探 测系统更有效的提高火灾预警的及时准确性。通过对摄像头采集到的视频序列图像进行智能 分析和判断,来实现实时自动的探测火灾。而且只要是在摄像头的视野范围内,都可被及时 的发现火灾隐患。
发明内容
本发明提出一种可以检测视频图像火灾烟雾的方法。技术方案如下:
一种基于稠密光流的视频图像烟雾检测方法,包括下列的步骤:
1)由混合高斯背景建模法提取运动区域
a)设当前帧的RGB图像为Ik,由混合高斯背景建模法得到其运动前景Sk;
b)对Sk进行形态学中的腐蚀和膨胀操作,然后利用Ostu算法计算经过形态学处理的Sk的图像分割阈值t,并分割出运动图像Blockk;
c)在Blockk中采用四相邻域标记法,提取连通区,并根据各连通区边界扩展形成一个外>
Rg={rg1,rg2,rg3...}
2)由帧差法提取运动区域
a)设当前帧的灰度图像为Gk,与之相邻的前一帧灰度图像为Gk-1,将Gk与Gk-1作差得到>k;
b)采用与步骤1)中同样的处理,得到当前帧中的多个运动区域:
Rs={rs1,rs2,rs3...}
3)对步骤1)和2)中的运动区域,合并有交集的运动区域,剔除没有交集的运动区域:
R={r1,r2,r3...}
4)对步骤3)中得到的运动区域分成上、中、下三个均等大小的矩形区域,对前后两帧中同一矩形区域的特征点进行跟踪,得其运动偏移量,即在所得到的矩形区域中计算稠密 光流,由此得到矩形区域中每个像素点的光流场;
5)对步骤3)中得到的运动区域分成上、中、下三个均等大小的矩形方块,利用Sobel 算子得到相应的梯度矢量;
6)对步骤4)和步骤5)得到的光流矢量和梯度矢量进行预处理,并将特征向量输入直 方图中进行提取相应的特征维数,将所得到的特征输入支持向量机进行训练和识别烟雾。
附图说明
附图为使用本发明算法得到的检测结果:
图1为运动区域的提取;
图2为对运动区域进行光流法,并使用平均偏移量和Mean-Shift算法处理后得到的光 流场。
图3(a)和(b)分别为烟雾光流失量相位直方图和人员走动光流失量相位直方图
图4本发明专利的算法流程图
具体实施方式
本发明专利通过观察烟雾运动的特性,提出一种基于稠密光流和边缘特征的烟雾检测算 法。该算法首先将彩色图像进行灰度化处理,从而缩小图像的数据、提高运行的效率,对所 得到的灰度图形用运动目标检测的方法得到运动物体的前景图像,对前景图像进行二值化处 理以及形态学滤波,然后利用混合高斯背景建模和帧差相结合的方法,提取运动区域。之后 将此运动区域池化为上、中、下三部分,并在每个池化区域提取光流矢量特征和边缘方向直 方图。考虑到烟雾运动在时域中的连续相关性,提取相邻三帧的烟雾特征向量以提高算法的 鲁棒性。最后使用支持向量机进行训练和检测烟雾。
以下说明基于稠密光流的视频图像烟雾检测方法的具体实施步骤:
1.图像的灰度化
将彩色图像转化成灰度图像的方法有:
a)取RGB分量的平均值
b)取RGB分量中数值最大的值作为灰度值。
GRAY=Max(R,G,B)
C)对RGB分量取加权平均,得到灰度值。
GRAY=ωrR+ωgG+ωbB
2.运动区域的提取
方法中运动前景的提取采用混合高斯背景建模和帧差相结合的方法。
假设当前帧的RGB图像为,由混合高斯背景建模法和帧差相结合的方法得到其运动前 景,为了消除孤立噪声点的影响,需要对进行形态学中的腐蚀和膨胀操作。然后利用Ostu 算法计算图像的分割阈值t,并分割出运动图像。最后,在所得到的多个分割出的运动图 像中采用四相邻域标记法,提取连通区,并根据各连通区边界扩展形成一个外接矩形区域R。
3.对图像边缘特征的提取
对步骤2中得到的运动区域R分成上、中、下三个均等大小的矩形方块,然后在上、中 下三个分块中提取相应的边缘特征。本发明根据实际中的应用情形,将运动区域分成上、中、 下三部分,原因如下:由于烟雾在扩散过程往往形成类似于“倒立三角形”的形状,底部烟 雾较为稀疏且光流场的相位分布较为集中,烟雾上部分较为稠密且随着空气流动向四周扩散 的轨迹明显。若没有进行分块则会丢失烟雾的空间分布信息,为了保留更多的空间特性,需 要对运动区域进行适当的池化。考虑到进行远距离烟雾视频拍摄时,画面中烟雾所占面积将 会减少,此时不宜将池化数量设置太大。具体提取方法下面进行说明。
如果以I代表原始图像,Gx=Sx*I代表经横向边缘检测的图像,Gy=Sy*I代表经纵向>x,Gy]T。所以每个像素点的梯度矢量为[Gx(x,y),Gy(x,y)]T,可以>T,即可以得到梯度的幅值m和幅角θ。相应的计算方法如下所>
θ(x,y)=arctan(Gx(x,y)/Gy(x,y))
为了消除方向符号对算法的影响以及减小特征向量的维数,本文中将在(180°,360°]范围的 梯度方向投射到[0°,180°]之间。然后将梯度方向在[0°,180°]之间的幅角均匀的量化为 θ1,θ2,θ3...θk,k个区间,即边缘方向直方图有k柱。其中k值可根据实际情况进行选取,k>k的梯度幅值相加得到,相应的计算方法如下所示:
式中,θk代表第k区间的取值范围。
通过下式进行归一化:
式中,Fk为第k区间的边缘方向特征归一化的结果,为了避免出现分母为零的情况,ε>
4.对图像光流特征的提取
对步骤2中得到的运动区域R分成上、中、下三个均等大小的矩形方块,然后在上、中 下三个分块中提取相应的光流特征,具体提取方法下面进行说明。
由于光流法对光照等因素比较敏感,以及其他因素对所得到的光流场将会产生影响,这 就需要对所得到的光流场进行处理。本发明方法中采用平均偏移量:利用运动分割算法获取 可疑运动目标,并对前后两帧运动目标的特征点进行跟踪,得其运动偏移量。假定某一区域 内有n个特征点,第i个特征点前后两帧的坐标分别为(xi,yi)、(x′i,y′i)。偏移量为Li,则
假设Ik为原始灰度图像,Ik+1为其对应的下一帧图像,R为步骤2得到的运动区域。对Ik和Ik+1图像中R区域的每个像素点Pi,j使用GunnarFarneback稠密光流法可得到相应的光流>x,i,j、Fy,i,j为光流场的水平分量和垂直分量,进而可以求得光流矢量的幅值和>
对于处理后的光流矢量F(x,y),根据下式求取相应的相位信息:
为了消除方向符号对算法的影响以及减小特征向量的维数,本文算法将在(π,2π]范围的 相位投射到[0,π]之间。
将Ang(Pi,j)的取值范围分成n等份,以便将Ang(Pi,j)量化。n的值可以根据需要选取,n越>k表示光流矢量的相位Ang(Pi,j)分布在第k区间内的个数,M表示所有光流矢量的>
通过归一化可得到n维的光流相位分布向量。
采用类似的方法可得到相应的光流幅值分布向量。
5.SVM支持向量机的融合
在具体实现中,综合考虑实际应用中的需求,本发明专利将运动区域R的原始灰度图 像I池化为上、中、下三部分,用(B0,B1,B2)表示,即N取值为3。在B0中将边缘方向直方图E0的维数设为9维,光流相位分布向量S0设为18维,光流幅值分布向量L0设为9维,则上>0={E0,S0,L0}的维数为36维。由于烟雾在B0和B1中运动轨迹均>1相应的特征向量维数设置和B0中一致,即烟雾特征向量>1={E1,S1,L1}的维数为36维。一般B2为烟雾运动的底层部分,此区域中烟雾较稀疏,因而将>2的维数设为9维,光流相位分布向量S2设为9维,光流幅值分布向量L2设>2={E2,S2,L2}的维数为24维。由上可得单帧烟雾>0,F1,F2}的维数是96。考虑到烟雾运动在时域上具有连续的相关性,本发明专利采用连续三帧图像的烟雾特征向量首尾相连,即总维数为96x3=288。
将所得到的总维数为288的特征向量输入支持向量机SVM进行训练和识别。
机译: 一种基于图像的特征和光流矢量的行人检测方法,摄像系统和机动车
机译: 烟雾检测装置,至少一种烟雾检测特征的检测方法以及计算机程序
机译: 烟雾检测装置,至少一种烟雾检测特征的检测方法以及计算机程序