首页> 中国专利> 基于多级分块的交通视频智能识别背景建模方法

基于多级分块的交通视频智能识别背景建模方法

摘要

本发明公开了一种基于多级分块的交通视频智能识别背景建模方法,用于解决现有技术中,视频监控中的背景建模方法对于前景目标物较多或者光线变化的复杂环境效果并不理想。该建模方法主要包括两个阶段:背景训练和前景提取两部分,两个阶段顺序进行,即首先通过训练阶段得出较为完整的背景模型,再进入前景检测阶段得到前景目标物。在背景训练中,本实施例融合了帧差法、对称局部二值法、分块密码本算法和分块法,采用多级的方式来对视频背景进行训练。对已经训练完成的背景采用背景差法提取前景目标物。

著录项

  • 公开/公告号CN105631405A

    专利类型发明专利

  • 公开/公告日2016-06-01

    原文格式PDF

  • 申请/专利权人 谢寒;蒋阳升;

    申请/专利号CN201510955922.2

  • 发明设计人 谢寒;蒋阳升;

    申请日2015-12-17

  • 分类号G06K9/00;G06T7/00;

  • 代理机构成都顶峰专利事务所(普通合伙);

  • 代理人任远高

  • 地址 610000 四川省成都市金牛区长庆东一路2号1栋1单元5楼1号

  • 入库时间 2023-12-18 15:50:57

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-12-07

    授权

    授权

  • 2016-07-06

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20151217

    实质审查的生效

  • 2016-06-01

    公开

    公开

说明书

技术领域

本发明涉及一种视频监控中的背景建模方法,尤其是涉及一种基于多级分块的交 通视频智能识别背景建模方法。

背景技术

在智能视频监控领域,为了得到较为完整的前景目标物,较多采用背景差法。场景 中较为固定的部分被认为是背景,由于前景目标物的存在,直接获取背景往往不可行,只有 通过背景建模的方法来重建背景。因此,背景建模是视频智能识别的一项关键技术。国内外 的研究已经提出大量的建模方法。但是,在复杂环境下,如前景目标物较多,背景有扰动的 情况下,这些方法得出的前景目标物不太理想,直接导致前景目标物的误检、漏检。特别是 在交通场景中,前景目标物较多、天气变化造成光线突变化等情况较多,使得背景建模和前 景识别较为困难。前景目标物误检和漏检直接导致对交通流参数的统计不准确,进而直接 导致智能交通监测、交通流预测以及交通事故预警等方面的效率低下。如何通过建立完整 的背景模型而获取较好的前景目标物识别效果在交通视频智能监控中是非常关键的。

目前,背景建模方法建立在统计学基础上,从不同的层面考虑可以做不同的分类, 如从模型参数的角度有关分为参数建模和非参数建模两类,从建模面积的角度分为像素建 模和子块建模两类,从时空角度分为时域建模和空域建模两类等。不同角度的考虑带来不 同建模分类,每个模型从不同的分类属于不同的类型。现有技术中,使用较多的是结合不同 分类的不同模型来构建联合模型,所得模型的效果较相对单一的模型好。

早期采用较多的方法是均值法和中值法。这两种方法属于时域范围的基于像素的 非参数建模方法,由于方法较为简单,到目前仍然在一定程度上使用。其中,均值法累加多 帧像素再对其进行平均,累加的帧数决定了背景的质量;这种方法只需要进行累加,运算速 度较快,一般来说,帧数累积越多,重建的背景越接近真实效果,同时图像越模糊。中值法对 多帧视频像素取中值,需要较大的空间来进行视频帧的保存。均值法和中值法中对于前景 目标较少的视频,得出的背景较为接近真实背景,然而,对于前景目标物较多的视频,所得 到的背景均出现拖尾现象。之后,Stauffer等的混合高斯模型(MixtureOfGaussian,MOG) 出现,这种时域范围的基于像素的参数方法由于其采用学习策略来适应背景变化,相比之 前的方法有较大改进,得到广泛使用。MOG模型采用多个高斯模型来描述单个像素,通过每 个高斯模型的参数更新来适应背景的逐渐变化。但是,混合高斯模型比较适合缓慢变化的 背景,而对变化剧烈背景(如光照、天气的剧烈变化)容易把背景和噪声检测为前景目标,而 且算法较为复杂,参数建模所需运算量巨大,所需时间较多,同时需要保存视频帧,所需空 间较大。

以上方法对于多个背景的情况效果不好,为了更好的适应多背景的情况,Kim等i 采用了码本(codebook,CB)建模法,CB建模法是一种时域范围的基于像素的非参数建模方 法。对视频图像的每个像素用码本表示,每个码本包含多个码字,码字由样本的颜色差和亮 度差聚类而成,对多背景的处理较好,但其需要对图像的像素进行记录,占用存储空间较 大。基于像素的建模方法至今使用的仍然很多,但是仅仅从单个像素来进行考虑和甄别,割 裂图像的空间特性,导致前景目标物不完整,故而导致误检、漏检情况。早在1979年,Robert MitchellandDelp,EdwardJ.就提出块编码(blocktruncationcoding,BTC)方法,主要 用于图片编码和解码方面。BTC方法充分考虑了图形的空间特性,但是,解码出来的图像与 编码前的图像相比存在分块的问题,特别是对图像的边缘部分,不是很准确。而BTC主要是 从图像的像素方面着手考虑,故而对像素较为接近的前景和背景不能很好区分。直到Marko Heikkila等才把局部二值模式(Localbinarypattern,LBP)用于背景提取。LBP是一种空 域的基于子块的非参数的背景建模法,通过对一定半径圆区域求解纹理,建立纹理直方图, 把纹理的直方图作为特征向量,比对直方图,更新各个直方图的权重,得到B个可能为背景 的纹理直方图。将新输入的视频帧与纹理直方图进行比对后可以识别前景目标和背景。接 下来,张玲等证实了LBP算子对阴影的检测非常有效。但是,LBP算子直方图维数为2P(其中p 为选取为邻域点的数量),领域点的选取对于LBP算子来说很重要,如果领域点较少,得出的 纹理不是很准确,领域点越多则得出的纹理越准确。随着领域点选取数量的增多,直方图维 数激增,需要进行大量的计算。为了减少LBP直方图维数Heikkila等提出了对称二值模式算 子(Center-symmetricLocalbinarypattern,CSLBP),相比较之前LBP算子,采用对称算 子纹理直方图仅为2p/2计算量大大减少,但由于该方法基于区域求解,目标前景的边缘处 可能会包含较多背景。考虑图像同时具有时域和空域的特性,GuoJ.M.等把CB建模法用于 分块的基础上,采用BTC方法,把图像分成等大小不重叠的块,对每一块采用四个颜色均值 参数来表征特征,组成特征向量,并对其赋予不同权重。新的视频帧输入时,通过对特征向 量的匹配得出是背景还是前景的判断。该方法对图像进行区域考量,得出的前景目标出现 块状特征。针对这一问题,解文华等结合参数和非参数建模以及像素和子块两个方面,提出 对判断为前景的目标物及其周边像素采用高斯建模的方式进行进一步判断。得到较为光滑 的前景目标物边缘。但是,该方法仅对前景目标进行像素级高斯建模,对于移动较快的前景 目标物判断不是很准确。

综上所述,现有技术中,视频监控中的背景建模方法对于前景目标物较多或者光 线变化的复杂环境效果并不理想。

发明内容

本发明的目的在于克服上述缺陷,提供一种适用于前景目标物较多或者光线变化 的复杂环境的基于多级分块的交通视频智能识别背景建模方法。

为了实现上述目的,本发明采用以下技术方案:

一种基于多级分块的交通视频智能识别背景建模方法,包括以下步骤:

(1)背景训练

(11)采用帧间差分法对视频图像进行处理,得到二值图像的步骤;

(12)分块:对二值图像进行多级分块的步骤;

(13)对分块所得的每一分块求取均值,所有像素点均值为0则进行CB特征向量以 及CSLBP特征值的更新或/和记录的步骤:

(131)若某一分块中所有像素点均值为0,初步认为可能是背景,用CSLBP算法进行 特征值提取;

(132)将提取的CSLBP特征值与该分块已有特征值进行比对,如果CSLBP特征值存 在,则对CSLBP特征值进行更新,并用CB算法提取CB特征值,如果该CB特征值存在则直接更 新,如果CB特征值不存在则对其进行记录;如果CSLBP特征值是不存在,则执行下一步;

(133)采用CB分块法提取CB特征值,将CB特征值与该分块已有特征值进行比对,如 果是CB特征值存在,则对CB特征值进行更新,并对CSLBP特征值进行记录,如果CB特征值不 存在,则进行下一步;

(14)重复步骤(11)~(13),直至完成视频图像背景帧所有块的背景建模;

(2)前景检测

(21)对输入的每一帧采用背景差法求取二值图像;

(22)对步骤(21)所得到的二值图像每一个位置求取像素点均值,均值为0则可能 为背景,进行背景比对,如果是已经存在的背景则确认为背景,如果该背景不存在,则进行 CSLBP纹理和CB特征检测,只要有一个符合即认为是已有背景,否则进行记录和更新;对于 均值不为0的部分进行CSLBP检测,如果不符合背景则认为是前景,如果符合背景纹理,则进 行CB特征向量检测,如果亦符合则认为是背景,否则认为是前景。

(23)重复步骤(21)~(22)完成视频图像所有帧的前景检测。

所述步骤(131)中CSLBP特征值由以下公式求得

Tt(s(g0,g4),s(g1,g5),...,s(gp2-1,gp-1))---(1)

s(gi,gi+p/2)=1,gigi+p/20,gi>gi+p/2---(2)

CSLBP(gc)=Σi=0p/2s(gi,gp/2)2i---(3)

式中,T表示纹理,其中,gc是中心点,gi(i=0,1,2,…,p-1)表示以gc为中心的邻域 点。s(gi,gi+p/2)经过二值化处理的像素得到一个二值化的值,此处的处理的点是gc的对称 领域点。CSLBP(gc)对向量的各个元素使用因子2i的进行加权得到的CSLBP特征值。

所述步骤(132)中CB特征向量表征:V={μht,μhb,μlt,μlb},采用以下面公式求得:

μht=Σi=1IΣj=1J(xij|xijμh)Σi=1IΣj=1J1,xijμh0,others---(4)

μhd=Σi=1IΣj=1J(xij|xij<μh)Σi=1IΣj=1J1,xij<μh0,others---(5)

μlt=Σi=1IΣj=1J(xij|xijμl)Σi=1IΣj=1J1,xijμl0,others---(6)

μld=Σi=1IΣj=1J(xij|xij<μl)Σi=1IΣj=1J1,xij<μl0,others---(7)

μh=Σi=1IΣj=1J(xij|xijμ)Σi=1IΣj=1J1,xij<μ0,others---(8)

μl=Σi=1IΣj=1J(xij|xij<μ)Σi=1IΣj=1J1,xij<μ0,others---(9)

μ=1I×JΣi=1IΣj=1Jxij---(10)

式中,xij为图像F(i,j)的第i行第j列的像素值,μht为较高亮度,μhb为高亮度,μlt为 低亮度,μlb为较低亮度,μh为高亮度和μl为低亮度,μ为该块的平均像素

所述步骤(12)的具体方法如下:以9x9为最小块模板分为3层,第一层分为81x81的 块,对于不能被81整除的部分则分为27x27和/或9x9的块。

在所述步骤(13)中:对每一分块求取像素点均值,均值为0则进行CB特征向量以及 CSLBP特征值的更新或/和记录,直到找不到均值为0的块,进入第二层;针对第一层均值不 为0的块分为27x27,寻找均值为0的块进行CB特征向量以及CSLBP特征值的更新或/和记录, 直到找不到均值为0的块进入第三层,未寻找完的块分为9x9的块进行寻找,直到完全寻找 到为止。

在背景训练中,在每一次新的二值图像输入时,对之前已经找到过的分块求像素 点均值,均值为0则进行CSLBP纹理直方图比对,采用巴氏距离进行匹配,更新向量及权值。

d(H1,H2)=1-ΣiH1(i)·H2(i)ΣiH1(i)·ΣiH2(i)---(11)

H1,t=(1-α)H1,t+1+αH2,t(12)

式中,d(H1,H2)巴氏距离,H1为已经存在的直方图,H2为新输入帧的直方图。当距离 d<D时认为达到匹配。其中,D为经验阈值,D为0是认为全匹配,为0.55时为半匹配,经过对多 个视频进行检测,发现,D取0.4时效果最好,故算法中D取0.4。对于匹配的背景,为更新 后的直方图,H1,t+1为更新前的直方图,H2,t为新输入的直方图,α为学习因子。

不论CSLBP直方图比对是否匹配,都必须进行CB特征向量比对。如果CSLBP直方图 匹配,直接进行CB特征向量比对,如果CB特征向量匹配,则直接进行权值和向量的更新。如 果CSLBP特征值匹配,而CB特征值不匹配,则对CB特征值直接记录。如果CSLBP特征值不匹 配,CB特征向量匹配则对CB特征向量和权值进行更新,并对CSLBP特征值进行记录。如果 CSLBP特征值不匹配,CB特征向量也不匹配则继续寻找。CB特征向量的匹配与更新以及CB特 征向量的权重更新如下列公式所示:

D(vti,vk,ti)=Σj=14(vtji-vk,tji)2---(13)

vk,t+1i=(1-αv)vk,ti+αvvti---(14)

ωk,t+1i=(1-αω)ωk,ti+αωMk---(15)

式中,为欧式距离,如果小于距离阈值TD则认为与背景匹配,否 则进行背景添加。表示第i个子块的第t+1个时刻的第k个特征向量,表示已有的第 i个子块的第t个时刻的第k个特征向量,表示目前检测到的第i个子块的第t个时刻的第k 个特征向量。αv为模型的学习因子。更新后第k个特征向量的权重,为更新前第k个 特征向量的权重,αω为模型的学习因子,Mk为匹配值,特征向量匹配时为1,否则为0。

与现有技术相比,本发明的有益效果在于:

本发明融合了帧差法、对称局部二值法、分块密码本算法和分块法,采用多级的方 式来对视频背景进行训练,对已经训练完成的背景采用背景差法提取前景目标物,可完成 效果良好的前景目标物较多或者光线变化的复杂环境效果下的建模,从而有效地克服了现 有技术所存在的缺陷。

附图说明

图1为本发明的流程示意图。

图2为测试例1中实验对比图。

具体实施方式

下面结合实施例对本发明作进一步说明。本发明的实施方式包括但不限于下列实 施例。

实施例

本实施例提供了一种基于多级分块的交通视频智能识别背景建模方法,该方法主 要包括,两个阶段:背景训练和前景提取两部分,两个阶段顺序进行,即首先通过训练阶段 得出较为完整的背景模型,再进入前景检测阶段得到前景目标物。在背景训练中,本实施例 融合了帧差法、对称局部二值法、分块密码本算法和分块法,采用多级的方式来对视频背景 进行训练。对已经训练完成的背景采用背景差法提取前景目标物。

下面对每个阶段进行详细描述:

背景训练

(11)采用帧间差分法对视频图像进行处理,得到二值图像的步骤;

(12)分块:对二值图像进行多级分块的步骤;

分块的具体方法如下:以9x9为最小块模板分为3层,第一层分为81x81的块,对于 不能被81整除的部分则分为27x27和/或9x9的块。

(13)对分块所得的每一分块求取均值,所有像素点均值为0则进行CB特征向量以 及CSLBP特征值的更新或/和记录的步骤,其具体方法如下:

(131)若某一分块中所有像素点均值为0,初步认为可能是背景,用CSLBP方法进行 特征值提取;

(132)将提取的CSLBP特征值与该分块已有特征值进行比对,如果CSLBP特征值存 在,则对CSLBP特征值进行更新,比对CB特征向量,如果CB特征向量存在,则直接更新,如果 CB特征向量不存在则直接进行记录,如果CSLBP特征值是不存在,则执行下一步;

(133)采用CB分块法提取CB特征值,将CB特征值与该分块已有特征值进行比对,如 果是CB特征值存在,则对CB特征值进行更新,并对CSLBP特征值进行记录,如果CB特征值不 存在,则进行下一步;

在本步骤中,对每一分块求取像素点均值,均值为0则进行CB特征向量以及CSLBP 特征值的更新或/和记录,直到找不到均值为0的块,进入第二层;针对第一层均值不为0的 块分为27x27,寻找均值为0的块进行CB特征向量以及CSLBP特征值的更新或/和记录,直到 找不到均值为0的块进入第三层,未寻找完的块分为9x9的块进行寻找,直到完全寻找到为 止。

在每一次新的二值图像输入时,对之前已经找到过的块求均值,均值为0则进行 CSLBP纹理直方图用巴氏距离进行比对,新出现的直方图进行记录。

上述步骤(131)中,CSLBP特征值由以下公式求得

Tt(s(g0,g4),s(g1,g5),...,s(gp2-1,gp-1))---(1)

s(gi,gi+p/2)=1,gigi+p/20,gi>gi+p/2---(2)

CSLBP(gc)=Σi=0p/2s(gi,gp/2)2i---(3)

所述步骤(132)中,CB特征向量表征:V={μht,μhb,μlt,μlb},采用以下面公式求得:

μht=Σi=1IΣj=1J(xij|xijμh)Σi=1IΣj=1J1,xijμh0,others---(4)

μhd=Σi=1IΣj=1J(xij|xij<μh)Σi=1IΣj=1J1,xij<μh0,others---(5)

μlt=Σi=1IΣj=1J(xij|xijμl)Σi=1IΣj=1J1,xijμl0,others---(6)

μld=Σi=1IΣj=1J(xij|xij<μl)Σi=1IΣj=1J1,xij<μl0,others---(7)

μh=Σi=1IΣj=1J(xij|xijμ)Σi=1IΣj=1J1,xij<μ0,others---(8)

μl=Σi=1IΣj=1J(xij|xij<μ)Σi=1IΣj=1J1,xij<μ0,others---(9)

μ=1I×JΣi=1IΣj=1Jxij---(10)

式中,xij为图像F(i,j)的第i行第j列的像素值,μlt、μht、μhb、μlb为四个不同亮度的 相对等级,其中,μht为较高亮度,μhb为高亮度,μlt为低亮度,μlb为较低亮度,μh为高亮度和μl为低亮度,μ为该块的平均像素。

上述公式均由现有的分块CB建模法和CSLPB算子得到,本实施例的创新不在于公 式本身,而在于将多种算法进行融合使用。

(14)重复步骤(11)~(13),直至完成视频图像背景帧所有块的背景建模。

完成背景训练建模后,基本完成建模的大体框架,再在背景训练的基础上,对前景 物进行赛选、检测:

(21)对输入的每一帧采用背景差法求取二值图像;

(22)对步骤(21)所得到的二值图像每一个位置求取像素点均值,均值为0则可能 为背景,进行背景比对,如果是已经存在的背景则确认为背景,如果该背景不存在,则进行 CSLBP纹理和CB特征检测,只要有一个符合即认为是已有背景,否则进行记录和更新;对于 均值不为0的部分进行CSLBP检测,如果不符合背景则认为是前景,如果符合背景纹理,则进 行CB特征向量检测,如果亦符合则认为是背景,否则认为是前景。

(3)重复步骤(21)~(22)完成视频图像所有帧的前景检测。

测试例1

将LBP、CSLBP和CB算法与本算法在进行比较。在实验阶段,测试平台处理器为 IntelCorei5-4210,内存为4G,操作系统为Windows7。本测试例采用的软件平台为 VisualC++和OpenCV。测试所使用的视频是从多个交通视频中提取出3个比较具有代表性 的视频。选取的3个视频均为自行拍摄,选择时主要考虑了背景的复杂程度、不同的光线变 化以及前景目标物数量等情况。以本方法训练完成背景所需要的帧数作为采用四种方法获 取背景所需帧数来对每一种方法进行背景建模。四种方法均以完成背景建模所需帧数的下 一帧作为测试帧来进行前景目标物提取。结果如图2所示,从上到下,第一行到第三行分别 为三个不同的视频。从光线变化的角度,视频1中光线变化较大,出现背景较多,且呈非周期 性变化。视频2和视频3中光线变化较为稳定,无较大突变。从前景目标物的多少的角度来 看,视频1中前景目标物相对视频2和视频3较少,视频3中的前景目标最多。采用本文方法获 取背景帧数分别为4263、6375和9135帧。图2中所示图像分别为4264帧、6376帧和9136帧。从 左到右第一列为原始图像,第二列到第五列为四种方法提取的前景目标物图像。其中,第二 列和第三列使用的LBP和CSLBP采用P=8,n=3。从图2中可见,使用LBP方法和CSLBP方法所 提取的前景目标基本相同,对比原图可以发现所提取的目标物不是很清晰,基本上呈现颗 粒块状,体现了算法的子块状特征。第四列使用的CB方法采用的对每一个像素进行建模,K =3。如图2所示,使用CB提取的前景目标基本准确,但是由于目标物的颜色有的时候和背景 很相似,目标相比较不是很完整,呈现点状,这主要是由算法采用针对像素来进行分析造成 的。最后一列为本方法提取的前景目标,从图2中可见,前景目标提取较为清晰完整,不存在 块状的情况。

测试例2

采用了普遍采用的打分的方式对模型进行打分,其中,涉及到索引率和准确率。索 引率指的是正确检测前景点占所有正确前景点的比率,准确率指的是正确检测前景点与所 有检测的前景点的比率。这三个指标能够较为客观的评价算法。如以下公式所示。

p=TPTP+FN---(11)

r=TPTP+FP---(12)

F=2×prp+r---(13)

其中,F为打分的分值,p为索引率,r为准确率。式中,TP为算法检测出的正确检测 的前景点,FP为算法检测出的错误检测的前景点,FN为算法检测出的检测为背景的前景点。 各种方法的索引率p,准确率r以及打分结果F见表1。

表14种方法打分表

从表1中可见,本方法打分明显高于LBP、CSLBP和CB方法。其中,LBP和CSLBP两种算 法的打分非常接近,说明这两种算法基本相似。CSLBP本身来源于LBP,CSLBP较好的继承了 LBP的特性且计算量小于LBP算法。CB算法在四种方法中打分最低,主要是因为,CB方法仅仅 考虑了图像颜色。而图像颜色与背景颜色较为相近时就会失效,出现漏检。本方法结合了颜 色和纹理的考虑,并且从整体到部分均进行了考虑。故而各项指标明显较好。

按照上述实施例,便可很好地实现本发明。值得说明的是,基于上述设计原理的前 提下,为解决同样的技术问题,即使在本发明所公开的结构基础上做出的一些无实质性的 改动或润色,所采用的技术方案的实质仍然与本发明一样,故其也应当在本发明的保护范 围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号