首页> 中国专利> 一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法

一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法

摘要

一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法,包括以下步骤:①输入观测视频,设置迭代实施参数;②计算格点的迭代优化解,并根据“格点状态判定”策略,生成格点的混态高斯MRF状态值;③如果格点为运动目标点,则标记运动目标检测图在格点处的值,并保持格点的背景重构值不变;否则更新背景,设置格点的新背景重构值;④迭代产生所有格点的状态值,并利用其生成混态高斯MRF状态集;⑤利用混态高斯MRF状态集计算全局能量值;⑥计算全局能量变化值,如果大于迭代误差阈值,则继续ICM迭代优化,否则完成迭代优化的收敛过程;⑦输出运动目标检测图和背景重构图。本发明能实现运动目标检测过程中的背景动态更新,有效提高复杂纹理背景的表征能力,提高在噪声环境下的检测精度,适用于喷墨印花织物的运动目标检测处理。

著录项

  • 公开/公告号CN104616298A

    专利类型发明专利

  • 公开/公告日2015-05-13

    原文格式PDF

  • 申请/专利权人 浙江工业大学之江学院;

    申请/专利号CN201510049693.8

  • 申请日2015-01-30

  • 分类号G06T7/00;G06T7/20;

  • 代理机构杭州天正专利事务所有限公司;

  • 代理人黄美娟

  • 地址 312030 浙江省绍兴市柯桥区柯华路958号

  • 入库时间 2023-12-18 08:49:45

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-04-19

    授权

    授权

  • 2015-06-10

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20150130

    实质审查的生效

  • 2015-05-13

    公开

    公开

说明书

技术领域

本发明涉及喷墨印花织物缺陷检测领域,具体是一种喷墨印花织物的运动目标检测方 法。

背景技术

喷墨印花织物是一种采用高密度数码喷墨印花成型的织物类型,它摒弃了传统印花制版 的复杂环节,通过控制染料喷嘴的开关,并由喷嘴将染料在织物上喷绘而成,极大提高了织 物画面的精细度和色彩丰富程度。喷墨印花织物的纹理层次丰富、质地细腻逼真,足可表现 油画、山水画等逼真画面和纹理效果,已被广泛应用于云锦、丝绸等高端纺织产品中。由于 喷墨印花纹理是由喷嘴将染料在织物上喷绘而成,通常具有复杂的细微油墨组织结构,组织 结构的好坏是获得精细花纹的先决条件,它将直接影响喷墨印花面料的质量。

为了确保喷嘴的实时喷墨印花绘制效果,需要对包含喷墨印花缺陷的织物织造视频进行 监控。喷墨印花织物缺陷监控已在喷墨印花织物的工业检测与质量控制中得到广泛应用,成 为保证喷墨印花织物产品质量的重要方法之一。缺陷监控主要涉及对喷墨印花视频中的帧序 列进行分析处理,其中最为关键的任务是缺陷检测,缺陷检测是视频监控中的核心技术,检 测结果的精确性将直接影响后续缺陷监测分析(如缺陷跟踪和分类等)。

喷墨印花织物缺陷检测可在不需要人为干预的情况下,利用缺陷目标在视频场景中所表 现出的运动特性在时空域方面上的差异,将缺陷目标表征为运动目标,采用时空域联合的运 动目标检测方法把运动目标从视频场景中提取出来,然后根据运动目标确定缺陷目标的形状 和位置等信息,从而实现缺陷异常情况的自动检测和报警。

目前采用时空域联合的运动目标检测方法主要有三种:

(1)帧间差分法。帧间差分法通过对序列图像中的相邻两帧图像实施相减操作,并经 过阈值化处理来提取运动目标区域,该方法实施简单,速度快,易于硬件实现,且对光线的 变化不是非常敏感。但是帧间差分法依赖于运动目标的运动速度,速度过快或过慢都很难获 得运动目标的完整轮廓,很容易产生拖影或空洞现象。

(2)光流法。光流法对视频帧序列的运动场进行估计,将相似的运动矢量合并形成运 动目标,但其计算复杂度高,难以实现实时处理。此外,由于受到现实喷墨印花作业环境中 噪声、不规则和不均匀的光照、阴影及背景扰动等影响,使得该方法要完成精确且鲁棒的运 动目标检测工作十分困难。

(3)背景消除法。背景消除法的主要思想是构建背景模型,并通过比较输入帧和背景 模型来检测运动目标。近年来,背景消除法作为运动目标检测方法中的热点,国内外学者对 其进行了深入研究。由于背景消除法可直接给出运动目标的位置、大小、形状等信息,且不 受目标运动速度的限制,因此是实现运动目标实时检测和提取的首选方法。

当背景模型已知的情况,背景消除法是一种相当有效的运动目标检测方法。但该方法在 面临视频场景中的背景图像发生动态变化时,不能达到很好的效果,主要难点包括背景模型 的构建和更新。为了解决背景消除法在背景模型构建和更新时的困难,国内外许多学者对背 景模型进行深入研究。

目前,背景消除法中采用的背景模型主要分为两类:

(1)基于像素的背景模型:文献[1]D.Lee,“Effective gaussian mixture learning for video  background subtraction”,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.27, no.5,pp.827-832,2005中采用自适应混合高斯模型实现时空域背景建模,但在噪声环境下效 果不理想。文献[2]朱碧婷,郑世宝.“基于高斯混合模型的空间域背景分离法及阴影消除法”, 中国图象图形学报,13(10):1906-1909,2008中采用高斯混合模型实现空域背景分离和阴影消 除,但对时域场景动态变化的处理能力很弱。文献[3]K.K.Hati,P.K.Sa,B.Majhi,“Intensity  range based background subtraction for effective object detection”,IEEE Signal Processing Letters, vol.20,no.8,pp.759-762,2013中采用设置背景像素点灰度范围的约束策略,提高了背景模 型对场景动态变化的适应能力,但对噪声比较敏感。

由于基于像素的背景模型要求背景中的每个像素都是独立的,虽然能有效提取运动目标 的外形,但是其获得的检测结果与场景中的背景图像相关度很高,当背景图像发生动态变化 时,检测结果就不理想,同时该方法对噪声的抑制能力较弱,因此不适合在含噪的、动态可 变场景下的喷墨印花织物运动目标检测。

(2)基于区域的背景模型:该模型能够充分利用帧间(时域)和帧内(空域)图像中相邻像 素点之间的相互关系,因此对于噪声和动态可变场景等情况的处理效果要优于基于像素的背 景模型。由于马尔可夫随机场(Markov Random Field,MRF)能够很好地表征同一区域内相邻 像素点之间的邻域关系,因此许多学者采用MRF作为基于区域的背景模型。文献[4] E.Y.Kim,S.H.Park,“Automatic video segmentation using genetic algorithms”,Pattern Recognition  Letters,vol.27,no.11,pp.1252-1265,2006中利用MRF实现对运动目标的时空分割,有效地 保留了目标的边缘信息。文献[5]S.S.Huang,L.C.Fu,P.Y.Hsiao,“Region-level motion-based  background modeling and subtraction using MRFs”,IEEE Transactions on Image Processing,vol. 16,no.5,pp:1446-1456,2007中利用时空域的马尔可夫特征来提高点灰度的时变相关统计效 果,抑制运动检测时的噪声干扰。文献[6]J.Shen,W.Yang,Z.Lu,et al,“Information integration  for accurate foreground segmentation in complex scenes”,IET Image Processing,vol.6,no.5,pp. 596-605,2012中将形状先验信息引入MRF背景模型,有效提高运动目标的检测精度。

然而,直接利用基于MRF背景模型的背景消除法对喷墨印花织物运动目标进行检测时 存在较大不足:1)喷墨印花织物的纹理背景复杂且富于变化,现有MRF背景模型对复杂纹 理的运动特征表征能力较弱,抗扰动能力较差。2)现有MRF背景模型在执行运动目标检测 时,需要保持背景模型恒定,无法同步执行背景重构,缺乏对背景模型的动态更新,从而影 响后续运动目标检测的精度。由于背景模型在重构时的更新计算开销很大,无法满足实时检 测的需求,使其在喷墨印花织物的运动目标检测应用中受到限制。

发明内容

本发明为解决现有技术所存在的缺陷,将“运动纹理”特征融入背景消除法的背景建模 中,并建立能够同时包含两种状态类型(运动状态和背景状态)的混态高斯MRF模型,提出 一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法。该方法不仅能够有效解决 背景消除法中背景重构的困难,实现背景动态更新,而且能够提高对复杂纹理背景的表征能 力和运动目标的检测精度,从而有效实现喷墨印花织物运动目标检测,且对噪声有很好的稳 健性。

本发明解决其技术问题所采用的技术方案是:

一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法,包括以下步骤:

步骤①:输入观测视频I,置时间序标t=1,背景重构图u0=I1,格点序标i=0,视频 帧总数M=100,单帧中格点总数N=80×80=6400,迭代误差阈值η=0.01,迭代序标 k=1,全局能量值E0=0,噪声阈值ω=0.1,权值参数α=1,β=8,γ=4,方差 λ=1.5,平滑比例参数a=0.7;

步骤②:置i=i+1,计算E(xt|I,ut-1)在格点i处的能量值的迭代优化解并根据“格点状态判定”策略,生成格点i的混态高斯MRF状态值

步骤③:如果则标记运动目标检测图mt在格点i处的值为1,并保持背景重构值 不变,即置否则更新背景,置背景重构值

步骤④:如果i<N,转至步骤②,继续生成下个格点的状态值;否则,利用所有格点 的状态值生成混态高斯MRF状态集转至步骤⑤;

步骤⑤:利用xt计算E(xt|I,ut-1),置全局能量值Ek=E(xt|I,ut-1),并将能量变化值 ΔE=Ek-Ek-1作为ICM迭代优化的终止判断依据;

步骤⑥:如果ΔE<η,则ICM迭代优化的收敛过程完成,转至步骤⑦;否则置 k=k+1,i=0,并转至步骤②,继续执行下一次ICM迭代优化;

步骤⑦:利用最优估计值xt,输出t时刻的运动目标检测图mt和背景重构图ut

步骤⑧:置t=t+1,如果t≤M,则置k=1,i=0,转至步骤②,继续执行下一帧检测; 否则,完成所有帧检测,结束。

所述的步骤①中,I={It|t=1,...,M}是所有时刻的帧图像集合,它是一个帧图像序列, 其中,It={Ii(t)|i=1,...,N}是t时刻的帧图像,它是所有格点在t时刻的亮度值集合,Ii(t) 是格点i在t时刻的亮度值。

所述的步骤①中,u={ut|t=1,...,M}是所有时刻的背景重构图集合,其中, 是t时刻的背景重构图,它是所有格点在t时刻的背景重构值集合,是 格点i在t时刻的背景重构值。

所述的步骤①中,u0是ut在t=0时的取值;I1是It在t=1时的取值。

所述的步骤①中,E0是全局能量值Ek在k=0时的取值。

所述的步骤②中,E(xt|I,ut-1)是运动目标检测模型的能量表达式,能量表达式定义为:

其中,x是混态随机变量,是格点i在t时刻的混态高斯MRF状态值, 是混态随机场,它是所有格点在t时刻的混态高斯MRF状态值集合,Wi是格点i的邻域点集合,j是格点i的邻域点集合Wi中的序标,是格点i的邻域点j在t时 刻的混态高斯MRF状态值,I是观测视频,ut-1是t-1时刻的背景重构图;EP是判决特征 能量项,用于实现运动目标点检测;EQ是重构特征能量项,用于实现背景区域点的亮度值 重构,重构过程将有效提高运动目标检测的精度;ER是正则特征能量项,用于实现对运动 目标区域和背景区域的正则平滑处理;和分别是 EP,EQ和ER在格点i处的取值项;α,β和γ是控制3个约束项作用的调节参数。

进一步地,式(2)中用于依据运动检测相关的特征信息来判决格点i是否为运动 目标点,即有:

EPi(xit|I)=(1-mit)·VMT(i,t)---(6)

其中,m={mt|t=1,...,M}是所有时刻的运动目标检测图集合,是t 时刻的运动目标检测图,它是所有格点在t时刻的运动目标示性值集合,是格点 i在t时刻的运动目标示性值;是运动目标示性函数,该函数依据是否为l,作出格 点i是否为运动目标点的示性判断,即:如果则否则

VMT(i,t)是格点i在t时刻下“运动纹理”特征的标量值,即有:

VMT(i,t)=Vavg(i,t)·Ii(t)||Ii(t)||2---(5)

其中,Ii(t)是格点i在t时刻的亮度值,是Ii(t)在空域上的梯度向量,是 向量的模值。

令V(i,t)是格点i在t时刻的法向流向量,即有

V(i,t)=-Ii(t)t·Ii(t)||Ii(t)||2---(3)

其中,是Ii(t)在时域上的梯度向量。

式(5)中的Vavg(i,t)是格点i在t时刻的加权法向流幅值,即有

Vavg(i,t)=ΣjWiV(j,t)||Ij(t)||2max(ω2,ΣjWi||Ij(t)||2)---(4)

其中,Wi是格点i的邻域点集合,j是格点i的邻域点集合Wi中的序标,ω是抑制噪声 阈值,max是取两个数中最大值的函数,V(j,t)是格点i的邻域点j在t时刻的法向流向量, Ij(t)是格点i的邻域点j在t时刻的亮度值,是Ij(t)在空域上的梯度向量,是 向量的模值。

式(3)是格点i在t时刻下的“运动纹理”特征。为了避免“运动纹理”特征受到噪声干 扰,同时保留“运动纹理”特征的方向属性,本发明对式(3)进行局部加权平均,得到式 (4),即格点i在t时刻的加权法向流幅值。为了简化式(4)的特征向量计算,本发明将式(4)沿 梯度方向上投影,得到式(5),即格点i在t时刻下的“运动纹理”特征的标量值。

式(5)中包含大量运动信息,可提供格点i上是否存在运动情况的置信判断依据。本发明 将式(5)引入中,并辅助判决格点i的混态高斯MRF状态值:当格点i处存在运动 时,则VMT(i,t)值将剧增,受能量最小化约束作用将迫使运动目标示性值即 令格点i的混态高斯MRF状态值将格点i标记为运动目标点,实现运动目标点的检 测,并将所有格点的运动目标示性值集合作为t时刻的运动目标检测图。

进一步地,式(2)中用于生成格点i在t时刻的背景重构值,即有:

其中,j是格点i的邻域点集合Wi中的序标,n是格点i的邻域点集合Wi中的元素个 数;是格点i在t-1时刻的背景重构值,是格点i的邻域点j在t-1时刻的背景重构 值,Ij(t)是格点i的邻域点j在t时刻的亮度值;是格点i在t时刻的运动目标示性函 数,是格点i在t时刻的背景示性函数;用于运动目标点的背景重构值惩罚约束, 用于背景区域点的亮度值重构估计;为了减小噪声对背景重构值的影响,本发明将和都施以方差为λ的3×3窗口规一化处理;用于实现背景亮 度重构值的时域平滑,a是平滑比例调节参数。

式(7)中的项仅对格点i是运动目标点(即)时有效,且促使背景重构值与 格点i附近n个邻域点的观测值产生足够的偏差,惩罚背景重构值和观测值出现一致的情 况。项仅对格点i是背景点(即)时有效,且促使该点的状态值和s函数值相 同。特别地,当初始无法提供时,可令a=0,则

进一步地,式(2)中用于实现格点i及其邻域点j∈Wi所辖区域的正则平 滑处理,即有:

其中,是格点i的邻域点j在t时刻的运动目标示性函数,是格点i的邻 域点j在t时刻的背景示性函数,和分别用于对运动目标区域和背景区域的正则化约 束,h(Ii(t))=11+||Ii(t)||2,f(xit,xjt)=[255-|xit-xjt|λ]2,λ是对背景区域进行3×3窗口 规一化处理的方差,是和间差值的绝对值。

式(8)中的项仅对2个格点i和j都是运动目标点(即)时有效,h函 数用于抑制运动目标点i处的亮度发生剧烈变化,从而实现对运动目标区域的平滑正则化。 项仅对2个格点i和j都是背景区域点(即)时有效,该项除了利用h函 数实现背景区域的平滑正则化,还利用f函数提高背景区域的对比度,有效惩罚相邻两个背 景点间的亮度值偏差过小情况的发生。

所述的步骤②中,是格点i在t时刻的能量表达式,表达式定义为:

E(xit|I,ut-1)=αEPi(xit|I)+βEQi(xit|I,ut-1)+γERi,jWi(xit,xjt|I)---(9)

且所有格点在t时刻的能量表达式之和为运动目标检测模型的能量表达式(2),即有:

E(xt|I,ut-1)=Σi=1NE(xit|I,ut-1)---(10)

所述的步骤②中,是采用ICM方法得到的迭代优化解,迭代解定义为:

xi*=βs(uit-1,Ii(t))+γh(Ii(t))Σj=1nxjtml*(xjt)β+γh(Ii(t))Σj=1nml*(xjt)---(12)

所述的步骤③中,l是符号值,用于标记格点是运动目标点;是在t-1时刻的取 值,即格点i在t-1时刻的背景重构值;mt是m在t时刻的取值,即t时刻的运动目标检测 图。

所述的步骤⑤中,Ek-1是Ek在k-1次迭代时的取值。

本发明的技术构思为:

1)针对喷墨印花织物中纹理组织结构复杂、形态精细且不规则,单纯依靠常规的时空域 上的亮度、形状等特征差异无法表示局部复杂结构的缺陷变形细节(特别是对于喷墨液滴形 成复杂纹理图案的非线性变形行为)的问题,本发明采用“运动纹理”特征作为运动目标检 测特征信息,增强运动目标检测模型对复杂纹理背景的表征能力,有效提高复杂纹理背景下 运动目标检测精度;

2)针对现有MRF模型仅支持状态值单态的不足,本发明采用能够同时包含两种状态类 型(运动状态和背景状态)的混态高斯MRF模型,对现有MRF模型状态值的单态特性进行改 进,实现对运动目标示性值和背景亮度值的多态表征,有效解决现有MRF模型在处理多态 特征表征上的困难;

3)采用一种基于混态高斯MRF模型的运动目标检测模型,支持运动目标检测过程中的 背景动态更新,解决现有检测方法进行背景重构的困难。运动目标检测模型将视频观测值和 背景重构值同时作为模型的先验信息,并据此建立模型的特征能量,实现模型对运动目标检 测和背景重构过程的联合能量表征,提高模型对噪声干扰和背景扰动的适应能力。特征能量 由运动判决特征能量项、背景重构特征能量项和正则特征能量项组成。运动判决特征能量项 用于实现运动目标点检测,背景重构特征能量项用于实现背景区域点的亮度值重构,重构过 程将有效提高运动目标检测的精度,正则特征能量项用于实现对运动目标区域和背景区域的 正则平滑处理,增强对噪声的抗干扰能力;

4)采用能量优化技术,将运动目标检测过程转化为运动目标检测模型特征能量的优化问 题。本发明采用ICM迭代优化求解方法,引入“格点状态判定”策略,依次对每个格点的 特征能量进行局部优化操作,通过对所有格点的寻优迭代,实现对运动目标检测模型特征能 量的优化求解,从而完成运动目标的检测。

本发明采用“运动纹理”特征作为运动目标检测特征信息,建立基于混态高斯MRF模 型的运动目标检测模型,不仅增强了检测模型对复杂纹理背景的表征能力,有效提高检测模 型对精细纹理边缘的检测精度,而且实现了检测模型对运动目标示性值和背景亮度值的多态 表征,支持运动目标检测过程中的背景动态更新,从而可以获得稳定、精确的检测结果,非 常适合在含噪环境下,对具有复杂纹理结构的喷墨印花织物进行运动目标检测。

本发明有益的效果是:

1)采用“加权法向流幅值”在梯度方向的投影策略,构建具有良好噪声抑制效果的 “运动纹理”特征,并将其作为运动目标检测特征信息,为运动目标判断提供决策依据,增 强运动目标检测模型对复杂纹理背景的表征能力,提高复杂纹理背景下运动目标检测精度。

2)采用混态变量策略,建立能够同时包含两种状态类型(运动状态和背景状态)的混态高 斯MRF模型,实现对运动目标示性值和背景亮度值的同时表征,支持运动目标检测过程中 的背景动态更新。

3)建立基于混态高斯MRF模型的运动目标检测模型的特征能量,并将其分解成运动判 决特征能量项、背景重构特征能量项和正则特征能量项,实现对运动目标检测和背景重构过 程的联合能量表征,提高运动目标检测模型对噪声干扰和背景扰动的适应能力。

4)将运动目标检测过程转化为运动目标检测模型的特征能量优化问题,采用ICM迭代 优化方法,引入“格点状态判定”策略,实现特征能量的优化求解,并完成运动目标的检 测。在执行运动目标检测的过程中,支持背景动态更新,同步实现背景重构,提高了运动目 标检测模型在复杂纹理背景和噪声环境下的检测精度。

附图说明

图1为本发明方法的执行流程图;

图2是从喷墨印花织物CAD系统中提取的监控视频帧序列(共100帧),在序列中包含了 喷墨印花织物的复杂纹理背景,且背景图案中存在缺陷变形区块;其中图2(a)-(f)分别是第 8(正常)、16(孔洞缺陷)、35(油滴印记缺陷)、52(正常)、79(刮痕缺陷)、89(正常)帧图像;图 2(g)-(i)分别是图2(b)、2(c)和2(e)的缺陷实况(ground truth)图,用于提供检测方法的效果比 较;

图3为本发明方法对图2帧序列进行运动目标检测和背景重构的结果;图3(a)-(c)分别给 出图2中缺陷帧(即图2(b)、图2(c)和图2(e))对应的运动目标检测图(m16、m35和m79),即 混态高斯MRF状态值等于l的格点集合,这些点是被检测出的运动点,标记了喷墨液滴变 形缺陷产生的位置;图3(d)-(f)显示了图2中缺陷帧(即图2(b)、图2(c)和图2(e))对应的背景 重构图(u16、u35和u79);

图4为图2的含噪图像(噪声方差σ=20)。其中,图4(a)、(b)、(c)、(d)分别是图2(a)、 (b)、(c)、(e)的含噪图像;

图5为本发明方法与两种典型的基于MRF背景模型的运动检测方法(文献[4]中的Kim 方法和文献[5]的Huang方法)对图4(b)-(d)的运动目标检测结果比较;

图6为在含噪环境下(噪声方差σ=20),从监控视频中提取的两幅同时包含多种缺陷类 型的视频帧及其缺陷实况图。其中,图6(a)-(b)是包含多种缺陷类型的视频帧,图6(c)-(d)是 图6(a)-(b)的缺陷实况图;

图7为本发明方法与基于像素背景模型的运动目标检测方法(文献[3]中的Hati方法)和引 入先验信息的基于MRF背景模型的运动目标检测方法(文献[6]的Shen方法)对图6(a)-(b)的 运动目标检测结果比较;

图8为在不同噪声尺度下,本发明方法与四种不同运动目标检测方法对图6(a)中缺陷帧 的运动目标检测结果比较。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1~图8,一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法,所述 检测方法包括以下步骤:

步骤①:输入观测视频I,置时间序标t=1,背景重构图u0=I1,格点序标i=0,视频 帧总长M=100,单帧中格点总数N=80×80=6400,迭代误差阈值η=0.01,迭代序标 k=1,全局能量值E0=0,噪声阈值ω=0.1,权值参数α=1,β=8,γ=4,方差 λ=1.5,平滑比例参数a=0.7;

步骤②:置i=i+1,计算E(xt|I,ut-1)在格点i处的能量值的迭代优化解并根据“格点状态判定”策略,生成格点i的混态高斯MRF状态值

步骤③:如果则标记运动目标检测图mt在格点i处的值为1,并保持背景重构值 不变,即置否则更新背景,置背景重构值

步骤④:如果i<N,转至步骤②,继续生成下个格点的状态值;否则,利用所有格点 的状态值生成混态高斯MRF状态集转至步骤⑤;

步骤⑤:利用xt计算E(xt|I,ut-1),置全局能量值Ek=E(xt|I,ut-1),并将能量变化值 ΔE=Ek-Ek-1作为ICM迭代优化的终止判断依据;

步骤⑥:如果ΔE<η,则ICM迭代优化的收敛过程完成,转至步骤⑦;否则置 k=k+1,i=0,并转至步骤②,继续执行下一次ICM迭代优化;

步骤⑦:利用最优估计值xt,输出t时刻的运动目标检测图mt和背景重构图ut

步骤⑧:置t=t+1,如果t≤M,则置k=1,i=0,转至步骤②,继续执行下一帧检测; 否则,完成所有帧检测,结束。

1.混态高斯MRF模型

为了实现运动检测的同时,能够对背景区域实施动态更新,本发明对现有MRF模型状 态值的单态特性进行改进,建立混态高斯MRF模型。混态高斯MRF模型是一种能够同时包 含两种状态类型的MRF模型,一种状态是记录发生运动变化的运动目标示性值(运动状 态),另一种状态是记录背景区域的亮度值(背景状态)。

由于上述两类状态分别属于离散型和连续型,且它们在空域和时域中并不是独立分布 的,因此需要建立能够同时包含离散型和连续型的混合状态(简称为混态)统计分布模型。

定义1设l是符号值,L=[0,255]是表示亮度范围的连续值,H={l}∪L是包含离散符号 值和连续值的混态空间,则令x∈H是混态随机变量,且依概率ρ∈[0,1]使x=l,依概率 1-ρ使x∈L。

定义2设x是混态随机变量,则令是格点i在t时刻下的混态随机变量,且所有格点的 混态随机变量集合是t时刻下的混态随机场。

定义3设格点集S={1,...,N},是格点i的邻域点集合, 且则有如果xt满足马尔可夫性,即有: 则称xt是混态马尔可夫随机场,并将其作为混态MRF模型。

定义4设格点i在t时刻下属于运动状态的概率运动目标示性函数 ml(xit)=1,xit=l0,xitl;格点i在t时刻下属于背景状态的概率背景示性函数 且满足正态高斯分布σ是噪声尺度,则称xt为混态 高斯MRF模型,且模型的概率密度

本发明采用定义4中的混态高斯MRF模型,并将混态随机变量作为格点i在t时刻下 的混态高斯MRF状态值,将混态随机场xt作为所有格点的混态高斯MRF状态值集合(简称 为混态高斯MRF状态集),改变现有MRF模型状态值的单态特性,即状态值既可以是表征 运动目标示性的离散符号值,也可以是表征静止背景亮度的连续值,从而解决现有MRF模 型在处理多态特征表征上的困难,实现对运动目标示性值和背景亮度值的多态表征。利用混 态高斯MRF模型可以实现运动目标检测和背景重构的同步操作,从而确保对高斯背景模型 的动态更新,提高运动目标检测的精度。

2.基于混态高斯MRF模型的运动目标检测模型

针对现有运动目标检测方法中先验信息仅依赖视频观测值,检测过程易受噪声干扰和背 景变化影响的不足,本发明采用一种基于混态高斯MRF模型的运动目标检测模型。运动目 标检测模型将视频观测值和背景重构值同时作为检测模型的先验信息,并据此建立检测模型 的特征能量,实现检测模型对运动目标检测和背景重构过程的联合能量表征。

运动目标检测模型的特征能量由运动判决特征能量项、背景重构特征能量项和正则特征 能量项组成。运动判决特征能量项用于实现运动目标点检测,背景重构特征能量项用于实现 背景区域点的亮度值重构,重构过程将有效提高运动目标检测的精度,正则特征能量项用于 实现对运动目标区域和背景区域的正则平滑处理,增强对噪声的抗干扰能力。

2.1运动目标检测模型的先验信息

现有运动目标检测方法中先验信息通常仅包含视频观测值,由于本发明在实现运动目标 检测的同时,还将同步实现背景重构,因此需要将背景重构值也作为运动目标检测模型的先 验信息。

设是格点i在t时刻的背景亮度重构值,本发明采用如下背景更新策略获得背景重构 值:当格点i属于运动目标时,将t-1时刻的背景亮度重构值作为t时刻的背景亮度重构 值,否则将作为t时刻的背景亮度重构值,即有:

uit=uit-1,xit=lxit,xitl---(1)

本发明将所有格点在t时刻的背景亮度重构值集合作为t时刻的背景 重构图,将u={ut|t=1,...,M}作为所有时刻的背景重构图集合。

由式(1)可得到t-1时刻的背景重构图将其与视频观测值I同时 作为检测模型的先验信息,则基于混态高斯MRF模型xt的运动目标检测模型的能量表达式 可标记为E(xt|I,ut-1)。

2.2运动目标检测模型的特征能量项

由于MRF模型的能量表达式由多阶基团势能集构成,为了满足实时检测的需求,本发 明对基团势能集进行简化,只考虑两个互为相邻的基团,因此运动目标检测模型的能量表 达式E(xt|I,ut-1)由至多二阶的基团势能组成。本发明将一阶基团势能设置成两个部分:判 决约束项EP和重构约束项EQ,二阶基团势能设置为正则约束项ER,则E(xt|I,ut-1)表示如 下:

其中,Wi是格点i的邻域点集合,j是格点i的邻域点集合Wi中的序标,是格点i的 邻域点j在t时刻的混态高斯MRF状态值;EP是判决特征能量项,用于实现运动目标点检 测;EQ是重构特征能量项,用于背景区域点的亮度值重构,重构过程将有效提高运动目标 检测的精度;ER是正则特征能量项,用于对运动目标区域和背景区域进行正则平滑处理; 和分别是EP,EQ和ER在格点i处的取值项;α, β和γ是控制3个约束项作用的调节参数。

2.2.1判决特征能量项

判决特征能量项用于依据运动检测相关的特征信息来判决格点i是否为运动目 标点。由于喷墨印花织物中纹理组织结构复杂,形态精细且不规则,单纯依靠常规的时空域 上的亮度、形状等特征差异无法表示局部复杂结构的缺陷变形细节(特别是对于喷墨液滴形 成复杂图案纹理的非线性变形行为),因此必须采用具有更高复杂纹理表征能力的运动检测 特征信息。

“运动纹理”是一种具有时空域统计特性的时空序列,包含能够有效表征复杂纹理背景 的运动目标检测特征信息。运动纹理是静态纹理在时域上的扩展,静态纹理仅能反映单帧局 部空域上的变化特征,而运动纹理能够反映帧序列在全局时域上的运动特征。运动纹理中包 含了许多与喷墨操作(如喷墨液滴大小和形状等)和印花质量(如印花形状和纹理等)有关 的信息,是判断运动目标的重要依据。从实际获取的大量喷墨印花视频帧序列来看,运动纹 理在运动目标附近位置上的变化较为明显,且这些运动纹理分散在动态场景中。

本发明利用喷墨印花视频帧序列的时空域联合表现行为,采用“加权法向流幅值”在梯 度方向的投影策略,构建具有良好噪声抑制效果的“运动纹理”特征,为运动目标判断提供 决策依据,并增强运动目标检测模型对复杂纹理背景的表征能力。

设t∈{1,...,M}是时间序标,M是视频帧总数,i∈{1,...,N}是格点序标,N是单帧中格 点总数,则Ii(t)是格点i在t时刻的亮度值,It={Ii(t)|i=1,...,N}是t时刻的帧图像,它是 所有格点在t时刻的亮度值集合,I={It|t=1,...,M}是所有时刻的帧图像集合,它是一个帧 图像序列。令和是Ii(t)在时域和空域上的梯度向量,是向量的 模值,则

V(i,t)=-Ii(t)t·Ii(t)||Ii(t)||2---(3)

是格点i在t时刻的法向流向量,并将其作为“运动纹理”特征。

为了避免“运动纹理”特征受到噪声干扰,同时保留特征的方向属性,本发明对式(3) 进行局部加权平均,即格点i在t时刻的加权法向流幅值为

Vavg(i,t)=ΣjWiV(j,t)||Ij(t)||2max(ω2,ΣjWi||Ij(t)||2)---(4)

其中,Wi是格点i的邻域点集合,j是格点i的邻域点集合Wi中的序标,ω是抑制噪声 阈值,max是取两个数中最大值的函数,V(j,t)是格点i的邻域点j在t时刻的法向流向量, Ij(t)是格点i的邻域点j在t时刻的亮度值,是Ij(t)在空域上的梯度向量,是 向量的模值。

为了简化式(4)的特征向量计算,本发明将式(4)沿梯度方向上投影,可得格点i处“运动 纹理”特征的标量值:

VMT(i,t)=Vavg(i,t)·Ii(t)||Ii(t)||2---(5)

由于式(5)中包含大量运动信息,因此可提供格点i上是否存在运动情况的置信判断依 据。本发明将其引入中,并辅助判决格点i的混态高斯MRF状态值,即有:

EPi(xit|I)=(1-mit)·VMT(i,t)---(6)

对式(6)分析可知:当格点i处存在运动时,则VMT(i,t)值将剧增,受能量最小化约束作 用将迫使运动目标示性值即令格点i的混态高斯MRF状态值将格点 i标记为运动目标点,实现运动目标点的检测。

本发明将所有格点在t时刻的运动目标示性值集合作为t时刻的运动 目标检测图,将m={mt|t=1,...,M}作为所有时刻的运动目标检测图集合。

2.2.2重构特征能量项

重构特征能量项用于生成格点i处的背景重构值。由式(1)可知,格点i将依 据2种不同的混态高斯MRF状态值,使包含2个不同作用的能量项和用于 运动目标点的背景重构值惩罚约束,用于背景区域点的亮度值重构估计。为了减小噪声 对背景重构值的影响,本发明将和都施以方差为λ的3×3窗口规一化处理。

其中,n是格点i的邻域点集合Wi中的元素个数,是格点i在t-1时刻的背景重构 值,是格点i的邻域点j在t-1时刻的背景重构值,Ij(t)是格点i的邻域点j在t时刻的亮 度值;是格点i在t时刻的运动目标示性函数,是格点i在t时刻的背景示性函 数;用于运动目标点的背景重构值惩罚约束,用于背景区域点的亮度值重构估计; 为了减小噪声对背景重构值的影响,本发明将和都施以方差为λ的3×3窗口规一化 处理;用于实现背景亮度重构值的时域平滑,a是平滑比例调 节参数。

对式(7)分析可知:①项仅对格点i是运动目标点(即)时有效,且促使背景 重构值与格点i附近n个邻域点的观测值产生足够的偏差,惩罚背景重构值和观测值出现 一致的情况。②项仅对格点i是背景点(即)时有效,且促使该点的状态值和s 函数值相同。特别地,当初始无法提供时,可令a=0,则

2.2.3正则特征能量项

正则特征能量项用于实现格点i及其邻域点j∈Wi所辖区域的正则平滑处 理,它由2个能量项和构成,分别用于对运动目标区域和背景区域的正则化约束。

其中,n是格点i的邻域点集合Wi中的元素个数,是格点i的邻域点j在t时刻的 运动目标示性函数,是格点i的邻域点j在t时刻的背景示性函数, h(Ii(t))=11+||Ii(t)||2,f(xit,xjt)=[255-|xit-xjt|λ]2,λ是对背景区域进行3×3窗口规一 化处理的方差,是和间差值的绝对值。

对式(8)分析可知:①项仅对2个格点i和j都是运动目标点(即)时 有效,h函数用于抑制运动目标点i处的亮度发生剧烈变化,从而实现对运动目标区域的平 滑正则化。②项仅对2个格点i和j都是背景区域点(即)时有效,该项 除了利用h函数实现背景区域的平滑正则化,还利用f函数提高背景区域的对比度,有效惩 罚相邻两个背景点间的亮度值偏差过小情况的发生。

3.运动目标检测方法

本发明提出一种运动目标检测方法,该方法将运动目标检测过程转化为运动目标检测模 型能量表达式E(xt|I,ut-1)的能量优化问题,采用能量优化求解方法实现运动目标检测,即 首先通过最小化E(xt|I,ut-1)得到xt的估计值,进而生成运动目标检测图mt和背景重构图 ut,实现运动目标检测和背景重构的同步操作。

目前,已经有很多能量优化求解方法,文献[7]F.Huang,S.Narayan,D.Wilson,et al,“A  fast iterated conditional modes algorithm for water-fat decomposition in MRI”,IEEE Transactions  on Medical Imaging,vol.30,no.8,pp.1480-1492,2011中的ICM(Iterated Conditional Modes)方 法是典型的确定性松弛方法,它具有计算速度快,能够在较少迭代次数内保证收敛的特点, 被有效用于MRF模型的优化求解计算。

本发明采用ICM迭代优化求解方法,并引入“格点状态判定”策略,依次对每个格点的 特征能量进行局部优化操作,通过对所有格点的寻优迭代,实现对E(xt|I,ut-1)能量的优化 求解,从而完成运动目标的检测。

将运动目标检测模型的能量表达式(2)分解,可得单个格点i在t时刻的能量表达式:

E(xit|I,ut-1)=αEPi(xit|I)+βEQi(xit|I,ut-1)+γERi,jWi(xit,xjt|I)---(9)

且所有格点在t时刻的能量表达式之和为运动目标检测模型的能量表达式(2),即有:

E(xt|I,ut-1)=Σi=1NE(xit|I,ut-1)---(10)

对式(9)进行能量优化求解后,格点i在t时刻的状态有两种取值可能性:

①当格点i是运动目标点时,状态值

②当格点i是背景区域点时,式(9)将简化为:

E(xit|I,ut-1)=β[xit-s(uit-1,Ii(t))λ]2+γΣj=1nh(Ii(t))ml*(xjt)[255-|xit-xjt|λ]2---(11)

式(11)由若干个高斯项构成,利用高斯项均值特性,采用ICM方法的迭代优化解可表 示为:

xi*=βs(uit-1,Ii(t))+γh(Ii(t))Σj=1nxjtml*(xjt)β+γh(Ii(t))Σj=1nml*(xjt)---(12)

,并将其作为状态值,即

针对的两种取值可能性,本发明引入“格点状态判定”策略:保持其它格点状态值固 定,计算式(9)中和的值,如果前者小于后者,则置否则置 即有:

xit=l,E(xit=l)<E(xit=xi*)xi*,E(xit=l)E(xit=xi*)---(13)

式(13)的意义在于:①由于每个格点的状态都由和中的最小能量对应 的状态生成,因此有效确保了ICM方法对每个格点的特征能量满足局部优化要求;②实现 对每个格点的混态高斯MRF状态判定,为后续执行运动目标点的检测标记和背景区域点的 亮度值重构提供决策依据。本发明将该策略应用到ICM方法中,通过对所有格点的寻优迭 代,可以有效实现运动目标检测。

根据以上分析,一种基于混态高斯MRF模型的喷墨印花织物运动目标检测方法设计如 下:

步骤①:输入观测视频I,置时间序标t=1,背景重构图u0=I1,格点序标i=0,视频 帧总长M=100,单帧中格点总数N=80×80=6400,迭代误差阈值η=0.01,迭代序标 k=1,全局能量值E0=0,噪声阈值ω=0.1,权值参数α=1,β=8,γ=4,方差 λ=1.5,平滑比例参数a=0.7;

步骤②:置i=i+1,计算E(xt|I,ut-1)在格点i处的能量值的迭代优化解并根据“格点状态判定”策略,生成格点i的混态高斯MRF状态值

步骤③:如果则标记运动目标检测图mt在格点i处的值为1,并保持背景重构值 不变,即置否则更新背景,置背景重构值

步骤④:如果i<N,转至步骤②,继续生成下个格点的状态值;否则,利用所有格点 的状态值生成混态高斯MRF状态集转至步骤⑤;

步骤⑤:利用xt计算E(xt|I,ut-1),置全局能量值Ek=E(xt|I,ut-1),并将能量变化值 ΔE=Ek-Ek-1作为ICM迭代优化的终止判断依据;

步骤⑥:如果ΔE<η,则ICM迭代优化的收敛过程完成,转至步骤⑦;否则置 k=k+1,i=0,并转至步骤②,继续执行下一次ICM迭代优化;

步骤⑦:利用最优估计值xt,输出t时刻的运动目标检测图mt和背景重构图ut

步骤⑧:置t=t+1,如果t≤M,则置k=1,i=0,转至步骤②,继续执行下一帧检测; 否则,完成所有帧检测,结束。

图1给出了本发明方法的执行流程图;

图2给出了从喷墨印花织物CAD系统中提取的监控视频帧序列(共100帧),在序列中包 含了喷墨印花织物的复杂纹理背景,且背景图案中存在缺陷变形区块;其中图2(a)-(f)分别 是第8(正常)、16(孔洞缺陷)、35(油滴印记缺陷)、52(正常)、79(刮痕缺陷)、89(正常)帧图 像;图2(g)-(i)分别是图2(b)、2(c)和2(e)的缺陷实况(ground truth)图,用于提供检测方法的 效果比较;

图3给出了采用本发明方法对图2帧序列进行运动目标检测和背景重构的结果。图3(a)- (c)分别给出图2中缺陷帧(即图2(b)、图2(c)和图2(e))对应的运动目标检测图(m16、m35和 m79),即混态高斯MRF状态值等于l的格点集合,这些点是被检测出的运动点,标记了喷墨 液滴变形缺陷产生的位置。图3(d)-(f)显示了图2中缺陷帧(即图2(b)、图2(c)和图2(e))对应 的背景重构图(u16、u35和u79)。将检测结果(图3(a)-(c))与缺陷实况图(图2(g)-(i))对比可见, 本发明方法取得满意的检测效果。由于本发明方法采用背景更新策略,对场景中所有静止格 点和运动格点进行亮度重构估计,避免了背景重构图在运动格点区域处产生空洞的情况。从 图3结果可以看出,采用本发明方法可以实现运动目标检测和背景重构的同步处理。此外, 由于本发明方法在判决特征能量中加入运动情况的置信判断依据,能够有效抑制动态背景的 扰动,提高了运动目标的检测效果。

图4给出了图2的含噪图像(噪声方差σ=20)。其中,图4(a)、(b)、(c)、(d)分别是图 2(a)、(b)、(c)、(e)的含噪图像。

图5给出了本发明方法与两种典型的基于MRF背景模型的运动检测方法(文献[4]中的 Kim方法和文献[5]的Huang方法)对图4(b)-(d)的运动目标检测结果比较。其中,图5(a)-(c) 分别是Kim方法对图4(b)-(d)的检测结果,图5(d)-(f)分别是Huang方法对图4(b)-(d)的检测 结果,图5(g)-(i)分别是本发明方法对图4(b)-(d)的检测结果。从图5结果可以看出,本发明 方法的检测效果要优于其他两种方法。在图5(a)-(c)中,由于Kim方法对背景区域的错误估 计,产生了密集的假阳性和假阴性点,因此无法获得正确的检测效果。在图5(d)-(f)中, Huang方法产生的假阴性点个数较少,取得较好的检测效果,但存在过度平滑的缺陷,增加 了假阳性点个数,许多背景区域被误标记为缺陷目标,并与缺陷目标形成连通区域,因此对 含噪环境下的小尺寸缺陷目标检测能力较弱。在图5(g)-(i)中,本发明方法利用了符号状态 和连续状态间的约束交互关系,通过重构特征能量项的归一化处理,有效克服了噪声对运动 目标检测的干扰,同时减小了假阴性和假阳性点的个数。一方面,由于假阴性点个数较少, 缺陷区域被成功检测出来。另一方面,由于减少了假阳性点个数,因此生成了更为紧致的检 测目标。

表1给出了图5中采用三种方法所得的检测精度值比较。本发明方法采用F得分(F- Score,FS)指标作为运动检测方法精度的全局评判指标,该指标是查准率(Precision Ratio,PR) 与查全率(Recall Ratio,RR)的调和均值,即有:其中,TP为真阳性个数(True positives,TP),FP为假阳性个数(False  positives,FP),FN为假阴性个数(False negatives,FN)。从表中情况可以看出:Kim方法由于 在缺陷区域周围产生了很多赝像,因此假阳性点和假阴性点个数很多,PR和RR指标都较 低。Huang方法的RR指标较高,虽然由于过度平滑导致假阳性点个数增多,PR指标降低, 但FS指标仍优于Kim方法。与其他2种方法相比,由于本发明方法在背景重构过程中实现 了同质区域的保边去噪,因此假阳性点被大幅度削减,在PR指标上优于Kim方法和Huang 方法。此外,由于本发明方法在执行背景重构时,能够即时更新背景图像,使得缺陷点被误 判为背景的概率减小,因此假阴性点被有效抑制,RR指标较高,最终FS指标较好,取得了 紧致且精确的检测效果。

表1 三种方法的精度值比较

图6给出了在含噪环境下(噪声方差σ=20),从监控视频中提取的两幅同时包含多种缺 陷类型的视频帧及其缺陷实况图。其中,图6(a)-(b)是包含多种缺陷类型的视频帧,图6(c)- (d)是图6(a)-(b)的缺陷实况图。

图7给出了本发明方法与基于像素背景模型的运动目标检测方法(文献[3]中的Hati方法) 和引入先验信息的基于MRF背景模型的运动目标检测方法(文献[6]的Shen方法)对图6(a)-(b) 的运动目标检测结果比较。其中,图7(a)和图7(d)分别是Hati方法对图6(a)-(b)的检测结 果,图7(b)和图7(e)分别是Shen方法对图6(a)-(b)的检测结果,图7(c)和图7(f)分别是本发 明方法对图6(a)-(b)的检测结果。将三种方法的检测结果与缺陷实况图(图6(c)-(d))对比可 见:Hati方法虽然采取了对像素点灰度范围实施约束的策略,以适应场景的动态变化,但其 在噪声环境下的检测效果不理想,假阳性点个数很多,许多非缺陷像素点因噪声污染而被误 检为缺陷区域点。Shen方法由于将形状先验信息引入背景建模中,因此对形状规则的缺陷 区域(如孔洞区域和油滴区域)检测效果较好。但由于图6(a)-(b)中许多缺陷区域(如刮痕区域) 是不规则的,导致先验信息失效,假阴性点个数增加很多,因此Shen方法对这些区域的检 测效果不佳。本发明方法由于采用背景更新策略,在背景重构过程中实现了同质区域的保边 去噪,有效克服了噪声对运动目标检测的干扰,检测效果要优于Hati方法和Shen方法,能 够在噪声环境下较好地检测出缺陷区域中的运动目标,且不受区域形状限制的约束。

表2给出了图7中采用三种方法所得的检测性能(FS和运行时间)比较。FS指标表明本发 明方法所得检测精度高,假阳性点和假阴性点较少,因而检测出的缺陷区域与缺陷实况图 6(c)-(d)中的一致性程度情况较好。由于Hati方法和Shen方法为了提高检测精度,需要执行 背景更新操作,而本发明方法在检测过程中同步完成背景重构过程,无须单独执行背景更新 操作,因此有效缩短了运行时间。

表2 三种方法的检测性能比较

图8给出了在不同噪声尺度下,本发明方法与四种不同运动目标检测方法(文献[4]中的 Kim方法、文献[5]的Huang方法、文献[3]中的Hati方法和文献[6]的Shen方法)对图6(a)中 缺陷帧的运动目标检测结果比较。其中,图8(a)和(g)分别是噪声方差σ为40和60的含噪 图;图8(b)和(h)分别是Kim方法对图8(a)和(g)的检测结果;图8(c)和(i)分别是Huang方法 对图8(a)和(g)的检测结果;图8(d)和(j)分别是Hati方法对图8(a)和(g)的检测结果;图8(e) 和(k)分别是Shen方法对图8(a)和(g)的检测结果;图8(f)和(l)分别是本发明方法对图8(a)和(g) 的检测结果。将五种方法的检测结果与缺陷实况图6(c)对比可见:随着噪声尺度的增加, Kim方法在缺陷区域周围的假阳性点和假阴性点个数很多,运动目标检测效果最差。Huang 方法和Shen方法在大尺度噪声下的运动目标检测效果要优于Kim方法。但Huang方法的假 阳性点较多,存在误检情况。Shen方法对不规则刮痕区域处的假阴性点较多,存在漏检情 况。Hati方法由于采用像素背景建模,许多非缺陷像素点因噪声污染而被误检为运动目标 点,在大尺度噪声环境下的检测效果不理想。本发明方法由于在背景重构过程中实现了同质 区域的保边去噪,而且能够即时更新背景图像,因此假阳性点和假阴性点个数得到有效的抑 制,检测出的运动目标比较完整和准确,运动目标的细节特征保持情况较好。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不 应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据 本发明构思所能够想到的等同技术手段。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号