公开/公告号CN101764923A
专利类型发明专利
公开/公告日2010-06-30
原文格式PDF
申请/专利权人 北京中星微电子有限公司;
申请/专利号CN200810240725.2
申请日2008-12-23
分类号H04N5/21(20060101);H04N5/14(20060101);
代理机构11018 北京德琦知识产权代理有限公司;
代理人宋志强;麻海明
地址 100083 北京市海淀区学院路35号世宁大厦15层
入库时间 2023-12-18 00:18:34
法律状态公告日
法律状态信息
法律状态
2018-04-13
专利权人的姓名或者名称、地址的变更 IPC(主分类):H04N5/21 变更前: 变更后: 申请日:20081223
专利权人的姓名或者名称、地址的变更
2018-01-09
专利权的转移 IPC(主分类):H04N5/21 登记生效日:20171221 变更前: 变更后: 申请日:20081223
专利申请权、专利权的转移
2013-03-27
授权
授权
2011-10-05
实质审查的生效 IPC(主分类):H04N5/21 申请日:20081223
实质审查的生效
2010-06-30
公开
公开
技术领域
本发明涉及视频监控技术领域,具体涉及消除运动检测中的噪声的方法及装置。
背景技术
目前,视频监控系统得到了广泛应用。智能视频监控和检索针对对象多是静止摄像头拍摄的视频,分析对象主要是视频中与背景有区别的运动物体。因此,运动物体的检测与跟踪方法是智能视频监控与检索系统中最基本和核心的技术。
图1为现有的运动检测与跟踪的流程图,如图1所示,其具体步骤如下:
步骤101:接收视频序列。
对视频序列的每帧图像分别进行如下处理:
步骤102:计算dk(j)=Ik(j)-Bk(j)。
其中,k为当前帧图像在视频序列中的帧序号,j为当前像素点在当前帧图像的所有像素点中的序号,且1≤j≤J,J为每帧图像中的像素点数,Ik(j)为第k帧图像中像素点j的像素值,Bk(j)为背景帧中像素点j的像素值。
步骤103:判断dk(j)>d0是否成立,若是,执行步骤104;否则,执行步骤105。
步骤104:认为像素点j为前景点,转至步骤106。
步骤105:认为像素点j为背景点。
步骤106:判断j<J是否成立,若是,执行步骤107;否则,执行步骤108。
步骤107:令j=j+1,返回步骤102。
步骤108:对第k帧图像中的所有前景点进行聚类,每个聚类为一个运动物体。
步骤109:对于第k帧图像中的每个运动物体Mk,m,将Mk,m分别与第k-1帧图像中的各运动物体匹配,若Mk,m与第k-1帧图像中的运动物体Mk-1,n匹配上,则确定Mk,m与Mk-1,n为同一物体;若Mk,m未与第k-1帧图像中的任何运动物体匹配上,则确定Mk,m为新运动物体。
其中,m为第k帧图像中的运动物体的序号,n为第k-1帧图像中的运动物体的序号。
从图1所示流程可以看出:现有技术中,只根据当前帧图像与背景帧的像素值的差值来检测运动物体。但是,在实际监控场景中,应该被作为背景的物体经常也存在短暂的运动现象,例如:抖动的树叶、荡漾的水波等,若采用上述方法,则这些物体都会被检测为运动物体,这就导致最终检测到的运动物体中有很多的噪声物体,可能会导致系统报虚警。例如:当风很大,树枝抖动很厉害时,树枝一般会被检测为运动物体,对于入侵报警的应用场景,若用户设定的入侵区域包含了树枝,则系统就会报虚警。
发明内容
本发明提供消除运动检测中的噪声的方法及装置,以消除运动检测中的噪声,提高运动检测的精度。
本发明的技术方案是这样实现的:
一种消除运动检测中的噪声的方法,包括:
对视频序列中的每帧图像进行运动检测与跟踪;当一个运动物体被第一次检测到时,默认该运动物体为噪声,若在连续N帧图像中都检测到该运动物体,则计算该运动物体在该连续N帧图像中的运动状态相似度,判断该运动状态相似度是否满足预设条件,若是,确定该运动物体为真实运动物体;否则,仍然认为该运动物体为噪声,其中,N为预设正整数。
所述运动状态相似度为:位置相似度;
所述判断该运动状态相似度是否满足预设条件为:判断该位置相似度是否大于预设第一阈值。
所述运动状态相似度为:速度相似度;
所述判断该运动状态相似度是否满足预设条件为:判断该速度相似度是否大于预设第二阈值。
所述运动状态相似度为:位置相似度和速度相似度,
所述判断该运动状态相似度是否满足预设条件为:判断位置相似度大于预设第一阈值、速度相似度大于预设第二阈值是否同时成立,或者,判断位置相似度与预设第一常数的乘积加上速度相似度与预设第二常数的乘积是否大于预设第三阈值。
所述仍然认为该运动物体为噪声之后进一步包括:发现该运动物体在此后连续N帧图像中仍被检测到,则计算该运动物体在该连续N帧图像中的运动状态相似度,判断该运动状态相似度是否满足预设条件,若是,确定该运动物体为真实运动物体;否则,仍然认为该运动物体为噪声,返回执行所述发现该运动物体在此后连续N帧图像中仍被检测到的动作。
所述计算该运动物体的位置相似度包括:
计算连续N帧图像中,每相邻两帧图像中该运动物体的中心点连线的长度和角度,
计算连续N帧图像中,该运动物体的每相邻两条中心点连线的长度相似度和角度相似度;
计算长度相似度的均值和角度相似度的均值;
根据长度相似度的均值和角度相似度的均值,计算该运动物体在连续N帧图像中的位置相似度。
所述计算连续N帧图像中,该运动物体的每相邻两条中心点连线的长度相似度和角度相似度为:
对于相邻的任意两条中心点连线:第一中心点连线和第二中心点连线,将第一中心点连线的长度除以第二中心点连线的长度得到第一商值,将第二中心点连线的长度除以第一中心点连线的长度得到第二商值,将第一商值和第二商值中的较小值作为第一、二中心点连线的长度相似度;对第一中心点连线的角度和第二中心点连线的角度之差作余弦运算,将所得余弦值加1,再将所得和值除以2,得到第一、二中心点连线的角度相似度;
所述计算该运动物体在连续N帧图像中的位置相似度为:
将长度相似度的均值乘以预设第一常数,将角度相似度的均值乘以预设第二常数,将所得两乘积相加得到该运动物体在连续N帧图像中的位置相似度,其中,预设第一、二常数的和值为1。
所述计算该运动物体在连续N帧图像中的速度相似度包括:
计算运动物体在每帧图像中的平移速度的幅度和角度;
计算连续N帧图像中,每相邻两帧图像中该运动物体的平移速度的幅度相似度和角度相似度;
计算幅度相似度的均值和角度相似度的均值;
根据幅度相似度的均值和角度相似度的均值,计算该运动物体在连续N帧图像中的速度相似度。
所述计算连续N帧图像中,每相邻两帧图像中该运动物体的平移速度的幅度相似度和角度相似度为:
对于相邻的任意两帧图像中该运动物体的平移速度:第一平移速度和第二平移速度,将第一平移速度的幅度除以第二平移速度的幅度得到第一商值,将第二平移速度的幅度除以第一平移速度的幅度得到第二商值,将第一商值和第二商值中的较小值作为第一、二平移速度的幅度相似度;对第一平移速度的角度与第二平移速度的角度之差作余弦运算,将所得余弦值加1,再将所得和值除以2,得到第一、二平移速度的角度相似度;
所述计算该运动物体在连续N帧图像中的速度相似度为:
将幅度相似度的均值乘以预设第一常数,将角度相似度的均值乘以预设第二常数,将所得两乘积相加得到该运动物体在连续N帧图像中的速度相似度,其中,预设第一、二常数的和值为1。
一种消除运动检测中的噪声的装置,包括:
运动检测模块,对视频序列中的每帧图像进行运动检测与跟踪,将运动检测与跟踪结果发送给噪声消除模块;
噪声消除模块,接收运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的运动状态相似度,判断运动状态相似度是否满足预设条件,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声,其中,N为预设正整数。
所述噪声消除模块包括:
位置相似度计算模块,接收运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的位置相似度,将位置相似度发送给判决模块;
判决模块,判断位置相似度是否大于预设第一阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
所述噪声消除模块包括:
速度相似度计算模块,接收运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的速度相似度,将速度相似度发送给判决模块;
判决模块,判断速度相似度是否大于预设第二阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
所述噪声消除模块包括:
位置和速度相似度计算模块,接收运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的位置相似度和速度相似度,将位置相似度和速度相似度发送给判决模块;
判决模块,判断位置相似度大于预设第一阈值、速度相似度大于预设第二阈值是否同时成立,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声;或者,判断位置相似度与预设第一常数的乘积加上速度相似度与预设第二常数的乘积是否大于预设第三阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
所述噪声消除模块进一步用于,当仍然认为运动物体为噪声后,若发现该运动物体在此后仍被连续检测到,则每隔N帧图像计算一次该运动物体在最近连续N帧图像中的运动状态相似度,判断该运动状态相似度是否满足预设条件,若是,确定该运动物体为真实运动物体;否则,仍然认为该运动物体为噪声。
与现有技术相比,本发明在第一次检测到一个运动物体时默认其为噪声,若在连续N帧图像中都检测到运动物体,则计算该运动物体在该连续N帧图像中的运动状态相似度,若该运动状态相似度满足预设条件,才确认该运动物体为真实的运动物体,本发明可以消除运动检测中的噪声,提高运动检测的精度。
附图说明
图1为现有的运动检测与跟踪的流程图;
图2为本发明实施例提供的消除运动检测中的噪声的流程图;
图3为本发明实施例提供的计算运动物体在最近连续N帧图像中的位置相似度的流程图;
图4为本发明实施例提供的计算运动物体在最近连续N帧图像中的速度相似度的流程图;
图5为本发明实施例提供的消除运动检测中的噪声的装置组成图;
图6为本发明实施例提供的噪声消除模块的组成图一;
图7为本发明实施例提供的噪声消除模块的组成图二;
图8为本发明实施例提供的噪声消除模块的组成图三;
图9为采用现有技术对一监控场景进行运动检测的结果示例图;
图10为采用本发明对图9所示监控场景进行运动检测和噪声消除的结果示例图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
本发明的基本思想是:当第一次检测到一个运动物体时,默认该运动物体为噪声,若在连续N帧图像中都检测到该运动物体,则计算该连续N帧图像中该运动物体的运动状态相似度,若该运动状态相似度满足预设条件,则确认该运动物体为真实运动物体;否则,仍然认为该运动物体为噪声。
其中,运动状态相似度可以是位置相似度,或者速度相似度,或者位置相似度+速度相似度。
图2为本发明实施例提供的消除运动检测中的噪声的流程图,如图2所示,其具体步骤如下:
步骤200:设置检测间隔帧数N。
步骤201:接收视频序列。
步骤202:对视频序列的第一帧图像进行运动检测,检测到的每个运动物体以一个矩形框标定,为每个运动物体设置一个真实标志,并默认该标志为“0”,并为每个运动物体设置一个计数器Ck,m,该计数器的初始值为1。
其中,k为当前帧图像在整个视频序列中的帧序号,m为当前运动物体的唯一编号。Ck,m用于记录运动物体m被连续检测到的次数,当运动物体被确认为真实运动物体时,会删除Ck,m;当运动物体m在某一帧中未被检测到或者运动物体m在某次确认是否为真实运动物体过程中被仍然认为是噪声时,会将Ck,m清零。
本步骤中的运动检测过程可采用图1所示流程实现。将每个运动物体的真实标志默认为“0”的原因是,当一个运动物体第一次被检测到时,该运动物体被默认为是噪声。
对视频序列的第k(k≥2)帧图像进行如下处理:
步骤203:对第k帧图像进行运动检测与跟踪,每个运动物体以一个矩形框标定,计算每个运动物体的平移速度。
本步骤中的运动检测与跟踪过程可采用图1所示流程实现,本步骤中的计算每个运动物体的平移速度的过程可采用现有技术实现。其中,运动物体的平移速度包括:x方向的平移速度Vx(k)m和y方向的平移速度vy(k)m,m为运动物体的唯一编号。
对于第k帧图像中的每个运动物体作如下处理:
步骤204:判断该运动物体m的真实标志是否为“1”,若是,直接转至步骤215;否则,执行步骤205。
步骤205:判断该运动物体是否在第k-1帧图像中被检测到,若是,执行步骤207;否则,执行步骤206。
步骤206:为该运动物体设置计数器Ck,m,且Ck,m=1,转至步骤215。
步骤207:将该运动物体的计数器值加1,即:Ck,m=Ck,m+1。
步骤208:判断Ck,m<N是否成立,若是,执行步骤209;否则,执行步骤210。
步骤209:记录该运动物体编号与该运动物体在第k帧图像中的矩形框参数、平移速度的对应关系,转至步骤215。
步骤210:计算该运动物体在最近连续N帧图像中的位置相似度Scen(m)。
本步骤的具体实现见如下图3所示流程。
步骤211:计算该运动物体在最近连续N帧图像中的速度相似度Sv(m)。
本步骤的具体实现见如下图4所示流程。
步骤212:判断Scen(m)>Scen0且Sv(m)>Sv0是否成立,若是,执行步骤213;否则,执行步骤214。
Scen0、Sv0为预设阈值,具体取值可根据经验设定。
本步骤也可以替换成:判断α×Scen(m)+(1-α)×Sv(m)>S0是否成立,若是,执行步骤213;否则,执行步骤214。其中,α为预设常数,且0<α<1,具体取值可根据经验设定,S0为预设阈值,具体取值可根据经验设定。
步骤213:确定该运动物体为真实运动物体,将该运动物体的真实标志设置为“1”,删除Ck,m,转至步骤215。
步骤214:仍然认为该运动物体为噪声,令Ck,m=0。
步骤215:判断第k帧图像中的所有运动物体是否都已检测完毕,若是,执行步骤217;否则,执行步骤216。
步骤216:转至第k帧图像中的下一个运动物体,返回步骤204。
步骤217:令k=k+1,返回步骤203。
在图2所示实施例中是同时根据运动物体m在连续N帧图像中的位置相似度Scen(m)和速度相似度Sv(m),来确定运动物体m是否为真实运动物体的。在实际应用中,也可只根据运动物体m的位置相似度Scen(m)来确定运动物体m是否为真实运动物体,例如:只要Scen(m)>Scen0成立,就确定运动物体m为真实运动物体;或者,只根据运动物体m的速度相似度Sv(m)来确定运动物体m是否为真实运动物体,例如:只要Sv(m)>Sv0成立,就确定运动物体m为真实运动物体。
图3为本发明实施例提供的计算运动物体m在最近连续N帧图像中的位置相似度Scen(m)的流程图,如图3所示,其具体步骤如下:
步骤301:计算最近连续N帧图像中,每相邻两帧图像中该运动物体m的中心点连线的长度len(p-1,p)m和角度theta(p-1,p)m,其中,k-N+2≤p≤k。
设第p帧图像中该运动物体m的矩形框参数为[xleft(p)m,ytop(p)m,xright(p)m,ybottom(p)m],平移速度为[vx(p)m,vy(p)m],则运动物体m的中心点坐标[xcen(p)m,ycen(p)m]为:
xcen(p)m=[xleft(p)m+xright(p)m]/2
ycen(p)m=[ytop(p)m+ybottom(p)m]/2
其中,(xleft(p)m,ytop(p)m)为运动物体m的矩形框的左上端点在第p帧中的坐标,(xright(p)m,ybottom(p)m)为运动物体m的矩形框的右下端点在第p帧中的坐标。
则:
步骤302:计算最近连续N帧图像中,该运动物体m的每相邻两条中心点连线的长度相似度Slen(p-1,p,p+1)m和角度相似度Stheta(p-1,p,p+1)m:
可以看出:Slen(p-1,p,p+1)m和Stheta(p-1,p,p+1)m的值均在0和1之间,值越小,表明该运动物体越接近于静止。
步骤303:计算长度相似度的均值和角度相似度的均值
步骤304:计算该运动物体m在最近连续N帧图像中的位置相似度Scen(m):
w是权重且0<w<1,具体取值可根据经验设定,Scen(m)的值在0到1之间,Scen(m)越大,则表示运动物体m的运动规律越接近于匀速运动,很少或没有发生跳变或抖动,运动物体m越有可能是一个真实运动物体。
图4为本发明实施例提供的计算运动物体m在最近连续N帧图像中的速度相似度Sv(m)的流程图,其具体步骤如下:
步骤401:计算运动物体m在第p(k-N+1<p<k)帧图像中的平移速度的幅度A_v(p)m和角度theta_v(p)m:
步骤402:计算最近连续N帧图像中,每相邻两帧图像中该运动物体的平移速度的幅度相似度SA_v(p-1,p)m和角度相似度Stheta_v(p-1,p)m:
可以看出:SA_v(p-1,p)m和Stheta_v(p-1,p)m的值均在0和1之间,值越小,表明该运动物体越接近于静止。
步骤403:计算幅度相似度的均值和角度相似度的均值
步骤404:计算该运动物体m在最近连续N帧图像中的速度相似度Sv(m):
w是权重,Sv(m)的值在0到1之间,Sv(m)越大,则表示运动物体m在相邻帧图像中的平移速度的方向和幅度越接近,运动物体m的运动规律越接近于匀速运动,运动物体m越有可能是一个真实运动物体。
图5为本发明实施例提供的消除运动检测中的噪声的装置组成图,如图5所示,其主要包括:运动检测模块51和噪声消除模块52,其中:
运动检测模块51:对视频序列中的每帧图像进行运动检测与跟踪,将运动检测与跟踪结果发送给噪声消除模块52。
噪声消除模块52:接收运动检测模块51发来的运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的运动状态相似度,判断运动状态相似度是否满足预设条件,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声,若发现该运动物体在此后仍被检测到,则每隔N帧图像计算一次该运动物体在该连续N帧图像中的运动状态相似度,判断该运动状态相似度是否满足预设条件,若满足,确定该运动物体为真实运动物体;若不满足,仍然认为该运动物体为噪声。其中,N为预设正整数。
图6为本发明实施例提供的噪声消除模块52的组成图一,如图6所示,噪声消除模块52可包括:位置相似度计算模块521和判决模块522,其中:
位置相似度计算模块521:接收运动检测模块51发来的运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的位置相似度,将该运动物体的位置相似度发送给判决模块522。
判决模块522:接收位置相似度计算模块521发来的运动物体的位置相似度,判断该位置相似度是否大于预设第一阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
图7为本发明实施例提供的噪声消除模块52的组成图二,如图7所示,噪声消除模块52可包括:速度相似度计算模块621和判决模块622,其中:
速度相似度计算模块621:接收运动检测模块51发来的运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的速度相似度,将该运动物体的速度相似度发送给判决模块622。
判决模块622:接收速度相似度计算模块621发来的运动物体的速度相似度,判断该速度相似度是否大于预设第二阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
图8为本发明实施例提供的噪声消除模块52的组成图三,如图8所示,噪声消除模块52可包括:速度相似度计算模块721和判决模块722,其中:
位置和速度相似度计算模块721:接收运动检测模块51发来的运动检测与跟踪结果,若发现一个运动物体被第一次检测到,默认该运动物体为噪声,若发现一个运动物体在连续N帧图像中都被检测到,则计算该运动物体在该连续N帧图像中的位置相似度和速度相似度,将该运动物体的位置相似度和速度相似度发送给判决模块722。
判决模块722:接收位置和速度相似度计算模块721发来的运动物体的位置相似度和速度相似度,判断位置相似度大于预设第一阈值、速度相似度大于预设第二阈值是否同时成立,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声;或者,判断位置相似度与预设第一常数的乘积加上速度相似度与预设第二常数的乘积是否大于预设第三阈值,若是,确定运动物体为真实运动物体;否则,仍然认为运动物体为噪声。
图9为采用现有技术对一监控场景进行运动检测的结果示例图,图10为采用本发明对同一场景进行运动检测和噪声消除的结果示例图,其中,图9、10中的每个矩形框为一个检测到的运动物体,为清楚起见,在图9中标注了每个运动物体的名称,可见,图9中检测到的运动物体中存在噪声,该噪声主要是由于树叶的摇动产生的;而采用本发明提供的噪声消除方法后,如图10所示,所有的真实运动物体都被检测出来了,即:运动检测结果中的噪声都被消除了。
以上所述仅为本发明的过程及方法实施例,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
机译: 考虑有效消除噪声的噪声变化和运动检测的噪声滤波方法及其装置
机译: 在最大程度消除噪声的噪声环境中基于自适应噪声去除度的噪声消除方法和装置
机译: 能够消除数字图像中的噪声的装置和方法,该方法和方法通过使用闪光图像来消除环境图像中的噪声