首页> 中国专利> 一种基于视频图像的目标分类方法

一种基于视频图像的目标分类方法

摘要

本发明公开了一种基于视频图像的目标分类方法,包括:根据连续的视频图像进行监控区域的背景学习,获得监控区域静态的当前背景图像BI;根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作,形成目标图像BFMk;从目标图像BFMk中提取目标区域;对各个目标区域进行主成分分析,确定各个目标区域的主方向;将各个目标区域的主方向旋转到水平方向,得到各个旋转后的目标区域;计算各个旋转后的目标区域的矩形饱和度特征;根据矩形饱和度特征和预设的阈值,对各个目标区域进行分类。使用上述方法,可以有效地对视频图像中的人员和车辆目标进行分类,大大提高了分类操作的准确性。

著录项

  • 公开/公告号CN104657741A

    专利类型发明专利

  • 公开/公告日2015-05-27

    原文格式PDF

  • 申请/专利权人 北京环境特性研究所;

    申请/专利号CN201510012901.7

  • 申请日2015-01-09

  • 分类号G06K9/62(20060101);G06K9/46(20060101);

  • 代理机构北京君恒知识产权代理事务所(普通合伙);

  • 代理人黄启行;张璐

  • 地址 100854 北京市海淀区永定路50号

  • 入库时间 2023-12-18 08:54:31

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-11-03

    授权

    授权

  • 2015-06-24

    实质审查的生效 IPC(主分类):G06K9/62 申请日:20150109

    实质审查的生效

  • 2015-05-27

    公开

    公开

说明书

技术领域

本发明涉及视频图像技术,特别涉及一种基于视频图像的目标分类方法。

背景技术

在现有技术中,视频监控系统所获取的视频图像中存在大量的运动目标,而在所有的运 动目标中,一般都是以人员和车辆两类目标为主要关注目标。对于这两类目标的管理要求有 着明显的区别,因此在视频监控系统中存在对于这两类目标的分类需求。目前,在研究和开 发中的主要都是采用基于统计训练的方法来对目标进行分类。但是,使用此类方法需要收集 大量的车辆和人员的图像样本,而且识别速度慢,对运算设备需求较高。由此可知,在现有 技术,上述的问题已经严重地限制了该类方法在目标识别中的应用。

发明内容

有鉴于此,本发明提供一种基于视频图像的目标分类方法,从而可以有效地对视频图像 中的不同的目标进行分类,大大提高了分类操作的准确性。

本发明的技术方案具体是这样实现的:

一种基于视频图像的目标分类方法,该方法包括:

步骤11,根据连续的视频图像进行监控区域的背景学习,获得监控区域静态的当前背景 图像BI;

步骤12,根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作, 形成目标图像BFMk

步骤13,从目标图像BFMk中提取目标区域;

步骤14,对各个目标区域进行主成分分析,确定各个目标区域的主方向;

步骤15,将各个目标区域的主方向旋转到水平方向,得到各个旋转后的目标区域;

步骤16,计算各个旋转后的目标区域的矩形饱和度特征;

步骤17,根据矩形饱和度特征和预设的阈值,对各个目标区域进行分类。

较佳的,所述根据连续的视频图像进行监控区域的背景学习,获得监控区域静态的当前 背景图像包括;

步骤111,获取监控视频中的监控区域的当前帧图像Fk,前一帧图像Fk-1和前一帧图像 Fk-1对应的背景图像Bk-1;其中,k为监控区域的当前帧图像的帧号;

步骤112,当k=1时,将监控区域的第1帧图像F1作为前一帧图像Fk-1和背景图像Bk-1 和;当k>1时,根据所获取的Fk、Fk-1和Bk-1,计算得到前帧背景差分BDk和帧间差分FDk

步骤113、根据前帧背景差分BDk、帧间差分FDk和背景图像Bk-1中的各个像素的更新系数, 逐像素对监控区域的背景图像Bk-1进行更新,得到监控区域的当前帧图像Fk对应的背景图像 Bk

步骤114、当k小于预设的初始背景更新帧数时,将监控区域的当前帧图像的下一帧的 图像作为当前帧图像,返回执行步骤111;否则,将监控区域的当前的背景图像Bk作为监控 区域静态的当前背景图像BI。

较佳的,通过如下所述的公式来计算前帧背景差分BDk和帧间差分FDk

BDk=Fk-Bk-1

FDk=|Fk-Fk-1|

其中,BDk为Fk与Bk-1的差分,FDk为Fk与Fk-1的差分的绝对值。

较佳的,所述逐像素对监控区域的背景图像Bk-1进行更新包括:

对背景图像Bk-1中的各个像素逐像素执行下述的步骤:

步骤113a,根据帧间差分FDk和预设的第一阈值FTh,确定当前像素(x,y)的更新量mk(x, y);

步骤113b,当BDk大于预设第二阈值BTh时,根据当前像素的更新量mk(x,y)对背景图 像的当前像素Bk-1(x,y)进行更新;否则,对当前像素不进行更新。

较佳的,所述步骤113a包括:

当帧间差分FDk大于预设第一阈值FTh时,将当前像素(x,y)的更新量mk(x,y) 设为0;否则,根据更新系数kk(x,y)计算得到当前像素(x,y)的更新量mk(x,y);

其中,所述(x,y)为当前像素的坐标。

较佳的,根据如下所述的公式计算当前像素(x,y)的更新量mk(x,y):

mk(x,y)=kk(x,y)′BDk(x,y)。

较佳的,所述更新系数kk(x,y)为分段函数:

kk(x,y)=0.02BDk(x,y)>500.0450BDk(x,y)>250.125BDk(x,y)>100.210BDk(x,y)>50.55BDk(x,y)>0.

较佳的,所述第一阈值FTh为2。

较佳的,根据如下所述的公式对背景图像的当前像素Bk-1(x,y)进行更新:

Bk(x,y)=Bk-1(x,y)+mk(x,y)。

较佳的,所述第二阈值BTh为2。

较佳的,所述步骤12具体包括:

步骤121,根据当前背景图像BI对视频图像的当前帧Fk进行逐像素背景差分操作,得到 当前帧Fk的差分图像矩阵BFDk;其中,k为当前帧Fk的帧号;

步骤122,根据差分图像矩阵BFDk计算均值μ和标准差σ;

步骤123,对于差分图像矩阵BFDk中大于μ+σ的像素值,以最大类间方差准则计算最 优分割阈值Th;

步骤124,根据所述最优分割阈值Th对差分图像矩阵BFDk进行图像分割,得到当前帧Fk的分割数据矩阵BFSk

步骤125,去除分割数据矩阵BFSk中的噪点,填补空洞,形成目标图像BFMk

较佳的,通过如下所述的公式计算得到当前帧Fk的差分图像矩阵BFDk

BFDk=|Fk-BI|

其中,BFDk为Fk与BI的差分的绝对值。

较佳的,通过如下所述的公式计算得到均值μ和标准差σ:

μ=1r×cΣi=1rΣj=1cBFDk(i,j)

σ=1r×c-1Σi=1rΣj=1c(BFDk(i,j)-μ)2

其中,设差分图像矩阵BFDk为r行c列的矩阵,BFDk(i,j)表示图像BFDk第i行第j列像 素的像素值。

较佳的,通过如下所述的公式计算得到分割数据矩阵BFSk

BFSk(i,j)=1BFDk(i,j)Th-1BFDk(i,j)<Th

其中,BFDk(i,j)表示矩阵BFDk的第i行第j列像素的像素值,BFSk(i,j)表示矩阵BFSk的第i行第j列元素的数值。

较佳的,所述步骤125中的去除分割数据矩阵BFSk中的噪点包括:

使用5×5的正方形模板对分割图像BFSk进行腐蚀操作,去除分割数据矩阵BFSk中的噪 点。

较佳的,所述步骤125中的填补空洞包括:

使用7×7的正方形模板对去除噪点后的分割数据矩阵BFSk进行膨胀操作,填补分割分割 数据矩阵BFSk中的空洞,形成目标图像BFMk

较佳的,所述步骤13包括:

将目标图像BFMk中像素值为1的各个连通区域作为目标区域。

较佳的,所述对目标区域进行主成分分析,确定目标区域的主方向包括:

步骤141,根据目标区域中的各个像素的坐标,计算该目标区域的中心坐标:

步骤142,将目标区域T中的所有像素的坐标减去中心坐标,得到目标区域T对应的坐 标数据矩阵R;

步骤143,根据目标区域T对应的坐标数据矩阵R,计算得到协方差矩阵C;

步骤144,根据所述协方差矩阵C确定各个目标区域的主方向。

较佳的,根据如下所述的公式计算目标区域T的中心坐标(x,y):

x=1tΣi=11xiy=1tΣi=1tyi

其中,t为目标区域T中的像素总数,xi和yi分别为目标区域T中第i个像素的横坐标 和纵坐标。

较佳的,使用如下所述的公式来计算协方差矩阵C:

C=RRT

较佳的,所述根据所述协方差矩阵C确定各个目标区域的主方向包括:

计算协方差矩阵C的特征值和特征向量,将数值大的特征值所对应的特征向量作为目标 区域的主方向。

较佳的,所述步骤15中的将各个目标区域的主方向旋转到水平方向包括:

以目标区域的中心坐标为中心,对该目标区域进行旋转变换,将目标区域的主方向旋转 到水平方向。

较佳的,所述步骤16包括:

步骤161,根据各个旋转后的目标区域中的像素的横坐标的最大值、最小值以及纵坐标 的最大值和最小值,形成各个旋转后的目标区域的外接矩形;

步骤162,统计旋转后的目标区域的外接矩形所覆盖的像素数目rs,计算得到旋转后的 目标区域的矩形饱和度特征。

较佳的,使用如下所述的公式计算旋转后的目标区域的矩形饱和度特征QT

QT=trs

其中,t为旋转前的目标区域的像素总数。

较佳的,所述步骤17包括:

当QT大于预设的阈值thr时,判断该QT所对应的目标区域为车辆;否则,该QT所对应的 目标区域为人员。

较佳的,所述thr的值为0.8。

如上可见,在本发明所提供的基于视频图像的目标分类方法中,由于在先通过背景学习 获得监控区域静态的当前背景图像,并根据当前背景图像形成目标图像后,可从目标图像中 提取目标区域,并对各个目标区域进行主成分分析,确定各个目标区域的主方向,然后再将 各个目标区域的主方向旋转到水平方向,计算各个旋转后的目标区域的矩形饱和度特征,进 而根据矩形饱和度特征和预设的阈值,对各个目标区域进行分类,从而可以有效地对视频图 像中的不同的目标进行分类,大大提高了分类操作的准确性。

附图说明

图1为本发明实施例中的基于视频图像的目标分类方法的流程示意图。

图2为本发明实施例中的基于视频图像的目标分类方法的效果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对 本发明进一步详细说明。

本实施例提供了一种基于视频图像的目标分类方法。

图1为本发明实施例中的基于视频图像的目标分类方法的流程示意图。如图1所示, 本发明实施例中的基于视频图像的目标分类方法主要包括如下所述的步骤:。

步骤11,根据连续的视频图像进行监控区域的背景学习,获得监控区域静态的当前 背景图像BI。

步骤12,根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割 操作,形成目标图像BFMk

步骤13,从目标图像BFMk中提取目标区域。

步骤14,对各个目标区域进行主成分分析,确定各个目标区域的主方向。

步骤15,将各个目标区域的主方向旋转到水平方向,得到各个旋转后的目标区域。

步骤16,计算各个旋转后的目标区域的矩形饱和度特征。

步骤17,根据矩形饱和度特征和预设的阈值,对各个目标区域进行分类。

通过上述的步骤11~17,即可在可见光监控图像中直接针对目标区域特征进行分类, 从而可以在保证对目标实时快速分类的基础上,保证较高的分类准确性。

在本发明的技术方案中,可以使用多种方式来实现上述的步骤11。以下将以其中的 一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述根据连续的视频图像进行监控区域 的背景学习,获得监控区域静态的当前背景图像包括:

步骤111,获取监控视频中的监控区域的当前帧图像Fk,前一帧图像Fk-1和前一帧图 像Fk-1对应的背景图像Bk-1;其中,k为监控区域的当前帧图像的帧号。

步骤112,当k=1时,将监控区域的第1帧图像F1作为前一帧图像Fk-1和背景图像 Bk-1和;当k>1时,根据所获取的Fk、Fk-1和Bk-1,计算得到前帧背景差分BDk和帧间差分 FDk

例如,在本发明的较佳实施例中,可以通过如下所述的公式来计算前帧背景差分BDk和帧间差分FDk

BDk=Fk-Bk-1       (1)

FDk=|Fk-Fk-1|       (2)

其中,BDk为Fk与Bk-1的差分,FDk为Fk与Fk-1的差分的绝对值。所述差分操作是通过 逐像素对两个图像相对应的像素值进行相减计算得到的,经过上述逐像素差分操作后, 即可得到差分图像矩阵BDk和FDk

步骤113,根据前帧背景差分BDk、帧间差分FDk和背景图像Bk-1中的各个像素的更新 系数,逐像素对监控区域的背景图像Bk-1进行更新,得到监控区域的当前帧图像Fk对应 的背景图像Bk

较佳的,在本发明的具体实施例中,所述逐像素对监控区域的背景图像Bk-1进行更新 可以包括:

对背景图像Bk-1中的各个像素逐像素执行下述的步骤:

步骤113a,根据帧间差分FDk和预设的第一阈值FTh,确定当前像素(x,y)的更新 量mk(x,y)。

例如,在本发明的较佳实施例中,所述步骤113a可以包括:

当帧间差分FDk大于预设第一阈值FTh时,将当前像素(x,y)的更新量mk(x,y) 设为0;

否则,根据更新系数kk(x,y)计算得到当前像素(x,y)的更新量mk(x,y)。

其中,所述(x,y)为当前像素的坐标。

另外,较佳的,在本发明的具体实施例中,可以根据如下所述的公式计算当前像素 (x,y)的更新量mk(x,y):

mk(x,y)=kk(x,y)′BDk(x,y)         (3)

在本发明的技术方案中,可以根据需要和监控场景的实际情况预先设置更新系数 kk(x,y)的值。例如,较佳的,在本发明的具体实施例中,所述更新系数kk(x,y)可 以是如下所述的分段函数:

kk(x,y)=0.02BDk(x,y)>500.0450BDk(x,y)>250.125BDk(x,y)>100.210BDk(x,y)>50.55BDk(x,y)>0---(4)

较佳的,在本发明的具体实施例中,所述第一阈值FTh可以设置为2。

步骤113b,当BDk大于预设第二阈值BTh时,根据当前像素的更新量mk(x,y)对背 景图像的当前像素Bk-1(x,y)进行更新;否则,对当前像素不进行更新,即Bk(x,y) 的数值等于Bk-1(x,y)。

较佳的,在本发明的具体实施例中,可以根据如下所述的公式对背景图像的当前像 素Bk-1(x,y)进行更新:

Bk(x,y)=Bk-1(x,y)+mk(x,y)         (5)

较佳的,在本发明的具体实施例中,所述第二阈值BTh可以设置为2。

步骤114,当k小于预设的初始背景更新帧数时,将监控区域的当前帧图像的下一 帧的图像作为当前帧图像,返回执行步骤111;否则,将监控区域的当前的背景图像Bk作为监控区域静态的当前背景图像BI。

通过上述的步骤111~114,即可获得监控区域静态的当前背景图像BI。

另外,在本发明的技术方案中,可以使用多种方式来实现上述的步骤12。以下将以 其中的一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述步骤12可以具体包括:

步骤121,根据当前背景图像BI对视频图像的当前帧Fk进行逐像素背景差分操作, 得到当前帧Fk的差分图像矩阵BFDk;其中,k为当前帧Fk的帧号。

较佳的,在本发明的具体实施例中,可以通过如下所述的公式计算得到当前帧Fk的 差分图像矩阵BFDk

BFDk=|Fk-BI|     (6)

其中,BFDk为Fk与BI的差分的绝对值。所述背景差分操作是通过逐像素对两个图像 相对应的像素值进行相减计算得到的,经过上述逐像素背景差分操作后,即可得到当前 帧Fk的差分图像矩阵BFDk

步骤122,根据差分图像矩阵BFDk计算均值μ和标准差σ。

较佳的,在本发明的具体实施例中,可以通过如下所述的公式计算得到均值μ和标 准差σ:

μ=1r×cΣi=1rΣj=1cBFDk(i,j)---(7)

σ=1r×c-1Σi=1rΣj=1c(BFDk(i,j)-μ)2---(8)

其中,设差分图像矩阵BFDk为r行c列的矩阵,BFDk(i,j)表示图像BFDk第i行第j 列像素的像素值。

步骤123,对于差分图像矩阵BFDk中大于μ+σ的像素值,以最大类间方差(OTSU) 准则计算最优分割阈值Th。

步骤124,根据所述最优分割阈值Th对差分图像矩阵BFDk进行图像分割,得到当前 帧Fk的分割数据矩阵BFSk

较佳的,在本发明的具体实施例中,可以通过如下所述的公式计算得到分割数据矩 阵BFSk

BFSk(i,j)=1BFDk(i,j)Th-1BFDk(i,j)<Th---(9)

其中,BFDk(i,j)表示矩阵BFDk的第i行第j列像素的像素值,BFSk(i,j)表示矩阵 BFSk的第i行第j列元素的数值。

步骤125,去除分割数据矩阵BFSk中的噪点,填补空洞,形成目标图像BFMk

通过上述的步骤121~125,即可形成目标图像BFMk

较佳的,在本发明的具体实施例中,所述步骤125中的去除分割数据矩阵BFSk中的 噪点可以包括:

使用5×5的正方形模板对分割图像BFSk进行腐蚀操作,去除分割数据矩阵BFSk中 的噪点。

另外,较佳的,在本发明的具体实施例中,所述步骤125中的填补空洞可以包括:

使用7×7的正方形模板对去除噪点后的分割数据矩阵BFSk进行膨胀操作,填补分割 分割数据矩阵BFSk中的空洞,形成目标图像BFMk

另外,在本发明的技术方案中,还可以使用多种方式来实现上述的步骤13。以下将 以其中的一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述步骤13包括:

将目标图像BFMk中像素值为1的各个连通区域作为目标区域。

在本发明的技术方案中,还可以使用多种方式来实现上述的步骤14。以下将以其中 的一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述对目标区域进行主成分分析,确定 目标区域的主方向包括:

步骤141,根据目标区域中的各个像素的坐标,计算该目标区域的中心坐标。

例如,设目标区域T中有t个像素,各个像素的坐标分别为(x1,y1),(x2,y2),…, (xt,yt),因此,可以根据如下所述的公式计算目标区域T的中心坐标(x,y):

x=1tΣi=11xiy=1tΣi=1tyi---(10)

其中,t为目标区域T中的像素总数,xi和yi分别为目标区域T中第i个像素的横 坐标和纵坐标。

步骤142,将目标区域T中的所有像素的坐标减去中心坐标,得到目标区域T对应 的坐标数据矩阵R。

例如,假设目标区域T中的第i个像素的坐标为(xi,yi),则该像素的坐标减去目 标区域T的中心坐标(x,y)之后可得:

xxi=xi-x                                 (5)

yyi=yi-y

因此,目标区域T对应的坐标数据矩阵R为:

R=xx1xx2xxrLyy1yy2yyt---(12)

步骤143,根据目标区域T对应的坐标数据矩阵R,计算得到协方差矩阵C。

较佳的,在本发明的具体实施例中,可以使用如下所述的公式来计算协方差矩阵C:

C=RRT        (13)

步骤144,根据所述协方差矩阵C确定各个目标区域的主方向。

较佳的,在本发明的具体实施例中,所述根据所述协方差矩阵C确定各个目标区域 的主方向包括:

计算协方差矩阵C的特征值和特征向量,将数值大的特征值所对应的特征向量作为 目标区域的主方向。

例如,由于协方差矩阵C为2×2矩阵,因此具有两个特征值。将这两个特征值按由 大到小排列分别设为λ1和λ2,所对应的特征向量分别为v1和v2,则将特征向量v1作为 该目标区域的主方向。

在本发明的技术方案中,对从目标图像BFMk中提取的每一个目标区域都执行上述的 步骤141~144,即可确定各个目标区域的主方向。

较佳的,在本发明的具体实施例中,所述步骤15中的将各个目标区域的主方向旋转 到水平方向可以包括:

以目标区域的中心坐标(x,y)为中心,对该目标区域进行旋转变换,将目标区域 的主方向旋转到水平方向。

另外,在本发明的技术方案中,还可以使用多种方式来实现上述的步骤16。以下将 以其中的一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述步骤16包括:

步骤161,根据各个旋转后的目标区域中的像素的横坐标的最大值、最小值以及纵 坐标的最大值和最小值,形成各个旋转后的目标区域的外接矩形。

步骤162,统计旋转后的目标区域的外接矩形所覆盖的像素数目rs,计算得到旋转 后的目标区域的矩形饱和度特征。

例如,较佳的,在本发明的具体实施例中,可以使用如下所述的公式来计算旋转后 的目标区域的矩形饱和度特征QT

QT=trs---(14)

其中,t为旋转前的目标区域的像素总数。

另外,在本发明的技术方案中,还可以使用多种方式来实现上述的步骤17。以下将 以其中的一种实施方式为例,对本发明的技术方案进行介绍。

例如,较佳的,在本发明的具体实施例中,所述步骤17包括:

当QT大于预设的阈值thr时,判断该QT所对应的目标区域为车辆;否则,该QT所对 应的目标区域为人员。

另外,在本发明的技术方案中,所述阈值thr的取值可以根据实际应用的需要预先设 定。例如,较佳的,在本发明的具体实施例中,所述thr的值可以为0.8。

图2为本发明实施例中的基于视频图像的目标分类方法的效果示意图。如图2(a) 所示,人员所在的目标区域的矩形饱和度较低,而车辆所在的目标区域的矩形饱和度较 高,而且在实际的计算数值上也有着相同的结果。但是,如图2(b)所示,当车辆目标 不处于视频图像中的水平或者竖直方向上,而是斜向存在时,其所在的目标区域的矩形 饱和度数值将大大降低,与人员所在的目标区域的饱和度数值之间的差异也将减小。因 此,在本发明的技术方案中,通过对各个目标区域进行主成分分析,确定各个目标区域 的主方向,然后再将各个目标区域的主方向旋转到水平方向,从而使得人员与车辆所在 的目标区域的矩形饱和度保持了较大的差异,从而可以通过将目标区域的矩形饱和度与 预设阈值进行比较的方式,实现将不同的目标准确地进行分类的功能。

综上可知,在本发明中的基于视频图像的目标分类方法中,由于在先通过背景学习 获得监控区域静态的当前背景图像,并根据当前背景图像形成目标图像后,可从目标图 像中提取目标区域,并对各个目标区域进行主成分分析,确定各个目标区域的主方向, 然后再将各个目标区域的主方向旋转到水平方向,计算各个旋转后的目标区域的矩形饱 和度特征,进而根据矩形饱和度特征和预设的阈值,对各个目标区域进行分类,从而可 以有效地对视频图像中的不同的目标进行分类,大大提高了分类操作的准确性。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神 和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号