一种拥挤场景下视频异常事件检测方法

摘要

本发明涉及一种拥挤场景下视频异常事件检测方法。具体步骤是：训练阶段，首先对视频分块并提取块的光流信息表示块的局部特征，然后以块的局部特征作为原子构建图，采用拉普拉斯特征映射降维并采用自适应聚类方法对局部特征分类，获得类中心作为码字；最后由码字组成码本。测试阶段，先对视频分块提取局部特征，然后计算与码本的特征距离相似度，并结合前一时刻的8-邻域信息检测事件。本发明只需对光流特征构成的原子集合进行聚类即可建立正常事件模型，历史时刻的邻域信息进一步提高了异常事件检测的准确性。

说明书

技术领域

本发明属于智能视频监控技术领域，涉及一种拥挤场景下视频异常事件检测方法。

背景技术

视频异常事件检测是指能自动分析视频监控场景中发生的事件，如果发生异常事件就能立刻发出报警信号，从而提高相关部门的响应和救援效率。例如步行街上的骑车、轮滑和车辆通行，广场上人群的恐慌、踩踏等这些异常事件都能及时的被检测到并进行报警。它在视频监控领域有着广泛的应用前景。

目前现有的异常事件检测方法可以大致分为两类：1)通过对目标对象进行跟踪，分析其运动轨迹，进而对其做出判断；2)不需要对目标对象进行跟踪，通过建立正常事件模型，对光流、纹理等特征作出分析。第一类方法，通过对目标对象进行跟踪，获取运动方向与目标的运动速度以及根据目标对象特征与尺寸比，该类方法针对场景中只存在少数运动目标时得到了较好的应用，但是在拥挤的环境下,由于目标之间相互重叠，很难对目标对象进行跟踪，因此这类方法的检测性能欠佳。本发明采用第二类方法。

发明内容

本发明的目的是提供一种拥挤场景下视频异常事件检测方法，以提高异常事件检测率。

为解决上述问题，本发明提供的技术方案如下：

步骤(1)特征提取，具体如下：

将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频由若干个立体块组成，每个立体块称为原子。设视频帧的分辨率大小为W×H，每一帧得到块的数量其中表示向下取整。t时刻loci位置块的运动信息用一个直方图表示1≤loci≤f_block，loci是整数，其中h_i，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和。当前时刻为t，结合t时刻的前(M-1)/2帧与后(M-1)/2帧的直方图信息，t时刻loci位置上的原子表示为M取奇数，1≤loci≤f_block。对于一段视频，以M帧为单位分成P小段，得到的原子数量为P×f_block，由这些原子构成该视频的原子集合。

步骤(2)特征学习，具体如下：

2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类。首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block:

$>w_{ij}=\exp \left(\frac{-(1-d_f^{i,j})}{{\sigma }_i{\sigma }_j}\right)\exp \left(\frac{-d_s^{i.j}}{{\sigma }_s}\right)---\left(1\right)$>

公式(1)右边第一项中的数学表达式为：

$>d_f^{i,j}={\alpha }^{i,j}\times d_f(x_i,x_j)---\left(2\right)$>

余弦距离其中<x_i,x_j>表示求x_i与x_j的内积，定义$>d_f(x_i,x_j)=\frac{\underset{k=0}{\overset{4M}{\Sigma }}\min [x_i\left(k\right),x_j\left(k\right)]}{\max [\underset{k=0}{\overset{4M-1}{\Sigma }}{x}_i\left(k\right),\underset{k=0}{\overset{4M-1}{\Sigma }}{x}_j\left(k\right)]};{\sigma }_r=\sqrt{(1-d_f^{r,G})},$>的形式就是式(2)中i＝r，j＝G时，σ_r是尺度因子，其中x_G是x_r第G个近邻点，近邻的距离度量采用欧氏距离，r＝i或j。

公式(1)右边第二项中，表示第i个原子与第j个原子空间上的欧氏距离；σ_s为空间尺度因子。构建完图后，借助于图对原子进行谱聚类。在图论中，聚类的问题转变为图割的问题。其原则是子图内的边权重最大化和各子图间的边权重最小化。被切断的边权重之和最小，即使式(3)所示目标函数最小化。

$>E\left(Y\right)=\underset{ij}{\Sigma }{w}_{ij}\left|\right|y_i-y_j|{|}^2---\left(3\right)$>

其中w_ij由公式(1)给出；y_i和y_j分别是x_i和x_j映射到目标空间上的坐标向量，Y由向量y_i组成，1≤i≤P×f_block。目标函数最小化的问题等价于求解最优的Y：

Y_opt＝argmin(YLY)s.t.Y^TDY＝1(4)公式(4)中，拉普拉斯矩阵L＝D-W。D是对角阵，其对角线上元素值d_ii＝Σ_jw_ij；W由w_ij构成。计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量。将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标。最后根据每个原子的l维空间坐标，采用LihiZelnik-Manor的自适应聚类方法(LihiZelnik-Manor,Self-TuningSpectralClustering.InProceedingsofthe18thAnnualConferenceonNeuralInformationProcessingSystems2004)在l维空间对原子进行聚类，自适应确定聚类的类数。聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算:

$>{\mu }_k=\frac{1}{N_k}\underset{i=1}{\overset{N_k}{\Sigma }}{x}_i---\left(5\right)$>

N_k表示属于第k类事件的原子个数。类中心作为码字，位置loci上所有可能的码字组成码本。

2-2.在loci位置块上建立码本的过程如下：

(a)建立初始码本，将训练数据进行步骤2-1的特征学习得到Num类事件，Num＝Num0。按式(6)计算w_k,loci，如果w_k,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；

$>w_{k,loci}=\frac{n_{k,loci}}{{\Sigma }_k{n}_{k,loci}},k=\{1,2,\mathrm{...........}Num0\}---\left(6\right)$>

其中n_k,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block。

(b)输入新的训练数据将它与loci位置块上的码本比较，若满足特征距离相似度时，th为设定的阈值；将加入到一个新的集合U中，否则把加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中是按式(7)计算的特征距离的相似度；

$>d_{max}\left(x_{loci}^{new}\right)=\underset{k}{max}\left(d_f\right(x_{loci}^{new},c_{loci}^k\left)\right)---\left(7\right)$>

其中表示在位置loci上的码本中第k个码字,1≤k≤Num。

(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2-1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果w_k,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据是否训练完毕，若未完毕则返回步骤(b)。

步骤(3)视频异常事件检测，具体是：

将测试数据与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足时，则初步认为在loci位置块上有异常事件发生，否则没有发生；

步骤(4)时空后处理，具体是：

在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t-1时刻的8-邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。

本发明只需对光流特征构成的原子集合进行谱聚类即可建立正常事件模型。时空后处理考虑了判决位置的历史时刻的邻域信息，进一步提高了异常事件检测的准确性。

附图说明

图1为异常事件检测模型训练过程图；

图2为异常事件检测模型检测过程图。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

本发明的异常检测模型训练和检测过程分别如图1、图2所示，具体步骤如下：

步骤(1)特征提取，具体是：

将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频可以由若干个立体块组成，每个立体块称为原子，取N＝10，M＝3。设视频帧的分辨率大小为320×240，每一帧得到块的数量f_block＝768。t时刻loci位置块的运动信息用一个直方图表示1≤loci≤f_block，loci是整数，其中h_i，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和。当前时刻为t，结合t时刻的前1帧与后1帧的直方图信息，t时刻loci位置上的原子可以表示为取P＝10，得到的原子数量为P×f_block＝7680，由这些原子构成该视频的原子集合。

步骤(2)特征学习，具体如下：

2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类。首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block。取G＝7，σ_s＝0.4。

构建完图后，借助于图对原子进行谱聚类。使式(3)所示目标函数最小化。目标函数最小化的问题等价于求解式(4)的最优。计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量，取l＝10。将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标。最后根据每个原子的l维空间坐标，采用LihiZelnik-Manor的自适应聚类方法在l维空间对原子进行聚类，自适应确定聚类的类数。聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算。

2-2.在位置loci上建立码本的过程如下，1≤loci≤f_block：

(a)建立初始码本，将训练数据进行步骤2-1的特征学习得到Num类事件，Num＝Num0。按式(6)计算w_k,loci，如果w_k,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；

$>w_{k,loci}=\frac{n_{k,loci}}{{\Sigma }_k{n}_{k,loci}},k=\{1,2,\mathrm{...........}Num0\}---\left(6\right)$>

其中n_k,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block。

(b)输入新的训练数据将它与loci位置块上的码本比较，若满足特征距离相似度时，th为设定的阈值，取th＝0.85，将加入到一个新的集合U中，否则把加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中是按式(7)计算的特征距离的相似度；

$>d_{max}\left(x_{loci}^{new}\right)=\underset{k}{max}\left(d_f\right(x_{loci}^{new},c_{loci}^k\left)\right)---\left(7\right)$>

其中表示在位置loci上的码本中第k个码字,1≤k≤Num。

(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2-1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果w_k,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据是否训练完毕，若未完毕则返回步骤(b)。

步骤(3)视频异常事件检测，具体是：

将测试数据与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足时，则初步认为在loci位置块上有异常事件发生，否则没有发生；

步骤(4)时空后处理，具体是：

在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t-1时刻的8-邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。