基于视觉大数据驱动的群体性行为分析的视频监控方法

摘要

一种计算机实现的视频监控方法，包括步骤：接收由摄像机捕获的视频数据；根据接收到的视频数据建立群体性行为模型；估计所述群体性行为模型的参数，获得场景中存在的多种人群行为；使用得到的群体性行为模型获得不同人群的行为特征集；对得到的行为特征集进行转换，并使用转换的行为特征集来针对每种人群行为得到统计的人数值。根据本发明的方法，摄像头角度设置具有普遍适用性，可以用于开放出入口人数统计；并且计算量小，可以满足实时视频处理的要求。

说明书

技术领域

本发明涉及一种视频监控方法，特别涉及一种基于视觉大数据驱动的 群体性行为分析技术的视频监控方法。

背景技术

大多数传统的监控系统需要专门的监控人员针对监控视频进行人工判 断。这需要耗费大量的人力，而且人长时间专注于一件事情，可能会疏忽 某些异常情况，从而带来不利后果。智能视频监控系统可以识别不同的对 象，当发现监控画面中的异常情况时，能够以最快和最佳的方式发出警报 和提供有用信息，从而能够更加有效的协助监控人员获取准确信息和处理 突发事件，并最大限度的降低误报和漏报现象。

相关技术中，根据人群行为检测方法的不同可以将视频监控方法分为 两类。一类方法基于运动跟踪的多人行为识别方法，该方法受到人群中人 数的挑战。当人数较多时，遮挡严重，无法进行单人跟踪，因此只能应用 于场景简单且人数少的情况。第二类方法基于特征学习或构造行为模型的 人群行为识别方法，多用于人群中异常行为检测，如人群聚集、人群散开、 以及人群奔跑和群殴等异常行为等。该方法更适合于人多场景，通过提取 特征，建立模型，并使用机器学习方法获得模型参数，有利于提高检测率。 但是一种模型不能描述所有的行为，因此对特定的行为需要不同的模型。 另外缺少训练样本仍然给获得最优的模型参数带来挑战。

发明内容

本发明的目的是提供一种视频监控方法，能够检测并识别人群行为， 并统计不同行为人群的人数。

为了实现上述目的，一种视频监控方法可以包括步骤：

1)接收由摄像机捕获的视频数据；

2)根据接收到的视频数据建立群体性行为模型；

3)估计所述群体性行为模型的参数，获得场景中存在的多种人群行为；

4)使用得到的群体性行为模型获得不同人群的行为特征集；

5)对得到的行为特征集进行转换，并使用转换的行为特征集来针对每

种人群行为得到统计的人数值。

根据本发明的技术方案，其优点在于：1)数学模型简单，参数少， 训练方便；2)可用于人群拥挤环境，计算特定行为人数的累积量；3)摄 像头角度设置具有普遍适用性，可以用于开放出入口人数统计；4)计算 量小，可以满足实时视频处理的要求。

附图说明

图1示出了根据本发明实施例的视频监控方法的流程图；

图2示出了根据本发明实施例的词-文档模型结构；

图3示出了根据本发明实施例的现场场景示例；

图4示出了根据本发明实施例的现场场景中不同人群行为特征集；

图5示出了根据本发明实施例的几何校正示意图；

图6示出了根据本发明实施例得到的现场园区人数变化示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相 同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术 人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应 了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约 束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、 “下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用 的方向用语是用来说明并非用来限制本发明。

根据本发明的技术方案，首先针对场景人群的复杂性，使用群体性行 为模型来挖掘场景中的多种行为；然后，根据检测到的K类人群行为，针 对每类人群获得行为特征集；然后，将得到的行为特征集转换为例如5维 特征向量，以便减少特征维数，并通过关联时间参数，获得一个5*G维特 征向量；然后，利用得到的5*G维特征向量训练人工神经网络，从而统计 每类人群的行为人数的累积量。本发明实施例的整个技术方案流程图如附 图1所示。下面对本发明的实施例进行详细说明。

步骤1：接收由摄像机获取的视频数据，并可以对接收到的视频数据进 行例如去噪等处理。

步骤2：基于接收到的视频数据建立群体性行为模型。

由于人群行为的复杂性，通常在一个场景中存在不同的人群行为，难 于用单一模型描述所有行为。因此可以通过群体性行为模型来获取每种行 为的特征集，并使用行为特征集做人群分析。该群体性行为模型可以是一 种词-文档模型，即：底层特征作为词，视频片段作为文档，从而挖掘视 频中的人群行为，即隐含主题，并获得每种人群行为的特征集，即底层特 征集合。

本发明实施例采用的模型底层特征为局部运动信息。例如，可以通过 帧差法获得运动像素，然后使用光流法(Horn B K P，Schunck B G. Determining optical flow[J].Artificial intelligence，1981，17(1)：185-203) 来计算运动像素的速度向量，进而得到运动像素的特征，即位置和运动速 度。这里，把每个运动像素作为一个词w_i，一段视频可以包括M帧图像， 即M个文档，每个文档可以用一个词集表示，即，文档W＝{w_i，i＝1，...，N}， 其中w_i＝{x_i，y_i，u_i，v_i}，N是该视频帧中的像素数目，x表示像素的水平位置， y表示像素的垂直位置，u表示像素沿水平方向的速度，v表示像素沿垂直 方向的速度。当然，本领域技术人员可以采用运动估计领域中的其他公知 技术来表示文档W。

图2示出了本发明实施例使用的词-文档模型结构。其中，α表示文档 集合中隐含主题间的相对强弱，β表示所有隐含主题自身的概率分布，随 机变量π_j表征文档层j，随机变量π_j的大小表示目标文档中各隐含主题的 比重。在词层，z_ji表示目标文档j分配给每个词i的隐含主题份额，x_ji是 目标文档的词向量表示形式。假设有K个行为主题，则每个主题是词的多 项分布，α可以是语料库的Dirichlet分布。对于每个文档j，Dirichlet分布 Dir(π_j|α)是以π_j为参数。对于在文档j中的每个词i，主题z_ji的概率分布 为π_jk，词x_ji是关于参数的多项分布。其中π_j和z_ji为因变量，α和β是 需要优化的参数。当给定α和β时，随机变量π_j、主题z_j＝{z_ji}、词x_j＝{x_ji} 的联合概率分布如公式(1)所示：

$\left(\begin{array}{c}p(x_j,z_j,{\pi }_j|\alpha ,\beta )=p\left({\pi }_j\right|\alpha )\underset{i=1}{\overset{N}{\Pi }}p\left(z_{\mathrm{ji}}\right|{\pi }_j)p\left(x_{\mathrm{ji}}\right|z_{\mathrm{ji},}\beta )\\ =\frac{\Gamma \left({\Sigma }_{k=1}^K{\alpha }_k\right)}{{\Pi }_{k=1}^K\Gamma \left({\alpha }_k\right)}{\pi }_{j1}^{{\alpha }_1-1}···{\pi }_{\mathrm{jk}}^{{\alpha }_k-1}\underset{i=1}{\overset{N}{\Pi }}{\pi }_{{\mathrm{jz}}_{\mathrm{ji}}}{\beta }_{z_{\mathrm{ji}}{x}_{\mathrm{ji}}}\end{array}\right)---\left(1\right)$

因此，构建词-文档模型的核心问题是隐含变量分布的推断，即获得目 标文档内部隐含主题的构成信息(π，z)。然而，由于后验分布p(z_j，π_j|α，β)不 容易计算，则可以利用如下所示的公式(2)的变分分布来近似该分布：

$q(z_j,{\pi }_j|{\gamma }_j,{\phi }_j)=q\left({\pi }_j\right|{\gamma }_j)\underset{i=1}{\overset{N}{\Pi }}q\left(z_{\mathrm{ji}}\right|{\phi }_{\mathrm{ji}})---\left(2\right)$

其中，γ_j为Dirichlet分布q(π_j|γ_j)的参数，{φ_ji}为多项分布q(z_j|φ_j)的 参数。(γ_j，φ_j)可以通过计算logp(x_j|α，β)的最大值获得。

步骤3：估计群体性行为模型的参数，获得场景中存在的各种人群行为。

最优参数(α，β)可以通过计算logp(x_j|α，β)的最大值获得，如公式(3) 所示。

$({\alpha }^{*},{\beta }^{*})=\underset{(\alpha ,\beta )}{\arg \max }\underset{j=1}{\overset{M}{\Sigma }}\log p\left(x_j\right|\alpha ,\beta )---\left(3\right)$

同样由于p(x_j|α，β)不容易直接计算，可以通过一种变分的最大似然估 计EM方法来估计参数(α，β)：在E-step中，对于每个文档j，找到最优的 变分参数，使用由E-step获得的最优变分参数的变分分布来近似上 述公式(2)，通过两步循环计算，获得最优参数(α^*，β^*)。

作为示例，图3示出了接收的视频数据的某帧图像，其中使用本发明 实施例的群体性行为模型挖掘到该场景下包括例如四个隐含主题(人群行 为)，即：向上运动、向下运动、向左运动、向右运动。

步骤4.：使用得到的群体性行为模型获得不同人群行为特征集。

视频中的每帧图像都包含不同的人群行为，可以使用在步骤3中得到 的群体性行为模型的参数，通过词-文档模型获得每种人群行为的特征集， 如下式(4)所示。

$\left(\begin{array}{c}{f}_{k^{*}}=\left\{x_{k^{*}i}\right|i=1,...,F\}\\ k^{*}=\underset{k\in \{1,...,K\}}{\arg \max }p(x_i,z_{k,i}|\alpha ,\beta )\end{array}\right)---\left(4\right)$

其中，为第k*个行为的特征集，F为第k*个行为的特征集中特征 的个数，x_ki为词是第k种行为的第i个像素点的特征。

图4示出了场景中的人群行为，其中利用光流特征点(图像中只显示 了部分特征点)来表示不同的行为，图中有三种人群行为：矩形区域1中 的特征点表示向上运动、矩形区域2中的特征点表示向左运动、矩形区域 3中的特征点表示向下运动。

步骤5：对得到的行为特征集进行转换，并使用转换的行为特征集来针 对每种行为得到统计的人数值。

以上通过群体性行为模型获得了不同的人群行为以及每种行为的特 征集。尽管行为特征集也可以描述行为人群的人数，但特征维数较高，参 数训练时间较长，并且不能直接获得累积人数。因此，根据本发明的方法， 可以将每帧图像的行为特征集转换为5维特征向量，由此降低特征维数。 同时，可以将时间参数加入行为特征集中，对于利用上述式(4)得到的 每个行为特征集，可以获得一个5*G维的特征向量 NF＝{AS_G，SV_G，DV_G，DD_G，NP_G}，其中G为时间参数，表示G个帧，用于统计 特定行为人数的累积量。具体地，可以利用以下方法来得到上述5*G维特 征向量：

(1)平均速度向量AS_G：

AS_G＝{AS_g，g＝1，...，G}，其中AS_g为第g帧图像的平均速度，可以如式 (5)所示得到AS_g。

${\mathrm{AS}}_g=\frac{1}{F}\underset{i=1}{\overset{F}{\Sigma }}\sqrt{v_{\mathrm{gi}}^2+u_{\mathrm{gi}}^2}---\left(5\right)$

其中，u_ji和v_gi分别表示第g帧图像中第i个特征的x和y方向速度分 量。

(2)速度方差向量AV_G：

SV_G＝{SV_g，g＝1，...，G}，其中SV_g为第g帧图像的速度方差，用于衡量每 帧图像中光流速度的复杂度，可以如式(6)所示得到SV_g。

${\mathrm{SV}}_g=\frac{1}{F}\underset{i=1}{\overset{F}{\Sigma }}{(\sqrt{v_{\mathrm{gi}}^2+u_{\mathrm{gi}}^2}-{\mathrm{AS}}_g)}^2---\left(6\right)$

(3)方向方差向量DV_G：

DV_G＝{DV_g，g＝1，...，G}，其中DV_g为第g帧图像的方向方差，用于衡量 光流方向的复杂度，可以如式(7)所示得到DV_g。

${\mathrm{DV}}_g=\frac{1}{8}\underset{i=1}{\overset{8}{\Sigma }}{({\mathrm{ND}}_{\mathrm{gi}}-{\overline{\mathrm{ND}}}_g)}^2---\left(7\right)$

将0～360°分为8个区间，把每种行为特征集中光流的方向特征按着 角度区间投票，获得每种行为的方向直方图。ND_gi为方向直方图的第i个 区间的统计值，为{ND_gi，i＝1，...，8}的平均值。

(4)方向散度向量DD_G：

DD_G＝{DD_g，g＝1，...，G}，其中DD_g为第g帧图像的方向散度，可以如式 (5)所示得到DD_g。

$\left(\begin{array}{c}{\mathrm{DD}}_g=\underset{i=1}{\overset{8}{\Sigma }}{\mathrm{ND}}_{\mathrm{gi}}\times \left|{\mathrm{RD}}_g\left(i\right)\right|\\ {\mathrm{RD}}_g\left(i\right)=\mathrm{mod}(i-{\mathrm{MD}}_g,8)-8\times (\mathrm{mod}(i-{\mathrm{MD}}_g,8)\ge 4)\end{array}\right)---\left(8\right)$

其中MD_g＝max(ND_gi)，i＝1，...，8。

(5)行为像素总数向量

由于监控场景景深一般较大，场景在图像平面上的投影存在比较严重 的透视现象(同样的物体，离摄像机近看起来大，离摄像机远看起来小)， 因此需要对图像平面上不同像素的贡献作加权处理。假设地面是平面，人 垂直于地面。如图5所示，设消逝点P_v的坐标为(x_v，y_v)，参考线为y_r＝H/2， 则可以如式(9)所示得到图像平面上任意一个像素I(x，y)的贡献因子。

$S_C(x,y)={\left(\frac{y_r-y_v}{y-y_v}\right)}^2---\left(9\right)$

则针对该行为的像素总数为：该行为的像素总数 向量为NP_G＝{NP_g，g＝1，...，G}

获得5*G维特征向量后，通过手工标定进出两种不同行为的人数，用 于训练人工神经网络模型，将训练好的神经网络模型用于进出人数统计。 可以使用公知的神经网络方法来获得人数统计。实验通过统计该场景下出 口的进门人数与出门人数之差的方法获得进入园区内的总人数。图6(a) 示出了现场某帧图像进出行为人群的人数。在图像右上角用红色字体表示 出从开始计数到目前为止进门人数与出门人数：进(In)：157，出(Out)： 39，图像中仅显示了部分光流特征点，椭圆区域1中的特征点表示“出”， 椭圆区域2中的特征点表示“进”，箭头表示特征点运动方向，黑色框为 人数统计区域。图6(b)示出了园区内人数的变化(每2分钟为单位)， 其中园区内人数统计的平均正确率为92.35％。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 己，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。