一种基于多视角贝叶斯网络的多视角行人检测方法

摘要

本发明提出了一种基于视角贝叶斯网络模型的行人检测方法及装置，可以对多个摄像头监控的人群比较密集的场景进行行人检测和定位。不仅适用于前景提取效果较好的场景，也适用于前景提取效果不佳但可以通过行人检测器进行检测的场景。本发明的方法包括单视处理步骤、基平面映射步骤、多视角融合步骤和逆映射以及最终检测结果输出步骤。

说明书

技术领域

本发明属于计算机视觉技术领域，涉及监控视频行人检测分析方法，具体涉 及一种基于多视角贝叶斯网络模型（Multi-view Bayesian Network，MvBN）的行 人检测方法，以及实现该方法的装置。

背景技术

随着监控摄像头广泛的应用于人们生活的方方面面，监控视频数据呈现爆炸 式的增长。行人检测是其他监控视频分析最重要的步骤之一，该步骤为其他监控 视频分析应用，如目标跟踪，、事件监测等提供基础。检测的准确度直接影响到 其他监控视频分析应用。多视角行人检测相对于普通的单视角行人检测来说，能 够更有效的处理因为遮挡而造成的误检漏检等现象。并且多视角行人检测不仅能 够检测出行人在图像中的位置，而且可以定位出行人在监控场景里的真实位置。

基于多视角的行人检测方法核心在于如何有效的融合多个视角的单视检测 信息。现有的多视角行人检测方法，多是针对将单视检测信息投影到地面上，然 后直接进行简单的融合。这种简单的融合策略在行人比较稀疏和摄像头摆放位置 较高时有比较好的效果，但在行人比较密集的时候，由于缺少进一步细致的分析， 检测结果较差。

CN101144716A号中国发明专利申请“一种多视角运动目标检测，定位与对 应方法”提出了一种利用多视角信息的运动目标检测和定位的方法。该方法首先 提取各个视角的前景检测信息，在空间中快速的进行目标的三维重建，然后在垂 直方向地面投影，通过检测峰的位置得到目标。该方法仅是将多个视角的前景信 息通过投影在地面上进行简单的融合，并没有考虑这种融合方法在行人比较密集 时所产生的错误结果。并且，该方法只利用了前景信息，而没有利用单视角的纹 理特征。

CN1941850A号中国发明专利申请“多摄像机下基于主轴匹配的行人跟踪方 法”提出了一种基于主轴匹配的行人跟踪方法。包括步骤：对序列图像进行运动 检测；提取人的主轴特征；进行单摄像机下的跟踪；依据主轴匹配函数建立主轴 匹配对；融合多视角信息对跟踪结果进行优化更新。该方法需要在单视前景的联 通区域求取主轴，对前景要求比较高，鲁棒性不足。并且，该方法也只是利用前 景信息，而没有利用纹理特征。因此在前景特征提取不准确的场景里（比如光照 变化强烈等），该方法的处理效果会大打折扣。

外文文献“Multi-camera Pedestrian Detection with a Multi-view Bayesian  Network Model”（发表于BMVC 2012，Proceedings of the British Machine Vision  Conference，Peixi Peng,Yonghong Tian,YaoweiWang,Tiejun Huang，2012)提出了 一种基于MvBN的多视行人检测方法，该文献中只能利用单视前景检测，不能 在单视检测中既可采用单视前景检测的检测结果，也可采用行人检测器的检测结 果。

发明内容

针对现有技术的局限性，本发明提出了一种基于视角贝叶斯网络模型 （MvBN）的行人检测方法及装置，可以对多个摄像头监控的人群比较密集的场 景进行检测和定位行人。不仅适用于前景提取效果较好的场景，也适用于前景提 取效果不佳但可以通过行人检测器进行检测的场景。

为实现上述目的，本发明采用如下技术方案：

一种基于多视角贝叶斯网络模型（MvBN）的多视角行人检测方法，其步骤 如下：

单视处理步骤：对输入的多摄像机监控视频，分别利用前景分析或行人检测 得到单个摄像头中的检测结果。

基平面映射步骤：利用摄像机参数，建立基平面与各摄像机图像平面间的映 射关系，将单个摄像头的检测结果映射到基平面。

多视角融合步骤：利用多视贝叶斯网络，在基平面上融合多个视角的检测信 息；

逆映射以及最终检测结果输出步骤：将基平面上的检测结果映射到各个图像 空间中去，并且输出最终结果。

根据本发明进一步的发明目的，单视处理步骤中，分别对每个视角单独的进 行检测。本方法中，单视检测输出既可以是前景图的检测结果，也可以是由行人 检测器得到的检测结果。

根据本发明进一步的发明目的，基平面映射步骤中，包括如下子步骤：

a)根据摄像机参数建立基平面世界坐标系和各个视角图像坐标系的映射关 系。

b)将基平面离散成一系列位置点。

c)计算每个位置点对应图像的矩形框。

根据本发明进一步的发明目的，多视角融合步骤包括如下子步骤

a)将各个视角的单视检测信息融合在基平面上，筛选出可能存在行人的位置。

b)建立多视角贝叶斯网络（MvBN）对筛选出来的位置进行分析，计算每个 位置存在行人的概率。

根据本发明进一步的发明目的，逆映射步骤中，根据MvBN的计算结果，将 概率大于阈值的位置点作为最终输出点，输出这些位置的世界坐标。同时，将这 些位置点映射到各个视角图像坐标上，输出在图像里的位置。

根据本发明的另一个发明目的，本发明提出一种基于上述方法的MvBN多视 行人检测装置，有如下模块：

单视处理模块，用于产生所有单个视角里的检测信息。

基平面映射模块，用于建立基平面和图像平面的映射关系，并且离散化基平 面

多视角融合模块，用于融合多个视角的单视检测信息，计算每个位置上行人 存在的概率。

逆映射模块，用于将基平面的检测结果投影到各个视角中，然后输出结果。

附图说明

图1是基于MvBN的多视行人检测装置的组成结构图；

图2是单视检测模块框架图；

图3是基平面映射模块示意图；

图4是多视角融合模块示意图；

图5是逆映射模块框架图；

图6是基于实施例1的实验结果示意图；

图7是基于实施例2的实验结果示意图。

具体实施方式

根据应用场景的不同，本说明书中提出了两种具体实施例，并配合附图，对 本发明做详细的说明。但是本领域的技术人员根据本说明书中所记载的内容，完 全能够在不付出创造性的劳动的情况下，进行变换、更改、替换、改进，因此本 发明的内容不受实施例的限制，任何相应的变换、更改、替换、改进均在本发明 的保护范围之内。

实施例1：

本实施例基于室外监控场景。在室外环境中，光照变化，行人阴影以及被风 吹动的树等都会给单视前景检测带来很多误差。因此，在本实施例中，利用单视 行人检测器的检测结果作为单视输出。

图1是本实施例的基于MvBN的多视行人检测装置的组成结构图。基于 MvBN的多视行人检测装置包括：

单视检测模块，用于产生所有单个视角里的检测信息；

基平面映射模块，用于建立基平面和图像平面的映射关系，并且离散化基平 面；

多视角融合模块，用于融合多个视角的单视检测信息，计算每个位置上行人 存在的概率；

另外，在本说明书中，多视角、多视、多摄像头所指代的含义相同，下文中 不再区分。其中，如图1所示，从单视检测模块输入的是单视的检测结果，从基 平面映射模块输入的是各个视角和基平面之间的映射关系，用来建立各个单视角 检测结果的关系。

逆映射模块，用于将基平面的检测结果投影到各个视角中，然后输出结果。 所述结果是指基平面上的检测结果在各个视角平面上的映射结果。

参照图2,图2a为本实施例的单视检测模块。首先独立的输入各个视角获得 的监控图像，分别对各个视角利用行人检测器（此处检测器为现有技术，根据本 发明的实施方式，采用了两种检测器，一种是前景检测，一种是利用图像特征检测）进 行单视检测，输出每个视角的检测结果。根据本发明的一个实施例，检测结果在 监控图像中以一系列矩形框的形式呈现，这些矩形框中所包围的则为检测到的对 象。

参照图3，图3为本实施例的基平面映射模块。首先将地面离散成若干个位 置点。利用基平面和图像平面的映射关系，将每个位置点映射到各个视角中去， 每个地面上的位置点在各个视角里有对应的矩形框。

参照图4，图4为本实施例的多视角融合模块。本模块有如下两个子模块： a)参照图4(a)，为本模块的位置筛选子模块。所述位置筛选子模块相当于一 个预处理模块，去除掉不可能存在行人的地方。位置筛选子模块通过一些规则去 除一些不可能存在行人的位置点。所述规则的判断方法为：对每一个地面位置， 如果这个位置点在每个视角里对应的矩形框与单视检测输出的检测结果重叠度 都太低（重叠度就是指矩形框的重叠度，检测结果就是一个矩形框），则删除这 个位置点。

b)参照图4(b,c),为本模块的多视角贝叶斯网络推理和学习子模块，该模块 能够实现如下功能：

多视角贝叶斯网络推理和学习子模块的工作流程对应于图4b和图4c，其中 图4b对应下列步骤1-3，图4c对应下列步骤4-5：

1.为每个视角建立单视贝叶斯网络（SBN）。在单视贝叶斯网络中，每一个 位置点在这个视角中对应的矩形框作为节点。如果位置A在这个视角里遮挡了 位置B，在该单视贝叶斯网络中，则位置A是位置B的父节点。

2.将多个单视贝叶斯网络融合为多视角贝叶斯网络，地面上位置点对应一个 节点，与每个单视贝叶斯网络中对应的矩形框联系在一起。

3.引入“主观节点猜想状态”（SSNS）参数，计算出地面上每个位置点基 于SSNS的检测概率值。计算方法如下：

$P(X_i=1|\delta )={\delta }_i\underset{k=1}{\overset{K}{\Sigma }}P\left(C_k\right)P\left(R_i^k\right|{\{R_j^k={\delta }_j\}}_{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)});$

其中X_i代表地面上第i个位置，δ代表SSNS参数，特别的，δ_i对应第i个 位置的SSNS参数。P(C_k)是摄像机k的权重。代表第i个位置点在摄像头k 上对应的矩形框。代表在第k个单视贝叶斯网络上节点的祖先节点集合。 其中

$P\left(R_i^k\right|{\{R_j^k={\delta }_j\}}_{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)})=\left(\underset{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)}{\Pi }(1-{\delta }_j)\right)*\mathrm{Det}\left(R_i^k\right)+(1-\underset{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)}{\Pi }(1-{\delta }_j))*u$

其中是纹理检测置信度。u是一个常数。

4、根据单视检测结果和带有SSNS参数的多视角贝叶斯网络推理模块获得的 概率值计算似然函数：

其中

$P\left(D_k\right|X,\delta )=\exp \left(\underset{s=1}{\overset{\mathrm{num}}{\Sigma }}\underset{i}{\max }\left(P\left(X_i\right|\delta )\right|i_k=s)\right)$

其中num是检测结果个数。=s表示在k视角里对应的检测结果与k视角里第 s个检测结果匹配在一起。然后利用优化算法（如贪心法）迭代求解似然函数， 解出SSNS参数。

5.把第4步的求解得到的SSNS参数带入到多视角贝叶斯网络推理中，求解出 每个位置点可能存在行人的概率。

参照图5，图5为本装置的逆映射模块。根据多视角贝叶斯网络的计算结果， 将概率大于阈值的位置点作为最终输出点，输出这些位置的世界坐标。同时，将 这些位置点映射到各个视角图像坐标上，输出在图像里的位置。

根据本发明的实施例1，利用PETS2009S2L1数据集.该数据集发布在 pets2012.net上。是多视检测领域很流行的一个数据集。该数据集由七个摄像头 获取，每个摄像头上有795帧图像。本实例中我们选取了一个广域摄像头1号和 三个近视角摄像头5号，6号和8号。得出如图6的检测结果。

如图6所示，共有4幅图像，各图像的采集视角均不同。同一个行人在不同 视角中用同一颜色的矩形框标记。根据图6，可以看出，根据本发明的该实施例 的方法和装置，能够在多视角监控图像中精确检测到检测对象。

实施例2

本实施例基于室内体育运动场景，这种情况下，由于运动员身体变形，动作剧 烈，因此利用行人检测器产生的单视检测结果很差，因此本实施例利用各个视角 的前景信息来进行多视行人检测。

类似于实施例1，实施例2中同样具有基于MvBN的多视行人检测装置，其 包括：

单视检测模块，用于产生所有单个视角里的检测信息；

基平面映射模块，用于建立基平面和图像平面的映射关系，并且离散化基平 面；

多视角融合模块，用于融合多个视角的单视检测信息，计算每个位置上行人 存在的概率；

逆映射模块，用于将基平面的检测结果投影到各个视角中，然后输出结果。

参照图2b，图2b为本实施例的单视检测模块，首先独立的输入各个视角获 得的监控图像，分别对各个视角利用行人检测器进行背景消除，获得前景检测结 果（如GMM算法，利用高斯混合模型来进行前景检测），输出每个视角的前景 图。

类似于实施例1，实施例2中同样具有基平面映射模块。基平面映射模块 首先将地面离散成若干个位置点。利用基平面和图像平面的映射关系，将每个位 置点映射到各个视角中去，每个地面上的位置点（例如，地面上的点）在各个视 角里有对应的矩形框。

类似于实施例1，实施例2中同样具有多视角融合模块。多视角融合模块有 如下两个子模块：

位置筛选子模块。位置筛选子模块通过一些规则去除一些不可能存在行人的 位置点。判断方法为：对每一个地面位置，如果这个位置点在每个视角里对应的 矩形框中含有前景信息太少，则删除这个位置点。

多视角贝叶斯网络推理和学习子模块。本实施例中的多视角融合模块与实施 例1中的多视角融合模块类似，但是其中在多视角贝叶斯网络推理和学习子模块 中所进行处理的步骤与实施例1中的处理步骤不同：

1.为每个视角建立单视贝叶斯网络（SBN）。在单视贝叶斯网络中，每一个 位置点在这个视角中对应的矩形框作为节点。如果位置A在这个视角里遮挡了 位置B，在该单视贝叶斯网络中，则位置A是位置B的父节点。

2.将多个单视贝叶斯网络融合为多视角贝叶斯网络，地面上位置点对应一个 节点，与每个单视贝叶斯网络中对应的矩形框联系在一起。

3.引入“主观节点猜想状态”（SSNS）参数，计算出地面上每个位置点基 于SSNS的检测概率值。计算方法如下：

$P(X_i=1|\delta )={\delta }_i\underset{k=1}{\overset{K}{\Sigma }}P\left(C_k\right)P\left(R_i^k\right|{\{R_j^k={\delta }_j\}}_{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)});$

其中X_i代表地面上第i个位置，δ代表SSNS参数，特别的，δ_i对应第i个 位置的SSNS参数。P(C_k)是摄像机k的权重。代表第i个位置点在摄像头k 上对应的矩形框。代表在第k个单视贝叶斯网络上节点的祖先节点集 合。其中

$P\left(R_i^k\right|{\{R_j^k={\delta }_j\}}_{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)})=\frac{{\Sigma }_{{(w,h)}_k\in r_i^k}\left({\Pi }_{R_j^k\in {\mathrm{an}}_k\left(R_i^k\right)\cap {(w,h)}_k\in R_j^k}(1-{\delta }_j)\right)}{{\Sigma }_{{(w,h)}_k\in R_i^k}1};$

其中是(w,h)_k指视角k里坐标为的前景像素点。

4、根据带有SSNS参数的单视检测结果和多视角贝叶斯网络推理模块获得的 概率值计算似然函数：

其中：

$P\left(D_k\right|X,\delta )=\exp \left(\frac{-{\Sigma }_{{(w,h)}_k}\Psi \left({(w,h)}_k\right|\delta )}{\left|D_k\right|}\right)$

其中：

(w,h)_k是第k个摄像头获得的前景图像上当前像素点的坐标。P(X_j＝1|δ)为第三步中所 提。|D_k|为第k个摄像头获得的前景图像上像素点的个数。然后利用优化算法（如梯度 下降法）迭代求解似然函数，解出SSNS参数。

5.把步骤4求解得到的SSNS参数带入到多视角贝叶斯网络推理中，求解出每 个位置点可能存在行人的概率。

本实施例中的逆映射模块类似于实施例1中的逆映射模块，根据多视角贝叶 斯网络的计算结果，将概率大于阈值的位置点作为最终输出点，输出这些位置的 世界坐标。同时，将这些位置点映射到各个视角图像坐标上，输出在图像里的位 置。

在本实施例中，其它的模块、处理步骤和内容类似于实施例1中的对应内容， 在说明书中不再赘述。在APIDIS数据集上进行了基于实施例2的实验，其中结 果示意图如7所示。

如图7所示，共有4幅图像，各图像的采集视角均不同。同一个行人在不同视 角中用同一颜色的矩形框标记。根据图7，可以看出，根据本发明的该实施例的 方法和装置，能够在多视角监控图像中精确检测到检测对象。