一种基于HOG与D-S证据理论多信息融合的行人检测方法

摘要

一种基于HOG与D-S证据理论多信息融合的行人检测方法，针对原始的视频帧图像进行灰度转换，然后利用基于HOG特征的分类器对转换过后的图片进行检测，得到初步的行人检测结果，在此基础上通过帧间关系矩阵可以判断出在一个区域是否应该有行人而没有检测到，然后利用基于LBP特征的分类器对此区域进行检测，来弥补HOG特征带来的缺失。如果在这种情况下还没有检测到，则使用历史数据即通过帧间关系矩阵获得的数据，利用Kalman滤波器来进行预测，得到行人目标的位置，并且利用D-S证据理论通过多种检测和跟踪等信息的融合来增强判断的准确性。本发明能够准确地检测出相应的行人，并且对于存在部分遮挡的情况也有较好的效果，增强了行人检测的准确性、鲁棒性以及抗干扰能力。

说明书

技术领域

本发明属于图像处理技术和模式识别技术领域，特别涉及一种基于HOG与D-S证据理 论多信息融合的行人检测方法。

背景技术

近年来，随着信息产业的飞速发展，计算机性能的不断提高，利用计算机来检测图像或 者视频中的行人信息已经是智能视频监控系统发展的主要任务。那么如何识别行人以及怎样 将行人与其他对象进行有效的区分，是智能视频监控系统的一个重要组成部分，这也是行人 检测的首要任务。目前的行人检测方法大体可以分为两类：一类是基于背景建模的方法，一 类是基于统计学习的方法。基于背景建模的方法为：分割出前景，提取其中的运动目标，然 后进一步提取特征，分类判别；在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场合， 该方法的鲁棒性不高，抗干扰能力较差。且背景建模方法的模型过于复杂，对参数较为敏感。 基于统计学习的方法为：根据大量训练样本构建行人检测分类器。提取的特征一般有目标的 灰度、边缘、纹理、形状、梯度直方图等信息，分类器包括神经网络、SVM，Adaboost等。 由于背景建模方法的缺点，目前基于统计学习的方法成为研究热点。而目前有关行人检测的 专利主要涉及多特征融合方面，在特征的选择上进行改变，但是单纯使用特征信息容易因为 遮挡、光线变化等情况导致检测失败，并且没有考虑到行人运动的连续性，没有对因为遮挡 或者光照变化引起的检测失败进行处理，不能对行人目标进行准确并且持续的检测。此外， 目前的多特征融合主要是特征级融合，即使用各种不同的特征通过一定的方法融合成为一种 新的特征，但是数据处理的灵活性不高，而且抗干扰能力不强，

发明内容

本发明的目的在于：克服现有技术的不足，提供一种基于HOG与D-S证据理论多信息 融合的行人检测方法，在多特征的基础上加入了跟踪和预测机制，并利用D-S证据理论对多 种信息的结果进行整合，最终得到更为准确的行人目标位置，实现了对静态背景下的行人目 标进行检测，提高了检测的准确率。

本发明采用的技术方案为：一种基于HOG与D-S证据理论多信息融合的行人检测方法， 该方法包括以下步骤：

步骤1，对于原始视频帧，进行颜色空间的转化，从RGB空间转为灰度图；

步骤2，对于获得的灰度图，使用训练好的基于方向梯度直方图(HOG)特征分类器进 行行人检测，获得初步检测结果，得到检测目标信息；

步骤3，在初步检测结果的基础上，在视频帧与帧之间构造帧间关系矩阵，帧间关系矩 阵的数据将用来指导之后的跟踪和预测过程，利用帧间关系矩阵判断是否在一个设定的区域 中有行人而没有检测到，并且帧间关系矩阵相当于一种跟踪，对后期的跟踪预测也是前提条 件，获得跟踪的目标信息；

步骤4，对于本应检测到而没有检测到的区域，即实际画面中存在行人，而单纯使用之 前的方法并没有检测到的行人目标所在区域，利用基于局部二值模式(LBP)特征分类器进 行检测，避免由于特征单一造成的漏检；

步骤5，利用步骤3获得的帧间关系矩阵的数据，采用Kalman即卡尔曼滤波器来对目 标应该出现的位置进行预测，得到预测的行人目标信息；

步骤6，在步骤2的初步检测、步骤3的跟踪和步骤5的预测的基础上，利用D-S证据 理论对于以上检测、跟踪和预测之前使用帧间关系矩阵、LBP分类器检测和Kalman滤波预 测获得的目标信息进行融合，得到最终行人目标的位置信息。

所述步骤1进一步包括以下步骤：对获得的原始视频帧，通过求出每个像素点的R、G、 B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量来将原始图像转换为灰 度图。

所述步骤2中具体方法为：根据步骤1中获得的灰度图像，通过加载基于HOG特征的 分类器，对图像进行遍历，获得初步行人检测结果。

所述步骤3中具体方法为：

步骤31，通过相邻帧之间检测结果的对比计算得到帧间关系矩阵；帧间关系矩阵中的矩 阵的行数和列数分别对应当前帧的目标链表大小和前一帧的目标链表大小，当前帧目标链表 为D＝{Q_k,1,Q_k,2,Q_k,3,…,Q_k,m}，前一帧目标链表为S＝{Q_k-1,1,Q_k-2,2,Q_k-3,3,…,Q_k-1,n}，其中Q_k-1,n表示k-1帧中第n个运动目标的特征信息，所述的特征信息指运动目标的中心坐标；

$P=\begin{array}{ccccc}{p}_{1,1}& p_{1,2}& p_{1,3}& ...& p_{1,n}\\ p_{2,1}& p_{2,2}& p_{2,3}& ...& p_{2,n}\\ p_{3,1}& p_{3,2}& p_{3,3}& ...& p_{3,n}\\ \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}\\ p_{m,1}& p_{m,2}& p_{m,3}& ...& p_{m,n}\end{array}$

帧间关系矩阵P中每个元素的值为相邻帧间运动目标外接矩形求重叠面积的结果，如果当前 帧运动目标的矩形框与上一帧矩形框的重叠面积大于所设阈值，则认为Q_k-1,n和Q_k,m匹配， 从而p_m,n＝1，否则p_m,n＝0，其中p_m,n表示当前帧的第m个目标与上一帧的第n个目标的重 叠面积是否达到阈值；

步骤32，根据帧间关系矩阵，判断图像中的目标发生了哪种情况，并对目标的相应信息， 即中心位置，目标检测框高度，目标检测框宽度进行更新，对目标进行初步的跟踪，具体实 现为将帧间关系矩阵根据帧与帧之间对应检测框的空间位置关系分为5种状态，它们是新目 标出现、目标匹配、目标遮挡、目标分离和目标消失；

(1)新目标出现

如果帧间关系矩阵P中第k行全为0，则当前帧的第k个目标为新出现目标，对于这种 情况"在进行跟踪预测前需要修改目标链表，将新出现的目标信息添加进去并对其建立相应 的卡尔曼跟踪；

(2)目标匹配

如果帧间关系矩阵P中第k行只有第h列一个元素为1，则当前帧的第k个目标与上一 帧的第h个目标匹配，对于这种情况可以直接用当前帧中各个运动目标的特征信息去更新相 应的Kalman滤波器；

(3)目标遮挡

如果帧间关系矩阵P中第k行有多个元素非0，如第h列，第h+1列非0，则上一帧的 第h个和第h+1个目标在当前帧发生遮挡，对于这种情况，首先利用Kalman滤波器预测的 结果获得各个目标在当前帧中的大致区域，然后在预测区域内用预先提取的目标模板进行匹 配，在获得目标的准确区域后，提取新的特征信息更新Kalman滤波器和目标链表；

(4)目标分离

如果帧间关系矩阵P中第k列有多个元素非0，如h行，第h+1行非0，则上一帧的第 k个目标在当前帧发生分离，对于这种情况，用目标链表S中的特征信息进行匹配并继续保 持对各个目标的跟踪；

(5)目标消失

如果帧间关系矩阵P中第k列全为0，则表示上一帧的第k个目标消失，对于这种情况， 根据目标消失前外接矩形的坐标作出判断，如果目标在边界消失，那么直接删除掉链表S中 的特征信息。

所述步骤4中具体方法为：在目标消失的区域，通过对此区域进行截取获得此区域的图 像，然后通过加载基于LBP特征分类器对此图像进行遍历，进行行人目标的更进一步检测。

所述步骤5中具体方法为：利用检测到的行人目标的位置信息来为每个行人目标建立 Kalman滤波器，根据目标信息的更新来更新其对应的Kalman滤波器进行跟踪和预测。

所述步骤6中具体方法为：利用LBP分类器检测，帧间关系矩阵跟踪，Kalman滤波预 测获得的目标信息，对每一类信息构造基本概率赋值(BPA)，将所得到的目标信息从观测 空间转变为证据空间；对于每一类方法得到的目标信息分配对应的mass值，即基本可信数， 然后通过这个mass值推算出其对应证据的信任函数(Bel)和似然函数(Pl)，根据D-S组 合规则分别计算各个命题经过组合后得到的信任值和相应的信任区间，然后再计算综合信任 值和信任区间，最后通过判决规则确定最终行人目标的位置信息。

本发明与现有技术相比的优点在于：

(1)、本发明区别于一般只考虑使用特征信息进行检测导致无法持续准确检测的弊端， 补充使用跟踪、预测以及使用另一种特征信息来对结果进行完善；

(2)、本发明区别于一般多特征融合只考虑到特征级融合的方法，导致数据处理灵活性 不高，抗干扰能力不强的问题，使用决策级融合方法，利用D-S证据理论来对目标信息的准 确性进行完善。

所以本发明在多特征的基础上加入了跟踪和预测机制，并利用D-S证据理论对多种信息 的结果进行整合，最终得到更为准确的行人目标位置。

本发明涉及一种基于HOG特征的并D-S证据理论进行多信息融合的行人检测方法，是 应用在智能视频监控系统的一种行人检测方法。本发明提出了一种在利用HOG特征检测的 基础上进行改进的方法，通过建立帧间关系矩阵，判断相邻帧之间的目标之间的关系，对目 标进行初步地跟踪，对HOG分类器漏检的目标，使用基于LBP特征的分类器进行进一步地 检测，并且在此两种方法下都无法检测的情况下，引入了预测跟踪机制，利用kalman滤波 器以及目标的历史信息对目标的当前帧的位置进行预测，并使用D-S证据理论对得到的多种 信息进行判断，得到更为精确地目标位置，达到持续精确检测的目的。

附图说明

图1是表示基于本发明的实施方式的流程图；

图2是表示基于本发明的实施方式涉及的原始视频帧示意图；

图3是表示基于本发明的实施方式的图像颜色空间转换效果图；

图4是表示利用基于HOG特征的分类器进行行人检测的效果图；

图5是表示辅助使用基于LBP特征的分类器进行行人检测的效果图；

图6是表示使用帧间关系矩阵和Kalman滤波预测后进行信息融合后的行人目标的效果 图；

图7是证据区间示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施步骤，并配合附 图，对本发明进一步详细说明。

如图1所示，本发明的实施方式可以为一般的视频监控设备或者其他视频设备；本发明 所述的基于HOG与D-S证据理论多信息融合的行人检测方法针对原始的视频帧图像进行灰 度转换，然后利用基于HOG特征的分类器对转换过后的图片进行检测，得到初步的行人检 测结果，在此基础上通过帧间关系矩阵可以判断出在一个区域是否应该有行人而没有检测 到，然后利用基于LBP特征的分类器对此区域进行检测，来弥补HOG特征带来的缺失。如 果在这种情况下还没有检测到，则使用历史数据即通过帧间关系矩阵获得的数据，利用 Kalman滤波器来进行预测，得到行人目标的位置，并且利用D-S证据理论通过多种检测和 跟踪等信息的融合来增强判断的准确性。

具体实现步骤如下：

步骤1，对于原始视频帧图像，如图2所示，通过对RGB颜色空间的像素点的各像素 值进行平均，进行空间转换，即从RGB空间转换到灰度空间，得到原始视频帧对应的灰度 图，如图3所示；

步骤2，根据步骤1中获得的灰度图像，通过加载基于HOG特征的分类器，对图像进 行遍历，获得初步行人检测结果，如图4所示；

步骤3，通过相邻帧之间检测结果的对比计算得到帧间关系矩阵；帧间关系矩阵中的矩 阵的行数和列数分别对应当前帧的目标链表大小和前一帧的目标链表大小，当前帧目标链表 为D＝{Q_k,1,Q_k,2,Q_k,3,…,Q_k,m}，前一帧目标链表为S＝{Q_k-1,1,Q_k-2,2,Q_k-3,3,…,Q_k-1,n}，其中Q_k-1,n表示k-1帧中第n个运动目标的特征信息，所述的特征信息指运动目标的中心坐标；

$P=\begin{array}{ccccc}{p}_{1,1}& p_{1,2}& p_{1,3}& ...& p_{1,n}\\ p_{2,1}& p_{2,2}& p_{2,3}& ...& p_{2,n}\\ p_{3,1}& p_{3,2}& p_{3,3}& ...& p_{3,n}\\ \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}& \begin{array}{c}·\\ ·\\ ·\end{array}\\ p_{m,1}& p_{m,2}& p_{m,3}& ...& p_{m,n}\end{array}$

帧间关系矩阵P中每个元素的值为相邻帧间运动目标外接矩形求重叠面积的结果，如果 当前帧运动目标的矩形框与上一帧矩形框的重叠面积大于所设阈值，则认为Q_k-1,n和Q_k,m匹 配，从而p_m,n＝1，否则p_m,n＝0，其中p_m,n表示当前帧的第m个目标与上一帧的第n个目标 的重叠面积是否达到阈值根据帧间关系矩阵，判断图像中的目标发生了哪种情况，并对目标 的相应信息，如位置等进行更新，对目标进行初步的跟踪；通过建立帧间关系矩阵(将跟 踪情况分为)5种状态分别进行处理，它们是新目标出现、目标匹配、目标遮挡、目标分离 和目标消失。

(1)新目标出现

如果帧间关系矩阵P中第k行全为0，则当前帧的第k个目标为新出现目标，对于这种 情况"在进行跟踪预测前需要修改目标链表，将新出现的目标信息添加进去并对其建立相应 的卡尔曼跟踪。

(2)目标匹配

如果帧间关系矩阵P中第k行只有第h列一个元素为1，则当前帧的第k个目标与上一 帧的第h个目标匹配，对于这种情况可以直接用当前帧中各个运动目标的特征信息去更新相 应的卡尔曼滤波器。

(3)目标遮挡

如果帧间关系矩阵P中第k行有多个元素非0，如第h列，第h+1列非0，则上一帧的 第h个和第h+1个目标在当前帧发生遮挡。对于这种情况，首先利用卡尔曼滤波器预测的结 果获得各个目标在当前帧中的大致区域，然后在预测区域内用预先提取的目标模板进行匹 配，在获得目标的准确区域后，提取新的特征信息更新卡尔曼滤波器和目标链表。

(4)目标分离

如果帧间关系矩阵P中第k列有多个元素非0，如h行，第h+1行非0，则上一帧的第 k个目标在当前帧发生分离，对于这种情况，用目标链表S中的特征信息进行匹配并继续保 持对各个目标的跟踪。

(5)目标消失

如果帧间关系矩阵P中第k列全为0，则表示上一帧的第k个目标消失，对于这种情况， 根据目标消失前外接矩形的坐标作出判断，如果目标在边界消失，那么直接删除掉链表S中 的特征信息。

步骤4，在目标消失的区域，通过对此区域进行截取获得此区域的图像，然后通过加载 基于LBP特征的分类器对此图像进行遍历，进行行人目标的更进一步地检测，效果图如图5 所示，其中较粗的框为使用HOG分类器检测到的行人目标，较细的框为补充使用LBP分类 器检测到的行人特征，明显降低了漏检率。

步骤5，利用检测到的行人目标的位置信息来为每个行人目标建立Kalman滤波器，进 行跟踪和预测；卡尔曼滤波是以最小均方误差为估计的最佳准则，来寻求一套递推估计的算 法，其基本思想是：采用信号与噪声的状态空间模型，利用前一时刻地估计值和现时刻的观 测值来更新对状态变量的估计，求出现时刻的估计值。现设线性时变系统的离散状态防城和 观测方程为：

X(k)＝F(k，k-1)·X(k-1)+T(k，k-1)·U(k-1)

Y(k)＝H(k)·X(k)+N(k)

其中X(k)和Y(k)分别是k时刻的状态矢量和观测矢量，F(k，k-1)为状态转移 矩阵，U(k)为k时刻动态噪声，T(k，k-1)为系统控制矩阵，H(k)为k时刻观测矩阵， N(k)为k时刻观测噪声，则卡尔曼滤波的算法流程为：

(1)、预估计X(k)^＝F(k，k-1)·X(k-1)

(2)、计算预估计协方差矩阵

C(k)^＝F(k，k-1)×C(k)×F(k，k-1)'+T(k，k-1)×Q(k)×T(k，k-1)'

Q(k)＝U(k)×U(k)'

(3)、计算卡尔曼增益矩阵

K(k)＝C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)

R(k)＝N(k)×N(k)'

(4)、更新估计

X(k)～＝X(k)^+K(k)×[Y(k)-H(k)×X(k)^]

(5)、计算更新后估计协防差矩阵

C(k)～＝[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'

(6)、X(k+1)＝X(k)～

C(k+1)＝C(k)～

通过以上步骤的迭代，对行人目标的卡尔曼滤波器进行更新，对后面行人目标的预测进 行指导。

利用帧间关系矩阵得到的目标的关系，对目标的信息进行更新，更新其Kalman滤波器 的的相应参数，并利用Kalman滤波器预测出目标的位置。

步骤61，利用之前三种方法得到的结果，使用D-S证据理论决定目标的位置。D-S证据 理论结构的最大特点是在证据中引入了不确定性，建立了基本概率赋值函数(BPAF)、信任 函数(BEL)、似真度函数(PL)等满足比概率论弱的公理，放松了传统Bayes理论需要完 整的先验概率和条件概率知识以及需要有统一的辨识框架要求，可对相互重叠、非互不相容 的命题进行证据组合等特点。

D-S证据理论中最基本的概念是所建立的辨识框架(frameofdiscernment)，记作U。辨 识框架U中的元素满足互不相容的条件，命题A对函数m的赋值m(A)是集合2^U到[0， 1]的映射，若函数m：满足下列条件：m(φ)＝0；m(A)≥0，且则 称m(A)为A的基本概率赋值函数(BPAF)。其中表示空集，m(A)表示对命题A的精确信任 程度，表示了对A的直接支持。对于给定的基本概率赋值函数m及任一A∈2^U，定义他所 对应的信任函数为：Bel(A)＝∑_B∈Am(B)，似真函数定义为：

$Pl\left(A\right)=1-Bel\left(\bar{A}\right)={\Sigma }_{B\cap A=\phi }m\left(B\right),$式中$\bar{A}=U-A.$

Bel函数称为下限函数，表示了对命题A的总的信任程度，其中Bel(φ)＝0，Bel(U)＝1。 Pl函数也称为上限函数或不否定函数，表示不否定A的信任度，是所有与A相交的集合的 BPAF之和。当证据拒绝A时，Pl(A)等于零，当没有证据反对A时，Pl(A)为1，容易证明 Pl(A)≥Bel(A)。[Bel(A),Pl(A)]就表示对A的信任区间。如果辨识框架U的一个子集为A， 且m(A)>0，则称U的子集A为信任函数Bel的焦元(focalelement)。这样，信任度和似真 度就概括了证据对具体的命题A的关系，它们之间的关系如图7所示，这构成了一个完整的 证据区间。

D-S证据组合基本规则：设有两个推理系统，它们的基本概率赋值和信任函数分别为 m1，m2和Bel₁，Bel₂，对于子集A，将这两个推理系统的概率赋值合成的D-S规则为：

m所对应的Bel称为Bel₁和Bel₂的合成或值和，记为 $Bel={\mathrm{Bel}}_1\oplus {\mathrm{Bel}}_2.$

${\Sigma }_{A_1\cap A_2\ne \phi }{m}_1\left(A_1\right)m_2\left(A_2\right)=1-{\Sigma }_{A_1\cap A_2\ne \phi }{m}_1\left(A_1\right)m_2\left(A_2\right)=1-k,$1-k是修正因子(归一化系数)， 1-k的引入实际上是为了避免证据组合时将非零的概率赋给空集，从而把空集所丢弃的信度 分配按比例地补到非空集上。式中k客观地反映了融合过程中各证据间冲突的程度， 0≤k≤1，k越大，证据间冲突越激烈，矛盾越明显。若k接近于1时，很可能产生不合理 的结果，导致与直觉相悖的融合决策；若k＝1，则无法用D-S理论进行融合。

D-S证据组合规则提供了组合两个证据的规则。对于多个证据的组合，可重复运用公式 对多证据进行两两组合。对于多个证据信息的(融合)，令m₁,m₂,…,m_n分别表示n个信息 的信度分配(本发明中n为3)，如果它们是由独立的信息推得的，则融合后的信度函数m 可表示为：

通过LBP分类器的检测结果、帧间关系矩阵的判断结果， 卡尔曼滤波器的预测结果，使用D-S证据理论进行信息融合，得到最后目标位置的判断，效 果图如图6所示，得到的检测框是通过信息融合后得到的最终的行人目标的位置，目标框中 心位置的小圆圈表征的是Kalman滤波器对目标的中心的预测，对检测结果进行校正。

总之，本发明能够准确地检测出相应的行人，并且对于存在部分遮挡的情况也有较好的 效果，增强了行人检测的准确性、鲁棒性以及抗干扰能力。

本发明未详细阐述部分属于本领域技术人员的公知技术。