基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法

摘要

基于隐马尔科夫模型(HMM)的拥塞交通场景的视频车辆检测方法，属于基于视频的智能交通车辆检测领域。本发明利用基于虚拟线圈的方法和HMM，利用车流固有的特征来解决拥塞场景下的视频车辆检索问题。将区域内图像划分为车头、车身和路面三种状态；利用Haar小波变换和主成份分析(PCA)和多元判决分析(MDA)等进行特征提取；对模型进行训练；对状态序列进行修正，从而改善方法的检测效率；对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标。本发明利用HMM来描述车流的特征，解决了拥塞条件下车辆视频检测问题；整个方法实现容易，结构简单，很适合于实时应用。

说明书

技术领域

基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法涉及通过在交通场景视频中设置合适的虚拟线圈，然后利用方法分析虚拟线圈内图像的变化来达到车辆检测的目的，属于基于视频的智能交通车辆检测领域。

背景技术

视频车辆检测技术可以分为两类：基于区域检测的方法和基于跟踪的方法。虚拟线圈的方法是一种典型的基于区域检测的方法，这类方法通过检测视频的特定区域的图像变化来实现车辆检测，由于在选择检测区域的时候就加上了人的先验知识，且实际处理的区域相对于整个视频区域要小得多，方法的效率很高，适于实时应用，但这类方法的稳定性较弱，很容易受极端条件的影响(如交通拥塞，车辆变道等)；基于跟踪的方法需要在整个视频区域内搜索目标，并对目标进行跟踪，因此可适应各种极端条件下的车辆检测，但是相对于基于区域检测的方法，这类方法的复杂度要大得多，不适于实时应用。

以下的文章和专利文献，基本覆盖了该领域主要的背景技术。为了交待出技术的发展过程，让它们时间顺序排列，并逐个介绍文献的主要贡献以及缺点。

P.G.Michalopoulos，“Vehicle Detection Video through Image Processing：TheAutoscope System”，IEEE Trans.vehicular technology，vol.40，no.1，pp.21-29，February 1991.该文献最早介绍了一个完整的基于视频的车辆检测系统，并比较了不同检测技术的优缺点。

A.Chatziioanou，S.L.M.Hockaday，S.Kaighn，L.Ponce，“Video Image ProcessingSystems：Applications in Transportation”，IEEE Proc.Vehicle Nayigation andInformation Systems，pp.17-20，Augest1995.该文献系统的介绍了视频处理技术在交通系统中的应用。

Zengjia Yan，“Video-based Traffic Flow Detection：A Review and Introduction ofVTD System”，PRIP’2007.该文献介绍了一个典型的基于虚拟线圈的视频车辆检测系统，该系统在大多数场景下工作良好，但在拥塞交通场景下系统的检测性能下降明显。

Yang Zuguang，“Tracking Ground Vehicles in Heavy-traffic Video by GroupingTracks of Vehicle Corners”，Intelligent Transportation Systems Conference，2007.ITSC 2007.IEEE，Sept.30 2007-Oct.3 2007 Page(s)：396-399.该文献介绍了一种基于角点跟踪的视频车辆检测方法，该方法能在一定程度上解决拥塞场景下的车辆检测问题，但是基方法复杂度比较高，影响了其在实际系统中的应用。

发明内容

本发明针对当前的大多数视频车辆检测技术面临的计算复杂度较高以及在拥塞交通场景下检测率低的问题，提出了一种基于HMM的拥塞条件下的视频车辆检测方法，该方法一方面利用了基于虚拟线圈的方法的计算复杂度低的优点，另一方面利用HMM对车流进行建模从而改进了拥塞交通场景下车辆的检测率。

基于隐马尔科夫模型(HMM)的拥塞交通场景的视频车辆检测方法，其用HMM来对车流进行描述，利用车流固有的特征来解决拥塞场景下的视频车辆检索问题，该方法实现步骤如下：

步骤一：特征提取；

采用“三状态”的划分，将区域内图像划分为三种状态：车头、车身和路面；

利用Haar小波变换来突出显示图像中的利于车辆检测的特征，对变换后的图像进行了向量化，每幅图像将变为一个向量；

使用主成份分析(PCA)和多元判决分析(MDA)选择一个低维的特征空间，将图像向量在该特征空间中的投影作为图像的特征：首先使用PCA提取训练图像向量集的主成份，称这个主成分空间为PCA子空间，该空间的维数一般取15到20之间；然后对训练的图像进行分类，分为车头、车身及路面三类，对每类图像对应的向量集，首先求其在之前得到的PCA子空间中的投影，然后利用MDA求得PCA子空间中最有利于分开三类数据的方向，称该子空间(方向)为MDA子空间；对于三个类别来说，MDA子空间为2维的；两次投影操作将图像由高维的向量映射为二维的向量，两次投影的投影矩阵可以合并为一个矩阵，接下来用该矩阵与图像向量直接相乘得到图像的特征；

步骤二：模型训练；

采用HMM对状态序列进行建模，使用EM方法对HMM进行训练：

初始化状态先验分布、状态转移概率及观测分布：在初始化状态转移矩的时候，除了图3中用箭头标出的状态转移关系外，其余状态转移概率设为0；状态先验分布及观测分布利用人工分类过的训练数据(三个类别的图像示例如图2所示)直接进行初始化；

步骤三：车辆检测；

由步骤二得到的特征空间计算观测图像序列的特征向量，然后根据训练得到的HMM通过Viterbi方法计算得到观测图像序列对应的状态序列，最后对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标；在对状态序列进行分析前，也可以首先对状态序列进行修正，从而改善方法的检测效率。

本发明利用HMM来描述车流的特征，很好地解决了拥塞条件下车辆视频检测的难题；由于方法以HMM为核心，而HMM具有很多现成的实现，因此整个方法的实现很容易；还有就是方法的结构简单，除了训练模型的时候需要相对多的计算资源外，大部份时间该方法的执行效率都很高，很适合于实时应用。

附图说明

图1本发明总体流程图。

图2为输入图像示例。

图3为EM方法中采样的HMM的结构示意图。

图4为“训练方法”的流程图。

图5为“检测方法”的流程图。

图6为虚拟线圈的设置示意图。

图7为训练图像集在特征空间内的投影。

图8为测试图像集在特征空间内的投影。

图9为未经过校正的状态序列示意图(截取了其中帧长为2000的一段)。

图10为经过校正的状态序列示意图(截取了其中帧长为2000的一段)。

具体实施方式

本发明是一种基于虚拟线圈的方法，将虚拟线圈中的图像分为“车头”，“车身”及“路面”三种状态(类别)，并用HMM对状态序列进行建模，HMM良好的数学性质使得我们可以方便的得到状态序列，通过分析状态序列便可以实现车辆检测，而三状态的划分使得方法可以处理拥塞交通场景下的车辆检测。图1本发明总体流程图，方法在横向上分为三部份，依次包括特征空间的训练、HMM模型的训练以及车辆的检测。其中特征空间的训练依次包括Haar小波变换、PCA空间的训练、MDA空间的训练三个步骤；HMM的训练依次包括Haar小波变换、特征提取、EM方法三个步骤；车辆检测部份依赖于前两部份训练的结果，依次包括Haar小波变换、特征提取、状态提取、状态修正，车辆检测五个步骤。方法的实现步骤如下：

步骤一：(特征提取)传统的检测方法将检测区域分为两种状态：有车和无车，在拥塞场景上很容易出现前后车粘连，从而导致无法正确的检测车辆。于是方法采用“三状态”的划分，图2为输入图像示例，其中图a为路面示例，可以看到路面的纹理比较简单，但会受车辆阴影的影响；图b为车头示例，相对其它两类来说，车头的纹理要复杂得多；图c为车身示例，其纹理的复杂度间于车头和路面之间，且和车头一样具有一定的对称性。如图2所示，将区域内图像划分为三种状态：车头、车身和路面，这样的划分能够很好的处理拥塞场景下的车辆粘连问题。

原始图像特征维数过高，且包含大量冗余信息，方法首先利用Haar小波变换来突出显示图像中的利于车辆检测的特征，为了便于处理，还对变换后的图像进行了向量化，这样每幅图像将变为一个向量。

接下来方法使用PCA+MDA来选择一个低维的特征空间，并将图像向量在该特征空间中的投影作为图像的特征。首先使用PCA提取训练图像向量集的主成份，我们称这个主成分空间为PCA子空间，该空间的维数一般取15到20之间。然后对训练的图像进行手工的分类，分为车头、车身及路面三类，对每类图像对应的向量集，首先求其在之前得到的PCA子空间中的投影，然后利用MDA求得PCA子空间中最有利于分开三类数据的方向，我们称该子空间(方向)为MDA子空间。对于三个类别来说，MDA子空间为2维的。两次投影操作将图像由高维的向量映射为二维的向量，两次投影的投影矩阵可以合并为一个矩阵，接下来便可以用该矩阵与图像向量直接相乘来得到图像的特征了。

步骤二：(模型训练)方法采用HMM来对状态序列进行建模，接下来需要对HMM进行训练，HMM的训练可采用EM方法，方法中采样的HMM的结构如图3所示。图3为EM方法中采样的HMM的结构示意图，其中H表示车头的状态，B表示车身状态，R表示路面状态，箭头表示不同状态间的转移关系。不难看出，由于车流特殊的结构关系，R状态只会跳转到R状态及H状态，H状态只会跳转到H状态及B状态，而B状态可以跳转到任何状态，特别是B状态跳转到H状态对应了路面拥塞的条件下的情况。使用EM方法时需要初始化状态先验分布、状态转移概率及观测分布。在初始化状态转移矩的时候，除了图3所示的状态转移外，其余状态转移概率将设为0，这是因为车辆的状态转移关系是有一定规律的，例如车头的下一状态一定是车头或车身，而车身的下一状态可以是车身或路面(非粘连时)或者是车头(粘连时)，且EM方法保证了状态转移矩阵中为0的项训练后仍为零，从而保证了逻辑的一致性。状态先验分布及观测分布可以利用人工分类过的训练数据直接进行初始化。

图4为“训练方法”的流程图，其过程包括：(1)利用Haar小波变换对训练图像集进行变换，并对图像进行向量化；(2)利用PCA计算整个训练集向量的主成分；(3)将训练图像人工划分为三类(车头，车身，路面)，并对每一类用PCA计算主成分；(4)利用MDA计算特征子空间；(5)通过计算出的特征空间计算训练图像特征；(6)用特征序列通过EM方法对HMM进行训练；

步骤三：(车辆检测)首先由前面得到的特征空间计算观测图像序列的特征向量，然后根据训练得到的HMM通过Viterbi方法计算得到观测图像序列对应的状态序列，最后对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标。在对状态序列进行分析前，也可以首先对状态序列进行修正，从而改善方法的检测效率。

图5为“检测方法”的流程图，其过程包括：(1)对测试图像集进行变换及向量化；(2)通过计算出的特征空间计算测试图像特征；(3)用Viterbi方法对特征序列进行解码，得到状态序列；(4)对状态序列进行较正；(5)对状态序列进行分析，并实现车辆检测。

图6为一个实例虚拟线圈的设置示意图。在一段时长1小时的拥塞场景视频上测试，视频帧率为30fps，检测区域的大小为110×20。实际线圈在设置的时候以正好能将车头框住为准，稍微的大一点或小一点对方法效果影响不大。

图7为该实例训练图像集在特征空间内的投影，其中车头用“+”号表示，车身用“*”号表示，路面用“.”号表示。

图8为测试图像集在特征空间内的投影，其中车头用“+”号表示，车身用“*”号表示，路面用“.”号表示。

图9为未经过校正的状态序列示意图(截取了其中帧长为2000的一段)，上面的线描述了viterbi解码得到的状态序列，下面的线描述了人工标注的状态序列，可以看到方法对车辆的检测结果与人工标记的结果相当的接近，而且即使在车辆拥塞的条件下(前车的车身和后车的车头相连)，方法也可以很好的完成车辆的检测工作。最后统计得到的车辆检测率为99.5％。

图10为经过校正的状态序列示意图(截取了其中帧长为2000的一段)，上面的线描述了对viterbi解码得到的状态序列进行修正后的状态序列，下面的线描述了人工标注的状态序列。修正的依据是车辆本身的速度和加速有限，因此车身的状态持续的时间不会很长，当viterbi解码后得到的车身序列过短时，将前车与后车进行合并。实际中，随着应用场景的不同，可采用的修正方法也有不同。