一种基于混合图像模板的车辆检测方法

摘要

本发明公开了一种基于混合图像模板的车辆检测方法。该方法包括以下步骤：将不少于1幅的车辆图像作为训练图像；利用消息映射法从训练图像中学习出用于表示车辆对象的混合图像模板中的所有图像块，以及所述混合图像模板的图像似然概率；利用学习得到的混合图像模板对于输入的测试图像进行车辆检测，得到所述测试图像中车辆所在的区域。本发明具有适于轻微车辆类型变化，轻微车辆姿态变化，不同时间段和不同环境条件等优点，特别是在车辆定位的同时也对车辆轮廓等信息进行了详细描述。

说明书

技术领域

本发明属于车辆检测技术领域，尤其是一种基于混合图像模板的车辆 检测方法。

背景技术

基于视频的车辆检测技术是交通视频监控系统中重要的一部分，其能 够为监控系统提供相关的车辆信息。目前主流的基于视频的车辆检测方法 是利用运动信息将视频图像像素分类为背景、前景像素，然后通过组合前 景像素来定位车辆。但是此方法不适合应用于慢速交通(即车辆缺少运动 信息)的情况。除了基于运动的车辆检测方法，许多研究也利用图像特征 (如轮廓、纹理等)定位和检测车辆。但是其中许多方法仅利用单一或较 少类型的车辆特征，并且对于检测出的车辆大多只是实现了定位的功能， 而没有详细描述轮廓，纹理等信息。

混合图像模板融合有多种图像特征，该模板由多个带有不同特征的图 像块组成：边缘块、纹理块、颜色块和平整度块。所述混合图像模板应用 于目标检测时能详细描述目标对象不同位置的不同特征，并且多种特征的 使用也提高了目标对象定位的准确率。另外，每个图像块在检测过程中可 局部移动其位置和方向，这使得混合图像模板能够适应目标对象的适度变 形。因此，本发明将利用该模板实现复杂交通场景下的车辆定位及车辆轮 廓等信息的详细描述。

发明内容

为解决上述的一个或多个问题，本发明提供了一种基于混合图像模板 的车辆检测方法，以实现车辆的定位及对车辆轮廓等信息的详细描述。

本发明所提出的一种基于混合图像模板的车辆检测方法包括以下步 骤：

步骤S1：将不少于1幅的车辆图像作为训练图像；

步骤S2：对于所述训练图像，利用消息映射法从训练图像中学习出用 于表示车辆对象的混合图像模板中的所有图像块，以及所述混合图像模板 的图像似然概率；

步骤S3：利用所述步骤S2学习得到的混合图像模板对于输入的测试 图像进行车辆检测，得到所述测试图像中车辆所在的区域；

所述步骤S3进一步包括以下步骤：

步骤S31：基于所述混合图像模板，利用滤波-局部最大化(SUM-MAX) 操作从输入的测试图像中检测出具有最高车辆检测得分的候选车辆区域， 所述步骤S31进一步包括以下步骤：

步骤S311：利用不少于1个方向的Gabor小波基元对所述测试图像进 行滤波，得到带有这些方向的边缘图像；

步骤S312：在所述边缘图像上执行局部最大化操作，得到被修改的边 缘图像；

步骤S313：利用所述混合图像模板中的图像块对所述测试图像进行滤 波，检测得到候选图像块；

步骤S314：对得到的候选图像块均执行局部最大化操作，得到被修改 的候选图像块；

步骤S315：利用多个图像块在所述混合图像模板中的相对位置和尺度 关系，组合所述被修改的候选图像块，产生所述测试图像中的一个或多个 候选车辆区域；

步骤S316：利用所述混合图像模板中的图像块及所述混合图像模板的 图像似然概率计算所述候选车辆区域的车辆检测得分；

步骤S317：从所有候选车辆区域中，提取出具有最高车辆检测得分的 候选车辆区域；

步骤S32：根据所述最高车辆检测得分与一预定的车辆检测阈值进行 比较，利用迭代方法得到所述测试图像中所有的车辆对象。

本发明基于混合图像模板的车辆检测方法具有以下优点：

(1)利用混合图像模板建模车辆对象，混合图像模板集合了多种不 同的车辆特征，包括边缘，纹理，颜色和平整度等，充分解释了车辆不同 部位的不同特性，并且多种特征的应用提高了车辆检测正确率，也使得本 发明适应多种环境条件。

(2)在车辆检测中，SUM-MAX操作基于所述混合图像模板从复杂 交通场景中检测车辆，不仅能定位车辆而且还能详细描述车辆轮廓等信息； 另外SUM-MAX操作也使得本发明适应适度的车辆变形(即适应轻微车辆 类型变化和适度的车辆姿态变化等)。

附图说明

图1是本发明基于混合图像模板的车辆检测方法的流程图；

图2是本发明一实施例中使用的部分训练图像；

图3是根据本发明一实施例的混合图像模板示意图；

图4是根据本发明方法对不同车型的车辆进行检测的结果；

图5是根据本发明方法对不同车辆姿态的车辆进行检测的结果；

图6是根据本发明方法对不同时间段和不同天气条件的车辆进行检测 的结果；

图7是根据本发明方法对复杂城市交通场景的车辆进行检测的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于混合图像模板的车辆检测方法的流程图，如图1所 示，所述基于混合图像模板的车辆检测方法包括以下步骤：

步骤S1：将不少于1幅的车辆图像作为训练图像；

在选取所述训练图像时，为了增强本发明方法的适用性，可从实际交 通图像中截取多幅车辆图像作为训练图像，在本发明一实施例中，选取了 27幅车辆图像作为训练图像，当然本发明不限于27幅训练图像，事实上， 只要使用不少于1幅的训练图像即可，但是训练图像的数量越多本发明方 法的检测效果就越好。图2显示了本发明一实施例所使用的部分训练图像。

步骤S2：对于所述训练图像，利用消息映射法(Information Projection  Principle)从训练图像中学习出用于表示车辆对象的混合图像模板中的所 有图像块，以及所述混合图像模板的图像似然概率；

所述混合图像模板包含一个或多个图像块，所述图像块可以是以下类 型中的一种或几种：边缘块、纹理块、颜色块、平整度块。在本发明一实 施例中，所述混合图像模板中使用了边缘块、纹理块、颜色块和平整度块 这几种类型的图像块。

其中，一个边缘块由具有1个特定方向的Gabor小波基元来表示，在 本发明一实施例中，使用16个方向的Gabor小波基元来表示不同的边缘 块，当然本发明中Gabor小波基元的方向不限于16个方向，只要Gabor 小波基元的方向数不少于1即可。

一个纹理块由相应训练图像的局部矩形图像区域的梯度直方图来表 示，所述局部矩形图像区域的长宽不小于2个图像像素。在本发明一实施 例中，通过统计所述训练图像中的长宽都为16个图像像素的局部矩形图 像区域内的16个方向的Gabor滤波器的响应值来表示所述梯度直方图， 当然此处不限于Gabor滤波器，只要是能计算图像梯度的滤波器即可，并 且本发明也不限于16个方向的Gabor滤波器，只要是Gabor滤波器的方 向数不少于1个即可。

一个颜色块由相应训练图像的局部矩形图像区域的颜色直方图来表 示，所述局部矩形图像区域的长宽不小于2个图像像素。在本发明一实施 例中，通过统计所述训练图像中的长宽都为8个图像像素的局部矩形图像 区域内的HSV颜色空间的三个颜色通道的像素值来表示所述颜色直方图， 当然本发明不限于HSV颜色空间，可以选择其他颜色空间，同时也不限 于三个颜色通道，只要不少于一个颜色通道即可。

一个平整度块由相应训练图像的局部矩形图像区域的1个或多个方向 的Gabor滤波响应值的叠加值来表示，所述局部矩形图像区域的长宽不小 于2个图像像素。在本发明一实施例中，通过叠加所述训练图像中长宽都 为8个图像像素的局部矩形图像区域的16个方向的Gabor滤波的响应值 来表示所述平整度块，当然本发明不限于16个方向，只要不少于1个方 向即可。

图3展示了根据本发明一实施例学习出的用于表示车辆对象的混合图 像模板，该混合图像模板中的边缘块、纹理块、颜色块、平整度块都以灰 度图像的形式来显示。

基于所述混合图像模板，利用消息映射法(Information Projection  Principle)可以得到所述混合图像模板的图像似然概率：

$p\left(I\right|\mathrm{HIT})=q\left(I\right)\underset{i=1}{\overset{N}{\Pi }}\frac{\exp \left\{{\lambda }_{i}r\left(I_{{\Lambda }_i}\right)\right\}}{Z_i}---\left(1\right)$

其中，I表示一幅图像，HIT是从所述训练图像中学习得到的混合图像模 板，q(I)是一个参考分布，N是所述混合图像模板中图像块的数量，λ_i是 所述混合图像模板中第i个图像块的系数，Z_i是归一化常数，为所述 图像中的某一图像块与所述混合图像模板中第i个图像块之间的距 离。

步骤S3：利用所述步骤S2学习得到的混合图像模板对于输入的测试 图像进行车辆检测，得到所述测试图像中车辆所在的区域。

所述车辆检测的过程是一个迭代过程，其具体包括以下步骤：

步骤S31：基于所述混合图像模板，利用SUM-MAX (summation-maximization，滤波-局部最大化)操作从输入的测试图像中 检测出具有最高车辆检测得分的候选车辆区域；

所述步骤S31进一步包括以下步骤：

步骤S311：利用不少于1个方向的Gabor小波基元对所述测试图像进 行滤波，得到带有这些方向的边缘图像，该步骤中，所述Gabor小波基元 的方向数必须多于或等于所述步骤S2中的用于描述所述边缘块的Gabor 小波基元的方向数，也必须多于或等于所述步骤S2中的所述纹理块中用 于计算梯度直方图的所使用的滤波器的方向数，也必须多于或等于所述步 骤S2中的所述的平整度块中所使用的Gabor滤波器的方向数；

在本发明一实施例中，使用16个方向的Gabor小波基元进行滤波， 当然本发明并不限于16个方向，只要不少于1个方向即可；

步骤S312：在所述边缘图像上执行局部最大化操作，即局部移动Gabor 小波基元的位置和方向，寻找局部图像区域内Gabor滤波响应的最大值， 并将Gabor小波基元所在位置的Gabor滤波响应值修改为所述最大值，得 到被修改的边缘图像；

步骤S313：利用所述混合图像模板中的图像块对所述测试图像进行滤 波，检测得到候选图像块；

若所述混合图像模板包含边缘块、纹理块、颜色块和平整度块，则所 述步骤S313进一步包括以下步骤：

步骤S3131：利用所述混合图像模板中的颜色块对所述测试图像进行 滤波，检测得到候选颜色块，所述候选颜色块是从所述测试图像中检测得 到的与所述混合图像模板中的颜色块具有相似的颜色直方图的图像区域；

步骤S3132：利用所述混合图像模板中的边缘块、纹理块和平整度块 对所述被修改的边缘图像进行滤波，检测出候选边缘块、候选纹理块和候 选平整度块；

步骤S314：对得到的候选图像块(包括候选边缘块、候选纹理块、候 选颜色块和候选平整度块)均执行局部最大化操作，即局部移动所述候选 图像块的位置和方向，寻找局部图像区域内图像块滤波响应的最大值，并 将候选图像块所在位置的图像块滤波响应值修改为所述最大值，得到被修 改的候选图像块；

步骤S3165：利用多个图像块在所述混合图像模板中的相对位置和尺 度关系，组合所述被修改的候选图像块，产生所述测试图像中的一个或多 个候选车辆区域；

步骤S316：利用所述混合图像模板中的图像块及所述混合图像模板的 图像似然概率计算所述候选车辆区域的车辆检测得分；

该步骤中，利用下式来计算所述候选车辆区域的车辆检测得分：

$\mathrm{score}\left(I\right|\mathrm{HIT})=\log \frac{p\left(I\right|\mathrm{HIT})}{q\left(I\right)}=\underset{i=1}{\overset{N}{\Sigma }}{\lambda }_{i}r\left(I_{{\Lambda }_i}\right)-\log Z_i---\left(2\right)$

其中，I表示一候选车辆区域，HIT是在所述步骤S2中学习得到的混合图 像模板，p(I/HIT)是在HIT条件下候选车辆区域I的概率分布，q(I)是一个 参考分布，N是所述混合图像模板中图像块的数量，λ_i是所述混合图像模 板中第i个图像块的系数，Z_i是归一化常数，为所述候选车辆区域中 的某一图像块与所述混合图像模板中第i个图像块之间的距离。

步骤S317：从所有候选车辆区域中，提取出具有最高车辆检测得分的 候选车辆区域。

步骤S32：根据所述最高车辆检测得分与一预定的车辆检测阈值进行 比较，利用迭代方法得到所述测试图像中所有的车辆对象。

所述步骤S32具体为：将所述步骤S31中得到的最高车辆检测得分与 一预定的车辆检测阈值进行比较，若所述最高车辆检测得分大于或等于所 述车辆检测阈值，则相应的候选车辆区域认为是一个车辆对象，然后在所 述测试图像中将检测到的车辆对象去除，并利用去除已检测到的车辆对象 后的测试图像根据所述步骤S31进行下一次车辆检测，直至所述最高车辆 检测得分小于所述车辆检测阈值，整个迭代过程停止，得到所述测试图像 中所有的车辆对象。

其中，所述车辆检测阈值的计算包括以下步骤：

步骤S321，根据所述步骤S31从所有的训练图像中检测车辆区域， 并计算相应车辆区域的检测得分；

步骤S322，利用所有训练图像的车辆区域的检测得分估计得到所述车 辆检测阈值。

在估计所述车辆检测阈值时，可根据实际应用的需要，选择所有训练 图像的车辆区域的检测得分中的一个作为所述车辆检测阈值。

图4-图7展示了根据本发明方法针对不同车辆类型，不同车辆姿态， 不同时间段和不同天气条件和复杂交通场景的车辆检测结果，其中，图4a 和图5a为待检测图像，图4b和图5b为检测得到的车辆定位结果，图4c 和图5c为检测得到的车辆区域中所有图像块的检测结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。