一种基于聚合通道特征和运动估计的车辆检测方法

摘要

本发明提供一种基于聚合通道特征和运动估计的车辆检测方法，将一种聚合通道特征运用于车辆检测，聚合通道特征根据梯度直方图的每个细胞单元来描述，具有很高的鲁棒性，而且检测精度相比积分通道特征有所提高。样本图像中不仅选取了车辆的正面和背面图像，同时也选取了侧面、遮挡、暗光下的多种正负样本图像来作训练样本，使检测子更具鲁棒性。在检测过程中根据运动估计来对车辆的位置进行粗定位，然后在局部感兴趣区域进行滑窗操作，不仅使得检测效果得到提升，检测速度也达到了实时性。

说明书

技术领域

本发明属于数字图像处理技术，特别涉及计算机视觉和模式识别技术。

技术背景

机器视觉的发展使得视频监控技术得到进一步提升，基于单摄像头的车辆检测与跟踪成 为可能。当前常用的车辆检测方法分为如下两类：

I基于静态图像的车辆检测方法：

①Haar+adaBoost：Haar特征是各种不同大小的矩形框，通过矩形框的运算求得相应的 特征，Haar特征可以通过积分图快速计算。这种方法最早运用于人脸检测(ViolaP,JonesM. Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C].2001.)。

②HOG+SVM：HOG(HistogramsofOrientedGradients)即梯度直方图，是根据各个像 素点的梯度方向组成细胞，并进行直方图归一化，再由多个细胞组成块进行归一化，最后求 得特征。这种方法最早运用于行人检测(DalalN,TriggsB.Histogramsoforientedgradientsfor humandetection[C].IEEE,2005.)。

③ICF+AdaBoost：ICF(IntegralChannelFeatures)即积分通道特征，是在HOG特征的 基础上，采用Haar特征的方式在梯度直方图上随机取其矩形框特征，并加入了L通道和梯度 通道的积分通道特征(DollárP,PeronaP,TuZ.IntegralChannelFeatures[J].20135th InternationalConferenceonIntelligentHuman-MachineSystemsandCybernetics.2009,2: 190-193.)。

④DPM+LSVM：DPM(DeformablePartsModel)即可变性部件模型，利用金字塔在不 同分辨率上提取HOG特征(FelzenszwalbPF,GirshickRB,McallesterD,etal.ObjectDetection withDiscriminativelyTrainedPart-BasedModels[J].PatternAnalysisandMachineIntelligence, IEEETransactionson.2010,32(9):1627-1645.)。

II基于视频流的车辆检测方法：

①混合高斯背景建模：使用K(K为3到5)个高斯模型来表征图像中各个像素点的特 征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配, 如果成功则判定该点为背景点,否则为前景点。

②光流法：它指的是景物中可见像素点的三维速度矢量在成像表面投影形成的二维瞬时 速度场。光流法检测运动目标，其基本思想是赋予图像中的每一个像素点一个速度矢量，从 而形成了该图像的运动场。若图像中不存在运动目标，那么光流矢量在整个图像区域则是连 续变化的，而当物体和图像背景中存在相对运动时，运动物体所形成的速度矢量则必然不同 于邻域背景的速度矢量，从而将运动物体的位置检测出来。当车辆较多有并排汽车或车辆拥 挤时无法将各车辆分出来。

③粒子滤波：粒子滤波(PF:ParticleFilter)的思想基于蒙特卡洛方法(MonteCarlo methods)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想 是通过从后验概率中抽取的随机状态粒子来表达其分布，是一种顺序重要性采样法(Sequential ImportanceSampling)。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本 对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。 这里的样本即指粒子,当样本数量N→∝时可以逼近任何形式的概率密度分布。

发明内容

本发明所要解决的技术问题是，提供一种实时性高、精度高，基于静态图像的的车辆检 测方法。

本发明为解决上述技术问题所采样的技术方案是，一种基于聚合通道特征和运动估计的 车辆检测方法，包括以下步骤：

1)分类器训练

将采集的样本图像转化为LUV图像，得到LUV色彩空间的L、U、V三通道特征；所述 样本图像包括多方向多状况下的图像，所述多方向包括车辆的正面、背面以及侧面；多状况 包括正常光照下、暗光下以及有遮挡的情况；

再求LUV图像的梯度图得到梯度直方图HOG特征；

将L、U、V三通道特征与HOG各方向特征进行级联得到聚合通道特征；

将样本图像的聚合通道特征输入AdaBoost分类器进行训练；

2)车辆检测

2-1采用滑窗检测当前帧图像，提取滑窗内的图像的聚合通道特征输入训练好到 AdaBoost分类器，得到检测结果，当检测到目标时，进入步骤2-2进行下一帧检测，否则返 回步骤2-1进行下一帧检测；

2-2根据上一帧检测到目标的窗口位置通过光流法得到当前帧的检测范围，在检测范围 内进行滑窗检测，得到当前帧的检测结果，若当前帧的检测范围内检测出目标，返回步骤2-2 进行下一帧检测；若当前帧的检测范围内没有检测出目标，则表示目标离开视野或有新的目 标进入视野，返回步骤2-1进行下一帧检测。

本发明将一种新的特征检测子(聚合通道特征)运用于车辆检测。不同于积分通道特征 和haar-like特征的是，聚合通道特征并没有在各个通道上利用矩形框来描述特征，而是根据 梯度直方图的每个细胞单元来描述。聚合通道特征具有很高的鲁棒性，而且检测精度相比积 分通道特征ICF也有所提高。利用聚合通道特征对样本图像进行描述，本发明样本图像中不 仅选取了车辆的正面和背面图像，同时也选取了侧面、遮挡、暗光下的多种正负样本图像来 作AdaBoost的训练样本，使检测子更具鲁棒性。在检测过程中并不是单纯的运用滑窗操作， 而是根据运动估计来对车辆的位置进行粗定位，然后在局部感兴趣区域进行滑窗操作，不仅 使得检测效果得到提升，检测速度也达到了实时性。

本发明的有益效果是，能实时的、准确的定位车辆，具有很强的鲁棒性。

附图说明

图1为本发明流程图。

具体实施方式

为了方便地描述本发明内容，首先对一些术语进行说明。

CIEXYZ色彩空间。CIEXYZ色彩空间也叫做CIE1931色彩空间，是其中一个最先采 用数学方式来定义的色彩空间，它由国际照明委员会(CIE)于1931年创立。人类眼睛有对 于短(S)、中(M)和长(L)波长光的感受器(叫做视锥细胞)，所以原则上只要三个参数 便能描述颜色感觉了。在三色加色法模型中，如果某一种颜色和另一种混合了不同份量的三 种原色的颜色，均使人类看上去是相同的话，我们把这三种原色的份量称作该颜色的三色刺 激值。

Luv通道特征。LUV色彩空间全称CIE1976(L,u,v)(也作CIELUV)色彩空间，L表示 物体亮度，u和v是色度。于1976年由国际照明委员会CIE提出，由CIEXYZ空间经简单 变换得到，具视觉统一性。类似的色彩空间有CIELAB。对于一般的图像，u和v的取值范围 为-100到+100，亮度为0到100。

梯度通道特征。梯度通道特征即为一副图像的梯度图，梯度可以有多种求法，例如Prewitt 算子，Sobel算子。然而[-101]这种最简单的算子却有更好的表现。梯度用来对车辆图像的边 缘进行描述。由于Luv通道与RGB通道之间只是线性变化，因此为了方便，可在求得Luv 通道之后在Luv通道上求取图像的梯度图。

双线性插值。双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的 插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。通过对各个方 向上的比例用此方向上的值进行逼近，最终得到插值结果。但双线性插值插值方法这种方法 并不是线性的，首先进行y方向的插值，然后进行x方向的插值，与首先进行x方向的插值， 然后进行y方向的插值，所得到的R1与R2是不一样的。

三线性插值。三线性插值是在三维离散采样数据的张量积网格上进行线性插值的方法。 这个张量积网格可能在每一维度上都有任意不重叠的网格点，这种方法通过网格上数据点在 局部的矩形棱柱上线性地近似计算点(x,y,z)的值。也即在三维空间中根据各个张量的方向不同 进行的插值方法。

梯度直方图。梯度直方图即HOG，在求得梯度图和梯度方向图后，利用梯度方向图将每 个4*4细胞的像素点的梯度根据最近邻或线性插值分配到6个方向上，然后在每一个方向块 上依据是否采用三线性插值将所有梯度累加到6个梯度方向上，并在2*2的块上进行归一化， 以此来得到6个梯度直方图。

AdaBoost。Adaboost是Boosting家族的代表算法之一，全称为AdaptiveBoosting。Adaboost 是一种基于级联分类模型的分类器，级联分类器就是将多个强分类器连接在一起进行操作， 每一个强分类器都由若干个弱分类器加权组成。该方法根据弱学习的结果反馈适应地调整假 设的错误率，所以Adaboost不需要预先知道假设的错误率下限。

BootStrap。BootStrap是在训练每一个AdaBoost强分类器时，对负样本的不同选择方法。 具体的有，从原始负样本中随机选取；从上一级分类器中选取一部分重新加入原始负样本等 方法。

按照本方法进行车辆图像的检测，如图1所示，包含下列步骤：

训练过程

步骤1、色彩空间转换

摄像头采集的样本图像一般为RGB图像，RGB图像不利于颜色的聚类。为了能很好的描 述车辆的灰度、色度信息，需要将RGB图像转化为LUV图像。具体做法为：

首先将RGB图像转化为CIEXYZ

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\frac{1}{0.17697}\left(\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.17697& 0.81240& 0.01063\\ 0.00& 0.01& 0.99\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)\frac{-b\pm \sqrt{b^2-4ac}}{2a}---\left(1\right)$

然后将CIEXYZ转化为Luv

$L=\left(\begin{array}{cc}116{\left(\frac{Y}{Y_n}\right)}^{1/3}-16,& \left(\frac{Y}{Y_n}\right)>{\left(\frac{6}{29}\right)}^3\\ {\left(\frac{29}{3}\right)}^3\left(\frac{Y}{Y_n}\right),& \left(\frac{Y}{Y_n}\right)\le {\left(\frac{6}{29}\right)}^3\end{array}\right)---\left(2\right)$

u＝13L(u'_-u_n')(3)

v＝13L(v'_-v_n')(4)

其中，$u^{\prime }=\frac{4X}{X+15Y+3Z},v^{\prime }=\frac{9Y}{X+15Y+3Z}.$

Y_n为其亮度，(u_n',v_n')为色度坐标。

步骤2、梯度计算

梯度计算有很多种方法，比如Prewitt算子$\left(\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right)$和$\left(\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right),$Sobel算子 $\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right)$和$\left(\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right).$然而在这里采用最简单的算子[-101]和$\left(\begin{array}{c}-1\\ 0\\ 1\end{array}\right)$进行滤波获得 的效果更好。

步骤3、采样及归一化

由于在计算梯度直方图时要将4*4的细胞分配到6个方向上，也即梯度直方图的长宽比 为原样本图像的1/4，为了使得所有通道的长宽比保持一致，需将Luv通道图像和梯度图像进 行下采样，此处采样并不影响检测结果。在采样过程中使用双线性插值法，以获得较好的效 果。

为了抑制梯度计算中噪声的影响，需要对梯度图进行归一化操作。归一化操作有L1-norm， L2-norm和L1-sqrt。

L1-norm：v→v/(||v||₁+ε)(5)

其中,ε为是一个很小的数，比如0.01，v为梯度，||·||₁表示一范数，||·||₂表示二范数。在本实 施例中采用L2-norm。

步骤4、梯度直方图计算

经过步骤2得到的梯度图，对4*4的单元中的每一个像素点为梯度元素的方向在梯度方 向直方图上进行投票，从而形成方向梯度直方图。直方图的方向在0-180度或0-360度之间 均分，为了减少混叠现象，梯度投票在相邻两个方向上的中心之间需要进行方向和位置上的 双线性插值。投票的权重根据梯度幅值进行计算，可以取幅值本身、幅值的平方或者幅值的 平方根。实践表明，使用梯度本身作为投票权重效果最好。

由于局部光照的变化，以及前景背景对比度的变化，使得梯度强度的变化范围非常大， 这就需要对梯度做局部对比度归一化。具体的做法是将细胞单元组成更大的空间块，然后针 对每个块进行对比度归一化，归一化过程和步骤3一样，最终的描述子是检测窗口内所有块 内的细胞单元的直方图构成的向量。事实上，块之间是有重叠的，也就是说，每个细胞单元 的直方图都会被多次用于最终的描述子的计算。此方法看起来有冗余，但可以显著的提升性 能。

步骤5、AdaBoost训练

AdaBoost算法是通过训练多个决策树来选取特征的。开始时，每个样本对应的权重是相 同的，针对每个特征j训练一个分类器h_j，分类器的错误率ε_j定义为

${ϵ}_j=\underset{i=0}{\overset{n}{\Sigma }}{\omega }_i|h_j\left(x_i\right)-y_i|---\left(8\right)$

其中ω_i为各样本的权重，x_i为第i个样本，y_i为x_i对应的正负样本标号。选择使得分类器h_t(表 示第t个弱分类器)具有最小错误率ε_t的特征，根据选择的特征对分类正确的样本更新权重

$\forall i,h_j\left(x_i\right)=y_i:{\omega }_{t-1,i}\leftarrow {\beta }_t{\omega }_{t-1,i}---\left(9\right)$

其中最后进行对权重进行归一化

${\omega }_{t,i}=\frac{{\omega }_{t-1,i}}{\underset{j}{\Sigma }{\omega }_{t-1,i}}---\left(10\right)$

ω_t,j表示归一化后的权重。

至此，一棵决策树训练完毕，再重复训练多个决策树，进行级联便可得到一个AdaBoost 分类器。在训练每一个AdaBoost分类器时，负样本可通过BootStrap由上一个分类器中被错 误分类的样本或在所有负样本中采样得到。

检测过程

对于视频流的第一帧或者目标变化后的第一帧，采用滑窗检测当前帧图像，提取滑窗内 的图像的聚合通道特征输入训练好到AdaBoost分类器，对于不是目标的窗口将很快的被排除 掉，第一帧的检测速度得到保证，当检测到目标时，进入下一步骤进行下一帧检测，否则返 回本步骤进行下一帧检测；滑窗每个窗口的移动步长为4像素，每个窗口的大小为样本的大 小80*80像素

对于检测出目标之后的每一帧上，在上一帧的检测到的目标窗口位置周围划定一个稍大 的窗口作为当前的检测范围，此窗口的选定是通过光流法得到的。即根据上一帧检测到目标 的窗口位置通过光流法得到当前帧的检测范围，在检测范围内进行滑窗检测，得到当前帧的 检测结果，若当前帧的检测范围内检测出目标，检测范围内目标划定成功，则由于检测范围 内只是图像本身的一部分，检测速度将大大提高，返回本步骤进行下一帧检测；若当前帧的 检测范围内没有检测出目标，则表示目标离开视野或有新的目标进入视野，便要重新在原图 上进行滑窗检测，即返回上一步骤进行下一帧检测。

实施例方法在C++平台上实现算法，与现有车辆检测方法比较，基于聚合通道特征的车 辆检测算法不仅利用了多个通道的全局信息，而且在每个通道上也充分利用了车辆的局部信 息，提高了车辆检测精度；利用运动估计使得检测区域得到缩小，因此检测速度得到提升。