一种基于车载传感器视频流匹配的实时测速方法

摘要

本发明公开了一种基于车载传感器视频流匹配的实时测速方法，利用车载摄像头拍摄的两幅图像中同一目标对象角点移动的像素数反推在两幅图像时间间隔内车辆行驶的位移，从而获得车辆的行驶速度，进而为驾驶员提供实时的速度信息，使用该方法只需要安装一个车载摄像头就可以实现对车速的监测，不存在车辆制造和装配误差以及轮胎磨损问题对车速测量的影响，方便可行。

说明书

技术领域

本发明属于数字图像处理、模式识别与系统辨识相关技术领域，具体涉及 一种基于车载传感器视频流匹配的实时测速方法。

背景技术

目前，车辆测速方法有很多，大致可分为非车载式的测速方法和车载式的 测速方法。非车载式的测速方法主要有雷达测速、激光测速和视频测速等方法， 其中，视频测速方法具体通过软件算法对视频信号进行处理和分析，通常是从 视频图像中获取参考对象，并计算出参考对象在一定的时间内移动的像素数， 再进行像素数与实际距离的换算，最后根据速度公式计算得到车辆的运动速度， 该方法不需要雷达，也不需要很多种的传感器，只需要将视频摄像头安装于道 路的一侧和上方便可以实现对视频中车辆的行驶速度进行检测，但是该方法只 能作为交通监管车速的一种手段，而无法实时在车辆上显示车速来提醒驾驶员。

车载式的测速方法主要有机械式测速、测速发电机、霍尔式传感器测速、 地感线圈测速；通常利用轮轴转动产生的信息来得到速度值，并将速度显示在 车速表上来提醒驾驶员。

目前的车辆自身测速的方法基本上分为两种：一种是通过测量变速箱里面 齿轮转动的转速来计算；另外一种是通过装载ABS刹车上面的轮速仪来计算。 但由于车辆传感器的制造和装配误差以及轮胎磨损、轮胎气压不符合规定等原 因，都可能引起车辆速度测量结果与实际车速之间存在误差，易造成交通事故 的发生。

发明内容

有鉴于此，本发明提供了一种基于车载传感器视频流匹配的实时测速方法， 将利用拍摄的两幅图像中同一目标对象角点移动的像素数反推在两幅图像时间 间隔内车辆行驶的位移，从而获得车辆的行驶速度，进而为驾驶员提供实时的 速度信息。该方法只需要安装一个车载摄像头就可以实现对车速的监测，不存 在车辆制造和装配误差以及轮胎磨损对车速测量的，方便可行。

一种基于车载传感器视频流匹配的实时测速方法，包括下列步骤：

步骤一、将视频采集设备安装在车身侧面，镜头朝向与车的航向垂直，在 t₁、t₂时刻分别采集视频图像，在t₁时刻采集的图像定义为基准图像，在t₂时刻 采集的图像定义为待配准图像，定义ΔT=t₂-t₁为车辆行驶时间；

步骤二、视频处理设备采用Harris角点检测方法对每幅图像中的角点进行 提取，获得角点集；

步骤三、采用局部特征法对步骤三提取的角点集进行配准，获得匹配角点 对；

步骤四、选取两幅图像中的同一目标对象，并从步骤三获得的匹配角点对 中找到所述目标对象的一个角点对，采用仿射变换将待配准图像中目标对象的 角点变换到基准图像中，从而获得目标对象的角点移动的像素数Δd；

步骤五、将目标对象的角点在图像中移动的像素数利用公式（9）转换为目 标对象的角点的实际位移ΔS，ΔS即为车辆在ΔT时间内行驶的距离；

其中，图像采集设备的视角为W为图像水平方向上的像素数，d为镜头与目 标对象平面之间的垂直距离；

步骤六、根据步骤一所述的车辆行驶时间ΔT和步骤五获得的车辆行驶的 距离ΔS，获得车辆的行驶速度。

较佳的，步骤一中的基准图像和待配准图像为连续两帧图像。

有益效果：

1）本发明将利用拍摄的两幅图像中同一目标对象角点移动的像素反推车辆 行驶两幅图像时间间隔内的位移，从而获得车辆的行驶速度，该方法不存在车 辆制造和装配误差以及轮胎磨损对测速的影响，只需要安装一个车载摄像头就 可以实现对车速的监测，方便可行。

2）本发明一较佳实施例中步骤一中的基准图像和待配准图像为连续两帧图 像，视频采集设备采集连续两帧图像的时间很短，可认为车辆在这段时间内的 速度是不变的且沿直线运动，图像也不会受到较大的扰动影响，测速的结果更 逼近真实的车辆速度。

附图说明

图1为本发明的流程图；

图2为目标对象在图像中的位移;

图3为Harris角点提取的角点效果图;

图4为角点匹配效果图;

图5为摄像机原理图;

图6为摄像机原理图的俯视平面图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于车载传感器视频流匹配的实时测速方法，在计算机 硬件环境下进行，Windows2000/XP；matlab或C语言或C++等任何一种语言环 境软件均可实现，本实施例采用matlab语言，利用ATRV型地面无人自主车、 摄像机进行试验，流程如图1所示，具体步骤如下：

步骤一、将摄像机安装在ATRV型地面无人自主车的车身侧面，镜头朝向 与车的航向垂直，在t₁、t₂时刻分别采集视频图像，在t₁时刻采集的图像定义为 基准图像，在t₂时刻采集的图像定义为待配准图像，定义ΔT=t₂-t₁为车辆行驶 时间；

假设连续两帧图像之间的时间间隔为Δt，间隔时间Δt内采集图像的帧数为 n，则ΔT=nΔt。

由于车载视频图像中的背景不断变化，为了避免各种因素对车辆测速的影 响，且保证采集的两帧图像中均存在目标对象，采集连续两帧的图像来进行计 算，它们的时间间隔很短，可认为车辆在这段时间内的速度是不变的且沿直线 运动，图像也不会受到较大的扰动影响，测速的结果更逼近真实的车辆速度， 因为本实施例n=1，ΔT=Δt。

步骤二、采用Harris角点检测方法对每幅图像中的角点进行提取，获得角 点集。

Harris算子是C.harris和M.J.Stephens于1988年提出的一种角点提取算子， 这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M， M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该 点是角点。Harris算子提取角点的方法具有计算简单，对图像旋转、灰度变化、 噪声影响和视点变换不敏感等优点，是一种比较稳定的角点提取方法。

Harris角点检测法的基本原理如下：

在Harris算法中，记像素点(x,y)的灰度为f(x,y)，图像的每个像素点(x,y)移 动(u,v)的灰度强度变化表示为:

$E_{u,v}(x,y)=\underset{u,v}{\Sigma }{w}_{u,v}{[f(x+u,y+v)-f(x,y)]}^2$

对等式右端按泰勒级数展开并忽略最高项可得：

$\left(\begin{array}{c}{E}_{u,v}(x,y)=\underset{u,v}{\Sigma }{w}_{u,v}{[u\frac{\partial f}{\partial x}+v\frac{\partial f}{\partial y}+O(u^2,v^2)]}^2\\ \approx \underset{u,v}{\Sigma }{w}_{u,v}{(u\frac{\partial f}{\partial x}+v\frac{\partial f}{\partial x})}^2\\ =\underset{u,v}{\Sigma }{w}_{u,v}(u,v)\left(\begin{array}{cc}{\left(\frac{\partial f}{\partial x}\right)}^2& \frac{\partial f}{\partial x}\frac{\partial f}{\partial y}\\ \frac{\partial f}{\partial x}\frac{\partial f}{\partial y}& {\left(\frac{\partial f}{\partial y}\right)}^2\end{array}\right){(u,v)}^T\end{array}\right)$

其中,w_u,v为高斯窗口在(u,v)处的系数且为了更好的降低 噪声的影响，Harris检测算法对图像进行平滑滤波后再提取角点。用和反 映图像在每个像素点的灰度变化方向,若像素点(x,y)存在两个方向灰度都发生 足够大的变化则提取为角点。

令$M=\left(\begin{array}{cc}{\left(\frac{\partial f}{\partial x}\right)}^2& \frac{\partial f}{\partial x}\frac{\partial f}{\partial y}\\ \frac{\partial f}{\partial x}\frac{\partial f}{\partial y}& {\left(\frac{\partial f}{\partial y}\right)}^2\end{array}\right),$M称为像素点(x,y)的自相关矩阵，设λ₁和λ₂分别是M 的2个特征值，它们是自相关函数一阶曲率。可以通过判断λ₁和λ₂的值的情况来 判断平坦区、角点和边沿。为了计算简单，采用角点响应函数来避免求解矩阵 的特征值。

角点响应函数CRF定义为:

CRF＝det(M)-k*trace²(M)，

其中，det(M)＝λ₁λ₂，trace(M)＝λ₁+λ₂。k为经验值，一般取0.04～0.06，其判断 的准则为：当CRF的值大于某个预先设定的阈值时，即为候选的角点，否则不 是角点。阈值的大小根据所需角点的多少进行调整。

如图3所示，左边为基准图像，右边为待配准图像。对两幅图像采用Harris 算法进行角点提取，其中，角点判断的准则为：当某点的响应函数CRF的值大于 某个预先设定的阈值时，该点即为候选的角点，否则不是角点，该阈值的大小 根据所需角点的多少来决定，因此，要确保角点的数目足够多，就需要设置合 适的阈值，根据经验可知，角点的数目在200左右时，能保证图像配准时有足 够的角点对，通过多次实验，针对此图像，将角点的阈值选为0.000149044。

步骤三、视频处理设备采用局部特征法对步骤三提取的角点集进行配准， 获得匹配角点对，如图4所示，该图为采用局部特征法对角点进行匹配的效果 图。

采用局部特征法对提取的角点特征集进行配准的思想上是：在基准图像中 选取角点a，在待配准图像中选取角点b，在角点a和角点b周围分别选取相同 数量的距离最近的角点，如果角点a周围的角点与角点a的距离比和角点b周围 的角点与角点b的距离比相等，则认为角点a和角点b为匹配角点对。

由于摄像机安置在车上，摄像机将以车速运动，并采集道路一侧的图像。 能够配准的角点对为道路一侧的同一目标对象，在道路两侧，通常能够通过角 点配准的目标对象大多是如建筑物、树木这些静止不变的对象，这些对象适应 于作为计算车速的参照物。

步骤四、选取两幅图像中的同一目标对象，并从步骤三获得的匹配角点对 中找到所述目标对象的一个角点对，采用仿射变换将待配准图像中目标对象的 角点变换到基准图像中，从而获得目标对象的角点移动的像素数Δd。

车载视频测速的原理主要是利用目标建筑物等对象在视频图像两帧之间相 对位置的移动来反推车辆的位移。假设车辆在水平的路面上从左向右驶过某一 建筑物，摄像机所拍摄的视频图像中，该建筑物就是我们进行视频流匹配测速 的目标对象。由于摄像机相对车是固定不动的，根据相对运动的原理，静止的 建筑物相对于摄像机的移动距离等于运动的车辆相对于静止的目标建筑物的移 动距离。在较短的时间内，从视频流中采集到的两帧图像中存在相同的建筑物， 将建筑物作为目标对象，目标对象的位移就是目标对象上的角点的位移，测量 目标对象在图像中的位移的问题就变成了对图像匹配，计算目标对象的角点移 动像素数的问题。

在车辆实际的行驶过程中，由于路面的不平整从而引起车辆上下颠簸的情 况，使得固定在车辆上的摄像机采集到的视频图像会发生平移、小角度的旋转 和缩放运动，图像的配准依赖于所选择的几何变换模型，常见的获得几何变换 模型的方法有刚体变换、相似变换、仿射变换和投影变换等，由于仿射变换能 够实现图像的平移、旋转、尺度缩放等多种变换，同时又无复杂的计算量，能 够进一步保证图像匹配的准确度和实时性。因此，车载系统中的图像变换采用 仿射变换模型。

仿射变换模型的基本矩阵为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)=\left(\begin{array}{cc}{h}_{11}& h_{12}\\ h_{21}& h_{22}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{h}_{13}\\ h_{23}\end{array}\right)---\left(1\right)$

其中，$\left(\begin{array}{cc}{h}_{11}& h_{12}\\ h_{21}& h_{22}\end{array}\right)$是缩放因子，h₁₃、h₂₃分别是水平、垂直方向的平移因子，(x,y)、 (x′,y′)分别为同一景物点在相邻两帧图像上的成像点坐标。

上式可改写为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(2\right)$

令$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ 0& 0& 1\end{array}\right),$从变换矩阵H可知，图像在x轴和y轴的方向上都有平 移，这主要是由于车辆在行驶的过程中，由于路面的不平稳导致摄像机在拍摄 时产生了抖动所致。通常摄像机在空间中的位置是任意的，但摄像机坐标系通 常以摄像机的光心为原点，摄像机的光轴为z轴，x轴向右，且满足右手法则， 即车辆的行驶方向为x轴，因此，将目标对象沿x轴的位移作为目标对象在图 像上的位移。

通过模型变换可知，目标对象在相邻两帧的时间间隔内移动了h₁₃像素，进 而获得目标对象在视频流中连续两帧之间移动的像素数。

步骤五、将目标对象的角点在图像中移动的像素数利用公式（9）转换为目 标对象的角点的实际位移ΔS，ΔS即为车辆在ΔT时间内行驶的距离。

如图5所示为摄像机拍摄道路一侧的模型图。设q点为目标对象实物上的 一个角点，t₁时刻，摄像机的光心为o，角点q点在基准图像上的成像点为p， t₂时刻，摄像机的光心为o′，q点在待配准图像上的成像点为p′，Δd′＝|op+o′p′|即 为点q经过ΔT后沿x轴移动的距离，单位为“毫米”。

将图5简化后的俯视平面图，如图6所示，和分别为t₁、t₂时刻摄像头 光心o和o′在目标对象实物所在平面上的投影，这里定义目标对象实物所在平面 是与车辆航向平行且垂直于地平面的平面，则，为角点q相对于车 的实际位移，即车辆的实际位移，单位为“米”。oc＝o′c′＝f为摄像机的焦距， 为摄像机与目标对象实物所在平面之间的垂直距离，该距离在实际应 用中可以通过对拍摄时刻目标对象实物所在平面进行激光测距测量来获得。由 图5中的相似三角形，可知

$\hat{o}q=\frac{\mathrm{op}·\hat{o}c}{\mathrm{oc}}---\left(3\right)$

${\hat{o}}^{\prime }q=\frac{o^{\prime }{p}^{\prime }·{\hat{o}}^{\prime }{c}^{\prime }}{o^{\prime }{c}^{\prime }}---\left(4\right)$

将式(3)、式(4)代入实际位移公式中，得

$\mathrm{\Delta S}=|\hat{o}q+{\hat{o}}^{\prime }q|=|\frac{\mathrm{op}·\hat{o}c}{\mathrm{oc}}+\frac{o^{\prime }{p}^{\prime }·{\hat{o}}^{\prime }{c}^{\prime }}{o^{\prime }{c}^{\prime }}|---\left(5\right)$

将oc＝o′c′＝f，代入式(5)得：

$\mathrm{\Delta S}=\left|\frac{(\mathrm{op}+o^{\prime }{p}^{\prime })d}{f}\right|=\frac{\Delta d^{\prime }·d}{f}---\left(6\right)$

其中，在时间间隔ΔT内角点p在图像上的位移为Δd′，单位为“毫米”。通 过仿真变换，将待配准图像中目标对象的角点变换到基准图像中，获得角点p在 基准图像中移动的像素数为Δd，单位为“像素”，Δd与Δd′的关系为Δd′＝k·Δd， k为“像素”为单位的量和以“毫米”为单位的量之间的纽带。

设摄像机的视角为图像的分辨率为W×H，这里用到图像的水平方向上 的宽度W，单位为“像素”，转换为距离单位为kW，单位为“毫米”，根据公式：

即

其中，f为焦距，单位为“毫米”，W单位为“像素”，则通过上式即可得到 k，单位为“毫米/像素”。

将公式(8)代入公式(6)得

即可计算出车辆在时间间隔ΔT内的实际位移。

步骤六、根据步骤一获得的车辆行驶时间ΔT和步骤六获得的车辆行驶的距 离ΔS，获得车辆的行驶速度。

根据速度公式v＝ΔS/ΔT，即可求出车辆的实时速度。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保 护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。