基于路侧单目相机标定的高速公路车辆测速方法及设备

摘要

本发明属于道路交通管理技术领域，公开了一种基于路侧单目相机标定的高速公路车辆测速方法及设备。本发明的方法包括：获取路侧单目相机中的交通监控视频；按帧切分成交通背景图片集合，传入已训练好的多目标检测算法得到目标车辆像素位置，通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪，获得目标车辆的运动轨迹；根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线，计算出目标车辆的实际行驶距离，从而计算出目标车辆的速度。本发明能够提高车辆行驶速度检测的准确度和降低操作复杂性。

说明书

技术领域

本发明属于道路交通管理技术领域，具体涉及一种基于路侧单目相机标定的高速公路车辆测速方法及设备。

背景技术

车辆超速慢速行驶现象一直是影响交通安全的重要因素，通常需要对道路行驶车辆进行实时速度检测，一方面是约束车辆的安全规范的行驶，另一方面也为道路交通管控提供信息辅助。

传统车辆速度检测方法主要为地感线圈检测法、雷达检测法、激光检测法等等，技术较为成熟，准确度高，但设备价格昂贵，安装维护不便，且环境因素影响较大，多为固定位置。

近年来随着深度学习和目标检测跟踪算法的崛起，人工智能测速方法有了突飞猛进的发展，降低了测速技术的运维成本、提高了灵活性和准确率，在交通安全领域得到广泛推广和应用。

基于视频的传统目标检测法如帧差法、光流法、背景差分法等存在计算量大、实时性差、易受外界背景影响等缺点，无法满足道路交通实时主精确测速的需求。而基于卷积神经网络的目标检测与跟踪算法则能很好的弥补这些确定，此类方法大多数需要将世界坐标系和图像坐标系进行相互转换，目前基于监控视频的车速检测采用的像素坐标系和世界坐标系转换关系多为简单线性函数和基于相机内外参数标定的方法，前者受透视影响，精度较低，而后者则相对复杂，且易受场景影响，当场景改变时，相机外参需要重新标定，而在道路交通的速度检测应用中，道路场景变化较小，重新标定过程浪费了成本。当前，缺少较合适的相机标定方法和参照物的选定以减少人工操作和提高检测精确度。

发明内容

本发明目的是：针对现有技术的不足，提供一种基于路侧单目相机标定的高速公路车辆测速方法及设备，用于提高车辆行驶速度检测的准确度和降低操作复杂性。

具体地说，本发明是采用以下技术方案实现的。

一方面，本发明提供一种基于路侧单目相机标定的高速公路车辆测速方法，包括：

获取路侧单目相机中的交通监控视频；

将所述交通监控视频按帧切分成交通背景图片集合，传入已训练好的多目标检测算法进行目标车辆检测，得到目标车辆像素位置，所述目标车辆像素位置通过目标车辆的左上角和右下角的像素位置绘制成的矩形检测框来表示；

通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪，获得目标车辆的运动轨迹；

根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线，计算出目标车辆的实际行驶距离，从而计算出目标车辆的速度。

进一步的，选用目标车辆车头处的边线段中点作为所述目标车辆的像素位置。

进一步的，所述根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线，计算出目标车辆的实际行驶距离包括：

将当前点位的相机相对高度和相对垂直角度、相机获取的交通背景图片中沿道路交通方向的像素长度、相机获取的交通背景图片中沿道路交通径向的像素长度分别代入拟合的像素坐标与世界坐标转换比例曲线中，计算得交通背景图片中各像素位置的像素坐标与世界坐标的转换比例值；

根据目标车辆在各视频帧中的像素位置，对目标车辆运动轨迹上各像素位置相应的像素坐标与世界坐标转换比例值求和，得到目标车辆的实际行驶距离。

进一步的，所述已训练好的多目标检测算法通过以下方式训练得到：

通过路侧单目相机收集历史交通监控视频，将视频按帧切分成交通背景图片集合，对每张交通背景图片进行预处理作为训练集，标注出目标车辆的矩形检测框在交通背景图片中的坐标值，传入多目标检测算法进行训练，得到训练好的多目标检测算法。

进一步的，所述拟合的像素坐标与世界坐标转换比例曲线通过以下方式得到：

在获取的交通监控视频中选取若干个路段，实地测量所述路段的车道线长、沿道路交通方向车道线间距、车道线宽和沿道路交通径向车道线间距；

在获取的交通监控视频画面中分别找出上一步骤中选取的路段，计算其在像素坐标系中的像素长度和像素位置，并转换为像素坐标与世界坐标的转换比例曲线；

固定相机的水平角度，分别调整相机的高度和垂直角度并重复上一步骤k次，k为自然数，获得k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线，和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线；

将所述k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线分别使用非线性函数进行求解并拟合，得到拟合的像素坐标与世界坐标转换比例曲线。

进一步的，所述非线性函数为：

公式3和公式4中，H为相机的相对高度，A为相机的相对垂直角度；a

进一步的，所述相机的相对高度H取实际相机高度，相机的相对垂直角度A取实际相机角度。

另一方面，本发明还提供基于路侧单目相机标定的高速公路车辆测速设备，所述设备包括存储器和处理器；所述存储器存储有实现上述基于路侧单目相机标定的高速公路车辆测速方法的计算机程序，所述处理器执行所述计算机程序。

再一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现上述基于路侧单目相机标定的高速公路车辆测速方法的步骤。

本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备的有益效果如下：

通过将像素坐标与世界坐标的转换比例曲线拟合成非线性函数，有效的解决了相机近大远小的成像特点影响像素坐标系与世界坐标系相互转换的问题，提高了速度检测的准确度。

通过改变相机的高度和拍摄角度并拟合像素坐标与世界坐标的转换比例曲线，可应用多场景，相较于现有的相机标定法，减少工人的重复标定工作。

通过本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备，对像素坐标与世界坐标的转换比例曲线上曲线段求和，得到目标车辆位移，算法复杂度更低，性能更好。

附图说明

图1是本发明的基于路侧单目相机标定的高速公路车辆测速方法流程图。

图2是本发明实施例的交通场景模拟图像示意图。

图3是本发明的得到像素坐标与世界坐标的转换比例曲线的方法流程图。

图4是本发明实施例根据相机采集的20个路段数据获取的像素坐标与世界坐标转换比例曲线，其中相机水平角度为右偏10°、垂直角度为向下偏30°、高度为9 m。

图5是本发明的拟合的像素坐标与世界坐标转换比例曲线。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本发明的一个实施例，为一种基于路侧单目相机标定的高速公路车辆测速方法。如图1所示，包括以下步骤：

一、获取路侧单目相机中的交通监控视频。

将设置在高速公路路侧的单目相机固定在指定的角度和高度，获取交通监控视频数据。例如将单目相机固定在水平角度为右偏10°，垂直角度为向下偏30°，高度为9 m的地方，对行驶在高速公路上的车辆进行监控，获取该监控下的相机视频中的高速路段交通场景。

二、将所述交通监控视频按帧切分成交通背景图片集合，传入已训练好的多目标检测算法进行目标车辆检测，得到目标车辆像素位置，所述目标车辆像素位置通过目标车辆的左上角和右下角的像素位置绘制成的矩形检测框来表示。

由于车辆在行驶过程中目标车辆的矩形检测框易发生抖动，可选用车头处的边线段中点作为车辆像素位置。

所述训练好的多目标检测算法通过以下方式训练得到，通过路侧单目相机收集历史交通监控视频，将视频按帧切分成图片集合，对每张图片进行预处理作为训练集，标注出目标车辆的矩形检测框在图片中的坐标值，传入多目标检测算法进行训练，得到训练好的多目标检测算法。

三、通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪，获得目标车辆的运动轨迹。具体步骤如下：

使用卡尔曼滤波对当前帧的检测结果进行预测，再使用匈牙利算法将预测后的结果和后一帧的目标车辆检测结果进行级联匹配和IOU匹配，得到其每帧中目标车辆的像素位置，从而获得目标车辆的运动轨迹。

四、根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线，计算出目标车辆的实际行驶距离S，从而计算出目标车辆的速度V。具体步骤如下：

4-1）将当前点位的相机相对高度H和相对垂直角度A、相机获取的交通背景图片中沿道路交通方向的像素长度、相机获取的交通背景图片中沿道路交通径向的像素长度分别代入拟合的像素坐标与世界坐标转换比例曲线中，计算得交通背景图片中各像素位置的像素坐标与世界坐标的转换比例值。

例如(x,y)为相机获取的交通背景图片中的一点，则其沿交通方向和交通径向的转换比例值大小分别为L

4-2）根据目标车辆在各视频帧中的像素位置，对目标车辆运动轨迹上各像素位置相应的像素坐标与世界坐标转换比例值求和，得到目标车辆的实际行驶距离S，计算出目标车辆的速度V。

设目标车辆运动前后在不同帧中的位置分别为(x1,y1)和(x2,y2)，则目标车辆实际行驶距离S参见公式1，通过公式2求出目标车辆的速度V。

公式1中，H为相机的相对高度，A为相机的相对垂直角度。公式2中，S为目标车辆实际行驶距离，fps为视频帧率。

上述拟合的像素坐标与世界坐标转换比例曲线通过以下方式得到：

一、在获取的交通监控视频中选取若干个路段，实地测量所述路段的车道线长、沿道路交通方向车道线间距、车道线宽和沿道路交通径向车道线间距。具体步骤如下：

如图2所示，对于获取的交通场景视频，从贴近相机一侧沿道路交通方向实地测量高速公路上连续的n个路段长度，包括实际车道线长和车道线间距，分别记为l

例如，对于获取的交通场景，从贴近相机一侧沿道路交通方向测量高速公路上实际车道线长和车道线间距，共12处，记为l

二、在获取的交通监控视频画面中分别找出上一步骤中选取的路段，计算其在像素坐标系中的像素长度和像素位置，并转换为像素坐标与世界坐标的转换比例曲线。具体步骤如下：

2-1）在相机获取的交通场景视频画面中分别找出上一步骤中选取的路段，分别计算出各路段在像素坐标系中的像素长度。

例如某路段两端在像素坐标系下的坐标分别为(x1,y1)、(x2,y2)，则其像素长度为 ((x1-x2)

2-2）在相机获取的交通场景视频画面中分别找出上一步骤中选取的路段，分别计算出各路段在像素坐标系中的像素位置。

例如某路段两端在像素坐标系下的坐标分别为(x1,y1)、(x2,y2)，并且(x2,y2)更靠近路侧相机处，则其像素位置为(a*x1+b*x2,a*y1+b*y2)，其中a+b=1，由于近大远小的成像特点，a小于b，例如可取a=0.4，b=0.6。其中将沿道路交通方向路段在像素坐标系中的像素位置记为p

2-3）分别计算沿道路交通方向和道路交通径向路段实际长度与像素长度的转换比例。

对于贴近相机一侧沿道路交通方向测量到的n个路段实际长度l

2-4）根据路段的像素位置、实际长度与像素长度的转换比例，绘制像素坐标与世界坐标转换比例曲线。

对于沿道路交通方向路段，根据其像素位置p

三、固定相机的水平角度，分别调整相机的高度和垂直角度并重复上一步骤k次，k为自然数，获得k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线，和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线。

由于路侧相机的拍摄方向一般是正对道路，其水平旋转角度相对固定，且透视产生的影响较小，所以在本发明中固定相机的水平角度，分别调整相机高度和垂直角度，重复上一步骤k次，以获得不同高度和角度下的k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线(p

例如，选择固定相机的水平角度朝道路方向偏10°，只调整相机高度和相机角度，重复选取20个路段并测量其像素位置及像素长度。分别选取相机高度为6 m、9 m和12 m，垂直角度分别为水平向下15°、30°和45°，共9组高度和垂直角度，重复步骤三，共获得9条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线(p

四、将所述k条沿道路交通方向路段的像素坐标与世界坐标转换比例曲线L

将已知相机参数、所述k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线L

公式3和公式4中，H和A为已知的相机参数；H为相机的相对高度，例如10 m；A为相机的相对垂直角度，例如60゜；H可取实际相机高度，A可取实际相机角度，以避免参数值H和A差异过大导致函数拟合不稳定。a

例如，将各组H和A的值、(p

公式5和公式6中，l

本发明使用非线性函数进行拟合，提高了检测精度，并且加入相机高度和角度参数，可应用于多场景下，降低重新标定成本。

通过将像素坐标与世界坐标的转换比例曲线拟合成非线性函数，有效的解决了相机近大远小的成像特点影响像素坐标系与世界坐标系相互转换的问题，提高了速度检测的准确度。

通过改变相机的高度和拍摄角度并拟合像素坐标与世界坐标的转换比例曲线，可应用多场景，相较于现有的相机标定法，减少工人的重复标定工作。

通过本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备，对像素坐标与世界坐标的转换比例曲线上曲线段求和，得到目标车辆位移，算法复杂度更低，性能更好。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括存储或以其他方式有形实施在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁或光盘存储设备，诸如闪存、高速缓存、随机存取存储器(RAM)等的固态存储设备或其他非易失性存储器设备。存储在非临时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或被一个或多个处理器解释或以其他方式执行的其他指令格式。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁性硬盘驱动器)，可移除地附接到计算系统(例如，光盘或通用基于串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

请注意，并非上述一般性描述中的所有活动或要素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了描述的那些之外可以执行一个或多个进一步的活动或包括的要素。更进一步，活动列出的顺序不必是执行它们的顺序。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如下权利要求书中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的修改被包括在本公开的范围内。

上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而，可能导致任何益处、优点或解决方案发生或变得更明显的益处、优点、问题的解决方案以及任何特征都不应被解释为任何或其他方面的关键、必需或任何或所有权利要求的基本特征。此外，上面公开的特定实施例仅仅是说明性的，因为所公开的主题可以以受益于这里的教导的本领域技术人员显而易见的不同但等同的方式进行修改和实施。除了在权利要求书中描述的以外，没有意图限制在此示出的构造或设计的细节。因此明显的是，上面公开的特定实施例可以被改变或修改，并且所有这样的变化被认为在所公开的主题的范围内。