一种基于近景摄影测量解算监控视频中车辆运动的方法

摘要

本发明公开了一种基于近景摄影测量解算监控视频中车辆运动的方法，包括：逐帧获取每帧视频图像；计算固定摄像镜头畸变参数并对每帧图像进行畸变矫正处理；选取地面坐标系中路面上的多个标定点，获取标定点在地面坐标系中的坐标；建立图像平面坐标系，逐帧获取标定点在每帧图像上的图像坐标值，独立求解每帧图像上的DLT系数；选取视频中目标车辆一轮胎接地点为参照点，获取参照点在每帧图像上的坐标值，根据各帧图像的DLT系数依次求解参照点的地面坐标值；将求解的参照点地面坐标值按时间顺序拟合为光滑曲线；针对不同类型的运动轨迹解算车辆相应的运动状态。本发明通过获取参照点的运动轨迹，解算目标车辆的运动状态且解算误差小。

说明书

技术领域

本发明涉及一种道路交通安全领域的车辆运动状态解算方法，具体是一种基于近景摄影测量中的二维直接线性变换解法解算监控视频中目标车辆运动的方法。

背景技术

基于视频图像进行车辆行驶速度解算，是道路交通事故司法鉴定领域常见的鉴定项目，随着国家有关标准的推进以及人们交通安全意识的不断提升，越来越多的车辆安装具有车载视频行驶记录功能的装置，如行车记录仪等，但由于多种因素影响，在车速鉴定时更多的还是采用交通监控布网中的固定摄像监控设备。

GA/T1133-2014《基于视频图像的车辆行驶速度技术鉴定》中给出了固定视频(指摄像头相对地面固定不动)计算车辆行驶速度的方法。但是，在某些特殊情况下，采用此方法计算会导致结果误差大或无法解算，例如固定摄像头受风力作用出现抖动、晃动、旋转等移动状态下，所以固定视频中车速的计算方法在上述移动状态下并不适用于车速的计算。

目前在道路安全领域，车辆速度的计算方法主要存在以下几点问题：1)参照固定视频中车辆速度的计算方法无法用来解算固定视频移动状态下的目标车辆速度；2)固定监控设备在移动状态下，会导致镜头与物体的焦距产生变化，焦距的变化引起监控视角的变化，监控视角的变化导致获得的监控画面出现畸变，而忽视了道路固定监控视频图像存在的镜头畸变问题，会存在计算精度差的问题，导致车速鉴定结果出现较大误差。

中国专利号为201310350137.5的发明专利公布了一种基于车身特征点定位的车速鉴定方法，该发明专利提出利用车身特征点结合帧间插值计算车速的方法，该方法可应用于固定监控视频中目标车辆速度的计算，要求必须存在合适的车身特征点作为参照点，是传统的利用车身特征点计算车速的一种改进方法。但是对于固定监控视频图像，如果固定监控视频处于移动状态下，会导致拍摄视角的相对运动，如果仍选取车身特征点作为参照点，那么该相对运动会导致根据参照点确定的参照距离不可避免地出现较大偏差，进而导致车速计算出现较大误差，因此该发明专利在原理和实践上都不适用于计算固定视频移动状态中目标车辆行驶状态。

发明内容

为了解决现有技术中存在的问题及不足，本发明提供了一种基于近景摄影测量解算监控视频中车辆运动的方法，利用近景摄影测量中的二维直接线性变换解法解算目标车辆的行驶速度，该方法对固定视频摄像镜头进行畸变矫正，显著减小了镜头畸变对车辆运动状态解算精度的影响；建立路面坐标系，选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解，避免了固定摄像镜头抖动、晃动、旋转等对目标车辆运动状态解算的影响；根据选取参照点的运动轨迹不同，提供了相对应的解算目标车辆的方法。

本发明提供了一种基于近景摄影测量解算监控视频中车辆运动的方法，该方法包括：

步骤S1：在固定摄像镜头移动状态下，标记目标车辆在监控视频中运动的时间段，逐帧获取该时间段内的每帧视频图像；

步骤S2：计算上述固定视频摄像镜头的畸变参数，并利用计算所得畸变参数对所述每帧视频图像进行畸变矫正处理，得到矫正后的每帧图像；

步骤S3：建立地面坐标系，选取矫正后的每帧图像中路面上共有的至少四个特征点作为标定点，且满足任意三个标定点不在同一条直线上，获取所述标定点在地面坐标系中的坐标值；

步骤S4：建立图像平面坐标系，逐帧获取所述标定点在每帧图像上的图像坐标值，并独立求解每帧图像上的DLT系数；

步骤S5：选取视频中目标车辆某一轮胎接地点或能够代表车辆运动的地面上的点为参照点，获取参照点在每帧图像上的坐标值，再根据各帧图像的DLT系数依次求解参照点在地面坐标系中的坐标值；并将求解的参照点连续的地面坐标值拟合为地面坐标系中的光滑曲线，该曲线即为目标车辆上所述参照点的运动轨迹；

其中，获取的每帧图像还包括时间信息；

若所述运动轨迹近似直线运动，则进入步骤S6，否则进入步骤S7；

步骤S6：若所述运动轨迹近似为直线运动，则对该运动轨迹进行积分、微分运算即可得目标车辆的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度；

步骤S7：若所述运动轨迹为曲线运动，则先对该运动轨迹进行运算得到该参照点的运动距离、转弯半径和运动速度，再测量目标车辆的尺寸信息、各轴载荷情况确定质心位置，进而解算目标车辆质心的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度。

作为实施例，所述的每帧图像选取于固定视频装置拍摄的视频流，所述每帧图像包括时间信息，根据时间信息可以对每帧图像进行排序，计算所得的车辆运动状态也要与视频中的时间信息对应。

作为优选实施例，获取的每帧视频图像中至少包含目标车辆的同一个轮胎接地点，以便作为参照点解算目标车辆行驶状态，轮胎接地点选取距离固定摄像装置最近的或视频画面中最清晰可见的，且周围路面特征点较多的轮胎外侧接地位置中心点。

由于道路固定监控摄像镜头在移动状态下会有非线性畸变量，影响利用近景摄影测量对车辆状态进行解算的精度，所以本发明需要对每帧视频图像进行畸变矫正处理；所述畸变矫正处理，其包括：利用棋盘格板对固定摄像镜头进行畸变矫正，为了使矫正结果精确，棋盘格板要求完全覆盖固定摄像镜头画面，无论固定摄像镜头为单目或双目或多目镜头，均可利用Matlab软件(数学软件)中的toolbox_calib插件计算镜头畸变参数，再根据计算所得畸变参数，完成上述获取的每帧视频图像的畸变矫正处理，在一些实施例中也可利用PC-Rect(近景摄影测量软件)进行畸变矫正处理。

作为优选的实施例，选取的标定点应满足任意三个不在同一条直线上，当各帧图像中共有的特征点较少时，至少应选取四个特征点作为标定点，建立地面坐标系，测量各标定点坐标，求解DLT系数的近似值；当各帧图像中共有的特征点较多时，可选取多余特征点作为观测值，迭代运算求解DLT系数的精确值。

由于目标车辆处于移动状态，在对所述DLT系数求解时，必须在同一坐标系下对每帧图像的DLT系数进行独立求解，根据求解的每帧图像的DLT系数及对应的参照点在每帧图像上的像素坐标，计算参照点在每帧时刻对应的地面坐标值。

作为优选的实施例，所述的DLT系数利用近景摄影测量中二维直接线性变换解法求解。

在步骤S7中，由于车辆转弯时车体各部分的角速度相同，而线速度与转弯半径有关，所以，在求车辆质心的运动速度之前应先求车辆质心的转弯半径。根据车辆类型、车辆尺寸及车辆各轴载荷情况可确定车辆质心的位置；再根据弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：

X＝2Rsin[C/(2R)]

式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求半径，即参照点转弯半径；

再根据下列车辆各部运动几何关系确定车辆质心的转弯半径：

(1)参照点为内侧后轮接地点时：

(2)参照点为外侧后轮接地点时：

(3)参照点为内侧前轮接地点时：

(4)参照点为外侧前轮接地点时：

最后根据下式求解车辆质心的速度：

上述各式中，n为大于0的自然数；R

本发明方法通过计算固定摄像镜头的畸变参数及对每帧图像进行畸变矫正处理，显著减小了镜头畸变对车辆运动状态解算精度的影响；建立地面坐标系，选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解，避免了摄像装置处于抖动、晃动或旋转等移动状态对目标车辆运动状态解算的影响；根据选取参照点的不同，提供了相对应的解算目标车辆运动状态的方法；本发明解决了现有方法在一些情况下无法解算固定视频移动状态下目标车辆的运动状态或解算误差较大的问题。

附图说明

下面根据较佳实施例并结合附图所示予以详细叙述本发明，应当理解的是，本发明并不限于以下附图所描述的实施例。

图1是本发明所述方法一实施例流程示意图。

图2是本发明中利用棋盘格板对监控视频拍摄装置的摄像镜头进行畸变矫正处理一实施例示意图。

图3是本发明所述标定点和参照点的选取一实施例示意图。

图4是一实施例依据本发明方法拟合的参照点运动轨迹。

图5是一实施例依据本发明方法拟合的参照点速度-时间曲线。

图6是一实施例中汽车转向运动几何关系分析图。

具体实施方式

下面将结合附图对本发明的技术方案进行实施举例说明，显然，以下所描述的实施例只是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，均属于本发明保护范围之内。

本发明通过固定监控或摄像装置来获取有效的目标车辆行驶视频数据，以路面特征点为标定点，以车轮着地点或能代表车辆运动的地面上的点为参照点，结合二维直接线性变换算法，动态地分别解算参照点在相邻两帧图像间的位移，避免了由于摄像头处于移动状态下对计算参照距离产生的误差影响，因此完全适用于固定视频装置移动状态下目标车辆的行驶状态解算。

如图1所示实施例一，一种基于近景摄影测量解算监控视频中车辆运动的方法，其包括以下步骤：

100：在固定摄像镜头移动状态下，标记目标车辆在监控视频中运动的时间段，逐帧获取该时间段内的每帧视频图像；

所述的每帧图像选取自固定摄像镜头拍摄的视频流，所述固定摄像镜头拍摄视频的分辨率要足以提供清晰画面。

所述获取的每帧视频图像中至少包含目标车辆的一个轮胎接地点，以便作为参照点解算目标车辆行驶状态，作为优选实施例，所述视频图像具有至少一个相同轮胎的接地点，例如在所有获取的视频图像中都存在左后轮胎接地点。

在一些实施例中，也不排除获取不同的轮胎接地点，依据后续求得的不同的轮胎接地点轨迹图，对解算结果进行均值优化。

200：计算上述固定摄像镜头畸变参数，并利用计算结果对上述每帧视频图像逐个进行畸变矫正处理，得到矫正后的每帧图像。

如图2所示，利用棋盘格板对固定摄像镜头进行畸变矫正处理，为了使矫正结果精确，使用时棋盘格板应尽可能完全覆盖整个固定摄像镜头画面；而无论固定摄像镜头为单目、双目或多目镜头，均可利用Matlab软件中的toolbox_calib插件进行畸变矫正处理，在一些实施例中，也可利用近景摄影测量软件PC-Rect计算镜头畸变参数，根据计算后摄像镜头畸变参数，对上述获取的每帧图像进行畸变矫正处理。

所述的棋盘格板，为黑白相间的矩阵图，其上按照排列顺序对方格依次编号，在一些实施例中，也可采用圆形畸变矫正板。

300：建立地面坐标系，选取标定点并确定标定点在地面坐标系内的坐标。

其中，所述标定点可以选取每帧图像中路面上至少四个共有的特征点作为标定点，且满足任意三个标定点不在同一条直线上。

所述的标定点，选择距离所述参照点较近的，且在所述每帧图像中存在明显特征的易于识别或辨别的标志点、标志线或标志物位置，例如人行横道线、交通指示线等交通标志或标线，又如道路上的护栏、路障等标志物。

400：建立图像平面坐标系，获取标定点在每帧图像上的图像坐标值，独立求解各帧图像的DLT系数。

所述的DLT系数，根据近景摄影测量中的二维直接线性变换，具体解算关系式为：

上式中，(x，y)为图像平面坐标系坐标，(X，Y，Z)为物方空间坐标系坐标，本发明方法中如果选取的特征点为同一平面上的点，则Z为常数，上式可变换为：

式(1)中，(x，y)为图像平面坐标系坐标，(X，Y)为物方空间某一平面坐标系坐标，l

将四个标定点的坐标代入(1)式中，得到：A×l

式(2)中：

500：选取参照点，根据各帧图像的DLT系数依次求解该参照点在地面坐标系中的坐标值；并将参照点的坐标值按时间顺序拟合为地面坐标系中的光滑曲线，得出参照点在地面坐标系中的运动轨迹。

所述的参照点，选取距离固定摄像装置最近的或视频画面中最清晰可见的，且周围路面特征点较多的轮胎外侧接地位置中心点，优选的，所述参照点选用同一轮胎接地点。

根据所述参照点不同的运动轨迹求解目标车辆的运动状态，若所述运动轨迹近似直线运动，则进入步骤600，否则进入步骤700。

600：若所述运动轨迹近似为直线运动，则对该运动轨迹进行积分、微分运算即可得目标车辆的行驶距离、速度、加速度等运动状态参数。

700：若所述运动轨迹为曲线运动，则应先对该运动轨迹进行运算得到该参照点的运动距离、速度和转弯半径，再测量目标车辆的尺寸信息、各轴载荷情况，确定质心位置进而解算目标车辆质心的运动状态参数。

所述车辆质心的转弯半径，可以通过以下计算得到：

根据弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：

X＝2Rsin[C/(2R)]

式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求半径，即参照点转弯半径；

再根据下列车辆各部运动几何关系确定车辆质心的转弯半径：

(1)参照点为内侧后轮接地点时：

(2)参照点为外侧后轮接地点时：

(3)参照点为内侧前轮接地点时：

(4)参照点为外侧前轮接地点时：

在曲线运动轨迹情况下车辆质心的速度为：

上列各式中，n为大于零的自然数；R

如图3所示实施例二，利用本发明方法解算某固定摄像装置拍摄的监控视频中目标车辆厢式货车经过人行横道线时的运动状态，此时，固定摄像装置由于风力处于抖动状态下，具体实施步骤包括：

第一步，标记目标车辆在监控视频中经过人行横道的时间段，按帧连续获取该时间段内每帧视频图像，共获取到26帧图像，从0至25依次编号，此视频帧率为30fps。

第二步，计算上述固定摄像镜头畸变参数，并利用计算结果对上述每帧图像逐个进行畸变矫正处理，得到矫正后的每帧图像。

第三步，选取第二步中矫正后的每帧图像中路面上共有的四个特征点作为标定点，且满足任意三个标定点不在同一条直线上，建立地面坐标系，选取人行横道线上的a、b、c、d四个特征点作为地面标定点，在第0帧图像中，经测量四点的地面坐标值分别为a＝(1，6)、b＝(2，0)、c＝(3，0)、d＝(4，6)。

所述的a、b、c、d四个特征点选自人行横道线的顶点。

第四步，在第0帧图像上建立图像平面坐标系，利用MATLAB图像处理工具模块逐帧获取四个标定点依次在每帧图像上的图像坐标值(以像素为单位)，分别为a＝(600，704)，b＝(840，733)，c＝(916，724)，d＝(795，698)，根据近景摄影测量中的二维直接线性变换关系式，求解第0帧图像上的DLT系数：

式(1)中，(x，y)为图像平面坐标，(X，Y)为物方空间某一平面坐标，l

将四个标定点图像坐标和路面坐标同时带入式(1)中，得:A×l

式(2)中：

解得第0帧图像的DLT系数为l

第五步，选取视频中目标车辆左后轮胎接地点为参照点，如图3所示，M是目标车辆左后外轮着地点，作为参照点其地面坐标值待求；获取所述参照点M在第0帧图像平面坐标系中的坐标值M＝(904，719)，根据上述所求DLT系数l

第六步，对编号第1至25帧图像依次分别独立重复第三、四、五步，并得到参照点M在26帧图像中对应的地面坐标值，标注在地面坐标系中并用光滑曲线顺序连接，如图4所示，即为目标车辆上述轮胎接地点的运动轨迹，轨迹各处切线的方向即为轮胎处于该位置时的行驶速度方向。

第七步，图4中所示轮胎运动轨迹并非直线，为近似圆弧曲线运动，通常是车辆处于转弯状态，应先对该运动轨迹进行积分、微分运算，得到该参照点的运动速度曲线，如图5所示，近似匀速运动，速度平均值为21.6km/h；

再根据圆弧曲线运动轨迹的弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：X＝2Rsin[C/(2R)]；

式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求的参照点转弯半径。

根据上式解得参照点转弯半径约为24.7m。

第八步，如附图6所示，由于车辆转弯时车体各部分的角速度相同，而线速度不同，所以，为求车辆质心的运动速度应先求车辆质心的转弯半径。

根据测量所得的该车尺寸及轴荷信息，计算得同该车辆质心距后轴距离约为2.13m，车辆质心基本位于车体左右对称平面上，质心距后轮的横向垂直距离约为1.25m。因此，车辆质心转弯半径可根据下式求解：

式中，R

根据上式解得目标货车质心转弯半径约为26m。

将求得的车辆质心转弯半径代入下式，计算目标车辆质心的运动速度：

式中，v

如图6所示，本实施例中参照点选取距离固定摄像装置最近且清晰易辨的目标车辆左后车轮接地点，在目标车辆左后轮接地点周围特征点较少时，也可选取目标车辆的左前车轮接地点，如果参照点选取左前车轮接地点则v

将各参数带入上式解得质心运动速度为22.7km/h，加速度近似为0，运动状态近似匀速圆周运动。

经核实，上述目标车辆的GPS设备记录的该段实际车速为23km/h，加速度为0，车速计算误差为1.3％；GPS记录的实际运动轨迹计算所得转弯半径为28m，两者误差7％；误差均满足应用精度要求。

在一些实施例中，所述参照点在各帧的地面坐标值利用插值法拟合为光滑的运动轨迹曲线。

本发明所述的参照点，也可选自地面上代表目标车辆运动的点，如在自然光照下车辆的光影。

在一些实施例中对于载货卡车等轮胎数大于4个的车辆，可以根据不同车辆的参数获得相应参照点的转弯半径，进而解算车辆质心的速度，由于不同车辆的参数不同，本发明不再展开说明其解算过程。

在一些实施例中，当各帧图像中共有的特征点大于4个时，选取至少一个特征点作为观测值，迭代运算求解DLT系数的精确值。

在一些实施例中，本发明所述方法还适用于摄像机在旋转运动过程中拍摄的视频和移动电子设备拍摄的视频中目标车辆的运动状态解算。

在一些实施例中，本发明方法的第五步骤中，所述参照点可以选取多个目标车辆的轮胎作为参照点，拟合的运动轨迹可以有多条，再对求得的多个车辆质心速度进行均值，进一步提升目标车辆运动状态的测量精度。

在一些实施例中，在标记的时间段内，如果某些帧图像中的参照点采用其他轮胎的接地点，那么最后获取的参照点运动轨迹为多条光滑曲线，则按本发明方法分段计算获取目标车辆的运动状态参数。

最后说明的是，本发明虽然已经描述了技术方案及实施方式，但是对于本领域普通技术人员而言，在本发明的实施方案范围内获取更多的实施方案是可能的，任何对实施方案的任何等同的替换、修改等不构成与本发明实施方案本质区别的，都在本发明权利要求所述的范围之内。