一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法

摘要

本发明涉及道路测量测绘技术领域，具体涉及一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法，其利用RTK高精度定位技术，实时获取大地坐标位置信息和双目视差获取测量物体的相对位置，并结合姿态信息辅助，实时融合解算车道线或者地面标志线的高精度大地坐标位置信息，实现了驾校场地高精度、低成本的高效率测绘。

说明书

技术领域

本发明涉及道路测量测绘技术领域，具体涉及一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法。

背景技术

2012年公安部制定了新的《机动车驾驶证申领和使用规定》，新政策的出台对驾校科目二科目三考试的电子化、自动化提出了明确的业务需求和实施依据，越来越多的驾考系统引入高精度的GNSS定位可以实现场地考试和实际道路考试中。随着高精度的GNSS定位在驾校业务的全面推广，基于高精度的场地测绘需求就应运而生。目前，在场地测绘工程施工还是依靠传统的人工打点测绘进行作业，存在人力成本高、施工进度慢、劳动作业风险大等特点。

现有驾校科目二和科目三道路标识线测绘全是依靠纯人工打点作业。作业过程中施工人员需要手持测量天线和天线馈线，并将测量天线放置于场地上的道路标志线上进行测量坐标信息，施工人员需要不停移动来进行测量，特别是科目三场地，它共用社会车辆道路，一条道路在3km，双向多车道，平均一次作业需要2 个人2天以上工作时长，场地测绘现状人工成本高、施工进度慢和劳动作业风险大等问题。

发明内容

为了解决上述问题，本发明公开一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法，其利用RTK高精度定位技术，实时获取大地坐标位置信息和双目视差获取测量物体的相对位置，并结合姿态信息辅助，实时融合解算车道线或者地面标志线的高精度大地坐标位置信息，实现了驾校场地高精度、低成本的高效率测绘。

为解决上述技术问题，本发明采用的技术方案是：

一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置，其特征在于，包括，

实时高精度位置(RTK)测量单元，用于输出高精度的实时辅助坐标位置信息，同时利用卫星的高精度授时技术输出≥1pps时钟基准；

实时双目视觉系统单元，接收来自所述实时高精度位置(RTK)测量单元的坐标位置信息，并利用双目立体视觉技术计算左右两幅视图的对应视差，直接对前方景物(图像所拍摄到的范围)进行空间深度距离测量，按照一定的帧率实时输出WxH分辨率的空间深度图和RGB图；

姿态测量单元(IMU)，接收来自所述实时高精度位置(RTK)测量单元的坐标位置信息，并通过测量数据描述一个刚体的固定坐标系和参考坐标系之间的角位置关系，测量数据可以描述一个刚体的实时姿态(如位置和旋转角)信息；

实时图像处理单元(RIP)，接收来自所述实时双目视觉系统单元的图像数据，并利用图像视觉技术识别并挑选出车道线或者地面标志线，计算出它们在RGB 图像坐标系中(x、y)坐标位置；

其中，还包括实时运算单元(RAU)，所述实时运算单元(RAU)分别接收所述实时高精度位置(RTK)测量单元、实时双目视觉系统单元、姿态测量单元 (IMU)以及实时图像处理单元(RIP)的输出数据并分别通过RTK高精度经度、纬度和高程坐标信息，车道线或者地面标志线在RGB图像中坐标位置中对应的目标空间深度信息，IMU输出合刚体的姿态信息，联合解算出空间坐标几何位置与大地坐标位置，以解算出车道线和地面标志线的高精度大地坐标位置信息。

本发明利用RTK高精度定位技术，实时获取大地坐标位置信息和双目视差获取测量物体的相对位置，并结合姿态信息辅助，实时融合解算车道线或者地面标志线的高精度大地坐标位置信息。通过将本发明具备视觉和高精度定位传感器融合技术的装置，将其安装于专用车(可以是驾校专用车、低速作业专用车或者是手推车等装置)上，通过载体的移动就能够实时采集路面图像信息和位置信息。按照专业低速车0～40km/h的平均移动速度，那么长为3km的双向6车道，只需要1个工作人员在2个小时内就能完成作业，该发明装置极大地提高了作业效率，并降低劳动过程中的作业风险。在户外低速0～40km/h移动场景中，利用计算机视觉技术测量车道(固定标志)线与相机的相对位置，结合实时高精度定位技术，将实时坐标位置信息与车道线的相对位置相结合，动态识别、动态测量并实时反向解算车道线线的高精度卫星定位坐标信息，通过采样的不连续点最后拟合为测绘的车道线。因此本发明实现了驾校场地高精度、低成本的高效率测绘。

进一步地，所述实时高精度位置(RTK)测量单元包括测量天线、天线馈线、差分基准站、无线通信单元和RTK接收机，RTK接收机接收来至于至天空中多个卫星的导航电文信息，差分基准站用一个固定坐标来做参考，以后基站每通过接收卫星算得一个坐标，与固定坐标作比对，得到差值△X，利用无线传输方式将这个差值发送给RTK接收机，RTK接收机用卫星接收到的坐标再减去基站发过来的差值△X就得到了修正后的坐标，能够使RTK定位单元输出坐标的相对误差≤1cm。RTK单元利用卫星的高精度授时，硬件通用IO输出≤1pps 秒脉冲信号，使系统中各个单元同步。

进一步地，所述实时双目视觉系统单元主要用于测量距离和图像抓拍。该单元包含2个高增益、宽动态、高分辨率的全局快门摄像头和图像加速运算单元，为了适应户外弱纹理或存在重复纹理环境，单元将支持编码的结构光辅助测量机构，使得双目测量在2m内的误差≤1％。

进一步地，所述姿态测量单元(IMU)设有惯性测量单元，惯性测量单元是测量物体三轴姿态角加速度的装置，一个IMU包含了三个单轴的陀螺，陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度，而 IMU直接可以得到载体自身的角速度的测量数据，与视觉形成互补，横摆角和航向角是该系统最为关心的量，直接影响着系统最终的测量误差。

进一步地，所述实时图像处理单元(RIP)是利用图像处理和图像识别技术，检测出车道线，由于车道线具备固定特征，采用传统的图像处理手段就能够筛选出特征物(特征点)，首先读取RGB输入图像，接着对读入的图像进行灰度化等图像预处理，提取车道或图像进行感兴趣区域，通过Canny算子对感兴趣区域进行边缘检测，然后利用具有模型特征的多结构元素进行车道(标识)线提取、筛选特征点，输出筛选特征点在图像坐标系中的(x，y)坐标。

进一步地，所述实时运算单元(RAU)的主要工作包括：(1)标定系统参数和空间坐标间转换；(2)解算卫星定位坐标信息；(3)解算相同分辨率下RGB图像平面和深度图像的(x，y)空间深度信息；(4)解算IMU横摆角和航向角； (5)拟合行车线。

一种基于双目视觉测量与高精度定位融合技术实现位置标定的方法，包括以下步骤：

S1，所述实时高精度位置(RTK)测量单元向所述实时运算单元(RAU)提供输出实时的位置信息数据；

S2，所述实时高精度位置(RTK)测量单元输出同步信号，同时触发实时双目视觉系统单元控制摄像头拍摄图片和触发所述姿态测量单元(IMU)输出IMU 姿态信息，步骤S1和S2同步进行，确保同一时刻输出的位置信息、图像信息和 IMU姿态信息三者同步；

S3，所述双目视觉系统单元采集的图像信息输出到实时图像处理单元(RIP)，

S4，所述姿态测量单元(IMU)输出IMU姿态信息分别为roll(横摆角) 和yaw(航向角)的方位动态信息，用于计算载体水平和垂直方向的夹角实时状态信息；

S5，实时图像处理单元(RIP)根据接收到的图像信息特征提取出特征点的 (x，y)坐标；

S6，将步骤S2、S4和S5所收集的信息输出到坐标转换，将多个空间坐标参考系之间的坐标结合标定方程组转化为大地坐标系；

S7，实时运算单元(RAU)根据测量天线为已知点和特征点的空间坐标距离，投影到水平地平面，解算特征点的大地坐标位置二维坐标位置，根据选出的多个特征点通过算法拟合绘制行车线。

本发明的有益效果是：

本发明利用RTK高精度定位技术，实时获取大地坐标位置信息和双目视差获取测量物体的相对位置，并结合姿态信息辅助，实时融合解算车道线或者地面标志线的高精度大地坐标位置信息。通过将本发明具备视觉和高精度定位传感器融合技术的装置，将其安装于专用车(可以是驾校专用车、低速作业专用车或者是手推车等装置)上，通过载体的移动就能够实时采集路面图像信息和位置信息。按照专业低速车0～40km/h的平均移动速度，那么长为3km的双向6车道，只需要1个工作人员在2个小时内就能完成作业，该发明装置极大地提高了作业效率，并降低劳动过程中的作业风险。在户外低速0～40km/h移动场景中，利用计算机视觉技术测量车道(固定标志)线与相机的相对位置，结合实时高精度定位技术，将实时坐标位置信息与车道线的相对位置相结合，动态识别、动态测量并实时反向解算车道线线的高精度卫星定位坐标信息，通过采样的不连续点最后拟合为测绘的车道线。因此本发明实现了驾校场地高精度、低成本的高效率测绘。

附图说明

图1为本发明装置的功能单元组成示意图。

图2为本发明装置的俯视图(左)和侧视图(右)安装示意图。

图3为本发明中RTK高精度定位系统的工作示意图。

图4为本发明的双目视觉测距原理图。

图5为本发明的双目测距流程图。

图6为本发明的实时处理单元流程图。

图7为本发明实施方法的系统工作流程图。

图8为本发明实施方法的参考坐标系示意图。

图9为本发明实施方法的空间坐标转化关系示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图或简单示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。

此外，若有“第一”、“第二”等术语仅用于描述目的，而不能理解为指示或者暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置，分别利用RTK高精度定位技术，实时获取大地坐标位置信息和双目视差获取测量物体的相对位置，并结合姿态信息辅助，实时融合解算车道线或者地面标志线的高精度大地坐标位置信息。

装置包括5个子单元：实时高精度位置(RTK)测量单元、实时双目视觉 (StereoVision)系统单元、姿态测量(IMU)单元、实时图像处理单元(RIP) 和运算单元(RAU)。

实时高精度位置(RTK)测量单元：输出高精度的实时辅助坐标位置信息(Latitude，Longtitude，Altitude)，同时利用卫星的高精度授时技术输出≥1pps时钟基准。

实时双目视觉(Stereo Vision)系统单元：利用双目立体视觉技术计算左右两幅视图的对应视差，直接对前方景物(图像所拍摄到的范围)进行空间深度距离测量，按照一定的帧率实时输出WxH分辨率的空间深度图和RGB图。

姿态测量单元(IMU)：描述一个刚体的固定坐标系和参考坐标系之间的角位置关系，这些测量数据可以描述一个刚体的实时姿态(如位置和旋转角)等信息。

实时图像处理单元(RIP)：利用图像视觉技术识别并挑选出车道线或者地面标志线，计算出它们在RGB图像坐标系中(x、y)坐标位置。

实时运算单元(RAU)：分别通过RTK高精度经度、纬度和高程坐标信息，车道线或者地面标志线在RGB图像中坐标位置中对应的目标空间深度信息， IMU输出合刚体的姿态信息，联合解算空间坐标几何位置与大地坐标位置。

如图1所示，功能单元组成示意图所示，各个功能单元间相互协同工作，通过RTK的1pps进行全局硬同步。

如图2所示，专用作业载体位于行车道上，本发明的装置分别在安装于载体两侧，距离地面H高度的位置，双目视觉的镜头朝车(载)体外，调整相机中心点与垂直地面形成夹角θ，以便相机能够拍摄地方的车道线。装置上方是用于卫星定位的测量天线、下方放置为装置系统。在整个装置系统中各个执行单元工作原理进行如下阐述：

1.系统装置中的RTK定位单元，该单元包含测量天线(左右各1个)、天线馈线、差分基准站、无线通信单元和RTK接收机，RTK工作系统如图3所示。RTK接收机接收来至于至天空中多个卫星的导航电文信息，差分基准站用一个固定坐标来做参考，以后基站每通过接收卫星算得一个坐标，与固定坐标作比对，得到差值△X，利用无线传输方式将这个差值发送给RTK接收机，RTK接收机用卫星接收到的坐标再减去基站发过来的差值△X就得到了修正后的坐标，能够使RTK定位单元输出坐标的相对误差≤1cm。RTK单元利用卫星的高精度授时，硬件通用IO输出≤1pps秒脉冲信号，使系统中各个单元同步。

2.系统装置中的双目视觉单元，主要用于测量距离和图像抓拍。该单元包含 2个高增益、宽动态、高分辨率的全局快门摄像头和图像加速运算单元，为了适应户外弱纹理或存在重复纹理环境，单元将支持编码的结构光辅助测量机构，使得双目测量在2m内的误差≤1％。双目测量的原理如图4所示，P是待测物体上的某一点，OR与OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，Z为我们想求得的深度信息，设点P到点P’的距离为dis，则：

dis＝B-(X

根据相似三角形原理，可得：

公式中，焦距f和摄像头中心距B可通过标定得到，因此，只要获得了(视差d)的值即可求得深度信息。

如图5所示，双目相机拍摄同一场景的左、右两幅视点RGB图像，运用立体匹配算法获取视差图，通过上面的相似三角形原理公式，最终输出对应(WxH) 分辨率大小的每一个像素点的空间深度信息。

3.系统装置中的IMU姿态测量单元，惯性测量单元是测量物体三轴姿态角加速度的装置。一个IMU包含了三个单轴的陀螺，陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度，而IMU直接可以得到载体自身的角速度的测量数据，与视觉形成互补，横摆角和航向角是该系统最为关心的量，直接影响着系统最终的测量误差。

4.系统装置中的实时图像处理单元，图像处理单元是利用图像处理和图像识别技术，检测出车道线。如图6所示，由于车道线具备一些固定特征，采用传统的图像处理手段就能够筛选出特征物(特征点)，首先读取RGB输入图像，接着对读入的图像进行灰度化等图像预处理，提取车道或图像进行感兴趣区域，通过Canny算子对感兴趣区域进行边缘检测，然后利用具有模型特征的多结构元素进行车道(标识)线提取、筛选特征点，输出筛选特征点在图像坐标系中的(x， y)坐标。

5.系统装置中的处理运算单元，主要工作包括：

1)标定系统参数和空间坐标间转换

如图8所示，由于系统中存在多个坐标参考系，最终会将图像的坐标系转换到大地坐标系，然后辅助姿态信息，于是整套系统前期安装时需要标定各个坐标系间的几何关系。

a)大地坐标系(World frame)

也称真实或现实世界坐标系，它是客观世界的绝对坐标。

(b)载体坐标系(Body frame)

相机的坐标系与IMU的载体坐标系不会存在完全重合，导航载体坐标系。

(c)相机坐标系(Camera frame)

如图9所示，以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为Z轴建立的三维直角坐标系。

首先标定定位天线中心点与载体坐标系(Body frame)中心点坐标变换关系几何关系。

以天线相位中心点为参考，标定出摄像机与天线相位中心点的T(平移矩阵) 和R(旋转矩阵)关系，如公式(1)。

其次，IMU系统与相机坐标系(Camera frame)的T(平移矩阵)和R(旋转矩阵)关系，如公式(2)。

2)解算卫星定位坐标信息

卫星定位数据遵循NMEA-0183协议，该数据标准是由NMEA(National MarineElectronics Association，美国国家海事电子协会)于1983年制定的。统一标准格式NMEA-0183输出采用ASCII码。而WGS-84坐标系(World Geodetic System)是一种国际上采用的地心坐标系。坐标原点为地球质心，其地心空间直角坐标系的Z轴指向国际时间局(BIH)1984.0定义的协议地极(CTP) 方向，X轴指向BIH1984.0的协议子午面和CTP赤道的交点，Y轴与Z轴、 X轴垂直构成右手坐标系，称为1984年世界大地坐标系。这是一个国际协议地球参考系统(ITRS)，是目前国际上统一采用的大地坐标系。

3)解算相同分辨率下RGB图像平面和深度图像的(x，y)空间深度信息

根据图像处理实时运算单元征特点提出在RGB图像中的坐标位置 (X

4)解算IMU横摆角和航向角

如依次绕载体坐标系z，y，x分别旋转一个固定角度，使用roll(横摆角)，yaw (航向角)，pitch(俯仰角)分别表示物体绕，x，y，z的旋转角度，记为φ，θ，ψ。

利用φ，θ，ψ各个轴间的角度，用于辅助计算特征点空间距离在水平投影距离。

5)拟合行车线

利用Hough直线和曲线拟合方法将多个离散的水平坐标点绘制行车线。

基于上述实施例的装置，本实施例还公开一种基于双目视觉测量与高精度定位融合技术实现位置标定的方法，包括以下步骤：

系统工作流程

在装置运行中的工作流程(如图7所示)，RTK高精度位置测量单元提供输出实时的NMEA0183格式位置数据(步骤②所示)，同时通过外围IO端口输出≥1pp同步信号，触发摄像头拍摄图片和IMU姿态信息输出，确保同一时刻位置信息、图像信息和IMU姿态信息三者同步(步骤①所示)

双目采集的图像信息输出到图像识别(步骤③所示)，图像识别单元根据特征提取出特征点的(x，y)坐标(步骤⑤所示)。IMU姿态信息是分别roll(横摆角)，yaw(航向角)的方位动态信息(步骤④所示)用于计算载体水平和垂直方向的夹角实时状态信息。步骤②、⑤和④所收集的信息输出到坐标转换，将多个空间坐标参考系之间的坐标结合标定方程组转化为大地坐标系(步骤⑥所示)。根据测量天线为已知点和特征点的空间坐标距离，投影到水平地平面，解算特征点的大地坐标位置二维坐标位置(步骤⑦所示)，根据选出的多个特征点通过算法拟合绘制行车线。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。