一种基于激光雷达图像的驾驶视觉增强的系统及方法

摘要

本发明公开了一种基于激光雷达图像的驾驶视觉增强的系统及方法。本发明以无人机装载高精度激光雷达设备，通过扫描道路环境的点云构建道路线形三维计算模型，扫描道路交通状态通过边缘计算结合道路线性模型结合车辆行驶过程中车载实时高精度GPS定位数据生成平行交通环境，构建基于驾驶人视点的前方观察路段道路车行道边线透视图以及车辆周边交通环境生成与预警方法，并通过抬头显示HUD设备将该透视图实时投射于驾驶人前方固定位置的投影面上，实现驾驶人观察视角下透视图成像与实际道路边线重叠以及道路情况实时更新的效果，从而弥补驾驶人在未知条件、风险环境或者雾天、夜间等不良条件下视觉信息采集的不足，起到为驾驶人行车导航及预警的作用。

说明书

技术领域

本发明属于智能驾驶技术领域，特别涉及一种基于激光雷达图像的驾驶视觉增强的系统及方法。

背景技术

驾驶人由于未知环境所导致的危险驾驶行为是导致交通事故重要的原因之一。尤其是在陌生道路条件下以及异常交通环境例如雾天、暴雨、夜间等条件下，行驶环境认读性及可视性变差，能见度降低，视距变短，驾驶人生理心理紧张加剧，通过视觉获得的道路及交通信息容易存在缺失或偏差。当道路的线形特征发生变化时，驾驶人对前方道路走向的判断和相应的操作往往出现失误，容易发生车辆追尾、碰撞路侧护栏、偏离路线冲出车行道等交通事故，酿成严重后果。据统计，每年在不良天气情况下的交通事故占道路事故总数的15％左右，死亡率占到47％以上；70％左右的驾驶员进入雾区时心理过度紧张，85％左右的驾驶员在雾天开车感到疲劳。因此如何改善不良驾驶环境下的行车条件以及提高驾驶员对道路信息的感知能力，亟需开发针对未知环境以及异常环境的安全驾驶保障措施或安全辅助驾驶技术，提高在这些环境中的行车安全性。

目前，除临时关闭高速公路取消通行外，针对未知条件或风险场景下降低或预防交通事故的技术措施主要有两大类：基于道路设施的智能诱导系统和基于车载的安全辅助驾驶系统。

基于道路设施的智能诱导系统通过采用监控、探测、通信、计算、显示及控制中心等多种设施构建高速公路智能电子诱导系统，对进入异常环境(雾天或施工)范围的车辆在流量管理、速度控制、车距控制等方面实行智能管控和诱导。该系统存在的问题是工程造价及维护成本昂贵，一般仅针对重要的高速公路施工或者异常天气多发路段，难以全面铺开建设。

基于车载的安全辅助驾驶系统是近年来迅速发展的新技术，其核心思想是利用各种传感器辅助增强驾驶人的感知能力，利用红外热像仪、CCD、激光雷达、毫米波雷达等各种传感器探测驾驶员前方道路环境和周围车辆信息，并以图像形式实时提供给驾驶人，增强驾驶人对行车环境的感知能力。目前主要有基于红外热成像的夜视辅助驾驶技术、基于毫米波雷达或激光雷达的周边车辆信息探测技术、基于单目红外相机的图像去雾技术等。目前，以上基于单一传感器的技术都不能很好地兼顾系统的准确性、可靠性与环境适应性的要求，离实际应用还存在较大的差距；同时对于多传感器融合方面，由于各种设备复杂，成本高昂，其研究与应用还有待进一步深入探索与发展，短时间内该技术的优势还难以充分显现；再次，装载在车辆的传感器以及激光雷达设备存在一定的范围限制，无法从更加广域以及全范围的角度生成具备指导意见的预警系统，致使预警及展示效果不佳。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于激光雷达图像的驾驶视觉增强的系统及方法。

技术方案如下：

一种基于激光雷达图像的驾驶视觉增强的系统，包括：数据采集模块、数据存储模块、GPS定位模块、控制处理模块和抬头显示模块，其中：

所述数据采集模块通过装载无人机的激光雷达设备实时扫描道路及车辆环境，通过边缘计算，生成可编辑数据库；同时接收实时采集数据，构建道路线形三维计算模型以及车辆平行运行的数据库；所述GPS定位模块接收全球卫星定位系统发送的定位信号，输出高精度的点位坐标到所述控制处理模块；所述控制处理模块接收点位坐标，从所述数据存储模块中调用当前位置对应的道路线形三维计算模型，计算驾驶员前方一定范围内道路车行道的边线特征点坐标，并经过坐标转换，实时生成并输出透视图至所述抬头显示模块，同时根据数据库中其它车辆位置及运行情况，匹配数据库坐标系，并实时更新；所述抬头显示模块接收透视图并利用HUD将透视图实时投射在前方距离驾驶员一定距离的投影面上。

所述系统还包括电源控制模块，为所述数据采集模块、存储模块、GPS定位模块、控制处理模块、和抬头显示模块提供12V电源。

一种基于激光雷达图像的驾驶视觉增强方法，包括以下步骤：

使用装载在无人机的激光雷达设备实时扫描车辆前方道路及交通环境，形成车辆运行前方道路及车辆运行实时更新数据库；

使用无人机采集路域车辆点云数据，构建道路线形三维计算模型以及交通流运行的数据库；

使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x

根据驾驶员当前视点在地方坐标系中的坐标(x

根据驾驶员当前视点在地方坐标系中的坐标(x

根据驾驶员当前视点在地方坐标系中的坐标(x

通过HUD实时动态显示道路透视图。

进一步的，使用装载在无人机的激光雷达设备通过扫描获取的道路及交通环境数据库具体包括：

(1)实时扫描并采集道路的几何线形以及前方车辆运行数据资料；

(2)构建道路中心线上任意点的三维坐标计算模型；

(3)构建车辆驾驶前方车道车辆运行数据，并实时完成计算；

(4)构建道路车行道上任意点的三维坐标计算模型。

进一步的，构建道路线形和周边环境三维计算模型的数据库具体包括：

(1)通过无人机扫描车辆行驶的前方道路及环境点云数据；

(2)基于无人机采集的点云数据，实时构建道路中心线上任意点的三维坐标计算模型；

(3)基于无人机采集实时路域车辆数据，匹配车道上三维坐标模型，构建驾驶环境车流实时运行计算机三维模型。

进一步的，使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x

(1)根据车载GPS定位数据确定驾驶员当前视点的平面坐标(x

(2)由当前视点的平面坐标(x

(3)根据道路里程桩号s

进一步的，根据驾驶员当前视点在地方坐标系中的坐标(x

(1)将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

(2)将视轴三维直角坐标(X

(3)将投影面平面直角坐标(x

进一步的，将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

1)构建视轴三维直角坐标系(X

2)由当前视点在地方坐标系中的坐标(x

3)根据当前主点对应的地方坐标(x

4)使用上述确定的转换参数将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

进一步的，将车行道边线上扫描获取的前方车辆运行特征点在地方坐标系中的坐标(x,y,z)转换为呈现在视轴三维直角坐标(X

1)由当前视点在地方坐标系中的坐标(x

2)根据当前主点对应的地方坐标(x

3)使用上述确定的转换参数以及距离参数将车行道交通车辆特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

本发明实施例中的一种基于激光雷达图像的驾驶视觉增强系统及其方法具有以下有益效果：

1)本发明以行驶道路的平纵横数据构建道路线形空间三维模型，结合无人机实时采集道路数据以及交通数据，融合高精度GPS定位数据确定驾驶人与道路的空间位置关系，从而实时生成基于驾驶人视点位置的前方观察路段走向以及交通运行情况透视图，并根据HUD投影面位置与驾驶人视点之间的距离精确控制透视图大小和成像位置，最终达到从驾驶人的视角观察道路线形透视图与实际道路边线重叠，前方车辆运行实时显示的效果。本发明构建的导航系统提供的视觉信息有利于驾驶员对前方观察路段线形走向的掌握，防止车辆冲撞路侧护栏、驶出车行道发生碰撞事故。同时可以通过分析前方车流运行情况，实时为车辆提供预警。可以用于在未知道路、雾天、夜间、暗弯等能见度低、视距不良或者交通流异常运行的环境下。

2)本发明以目前已经得到广泛应用的HUD技术为基础，投射出具有色彩的透视曲线以及实时车流情况，对前方真实的线路走向以及车辆运行情况在未知道路或者低能见度条件下实现了视觉增强。本发明提供的方法技术简单可行，对危险驾驶环境下的汽车安全驾驶具有良好的辅助作用，有益地保障了汽车驾驶安全。

附图说明

图1是本发明实施例提供的一种基于激光雷达图像的驾驶视觉增强系统的功能模块图；

图2是本发明实施例提供的一种基于激光雷达图像的驾驶视觉增强方法的流程图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合实施例对本发明提供的一种基于激光雷达图像的驾驶视觉增强的系统及方法进行详细描述。以下实施例仅用于说明本发明而非用于限制本发明的范围。

本发明提供的基于激光雷达图像的驾驶视觉增强系统及其方法，涉及无人机技术、激光雷达技术及汽车导航技术领域，针对未知交通环境、异常外部环境以及事故发生等条件下路况不清晰、能见度低、行车视距小、二次事故风险、车辆易驶出车行道边线、易冲撞路侧护栏和人行道等交通安全问题，以无人机为载体，装载高精度激光雷达设备，通过扫描道路环境的点云，形成道路平面、纵断面、横断面数据资料为基础构建道路线形三维计算模型，扫描道路交通状态，通过边缘计算结合道路线性模型，结合车辆行驶过程中车载实时高精度GPS定位数据，生成平行交通环境，构建一种基于驾驶人视点的前方观察路段道路车行道边线透视图以及车辆周边交通环境生成与预警方法，并通过抬头显示HUD设备将该透视图实时投射于驾驶人前方固定位置的投影面上，实现驾驶人观察视角下透视图成像与实际道路边线重叠以及道路情况实时更新的效果，从而弥补驾驶人在未知条件、风险环境或者雾天、夜间等不良条件下视觉信息采集的不足，起到为驾驶人行车导航及预警的作用。

实施例1

参照图1，本发明实施例提供了一种基于激光雷达图像的驾驶视觉增强系统，该系统包括数据采集模块、数据存储模块、GPS定位模块、控制处理模块和抬头显示模块，所述数据采集模块通过装载无人机的激光雷达设备实时扫描道路及车辆环境，通过边缘计算，生成可编辑数据库；同时接收实时采集全域车辆数据，构建道路线形三维计算模型以及车辆平行运行的数据；所述GPS定位模块接收全球卫星定位系统发送的定位信号，输出高精度的点位坐标到所述控制处理模块；所述控制处理模块接收点位坐标，从所述数据存储模块中调用当前位置对应的道路线形三维计算模型，计算驾驶员前方一定范围内道路车行道的边线特征点坐标，并经过坐标转换，实时生成并输出透视图至所述抬头显示模块，同时根据数据库中其他车辆位置及运行情况，匹配数据库坐标系，并实现实时更新；所述抬头显示模块接收透视图并利用HUD将透视图实时投射在前方距离驾驶员一定距离的投影面上。所述系统还包括电源控制模块，该电源控制模块为所述数据采集模块、存储模块、GPS定位模块、控制处理模块、和抬头显示模块提供12V电源。

基于相同的发明构思，本发明实施例还提供了一种基于激光雷达图像的驾驶视觉增强方法，该方法的实施参考上述系统的实施，重复之处不再赘述。所述方法包括以下步骤：

步骤一：使用装载在无人机的激光雷达设备通过扫描获取的道路及交通环境数据库具体包括：

(1)实时扫描并采集道路的几何线形以及前方车辆运行数据资料；

(2)构建道路中心线上任意点的三维坐标计算模型；

(3)构建车辆驾驶前方车道车辆运行数据，并实时完成计算；

(4)构建道路车行道上任意点的三维坐标计算模型。。

步骤二：用上述的道路平纵横数据构建道路线形三维计算模型的数据库具体包括：

(1)搜集或采集整理道路的几何线形数据资料；

(2)基于内存数据及无人机采集数据比对，实时构建道路中心线上任意点的三维坐标计算模型；

(3)基于内存数据及无人机采集数据比对，构建道路车行道上任意点的三维坐标计算模型。

(4)基于无人机采集实时交通流数据，匹配车道上三维坐标模型，构建驾驶环境车流实时运行模型。

步骤三：使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x

(1)根据车载GPS定位数据确定驾驶员当前视点的平面坐标(x

(2)由当前视点的平面坐标(x

(3)根据道路里程桩号s

步骤四：根据驾驶员当前视点在地方坐标系中的坐标(x

(1)将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

(2)将视轴三维直角坐标(X

(3)将投影面平面直角坐标(x

步骤五：将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

(1)构建视轴三维直角坐标系(X

(2)由当前视点在地方坐标系中的坐标(x

(3)根据当前主点对应的地方坐标(x

(4)使用上述确定的转换参数将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

步骤六：将车行道边线上扫描获取的前方车辆运行特征点在地方坐标系中的坐标(x,y,z)转换为呈现在视轴三维直角坐标(X

(1)由当前视点在地方坐标系中的坐标(x

(2)根据当前主点对应的地方坐标(x

(3)使用上述确定的转换参数以及距离参数将车行道交通车辆特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(X

步骤七：通过HUD实时动态显示道路透视图。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。