一种基于多传感器融合的尘雾天气道路环境感知系统

摘要

本发明公开了一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；其有益效果是：针对自动驾驶车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入自动驾驶车辆的数据对感知传感器进行补偿，完成自动驾驶车辆对周边车辆的识别和连续跟踪；同时，针对团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶车辆能够安全、高效果的运行。

说明书

技术领域

本发明涉及矿用卡车自动驾驶技术领域，具体涉及一种基于多传感器融合的尘雾天气道路环境感知系统。

背景技术

目前，随着技术的不断发展，在非结构化道路的运输中，也将无人驾驶与不同场景进行了结合，比如说矿山，其对环境的准确识别是该项技术应用的关键。但现有技术中存在以下问题：

1，团雾环境下行车场景能见度低、车载前置视频图像颜色与对比度衰减严重，降低了图像的清晰度；

2，山区环境与常规结构化道路环境相差很大，对障碍物的准确描述仍存在针对性不足；

3，车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，易出现检测丢失。

发明内容

针对现有技术中的缺陷，本发明提供一种基于多传感器融合的尘雾天气道路环境感知系统，针对这一特殊环境下，实现在团雾环境下提升获取图像的清晰度以及提高检测的连续性，减少检测丢失。

本发明所提供的一种技术方案为：一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；

所述传感器模块，用于多源传感器获取车辆周边的环境数据以及行驶过程中的状态数据；其中，所述状态数据通过车辆的IMU系统检测所得；

所述多传感器信息融合模块，用于对所述传感器模块中多源传感器的原始数据进行解析，以实现多源数据的时间同步、特征识别、目标融合以及结果数据集融合；

所述自主式环境感知系统模块，用于将所述多传感器信息融合模块处理后的数据再利用数据处理算法进行处理，并根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法；完成自动驾驶车辆对周边车辆的识别和连续跟踪，非标准化道路的检测以及正负障碍物的识别；

所述网联信息数据协议定义模块，用于对传感器所获取的数据进行预处理，定义传感器所获取数据的优先级，设置阈值；

所述网联信息与多传感器信息融合系统模块，用于将网联信息与多传感器的感知信息进行接入，将周边车辆信息通过V2X传递给本车，并进一步与自主感知信息进行再次融合，实现车辆对车周围环境和移动目标信息的全覆盖、准确感知，将团雾场景下的除雾算法模型应用于图像处理；

所述环境信息动静态目标道路信息模块，用于将最终所获取的环境信息、动静态目标道路信息传送至车辆。

作为本申请一种可选的实施方式，所述多源传感器包括设置在矿用卡车上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；

所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；

所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。

作为本申请一种可选的实施方式，所述多传感器信息融合模块对多源传感器的原始数据进行解析，具体包括：

首先获取图像数据和毫米波雷达数据，然后基于车行视距的图像场景深度估值和基于灰度概率统计的大气透射率估值算法对所获取的图像进行除雾处理，再根据毫米波雷达数据进行有效的目标筛选。

作为本申请一种可选的实施方式，所述根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法，具体包括：

将激光雷达采集的三维点云信息，IMU采集三轴及速度信息，摄像头采集的图像信息传递给数据处理算法中的决策层之后，根据图像计算出无人矿车的三轴坐标和三轴姿态，通过激光数据计算出无人矿车的位置变换1，通过IMU计算出无人矿车的位置变换2；

再将IMU、激光数据和图像所获得的位置变换信息使用扩展卡尔曼滤波方法进行融合，得到准确的车辆的的坐标变换。

作为本申请一种可选的实施方式，所述除雾算法模型是基于车行视距的图像场景深度估值和基于大气透射率估值算法所建立的车载前置视频图像的快速去雾数字算法模型，应用于图像处理具体包括：

步骤一：在具有雾霾的环境中获取视频流中的图像，并且在毫米波雷达中获取场景深度信息；

步骤二：把一定能见度条件下的车行可视距离作为目标物体的景深信息，以估算出透射率；

步骤三：将原图像转化成灰度图像；

步骤四：以灰度图像作为引导图像使用引导滤波算法对灰度图像进行引导滤波得到滤波输出图像，并以窗口中的像素均值作为大气光值；

步骤五：将得到的所述透射率和大气光值代入至大气光散射模型中进行修复，以得到无雾的清晰图像。

作为本申请一种可选的实施方式，在所述引导滤波算法中引入了盒式滤波，以实现对每个窗口内的像素值进行快速均值运算的功能。

作为本申请一种可选的实施方式，利用引导滤波对大气光进行估值时，滤波窗口的半径的选择值在30～40，调整参数ε的取值为10

作为本申请一种可选的实施方式，所述多源传感器之间的融合，包括各传感器之间的时间融合和空间融合。

采用上述技术方案，具有以下优点：本发明提出的一种基于多传感器融合的尘雾天气道路环境感知系统，针对车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入车辆的状态数据对感知传感器进行补偿，完成车辆对周边车辆的识别和连续跟踪，以及正负障碍物的识别，避免了因为短时丢失正负障碍物信息，从而确保了正负障碍物检测的连续性和有效性；同时，针对矿区团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶车辆能够安全、高效果的运行，并降低了劳动强度、提高了人员安全性。

附图说明

图1是本发明实施例所提供的一种基于多传感器融合的尘雾天气道路环境感知系统的结构示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

下面结合附图，对本发明作详细的说明。

参考图1所示，一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；应用时，该系统应用于可无人驾驶矿用卡车等。

所述传感器模块，用于多源传感器获取自动驾驶车辆周边的环境数据以及行驶过程中的状态数据；其中，所述状态数据通过车辆的IMU系统检测所得。

具体地，所述车辆安装了高精度惯导系统，用于检测得到车辆行驶过程性中的速度、偏角和位置等信息，将其作为所述状态数据；

所述多源传感器包括设置在车辆上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；

所述4线激光雷达布置于车辆前方正中位置；

所述16线激光雷达位于车辆前方，以对称分居4线激光雷达两侧；

所述32线雷达位于车辆顶部；

所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；

所述ESR毫米波雷达安装于车辆前方，位于4线激光雷达上方；

所述RSDS毫米波雷达安装于16线激光雷达下方；

所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。

所述普通摄像头位于驾驶室前上方，用于采集图像和视频信息；

所述鱼眼摄像头安装于车辆反光镜处，用于采集图像信息。

上述多源传感器中，毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。

摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。因此，采用多传感器融合的方案，结合多传感器各自的优势，从而提高检测的准确性。

所述多传感器信息融合模块，用于对所述传感器模块中多源传感器的原始数据进行解析，以实现多源数据的时间同步、特征识别、目标融合以及结果数据集融合。

具体地，所述多传感器信息融合模块构建多层次的算法和软件架构，保证数据处理的实时性；利用摄像头和毫米波雷达分别针对观测目标收集数据，然后对各传感器的输出数据进行特征提取与模式识别处理，并将目标按类别进行准确关联，最后利用融合算法将同一目标的所有传感器数据进行整合，从而得出关于目标威胁性的一致性结论；其中，所述融合算法可采用Bayes估计方法。

多源传感器之间的融合，包括各传感器之间的时间融合和空间融合；其中：

建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键；雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中；由于前向视觉系统以视觉为主，只需将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现多传感器的空间同步；

雷达和视觉信息在除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合；根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒，为了保证数据的可靠性，以摄像机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据，从而保证了毫米波雷达数据和摄像机数据时间上的同步。

所述自主式环境感知系统模块，用于将所述多传感器信息融合模块处理后的数据再利用数据处理算法进行处理，并根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法；完成车辆对周边车辆的识别和连续跟踪，非标准化道路的检测以及正负障碍物的识别。

具体地，所述数据处理算法包括机器学习视觉算法、激光雷达特征提取算法、雷达目标识别跟踪算法等算法；

针对车辆需要运行在起伏颠簸的非结构化路面上，起伏颠簸的路面会引起固定在车辆上的激光雷达等传感器发射的激光束时而发射到天上，时而发射到地面上，从而引起对正负障碍物检测出现丢失的情况，从而影响传感器对周围环境的感知，基于IMU修正的正负障碍物连续跟踪算法，确保正负障碍物检测的连续性和有效性，具体包括：

将激光雷达采集的三维点云信息，IMU采集三轴及速度信息，摄像头采集的图像信息传递给数据处理算法中的决策层之后，根据图像计算出无人矿车的三轴坐标和三轴姿态，通过激光数据计算出无人矿车的位置变换1，通过IMU计算出无人矿车的位置变换2；

再将IMU、激光数据和图像所获得的位置变换信息使用扩展卡尔曼滤波方法进行融合，得到准确的车辆的的坐标变换；这里的位置变换信息包括所述位置变换1和位置变换2。

所述网联信息数据协议定义模块，用于对传感器所获取的数据进行预处理，定义传感器所获取数据的优先级，设置阈值。

所述网联信息与多传感器信息融合系统模块，用于将网联信息与多传感器的感知信息进行接入，将周边车辆信息通过V2X传递给本车，并进一步与自主感知信息进行再次融合，实现车辆对车周围环境和移动目标信息的全覆盖、准确感知，将团雾场景下的除雾算法模型应用于图像处理。

需要说明的是，前述融合是指单辆矿用卡车身周围信息，经过上述步骤加以融合，此处的进一步融合是指单辆矿用卡车所获得的的信息，进过处理之后，传到v2x中，并与网联信息融合；所述网联信息包括路端信息、车-车信息以及环境信息。

所述除雾算法模型是基于车行视距的图像场景深度估值和基于大气透射率估值算法所建立的车载前置视频图像的快速去雾数字算法模型，应用于图像处理具体包括：

步骤一：在具有雾霾的环境中获取视频流中的图像，并且在毫米波雷达中获取场景深度信息。

步骤二：把一定能见度条件下的车行可视距离作为目标物体的景深信息，以估算出透射率。

本实施例中，所述透射率用t(x)表示，其大小与能见度L和目标物像的视觉深度d有关；因此，把一定能见度条件下的车行可视距离作为目标物体的景深d，t(x)通过以下公式计算为：

这样，根据毫米波雷达获取的实时L值，便可快速估算出t(x)值。

步骤三：将原图像转化成灰度图像。

步骤四：以灰度图像作为引导图像使用引导滤波算法对灰度图像进行引导滤波得到滤波输出图像，并以窗口中的像素均值作为大气光值。

应用时，由于引导图像滤波处理，涉及一系列均值及方差乘除运算，这会占用大量的机器时间，增加了算法的时间复杂度，所以，在所述引导滤波算法中引入了盒式滤波，以实现在给定滑动窗口下对每个窗口内的像素值进行快速均值运算的功能。

需要说明的是，需要进行引导滤波的原始图像J为输入图像，即为为J(x)，j、i为输入图像像素点，I为引导图像，q为滤波输出图像，并以k为中心的核函数窗口ωk中存在如下线性关系：

q

式中，ω

经过引导滤波算法后，将引导滤波中a

b

式中，Box为对矩阵元素进行均值运算的盒式滤波：

若把原始雾霾图作为引导图像，可获得它的引导滤波图q

于是，可以获得大气光的估计模型：

其引入盒式滤波的形式为：

A

式中，j、i为输入图像的像素点，i为索引系号。需要说明的是，利用引导滤波对大气光进行估值时，滤波窗口的半径的选择值在30～40，调整参数ε的取值为10

步骤五：将得到的所述透射率t(x)和大气光值A代入至大气光散射模型中进行修复，以得到无雾的清晰图像。

具体地，原始雾霾图为J(x)，待求的无雾图为E(x)，于是大气光散射模型表述为：

J(x)＝t(x)E(x)+A(1-t(x))

最终经过修复处理，获得清晰地图像E(x)。

通过上述步骤的处理，不仅可获得清晰的视频图像，还将解决长期以来传统暗原色先验理论方法、双边滤波等传统算法尚不能应用于视频图像实时处理的问题。

所述环境信息动静态目标道路信息模块，用于将最终所获取的环境信息、动静态目标道路信息传送至车辆。

上述方案，针对车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入车辆的数据对感知传感器进行补偿，完成车辆对周边车辆的识别和连续跟踪，以及正负障碍物的识别，避免了因为短时丢失正负障碍物信息，从而确保了正负障碍物检测的连续性和有效性；同时，针对矿区团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶矿用卡车能够安全、高效果的运行，并降低了劳动强度、提高了人员安全性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。