借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法

摘要

本发明涉及借助第一超声波传感器(30)的道路潮湿信息来支持行进工具(80)的基于摄像机的周围环境识别的一种方法和一种设备。该方法包括以下步骤：借助行进工具(80)的第一超声波传感器(30)检测表示行进工具(80)的周围环境(60)的第一信号；借助行进工具(80)的摄像机(40)检测表示行进工具(80)的周围环境(60)的第二信号；基于第一信号求取道路潮湿信息；根据道路潮湿信息从多个预定义参数组中选择预定义参数组；基于第二信号结合预定义参数组执行周围环境识别。

说明书

技术领域

本发明涉及一种借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法。

背景技术

由现有技术已知行进工具，其执行基于摄像机的周围环境识别，以便获得关于行进工具的周围环境中的对象的信息。这些信息例如由驾驶员辅助系统和/或由用于自主控制行进工具的系统接收并且由这些系统使用。这种周围环境识别的基础是由现有技术已知的用于图像分析和对象分类的算法，所述算法针对确定的对象通常使用一个或多个分类器。

此外，由现有技术已知用于行进工具的雨量传感器，该雨量传感器用于识别降水的存在。雨量传感器大多布置在行进工具的挡风玻璃的上部区域，并且设置用于识别挡风玻璃上存在的降水。通过这种雨量传感器所求取的潮湿信息可以用于选择合适的周围环境识别分类器。

由现有技术还已知超声波传感器，其结合行进工具经常用于泊车辅助系统或类似的驾驶辅助系统。为此目的，这种超声波传感器大多如此布置在行进工具上，使得它们的辐射方向和检测方向基本上相对于行进工具水平，以便能够基于超声波信号的信号传播时间来求取行进工具周围环境中的对象至该行进工具的距离。

发明内容

根据本发明的第一方面，提出一种借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法。行进工具例如可以是道路车辆(例如摩托车、轿车、运输车、载重货车)或轨道车辆或飞行器/飞机或船舶。此外，下述方法步骤可以全部地或部分地通过根据本发明的行进工具的设备实施。该设备可以包括优选具有数据输入端的分析处理单元。分析处理单元例如可以构型为ASIC(Application SpecificIntegrated Circuit：系统专用集成电路)、FPGA(Field Programmable Gate Array：现场可编辑门阵列)、处理器、数字信号处理器、微控制器等，并且可以通过信息技术连接到内部存储单元和/或外部存储单元。此外，分析处理单元可以设置用于结合通过分析处理单元实施的计算机程序来执行根据本发明的方法。

在根据本发明的方法的第一步骤中，借助行进工具的第一超声波传感器检测表示行进工具周围环境的第一信号。该超声波传感器可以是行进工具的也用于其他目的的超声波传感器。替代或附加地，可以将专用超声波传感器用于根据本发明的方法。行进工具的超声波传感器例如可以是泊车辅助系统的超声波传感器，或者也可以是行进工具的其他驾驶员辅助系统的超声波传感器。超声波传感器例如可以布置在前挡泥板中或者布置在行进工具的后部区域中，或者也可以布置在行进工具的其他位置，使得不仅能够检测轮胎噪声，而且也能够检测位于前方的或位于后方的行车道及其周围环境。此外，超声波传感器可以与根据本发明的分析处理单元的数据输入端直接地或间接地(即例如通过行进工具的其他的控制单元)通过信息技术连接。例如可以借助行进工具的车载电网的总线系统(例如CAN、LIN、MOST、以太网等)建立该连接。为了由分析处理单元进行后续处理，可以将第一超声波传感器的由分析处理单元接收的第一信号首先存储在存储单元中，该存储单元连接到分析处理单元。

在根据本发明的方法的第二步骤中，借助行进工具的摄像机检测表示行进工具周围环境的第二信号。优选地，可以在与第一信号基本上相同的时刻检测第二信号，使得能够确保两个信号分别包括时间上彼此对应的周围环境信息。由于不同的传感器类型、不同的信号处理链路和信号传输链路，在两个信号之间可能产生时间上的偏差。两个信号之间的时间偏差的优选的、但对于根据本发明的方法并非强制性确保的范围例如可以在几毫秒至几百毫秒之间，或者也可以在秒范围内。摄像机例如可以是2D摄像机或3D摄像机或者红外摄像机，所述2D摄像机或3D摄像机具有标准图像分辨率、高清图像分辨率或超高清图像分辨率。优选地，摄像机可以在行进工具上如此布置和定向，使得该摄像机检测位于行进工具前方的周围环境。然而，摄像机的这种布置和/或定向不局限于该示例。类似于第一超声波传感器，可以借助行进工具的车载电网将摄像机与根据本发明的分析处理单元信息直接或间接地通过信息技术连接。在本发明的一个优选实施方式中，摄像机可以与行进工具的图像处理单元通过信息技术连接，该图像处理单元设置用于接收和处理摄像机的图像信号。这种图像处理单元还可以是驾驶员辅助系统的或用于行进工具的自主行驶运行的系统的组成部分。此外，在该优选实施方式中，图像处理单元可以与根据本发明的分析处理单元通过信息技术连接，使得分析处理单元可以将在下文中详细描述的道路潮湿信息传输给图像处理单元。作为该实施方式的附加或替代，图像处理单元可以是分析处理单元自身的组成部分(或者反之亦然)，从而两个部件之间的通信能够直接地而非通过行进工具的车载电网进行。这例如可以如此实现：借助图像处理单元以计算机程序的形式实施通过根据本发明的分析处理单元实施的逻辑，所述逻辑用于实现根据本发明的方法步骤。

根据本发明的方法的第三步骤，基于第一信号求取道路潮湿信息。为此目的，分析处理单元可以将第一信号的噪声水平与噪声水平的预定义的与阈值进行比较，该阈值可以存储在连接到分析处理单元的存储单元中。优选地，如此选择噪声水平的预定义的与阈值，使得在噪声水平超过预定义的与阈值的情况下，可以认为当前道路潮湿。反之适用的是，在噪声水平低于预定义的阈值的情况下，可以认为行车道表面干燥。可以将道路潮湿信息的求取结果再次存储在存储单元中。作为在潮湿或干燥行车道表面之间的纯粹区分的替代或附加，分析处理单元还可以在第一信号的噪声水平超过预定义的与阈值的情况下实现潮湿程度的估计，其方式是：考虑第一信号的噪声水平超过预定义的与阈值的大小。此外，也可以考虑将多个预定义的与阈值用于噪声水平，其中，相应的预定义的与阈值能够对应于行进工具的不同速度和/或速度范围。换句话说有利的是：通过分析处理单元接收通过行进工具的车载电网提供的关于行进工具的当前速度的信息，使得分析处理单元可以根据当前速度的值从多个预定义的与阈值中选择分别对应的预定义的与阈值，因为较高的速度通常伴随着第一信号中的较高噪声水平。以这种方式，能够阻止在行进工具速度较高的情况下通过分析处理单元错误地识别到道路潮湿，而尽管行车道表面实际上处于干燥状态。

在根据本发明的方法的第四步骤中，根据道路潮湿信息，从多个预定义参数组中选择预定义参数组。多个预定义参数组例如可以表示分类器的不同配置，该分类器设置用于基于第二信号分析行进工具的周围环境和识别周围环境中的对象。优选地，这种分类器可以是通过图像处理单元和/或分析处理单元实施的计算机程序的一部分。在根据本发明的分析处理单元和图像处理单元实现为单独部件的情况下，可以通过图像处理单元根据道路潮湿信息以及必要时还根据其他信息(例如通过行进工具的速度)来选择预定义参数组，所述其他信息可以由分析处理单元通过行进工具的车载电网所提供。使用不同预定义参数组的一个目的是：将匹配于当前周围环境(即潮湿的或者干燥)的预定义参数组用于周围环境识别。这样做的原因在于：在潮湿的周围环境下，例如由于前方行驶的车辆所扬起的水(水沫)，针对干燥周围环境所训练的分类器在周围环境识别的过程中通常只能确保不充分或不可靠的识别结果。反之，针对潮湿周围环境所训练的分类器，在干燥周围环境下也经常无法够提供最佳识别结果。在由分析处理单元提供的潮湿信息中除了潮湿/干燥的区分之外，还包括关于潮湿程度的信息的情况下，可以附加地根据潮湿程度选择与相应测量水平匹配的预定义参数组。

在根据本发明的方法的第五步骤中，基于第二信号结合预定义参数组执行周围环境识别。因为由于存在的潮湿信息，能够将分别匹配的预定义参数组用于周围环境识别，所以可以相应地优化周围环境识别的识别性能。由此导致的提高的周围环境识别的可靠性又可以导致使用行进工具时的更高安全性。

从属权利要求中示出本发明的优选扩展方案。

在本发明的一种有利构型中，可以附加地根据行进工具的速度和/或加速度和/或马达转速来求取道路潮湿信息。在上文中，已经详细描述了在求取当前道路潮湿信息时有利地考虑当前速度。类似于此，可以以类似方式有利地考虑通过行进工具车载电网接收的关于行进工具的当前加速度和/或当前马达转速的值。

在本发明的另一种有利构型中，预定义参数组可以表示经训练的自学习系统的配置。也就是说，可以基于自学习系统、例如(例如具有深度学习结构的)神经网络来实现上述分类器。此外，也可以使用其他类型的自学习系统。以这种方式，借助这种自学习系统，能够在不同的潮湿情况下执行行进工具的训练行驶，并且能够以不同预定义参数组的形式存储相应的经训练的自学习系统的配置。

在本发明的另一种有利构型中，替代或附加地，根据噪声水平的变化和/或当前温度和/或在行进工具周围环境中存在的水量，选择预定义参数组。如上所述，噪声水平的变化可能由于行车道表面上的不同水量引起。然而，噪声水平的变化也可能由至前方行驶的车辆的距离的变化引起。在这两种情况下，由于随之改变的视觉条件，将相应匹配的参数组用于周围环境识别会是有意义的。可以通过对第二信号的附加分析来区分：噪声水平的变化是由改变的水量引起还是由至前方行驶的车辆的距离变化引起，该附加分析通过如下方式实现：例如求取直接前方行驶的车辆的大小变化。替代或附加地，也可以考虑使用行进工具的其他周围环境传感器的信号来评估当前情况。在此，尤其有利的可以是：考虑来自行进工具的激光雷达系统和/或雷达系统的至前方行驶的车辆的距离信息。针对上述情况所产生和使用的预定义参数组能够实现：即使通过摄像机只能检测到前方行驶的行进工具的模糊轮廓，也可以改善地和/或更快地识别由水雾所部分遮挡的行进工具。

此外，在选择预定义参数组时考虑当前外部温度会是有意义的，因为低于4℃、尤其低于0℃的外部温度能够实现对行车道边缘处的和/或行车道自身上可能存在积雪的推断。如果外界温度为0℃或者更低并且同时存在识别到的道路潮湿，则至少在行车道边缘处存在积雪的概率会尤其高。基于该信息，可以选择其他合适的预定义参数组，并且将其用于周围环境识别的过程，使得例如即使在存在积雪的情况下也能够可靠识别到行车道边界。

在本发明的另一种有利构型中，可以根据第一信号的无干扰性

如上文已经描述的那样，第一超声波传感器可以如此布置在行进工具上，使得第一超声波传感器的检测范围处于行进工具行驶方向上或者与行进工具的行驶方向相反。此外，附加地可以基于第二超声波传感器、尤其通过第二超声波传感器检测行进工具周围环境，该第二超声波传感器如此布置在行进工具上，使得第二超声波传感器的检测范围处于行进工具行驶方向上或者与行进工具的行驶方向相反。在一种优选变型方案中，例如可以将第一超声波传感器定向在行进工具的行驶方向上，并且使第二超声波传感器与行进工具的行驶方向相反地定向。以这种方式，可以基于两个超声波传感器求取道路潮湿信息，由此能够对由相应第一信号获得的道路潮湿信息进行附加的可信度检验。替代地，可以基于第一超声波传感器或基于第二超声波传感器交替地求取道路潮湿信息，其方式是：分别对如下超声波传感器的第一信号在道路潮湿方面进行分析处理：该超声波传感器在当前时刻具有最低份额的干扰影响。在此应指出的是，除了第一和第二超声波传感器之外，还可以将其他超声波传感器用于根据本发明的方法。即，例如可以使用第三、第四以及更多的超声波传感器，可以类似于上述构型地对它们进行组合和使用。第一、第二、第三、第四以及必要时其他的超声波传感器的布置明确不局限于行进工具的前部区域和/或后部区域。

在本发明的另一有利构型中，可以通过由第二信号求取的道路潮湿信息来对由第一信号求取的道路潮湿信息进行可信度检验。这例如可以基于对摄像机图像中的光源反射的分析来实现，其方式是：例如检查该光源位处行车道平面上方还是看似低于行车道平面。此外，也可以通过行进工具的其他传感器和/或控制设备来对道路潮湿信息进行可信度检验。在此，例如考虑布置在行进工具的挡风玻璃上的雨量传感器，或者也可以考虑行进工具的其他传感器。

随后，还可以将由周围环境识别所求取的关于行进工具周围环境中的对象的信息传输给驾驶员辅助系统和/或行进工具的用于自主控制的系统等，并且在那里使用所述信息。

根据本发明的第二方面，提出一种借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的设备。该设备包括分析处理单元和数据输入端。分析处理单元例如可以构型为ASIC、FPGA、处理器、数字信号处理器、微控制器等，并且可以通过信息技术连接到内部和/或外部存储单元。此外，分析处理单元可以设置用于结合通过该分析处理单元实施的计算机程序来执行根据本发明的方法。此外，分析处理单元设置用于结合数据输入端对第一信号和第二信号进行检测，该第一信号借助行进工具的第一超声波传感器所求取并且表示行进工具的周围环境，该第二信号借助行进工具的摄像机所求取并且表示行进工具的周围环境。优选地，超声波传感器可以是行进工具的现有的超声波传感器。此外，超声波传感器例如可以布置在前挡泥板中、或者布置在行进工具的后部区域中、或者布置在行进工具的其他位置中，使得要么可以检测前方的行车道，要么可以检测后方的行车道及其周围环境。摄像机例如可以是具有标准图像分辨率、高清图像分辨率或者超高清图像分辨率的2D或3D摄像机，或者可以是红外摄像机。优选地，摄像机可以如此布置和定向在行进工具上，使得该摄像机能够检测位于行进工具前方的周围环境。分析处理单元可以借助行进工具的车载电网与超声波传感器和摄像机直接地和/或间接地通过信息技术连接。此外，分析处理单元设置用于基于第一信号求取道路潮湿信息，根据道路潮湿信息从多个预定义参数组中选择预定义参数组，并且基于第二信号结合预定义参数组执行周围环境识别。

附图说明

以下参照附图详细描述本发明的实施例。附图示出：

图1示出用于说明根据本发明的方法的一个实施例的步骤的流程图；

图2结合行进工具示出根据本发明的设备的框图；

图3示出第一超声波传感器的速度相关的噪声水平的曲线图。

具体实施方式

图1示出用于说明根据本发明的方法的一个实施例的步骤的流程图，该方法借助第一超声波传感器30的道路潮湿信息来支持行进工具80的基于摄像机的周围环境识别。在第一步骤100中，借助根据本发明的分析处理单元10(微控制器)，借助行进工具80的第一超声波传感器30检测表示行进工具80的周围环境60的第一信号。第一超声波传感器30布置在行进工具80的前挡泥板中并且定向在行进工具80的行驶方向上。分析处理单元10借助分析处理单元10的数据输入端12接收第一信号，并且将通过第一信号所表示的周围环境信息存储在微控制器的内部存储单元20中。在步骤200中，借助行进工具80的摄像机40检测表示行进工具80的周围环境60的第二信号。摄像机40在行进工具80的内部空间中布置在行进工具80的挡风玻璃的上部区域中，并且该摄像机如此定向，使得摄像机40能够检测到位于行进工具80前方的周围环境60。由行进工具80的图像处理单元接收摄像机40的第二信号，该图像处理单元与摄像机40通过信息技术连接。超声波传感器30的第一信号和摄像机40的第二信号基本上在相同的时刻检测。在步骤300中，借助通过分析处理单元10实施的计算机程序，基于第一信号求取道路潮湿信息。为此目的，分析处理单元10将第一信号的噪声水平70与噪声水平70的预定义的与阈值75进行比较。噪声水平70超过预定义的与阈值75可以推断出：在行进工具80的周围环境60中存在道路潮湿。在这种情况下，因为基于预定义的与阈值75识别到存在道路潮湿，所以分析处理单元10借助行进工具80的车载电网的车载总线将相应的信号发送给图像处理单元，该信号包括当前的道路潮湿信息。在根据本发明的方法的步骤400中，图像处理单元根据接收到的道路潮湿信息从多个预定义参数组中选择预定义参数组。在这种情况下通过图像处理单元所选择的参数组表示基于神经网络的分类器的配置，该分类器在较早时刻(例如在行进工具80的开发阶段)已经在类似的道路潮湿条件下进行过训练。随后在步骤500中，借助图像处理单元基于第二信号结合预定义参数组执行周围环境识别。随后，借助车载电网将借助周围环境识别求取的(关于行进工具80的周围环境60中的对象的)信息传输给用于行进工具80的自主控制的系统，并且由该系统在自主控制行进工具80的过程中使用该信息。

图2结合行进工具80示出根据本发明的设备的框图。该设备包括分析处理单元10(在此是微控制器)并且具有数据输入端12。借助数据输入端12，分析处理单元10与第一超声波传感器30通过信息技术连接，并且分析处理单元通过行进工具80的车载电网与第二超声波传感器35通过信息技术连接，该第一超声波传感器定向在行进工具80的行驶方向上，该第二超声波传感器与行驶方向相反地定向。同样通过数据输入端12，分析处理单元10通过行进工具80的车载电网与定向在行进工具80行驶方向上的摄像机40通过信息技术连接。此外，分析处理单元10与外部存储单元20通过信息技术连接，该外部存储单元设置用于存储通过分析处理单元10接收的信息，该信息用于通过分析处理单元10进行后续处理。借助第一超声波传感器30、第二超声波传感器35和摄像机40，使分析处理单元10能够在基本上相同的时刻检测行进工具80的周围环境60。在本示例中，在分析处理单元10自身中实施根据本发明的方法的所有步骤，即，分析处理单元10不仅设置用于基于第一超声波传感器30和第二超声波传感器35的第一信号求取道路潮湿信息，而且还设置用于选择对应于道路潮湿信息的预定义参数组，并且借助该预定义参数组基于摄像机40的第二信号执行周围环境识别。

图3示出第一超声波传感器30的速度相关的噪声水平70的曲线图。在该曲线图的第一阶段P1中，行进工具80以对应于第一阶段P1的预定义的与阈值75的速度v行驶，该行进工具在根据本发明的方法的意义上使用第一超声波传感器30。换句话说，由于行进工具80在第一阶段P1中起初相对较低的速度v，所以将多个预定义的与阈值75中的如下预定义的与阈值75用于与第一信号的噪声水平70进行比较：该预定义的与阈值之前已经针对该速度范围所确定。因为噪声水平70在第一阶段P1中完全高于第一阶段P1的预定义的与阈值75，所以通过根据本发明的分析处理单元10确定存在道路潮湿。在速度v的变化过程中可以看出：行进工具80的速度v在此随着时间推移持续增大。在达到速度值v1的情况下，借助分析处理单元10根据目前较高的速度v为第二阶段P2选择如下预定义的与阈值75：该预定义的与阈值与第一阶段P1的预定义的与阈值75不同。由此，使第二阶段P2的预定义的与阈值75匹配于由较高速度v产生的噪声水平75。如在第一阶段P1中那样，在此首先再次识别到存在道路潮湿，因为噪声水平70在第二阶段P2开始时高于第二阶段P2的预定义的与阈值75。在第二阶段P2中的时刻t1，噪声水平70的曲线下降到低于第二阶段P2的预定义的与阈值75。响应于此，通过分析处理单元10确定存在干燥行车道表面。