用于驾驶员辅助方法的训练方法、驾驶员辅助方法、控制设备以及具有该控制设备的车辆

摘要

一种用于车辆(100)的驾驶员辅助方法的训练方法，其中，所述车辆(100)包括至少一个摄像机(105、106、107)，所述训练方法具有以下方法步骤：在所述车辆(100)的由使用者引导的、沿期望轨迹(400)的训练行驶期间检测(310)一系列摄像机图像；根据所检测的一系列摄像机图像的图像处理，求取(350)沿所述期望轨迹(400)的、用于所述驾驶员辅助方法的行驶通道(500)；在显示器(103、122)上呈现(370)所检测的一系列摄像机图像和/或根据所检测的一系列摄像机图像所求取的周围环境模型，其中，至少所求取的行驶通道(500)显示为叠加在所述呈现上的插入对象；将行驶通道(500、600、700)存储(395)在车辆的电子存储器中，其中，在呈现期间检测(380)所述使用者的输入以匹配所求取的行驶通道(500、600)的限界，并且根据所检测的输入来匹配(390)所求取的行驶通道(500、600)。

说明书

技术领域

本发明涉及一种用于车辆的驾驶员辅助方法的训练方法、一种驾驶员辅助方法、一种用于执行该训练方法且用于执行该驾驶员辅助方法的控制设备以及一种具有该控制设备的车辆。

背景技术

文献US 2010/0049402 A1公开一种用于停泊车辆的驾驶辅助系统，其中，可以由驾驶辅助系统的使用者来设置目标停车位置。

文献US 9,522,675 B1公开一种泊车控制系统，其中，由使用者在平行泊车和直角泊车之间做出第一选择，并且在向后泊车和向前泊车之间做出第二选择。

本发明的任务是通过驾驶员辅助方法在已知的地点改善对驾驶员的支持。

发明内容

上述任务根据独立权利要求1、8、13和14来解决。

本发明涉及一种用于车辆的驾驶员辅助系统的训练方法，其中，该车辆包括至少一个摄像机。首先，在车辆的由使用者引导的、沿期望轨迹的训练行驶期间，通过该训练方法检测一系列摄像机图像、尤其是视频序列。换句话说，驾驶员沿其所期望的轨迹从起点到终点驾驶车辆，其中，在该训练行驶期间借助摄像机检测视频序列。例如，使用者将车辆从地下停车场的入口行驶到地下停车场的泊车位。在另一示例中，使用者将车辆从地产(Grundstück)的入口前的位置行驶到地产上的停车位。接着，根据所检测的一系列摄像机图像的图像处理，沿着期望轨迹求取用于驾驶员辅助方法的行驶通道(Fahrkorridor)。换句话说，针对使用者期望的轨迹确定公差范围，其中，该公差范围或者说行驶通道代表以下区域：车辆在随后执行驾驶员辅助方法期间允许在该区域中移动，例如以便绕过非静止的障碍物。在随后的步骤中，在显示器上向使用者显示所检测的一系列摄像机图像和/或根据所检测的一系列摄像机图像所求取的周围环境模型。在该呈现(Darstellung)中，所求取的行驶通道显示为叠加在该呈现上的插入对象(Einblendung)。在该呈现期间，检测用于匹配所求取的行驶通道的限界的使用者输入。换句话说，在该呈现期间使用者改变所求取的行驶通道的限界。然后，根据所检测的输入匹配所求取的行驶通道，并且将所求取的行驶通道和/或经匹配的行驶通道存储在车辆的电子存储器中。

通过借助训练方法来确定行驶通道产生以下优点：在执行驾驶员辅助方法期间，车辆可以半自动或自动地在行驶通道内在可变轨迹上移动，即例如可以避开诸如球之类的障碍物，而不必中断驾驶员辅助方法。由使用者对行驶通道进行匹配还具有以下优点：例如，在驾驶员辅助方法期间阻止在花坛或草坪上行驶或驶过路缘石。因此，在驾驶员辅助方法的执行期间通过训练方法避免不期望的轨迹。

在本发明的一种优选实施方案中，在训练方法期间检测车辆的地点坐标。地点坐标可以表示相对于全球参考点(例如GPS坐标)的位置，或相对于期望轨迹的特定位置或者说期望轨迹的参考点(例如轨迹的起点)的位置。接着，将所存储的行驶通道分配给所检测的地点坐标。通过该实施方案产生以下优点：能够在具有根据地点确定的行驶通道的多个地点处执行驾驶员辅助方法，并且能够根据对地点坐标的检测半自动地或自动地启动驾驶员辅助方法。

在一种特别优选的实施方式中，在由使用者引导的训练行驶期间检测车辆与车辆周围环境中的对象之间的间距，其中，尤其是根据所检测的间距确定周围环境模型或者说深度图(Tiefenkarte)。接着，附加地根据所检测的间距或者说深度图或者说周围环境模型来求取行驶通道。有利地，由此更准确地相对于周围环境定义行驶通道。此外，在该实施方式中，更可靠地识别出周围环境中的对象和/或障碍物，例如路缘石。此外得到以下优点：仅需在训练方法期间执行图像数据的检测及其分析处理，而用于随后执行驾驶员辅助方法的行驶轨迹可以替代地或附加地基于所检测的间距，例如以便在不利的光线条件或天气条件下可靠地执行驾驶辅助方法，或一般性地改善行驶通道的准确性。

在一种扩展实施方案中，根据对至少一个所检测的摄像机图像的图像分析或者说图像处理和/或根据所检测的间距数据来识别至少一个区段、区段边界、对象边缘和/或对象。例如借助学习了相应的识别目标的神经网络来进行区段识别或对象识别。接着，在显示器上的所检测的一系列摄像机图像的和/或所求取的周围环境模型的呈现中，将所识别的区段、所识别的区段边界、所识别的对象边缘和/或所识别的对象显示为叠加在该呈现上的插入对象。由此产生以下优点：在用于匹配所求取的行驶通道的限界的输入中，通过所显示的区段、所显示的区段边界、所显示的对象边缘和/或所显示的对象来支持使用者。可选地或替代地，根据所识别的区段、所识别的区段边界、所识别的对象边缘和/或所识别的对象来预先匹配所求取的行驶通道的限界。由此产生以下优点：对于使用者而言更容易输入对所求取的行驶通道的限界的匹配，和/或在呈现或输入之前自动校正行驶通道。

在另一构型中，所求取的行驶通道的限界的匹配可以根据使用者输入沿着所求取的行驶通道或沿着期望轨迹逐区段地进行，和/或根据所插入的行驶通道的边界处的、在呈现中所显示的标记进行。例如，使用者可以有利地借助手指在触摸屏上的移动来改变所求取的行驶通道的限界。通过本发明的该构型使得简化用于对匹配所求取的行驶通道的限界输入。

此外可以设置，所检测的一系列摄像机图像和/或所求取的周围环境模型的呈现在移动电子设备的显示器上进行，并且用于匹配所求取的行驶通道的限界的使用者输入的检测借助该移动电子设备进行。由此使得更轻松地由使用者确定行驶通道。

在另一构型中，由使用者检测时间输入，以执行驾驶员辅助方法。接着，将所存储的行驶通道分配给所检测的时间输入。由此产生以下优点：例如可以在输入的时间自动地在早上(morgendlich)进行泊出车辆，由此降低使用者的时间开销和操作开销。

本发明还涉及一种用于车辆的驾驶员辅助方法。该驾驶员辅助方法具有：检测启动输入(Starteingabe)。优选地，在驾驶员辅助方法启动时由使用者进行启动输入。替代地，可以根据所分配的地点坐标和/或根据所分配的时间输入自动地进行启动输入。在启动输入之后，执行检测一系列摄像机图像和/或车辆与车辆周围环境中的对象之间的间距。然后加载所存储的行驶通道，其中，所存储的行驶通道已经通过根据本发明的训练方法确定。接着，根据车辆几何形状，根据所检测的一系列摄像机图像和/或所检测的间距以及根据所加载的行驶通道来求取行驶通道内的至少一个辅助轨迹。接着，根据所求取的辅助轨迹来操控车辆，使得车辆仅在行驶通道内移动，其中，操控车辆的至少一个驱动马达和/或转向马达。有利地，通过驾驶员辅助方法使得能够实现：车辆从起点沿着与情况相关的辅助轨迹半自动地或自动地行驶直至终点，或者绕过行驶通道内的障碍物，其中，已经由使用者准确地定义行驶通道。

在一种优选的构型中，在驾驶员辅助方法中检测车辆的地点坐标，并且根据所检测的地点坐标来加载所存储的行驶通道。

此外可以设置，如果在所加载的行驶通道内未求取到无障碍的辅助轨迹，则驾驶员辅助方法在操控车辆之前具有针对使用者的警告的光学和/或声音显示(尤其在移动电子设备上)，以及具有驾驶员辅助方法的中断。

本发明还涉及一种控制设备，其中，该控制设备设置为用于执行根据本发明的训练方法和根据本发明的驾驶员辅助方法。

本发明还涉及具有根据本发明的控制设备的车辆。

从参考附图对实施例的以下描述中可以得出其他优点。

附图说明

图1示出车辆；

图2示出控制设备；

图3以方框图示出训练方法的流程图；

图4示出具有期望轨迹的周围环境模型的图示；

图5示出具有所插入的行驶通道的周围环境模型的图示；

图6示出具有经预先匹配的行驶通道的周围环境模型的图示；

图7示出具有经匹配的行驶通道的周围环境模型的图示；

图8以方框图示出驾驶员辅助方法的流程图。

具体实施方式

在图1中，以俯视图示出车辆100。车辆100具有用于车辆100的驱动的驱动马达101和用于车辆100的转向的转向马达102。车辆100的控制设备104设置为用于操控驱动马达101和转向马达102。此外，在车辆100中布置有用于为车辆100的使用者显示信息的显示器103。显示器103由控制设备104操控，并且可以包括用于检测使用者输入的触摸屏或替代的输入装置。控制设备104设置为用于：检测来自向前定向的摄像机105、向后定向的摄像机106以及来自布置在侧面的两个广角摄像机107的摄像机数据或者说所检测的摄像机图像和/或一系列摄像机图像或者说视频序列，并且操控显示器103以显示所检测的摄像机数据和/或周围环境模型。摄像机105、106和107设置为用于检测车辆100的周围环境的摄像机图像或者说视频序列。可以布置其他摄像机。此外，车辆100具有超声传感器系统。在该示例中，超声传感器系统包括与控制设备104连接的十个超声传感器108。因此，控制设备104设置为用于检测借助超声传感器108所检测的、车辆100与车辆100的周围环境中的对象之间的间距。此外，具有显示设备122的移动电子设备121可以通过无线的无线电连接与车辆100的控制设备104连接，其中，显示设备122可以具有用于检测使用者120的输入的触摸屏或移动电子设备121的替代的输入装置。

在图2中以方框图示出图1的实施例的控制设备104。控制设备104检测摄像机数据，即来自向前定向的摄像机105、向后定向的摄像机106以及布置在侧面的两个广角摄像机107的摄像机图像和/或一系列摄像机图像或者说视频序列。此外，控制设备104检测来自超声传感器系统的超声传感器108的间距数据。此外，控制设备104设置为用于借助显示器103或显示设备122的触摸屏和/或其他输入装置203来检测使用者的输入，其中，输入装置203例如布置在车辆100的方向盘上。与移动电子设备121的触摸屏122的连接借助无线的无线电连接来进行。控制设备还具有计算单元201，该计算单元与控制设备104的电子存储器202连接。控制设备104设置为用于操控显示器103、显示设备122、驱动马达101和/或转向马达102。

在图3中以方框图示出驾驶员辅助方法的训练方法的流程图。首先，在步骤310中，在由使用者执行训练方法期间，即在使用者将车辆100沿着期望轨迹从起点到终点的移动期间，借助至少一个摄像机105、106和/或107来检测车辆100的周围环境的至少一系列摄像机图像。在进一步的步骤320中，可以设置借助超声传感器系统或者说超声传感器108检测间距。可选地，可以附加地检测330车辆100的地点坐标。通过对所检测的一系列摄像机图像的至少一个摄像机图像进行图像分析340，还可以可选地在摄像机图像中识别对象、对象边界、区段和/或区段边界。通过图像分析340进行的识别例如借助以下神经网络来进行：该神经网络通过大量训练数据进行学习。接着，根据所检测的一系列摄像机图像的图像处理，求取350用于驾驶员辅助方法的、沿期望轨迹的行驶通道。在一种简单的实施例中，所求取的行驶通道对应于在训练方法期间所行驶的、沿车辆100的期望轨迹的行驶路线(Fahrschlauch)或者说行驶区域，其中，行驶通道优选地包括所行驶的行驶路线和附加的公差范围。公差范围例如侧向地扩展所行使的行驶路线1厘米至5米。行驶通道代表在驾驶员辅助方法期间对于车辆100的移动而言允许的或者说可行驶的区域。可选地可以设置，在步骤360中，根据在车辆100的周围环境中所识别的区段、所识别的区段边界、所识别的对象边缘和/或所识别的对象，对所求取的行驶通道进行预先匹配。接着，在步骤370中，将所检测的一系列摄像机图像和/或根据所检测的一系列摄像机图像所求取的周围环境模型显示在显示器103、122上。至少将所求取的或预先匹配的行驶通道作为插入对象叠加在该显示上。在进一步的步骤380中，在呈现370期间检测用于匹配所求取的行驶通道的限界的使用者输入。例如，使用者可以通过移动手指轻松地在显示器103或122的触摸屏上移动行驶通道的限界。使用者输入的检测380可以沿着所求取的行驶通道或期望轨迹逐区段地进行，和/或根据所插入的行驶通道的边界处的、在呈现中所显示的标记进行。使用者借此独立地定义待存储的行驶通道。接着，根据在步骤380中所检测的输入来匹配390所求取的行驶通道。最后，在步骤395中存储所求取的或预先匹配的行驶通道或通过驾驶员匹配的行驶通道。可选地，可以将所存储的行驶通道分配396给所检测的地点坐标。此外，可选地可以设置，由使用者检测397用于执行驾驶员辅助方法的时间输入，并且在步骤398中将该时间输入分配给所存储的行驶通道。

在图4中示出一个周围环境模型，该周围环境模型具有所行驶的轨迹或者说期望轨迹400的叠加插入对象。使用者在训练方法期间通过借助车辆100进行的手动转向从起始位置410到终点位置或者说停车位置405行驶该期望轨迹400。在该训练行驶期间，摄像机105、106和/或107检测车辆100的周围环境。根据借助摄像机105、106和/或107所检测的摄像机图像和/或根据借助超声传感器108所检测的间距来求取所示出的周围环境模型。如在图4中所示，轨迹400例如由多个行驶区段401、402、403、404、405和410组成，即第一右转弯401、直线行驶402、第二右转弯403、倒车复位404(Zurücksetzen im

在图5中示出一个根据图4的周围环境模型，该周围环境模型具有所插入的、所求取的行驶通道500。行驶路线450位于所求取的行驶通道500内。可以看出，所求取的行驶通道500将所行使的行驶路线450扩展了在此以阴影线示出的公差范围510，因此在随后待执行的驾驶员辅助方法期间，同样允许车辆在该公差范围上行驶。

在图6中示出一个根据图4和5的周围环境模型，该周围环境模型具有所插入的、经预先匹配的行驶通道600。可以看出，基于借助图像处理识别出的区段，所求取的行驶通道扩展至沥青地面。附加地，已经借助图像处理识别出儿童游乐场区段，其中，为该区域设置预给定的最小间距范围。因此，根据所求取的行驶通道、识别出的区段“沥青地面”和“儿童游乐场”对预先匹配的行驶通道进行匹配。可选地或附加地，在所插入的行驶通道的呈现中可以突出显示识别出的区段、识别出的区段边界、识别出的对象和/或识别出的对象边界作为插入对象，使得使用者在检测用于匹配所插入的行驶通道的限界的输入期间能够轻松地遵循所识别的区段、所识别的区段边界、所识别的对象和/或所识别的对象边界。

图7示出一个根据图4至6的周围环境模型的图示，其中，由使用者匹配的行驶通道700作为插入对象叠加在该周围环境模型上。可以看出，使用者例如通过以下方式已在确定位置处改变预先匹配的行驶通道的限界：借助在触摸屏上拖动手指来移动图6中的预先匹配的行驶通道的限界，使得经匹配的行驶通道不再包含或者附加地包含确定的区域。

在图8中以方框图示出驾驶员辅助方法的流程图。驾驶员辅助方法从检测810启动输入开始。该方法步骤可以通过使用者的手动输入进行或自动地根据车辆100的所检测的当前地点坐标进行。接着，在步骤820中，检测一系列摄像机图像和/或车辆100与车辆100的周围环境中的对象之间的间距。在整个驾驶员辅助方法期间持续地执行该检测820。在另一方法步骤840中，由控制设备104的计算单元201从控制设备104的电子存储器202中加载所存储的行驶通道500、600或700。可选地，加载840根据在可选的步骤830中所检测的地点坐标来进行。接着，在步骤850中，计算单元201根据车辆几何形状，根据所检测的一系列摄像机图像和/或所检测的间距以及根据所加载的行驶通道500、600或700来求取至少一个辅助轨迹。车辆100的车辆几何形状例如也存储在存储器202中。辅助轨迹可以以任何方式偏离在训练方法期间所行驶的轨迹。但是，辅助轨迹始终位于所加载的行驶通道500、600或700内。随后，根据所求取的辅助轨迹进行车辆100的例如时间上延迟的操控870，其中，例如自动地操控车辆100的至少一个驱动马达101和/或转向马达102。由此，驾驶员辅助方法的使用者可以例如在起始位置处或在启动输入之后不久离开车辆100。此外可以设置，如果在步骤850中在所加载的行驶通道700内不能求取出无障碍的辅助轨迹，则例如在移动电子设备121上警告使用者并且终止驾驶员辅助方法。重复进行检测820一系列摄像机图像和/或间距、求取840辅助轨迹、警告860以及中断861和操控870车辆100直至到达目标位置405，使得例如能够持续地更新或者说匹配所求取的辅助轨迹。