首页> 中国专利> 包括遥控操作者的机动车辆的遥控驾驶方法、计算机程序产品和遥控操作驾驶系统

包括遥控操作者的机动车辆的遥控驾驶方法、计算机程序产品和遥控操作驾驶系统

摘要

本发明的一方面涉及一种用于遥控驾驶机动车辆(2)的方法,其特征在于,‑通过机动车辆(2)执行机动车辆(2)中的至少一个乘客(23)的运输行程;‑在运输驾驶期间,机动车辆(2)的驾驶至少分阶段地由外部遥控操作者(10)从操作者位置(3)以遥控操作方式执行,其中,‑在遥控操作驾驶期间,由机动车辆(2)的至少一个光学捕获单元(17、18、19、20)捕获的机动车辆(2)的环境信息被传输到操作者位置(3),并且在那里显示在用于遥控操作者(10)的至少一个显示单元(4、5、6、7)上,其中,‑在遥控操作驾驶期间,确定遥控操作者(10)对显示单元(4、5、6、7)的观察方向(24),并且捕获遥控操作者(10)注视显示在显示单元(4至7)上的图像(27)的哪个图像区域(26),其中,‑遥控操作者(10)在其显示单元(4、5、6、7)上注视的该图像区域(26)在机动车辆(2)中的显示单元(28)上被可视地标记。本发明的一方面还涉及计算机程序产品和遥控操作驾驶系统(1)。

著录项

  • 公开/公告号CN114930264A

    专利类型发明专利

  • 公开/公告日2022-08-19

    原文格式PDF

  • 申请/专利权人 法雷奥开关和传感器有限责任公司;

    申请/专利号CN202080092432.3

  • 发明设计人 A.穆萨比尼;

    申请日2020-11-30

  • 分类号G05D1/02(2020.01);

  • 代理机构北京市柳沈律师事务所 11105;

  • 代理人郭晓东

  • 地址 德国比蒂希海姆-比辛根

  • 入库时间 2023-06-19 16:25:24

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-09-06

    实质审查的生效 IPC(主分类):G05D 1/02 专利申请号:2020800924323 申请日:20201130

    实质审查的生效

说明书

技术领域

本发明的一方面涉及用于机动车辆的遥控驾驶的方法。本发明的另一方面涉及计算机程序产品。本发明的又一方面涉及用于机动车辆的电子遥控操作驾驶系统。

背景技术

机动车辆的遥控操作驾驶是已知的。在这方面,解决方案是已知的,其中车辆使用者自己离开车辆,用手动操作的遥控执行车辆的操纵操作,特别是用于停车。然而,这仅可能用于小而短的操纵操作,例如瞬时停车。此外,执行遥控的使用者需要位于车辆的邻近环境中。

此外,作为机动车辆的遥控驾驶的遥控操作也是已知的。在这些情况下,操作者被安排在远离车辆的地方。特别是为了能够更全面和更长时间地操纵车辆,在长距离和一般交通中也是如此。这种用于驾驶机动车辆的遥控操作驾驶操作相对复杂。因此,他们需要高度的关注,以便能够安全地执行机动车辆的这种遥控操作驾驶。

发明内容

本发明的任务是提供一种方法,其中可以更安全地执行机动车辆的特定遥控驾驶。因此,提供计算机程序产品以及电子遥控操作驾驶系统也是任务。

本发明的一方面涉及一种用于机动车辆的遥控驾驶的方法。通过机动车辆执行机动车辆中的乘客的运输行程。在运输行程或驾驶期间,机动车辆的驾驶至少分阶段地由外部遥控操作者从操作者位置以遥控操作方式执行,该外部操作者也可被称为遥控操作者。在遥控操作驾驶期间,由机动车辆的至少一个光学捕获单元捕获的机动车辆的环境信息被传输到操作者位置。该传输的环境信息至少在操作者位置的一个显示单元上显示给操作者。在遥控操作驾驶期间,确定遥控操作者对显示单元的观察方向。捕获在遥控操作者注视显示在显示单元上的图像的哪个图像区域。遥控操作者在其显示单元上注视的图像区域在机动车辆中的显示单元上被标记。通过这种配置,便于机动车辆中的乘客识别操作者在操作者位置注视的地方,操作者位置在机动车辆的外部并远离其,或者操作者注视哪个图像区域。因此,对于机动车辆中的乘客来说,可以识别操作者是否对车辆的遥控操作驾驶有专注的注视。因此,机动车辆中的乘客也可以识别遥控操作者是否以专注的方式执行机动车辆的遥控操作驾驶。特别地,由此还可以识别遥控操作者是否将其注视指向图像中的至少一个图像区域,这对于机动车辆的驾驶是重要的。因此,特别地,机动车辆中的乘客可以识别遥控操作者是否关注环境区域的关键子区域。特别是关注这种图像区域,其与机动车辆的持续安全驾驶相关。因此,特别地,机动车辆中的乘客自己也可以评估遥控操作者是否安全地遥控操作驾驶机动车辆。因此,在机动车辆的这种遥控操作驾驶期间,也有利于机动车辆中的乘客的信任建立措施。

特别地,作为本发明的一方面,还提出了一种用于观察遥控操作者的方法。在遥控操作者的此观察期间,其观察方向在其操作者位置被捕获并被评估,该操作者位置在机动车辆外部并远离机动车辆。在这方面,特别地,确定在操作者位置的显示单元上显示的图像上的观察方向。特别地,其中该观察方向由位于操作者位置的眼睛跟踪装置捕获。特别地,在这方面设想确定操作者的观察方向的矢量与图像平面的交点。基于该交点,还可以确定操作者关注哪个图像区域。在这种用于观察遥控操作者的方法中,在操作者位置的显示单元上显示的图像的至少一个子区域也显示在机动车辆中的显示单元上。在机动车辆的显示单元的图像上,该图像区域被可视地标记,在操作者位置的显示单元上显示的图像上的遥控操作者目前关注该图像区域。这特别是在用机动车辆对乘客进行运输行程期间执行。特别地,因此在观察遥控操作者的观察方向期间,通过观察方向观察到的图像区域显示在机动车辆的显示单元上。特别地,这在图像中实现,该图像至少部分地显示操作者的观察图像区域。

总的来说,本发明便于执行机动车辆的安全遥控操作驾驶。

在机动车辆的遥控操作驾驶的情况下,操作者位置通常在建筑物内。这通常布置在远离机动车辆的地方,以便以遥控操作方式驾驶。因此,遥控操作者不能直接看到机动车辆。这里可以给出各种各样的距离,多达数百或数千公里。特别地,在一个操作者位置处,布置至少一个显示单元。优选地,这些是多个独立的显示单元。优选设想,在每种情况下,由机动车辆的一个或多个拍摄单元拍摄的单独图像显示在这几个显示单元上。因此,可以设想,在显示单元上显示由机动车辆的第一光学捕获单元拍摄的图像。在操作者位置处的第二显示单元上可以显示由机动车辆的第二光学捕获单元拍摄的图像。在操作者位置处的第三显示单元上可以显示由机动车辆的第三光学捕获单元拍摄的图像。例如,可以设想,在操作者位置的第四显示单元上呈现由机动车辆的第四光学捕获单元捕获的图像。特别地,光学捕获单元可以布置在机动车辆上,使得在机动车辆周围周向地产生准不间断的检测范围。因此,可以捕获和显示机动车辆周围的所述环境区域。

在有利的实施例中,除了操作者位置之外,遥控操作驾驶系统还包括无线通信链路。例如,在这方面,可以提供到计算单元特别是计算中心的无线通信链路。对应数据可以通过其被存储或交换。例如,这里也可以给出与互联网的连接。同样,还可能实现机动车辆和互联网之间的无线通信链接。例如,这可能是经由移动无线电信道的情况。特别地,这可以在5G移动无线电标准的基础上实现。

特别地,在操作者位置还提供了转向装置。该转向装置,例如可以是方向盘,由遥控操作者致动。因此,向遥控操作者建议一种情况,就好像他实际上也在机动车辆中操作相应的功能部件,从而执行接近现实的遥控操作。

特别地,还设想在操作者位置处布置声学通信设备。因此,可以在遥控操作者和机动车辆中的乘客之间进行声音通信。

还可以设想,在机动车辆上设置另一光学捕获单元,其不是相机。特别地,如上所述,通过至少一个相机,执行至少一个图像的拍摄。此外,机动车辆可以包括至少一个激光扫描仪。通过例如可以是激光雷达传感器的激光扫描仪,可以精确地确定物体在环境区域中的位置。特别地,由此以比利用相机更精确的方式确定环境区域中的物体的位置是可能的。然而,代替激光扫描仪,也可以使用其他传感器来确定物体在机动车辆的环境区域中的位置。

特别地,基于通过激光扫描仪获得的环境信息,还可以更精确地确定图像区域,在该图像区域,操作者注视其显示单元中的图像。以这种方式,可以将捕获单元的视野或检测范围的相应区域分配给显示单元上的图像的相应图像区域。同样,由激光扫描仪提供的环境数据也可以分配给显示单元上的图像的相应图像区域。这意味着如果遥控操作者注视显示单元上的某个区域或某个位置,则可以容易地确定车辆环境区域中的哪个实际位置对应于遥控操作者所注视的位置。因此,激光扫描仪的输出即环境数据可被投射到配置为相机的机动车辆的光学捕获单元的视野或检测范围上,以便确定显示单元上的图像的哪些像素对应于机动车辆的环境区域中的真实世界中的物体的哪些部分。因此,可以甚至更精确地确定关于遥控操作者实际注视哪个图像区域。

优选地,在机动车辆中的显示单元上至少部分地显示图像,该图像显示在操作者位置的显示单元上。特别地,在机动车辆中的显示单元上显示图像,在该显示单元上包括该图像区域,在该图像区域上操作者注视其显示单元。因此,在运输行驶过程中的任何时候,机动车辆中的乘客都可以识别出操作者目前的主要视觉焦点。

优选地,设想在操作者位置的显示单元上显示的图像与在机动车辆中的显示单元上显示的图像在时间上同步。通过这种设计,有助于在两个显示单元上实现特别接近真实和准一致的显示。特别地,机动车辆中的乘客因此可以识别操作者在操作者位置的观察方向当前指向何处。因此,对于乘客来说,可以立即识别出操作者当前正在看哪里。在有利实施例中,设想由机动车辆的光学捕获单元拍摄的环境区域的图像显示在操作者位置处的显示单元上。为了执行机动车辆的安全遥控操作驾驶,这是另一非常有利实施例。因此,操作者在其显示单元上通过相应的图像表示实时识别汽车的环境区域。由此,机动车辆的遥控操作驾驶是可能的,就像遥控操作者自己直接坐在机动车辆中一样。由此实现了机动车辆的非常现实和安全的遥控操作驾驶。

优选地,设想由光学捕获单元执行环境区域的图像拍摄作为视频记录,并且在操作者位置的显示单元上显示视频记录的显示。基本上,利用拍摄图像和/或显示图像的公式,静态帧的表示以及视频的表示都是可以理解的。因此,通过视频的表示,可以实现动态表示过程。因此,在机动车辆运动期间感知的并且动态变化的环境区域可以在相应的显示单元上显示给遥控操作者和机动车辆中的乘客。也因此促进了安全和现实的遥控操作驾驶。以特别有利的方式,由此还便于在机动车辆中的显示单元上的图像上实时可视地标记遥控操作者的观察方向的动态表示和/或观察方向的变化。因此,也有可能将遥控操作者的观察实时呈现给机动车辆中的乘客。相反,通过机动车辆的显示单元上的图像中的视觉标记,近似间接地显示了遥控操作者在操作者位置的环视。

因此,一种情形被准光学地呈现给机动车辆中的乘客,在该情形中,他从遥控操作者的图像视角准识别遥控操作者注视的那些图像区域。因此,向机动车辆中的乘客光学显示车辆的遥控驾驶员如何感知环境区域。

在有利实施例中,设想在机动车辆的遥控操作驾驶期间,遥控操作者的观察方向被永久捕获。特别还动态地捕获观察方向的变化。特别地,遥控操作者的观察方向和/或静态观察方向的这种变化永久地显示在机动车辆中的显示单元上。特别地,这在显示在机动车辆中的显示单元上的图像中实现。

可以设想,以动态可变的方式实现在机动车辆中的显示单元上的遥控操作者的当前观察方向的标记和/或观察方向的变化。特别地,这里可以设想,这种动态显示与在操作者位置的遥控操作者的实际行为方式同步实现。特别地,在此,当前观察方向的标记和/或观察方向的变化被实时显示在机动车辆中的显示单元的图像上。由此也可以容易地立即识别机动车辆中遥控操作者的实际观察情况。由此也实现了机动车辆中乘客的高安全性。因此,他知道,特别是不变地,实际的观察模式和遥控操作者的行为方式在准目前指示的时间点实际上是什么。

优选地,可以设想,在机动车辆中的显示单元上显示的图像中,操作者在其显示单元上当前注视的图像区域的标记用颜色表示。另外或替代地,区域边界轮廓也可以视觉表示。机动车辆中的乘客可以容易地识别颜色信号。因此,也可以非常快速地识别遥控操作者是否注意到与通过遥控操作安全驾驶机动车辆相关的环境区域。例如,可以执行颜色信号以实现图像区域以一种信号颜色表示为表面的效果。特别地,设想这种颜色信号是不透明的或透明的。这意味着由图像中的图像区域表示的环境区域通过颜色信号传输继续是可识别的。因此,整个显示的图像不会被色点不期望地破坏或变得不可理解。而是由图像表示的整个环境区域继续是可识别的。叠加在其上的是颜色信号。因此,表面区域可以明确地被视觉识别,这是当前由遥控操作者观察到的。通过在另外或替代实施例中仅显示所观察的图像区域的一个区域边界轮廓,以同样容易理解的方式并且在不妨碍其他图像信息的情况下,可以标记遥控操作者当前正在查看的图像区域。边界轮廓例如可以是实线或虚线。特别地,如果由于环境影响,比如相应的亮度,颜色信号不合适,则可以实现仅区域边界轮廓的这种显示。同样,如果图像中遥控操作者当前注视的且随后将在机动车辆中的显示单元上用颜色信号通知的该环境区域如此重要和相关,以至于不希望这种特别是不透明的颜色叠加,那么这也是可能的。因此,特别地,根据特定的标准,遥控操作驾驶系统也可以决定应该如何实现机动车辆中的显示单元上的图像中的相应视觉标记。同样可能的是,根据在机动车辆的环境区域中检测到的交通状况和/或物体,和/或根据遥控操作者的先前观察方向,和/或根据遥控操作者在一个观察方向上看了多长的持续时间,和/或遥控操作者目前在一个观察方向上注视的持续时间,也发生颜色信号的变化和/或区域边界轮廓的变化。例如,这里可能发生颜色变化和/或颜色信号的动态闪烁。类似地,区域边界轮廓也可能发生同样的情况。因此,不仅执行遥控操作者观察方向的静态光学标记。相反,也可以考虑遥控操作者的过去和/或当前行为方式和/或机动车辆的环境区域中关于观察方向的光学标记的当前和/或未来情况。因此,便于在车辆的显示单元上视觉标记遥控操作者的观察方向,其更好地适应情况。因此,可以考虑驾驶机动车辆时不同的注意力状态和/或不同的安全临界状态。特别地,由此可能以更明确的方式告知机动车辆中的乘客根据这些上述评估标准的注意力程度。特别地,乘客可以据此更好地自己决定如何评估遥控操作者的注意力状态。特别地,由此也可以更好地评估乘客的行为方式。特别地,这涉及与遥控操作者的相应语音通信。特别是关于他/她的观察方向和/或他/她的注意力状态。

有利地,在这方面,乘客还可以更好地识别和/或评估遥控操作者是否识别和/或正确评估环境区域中的信息,以便执行机动车辆的安全遥控操作驾驶。

特别地,乘客还可以识别遥控操作者是否未能识别环境区域中的信息,特别是是否没有提供环境区域中的信息,因为它们可能没有被机动车辆的光学捕获单元捕获或者仅仅不充分地被捕获。

在有利实施例中,设想如果低于操作者的注意标准,乘客根据操作者在机动车辆的显示单元上标记的观察方向向操作者传输动作信息。例如,上述示例可能就是这种情况。特别地,还关于评估,关于如何执行机动车辆的安全驾驶,乘客要求或请求改变机动车辆的遥控操作驾驶。

特别地,通过机动车辆的显示单元的图像上的这种视觉标记,尤其通过乘客,可以识别用于机动车辆的安全驾驶的遥控操作者是否留意相关的交通区域。这种交通区域例如可以是人行横道、人行道、自行车道等。混乱的十字路口或不清楚的入口和出口也可被认为是这样的交通区域。

在有利实施例中,设想将语音信号作为动作信息从乘客传输到遥控操作者。这可以通过通信链路特别是无线通信链路来实现。动作信息可以是关于相应交通区域的通知信息,遥控操作者目前并不关注该交通区域。然而,动作信息可以另外或替代地也是乘客关于遥控操作者意图执行机动车辆的遥控操作驾驶的方式的指令。

可以设想,交通区域的安全类别由乘客预先确定。这尤其可能发生在运输行程开始之前。特别地,这可以通过乘客特定的使用者简档来实现。同样可以利用遥控操作驾驶系统存放。此外,可以预先确定乘客的交通状况的分类,特别是在运输行程之前。它也可以存放在电子使用者简档中。该电子使用者简档可以在遥控操作驾驶开始之前传送给操作者。因此,遥控操作者可以根据该使用者简档执行他的机动车辆的遥控操作驾驶。特别地,由此也可以实现相应适配的遥控操作驾驶。特别地,来自乘客的使用者简档的该信息可以显示在操作者位置的显示单元上。另外或替代地,也可以实现在操作者位置的操作者的显示单元上的图像的光学显示。特别地,当驾驶车辆时,提醒操作者什么对乘客是重要的。特别地,因此可以增强在车辆的遥控操作驾驶期间乘客的相应安全感。

特别是在乘客知道运输行程的路线的情况下,特别是可能还知道交通关键点的情况下,由此也可以提高遥控操作者的意识,并且他可以更好地准备遥控操作驾驶车辆。特别地,遥控操作者的意识在这点上对于他的遥控操作运输行程得以提高。

还可以设想,根据由光学捕获单元捕获的环境区域和/或没有被或还没有被光学捕获单元捕获但已被乘客识别的环境区域,环境区域被划分成多个区,这些区被分配给各个安全类别。根据这种归类,对光学标记的图像区域进行评估,并且在安全类别大于安全阈值的区的标记的图像区域的偏差的情况下,向遥控操作者传输动作信息。通过这样的设计,不仅可以更安全地实现遥控操作驾驶。相反,还可以提高机动车辆中乘客的主观安全感。由此使得适合于单个乘客的机动车辆的驾驶成为可能。

本发明的另一方面涉及一种具有指令的计算机程序产品,如果该计算机程序产品由计算机执行,则该指令使计算机根据上面命名的方法或其有利实施方式来执行步骤。

本发明的另一方面涉及一种遥控操作驾驶系统。这包括操作者位置。其布置在机动车辆的外部并远离机动车辆,机动车辆将以遥控操作方式被驾驶。此外,它包括布置在机动车辆上的至少一个光学捕获单元。此外,遥控操作驾驶系统包括机动车辆中的显示单元和操作者位置处的显示单元。遥控操作驾驶系统包括至少一个控制和/或计算单元,其配置成执行根据上述方面或其有利实施例的方法。特别地,遥控操作驾驶系统包括如上所述的计算机程序产品。在这方面,控制单元可以是计算机。

优选地,该遥控操作驾驶系统包括至少一个眼睛跟踪装置,其布置在操作者位置处。可以通过其检测操作者的观察方向。另外或替代地,遥控操作驾驶系统可以包括至少一个激光扫描仪,其布置在机动车辆上,并且通过其可以检测物体在机动车辆的环境区域中的位置。在这方面,物体可以是静态的,也可以是动态物体。这些可以是其他交通参与者,比如行人、骑自行车人、骑摩托车人或其他车辆。然而,它也可以是界碑、建筑物、树木、灌木丛、停车场、人行道、自行车道、人行横道或对应于交通标志的任何种类的静态物体。环境区域中的该潜在物体列表不应被理解为最终列表。

特别地,遥控操作驾驶系统还包括至少一个麦克风,其布置在机动车辆上。通过麦克风,可以捕获机动车辆环境中和/或机动车辆内部的噪声。这些噪声会传输到位于操作者位置的单元。在那里,它们可以作为声音信号输出给操作者。因此,操作者对显示在操作者位置处的显示单元上的图像的感知和理解得到改善,并且更接近现实。然后,由图像表示的各个交通状况可以改进的方式为操作者所理解和评估。

本发明的另一方面涉及一种机动车辆,其包括显示单元和至少一个通信单元,通过它们提供与操作者位置进行通信的可能性。

从权利要求、附图和附图说明中,本发明的进一步特征是显而易见的。以上描述中提到的特征和特征组合以及以下附图描述中提到的和/或单独在附图中示出的特征和特征组合不仅可用于分别指定的组合中,而且可用于不脱离本发明范围的其他组合中。因此,实施方式也被认为是本发明所包含和公开的,它们没有在附图中明确示出和解释,而是由来自所解释的实施方式的分离的特征组合产生和生成。实施方式和特征组合也被认为是公开的,因此不包括最初表述的独立权利要求的所有特征。此外,实施方式和特征组合应被认为是公开的,特别是通过以上阐述的实施方式,其延伸超出或偏离权利要求的反向引用中阐述的特征组合。

附图说明

下面基于示意图更详细地解释本发明的实施例。

这些图中示出了:

图1是遥控操作驾驶系统的实施例的示意图;

图2是根据图1的遥控操作驾驶系统的操作者位置的示意图;

图3是在以遥控操作方式被驾驶的机动车辆的显示单元上显示的图像的图示;以及

图4是根据本发明的方法的实施例的示意流程图。

在附图中,相同的元件或具有相同功能的元件配备有相同的附图标记。

具体实施方式

在图1的示意图中,示出了电子遥控操作驾驶系统1。利用这种遥控操作驾驶系统1,机动车辆2可被遥控驾驶,即以遥控操作方式。机动车辆2旨在用于运输人员。遥控操作驾驶系统1具有操作者位置3。这尤其位于建筑物中。操作者位置3包括至少一个显示单元。在该实施例中,提供了多个显示单元,特别是显示单元4、另一显示单元5、又一显示单元6。特别地,至少一个第四显示单元7布置在操作者位置3。显示单元4至7特别是屏幕。此外,操作者位置3包括转向单元,特别是方向盘8。此外,声学通信单元9布置在操作者位置3。在图1中仅象征性地示出的操作者(也可以称为遥控操作者10并且是人)出现在操作者位置3。该遥控操作者10进行机动车辆2的遥控操作驾驶。

在有利实施例中,操作者位置3可以经由无线通信链路11与计算单元12特别是服务器无线通信。该计算单元12可以通过通信链路13连接到例如互联网14。经由另一通信链路15,机动车辆2可以与互联网14无线通信。特别地,这里它可以通过移动无线电标准特别是5G标准进行通信。也可以提供机动车辆2和操作者位置3之间的直接通信链路。特别是5G标准。

机动车辆2尤其是完全自主车辆。它特别具有自主级别5。因此,这是一辆无人驾驶的机动车辆2。

机动车辆2包括至少一个捕获单元,通过其可以捕获机动车辆2的环境区域16。特别地,机动车辆2包括用于此目的的光学捕获单元。特别地,在这方面,作为光学捕获单元,可以提供相机17,其在人类可见的光谱范围内是敏感的。其配置用于捕获位于机动车辆2前方的环境子区域。此外,机动车辆2可以包括附加光学捕获单元18、19和20。这些也可以是相机。光学捕获单元18和19的检测范围布置在机动车2上相对的侧面区域,并且定向成用于检测环境区域16的侧面环境子区域。光学捕获单元20向后定向,以便捕获机动车辆2后面的环境区域16的环境子区域。

在有利实施例中,机动车辆2可以另外包括至少一个激光扫描仪21。其检测特别是机动车辆2前方的环境子区域。

特别地,机动车辆2还包括控制单元22。

象征性地,乘客23位于机动车辆2中。该乘客23希望用机动车辆2进行运输行程,或者确实用机动车辆2进行运输行程。在运输驾驶期间,机动车辆2的这种驾驶至少分阶段地特别是完全地由外部遥控操作者10从操作者位置3以遥控操作方式执行。在这种遥控操作驾驶中,机动车辆2的环境区域16的环境信息由至少一个光学捕获单元17至20捕获。该捕获的信息特别是图像特别是视频被传输到操作者位置3。在操作者位置3,这些图像至少显示在一个显示单元4至7上。可以设想,例如由光学捕获单元17捕获的图像被传输到操作者位置3,并在那里显示在位于中央的显示单元5上。可以设想,由光学捕获单元18捕获的图像被传输到操作者位置3并显示在右侧的显示单元6上。可以设想,由光学捕获单元20捕获的图像显示在布置在显示单元5的中心和下方的显示单元7上。特别地,设想由光学捕获单元19传输的图像被传输到操作者位置3,并在那里显示在布置在左侧的显示单元4上。

在机动车辆2的遥控操作驾驶期间,捕获遥控操作者10的观察方向24(图2)。为此目的,特别使用了布置在操作者位置3的眼睛跟踪装置25(图1)。其中,检测遥控操作者10的目光指向显示单元4和/或5和/或6和/或7上显示的图像27的哪个图像区域26。特别地,其中还确定了观察方向24的矢量在图像的哪个地方与该图像平面相交或接触。

特别地,基于至少一个激光扫描仪21的信息,可以确定环境区域16中的真实物体的位置。除了该信息和知识(其图像表示实现在显示单元5上)之外,也可以确定遥控操作者10当前正注视哪个图像区域或哪个物体。

机动车辆2尤其包括至少一个显示单元28(图1)。在该显示单元28上显示图像29,该图像特别包括图像27的子区域,遥控操作者10当前注视该子区域。显示单元28上的该图像29有利地同样至少示出了图像区域26,遥控操作者10当前在图像27中注视该图像区域。特别地,设想在机动车辆2中的显示单元28的图像29上标记该图像区域26,特别是视觉标记,遥控操作者10当前注视其显示单元上的该图像区域,在此示例中为显示单元5。为此,在该实施例中,设想该区域26用颜色标记或用颜色表示。例如,这里可以实现与图像29的其他区域形成对比的表面着色。特别地,这种颜色信号被实现为透明或不透明的。由此,该图像区域26的实际环境信息仍可以通过该着色30来识别。因此,在这方面,例如在图3中,可以认识到遥控操作者10注视人行道和/或自行车道31的特定区域。这在图像29中通过颜色信号或着色30来标记。因此,车辆2中的乘客23可以总是且当前识别遥控操作器10当前注视哪个环境子区域或哪个物体。

特别地,设想在机动车辆2中的显示单元28上至少部分地显示图像27,该图像显示在操作者位置3的显示单元5上。特别地,显示在操作者位置3的显示单元5上的该图像27与显示在机动车辆2中的显示单元28上的图像29在时间上同步显示。特别地,设想由光学捕获单元17和/或18和/或19和/或20拍摄的图像实时显示在操作者位置3的显示单元4和/或5和/或6和/或7上。特别地,拍摄的图像被记录为视频,并且也作为视频显示在相应的显示单元4至7、28上。特别地,在机动车辆2的遥控操作驾驶期间,操作者10的观察方向24被永久捕获。特别地,因此可以不间断地捕获各个观察方向以及观察方向的变化。因此,也可以不受限制地捕获观察方向的动态变化。此外,在这点上,可以实现同步并实时显示的颜色信号30,特别是也可以动态可变的方式实现。除了或代替表面颜色信号,也可以视觉地信号通知该图像区域26的区域边界轮廓。根据特定的标准,也可以实现颜色的变化和/或区域边界轮廓的变化。在这方面,也可以实现动态变化。

可以设想,乘客23根据操作者10在显示单元28上标记的观察方向24向操作者10传输动作信息。特别是如果低于操作者10的注意力标准。动作信息可以是语音信号。这可以通过通信链路15、13、11传输到操作者位置3。也可以实现从机动车辆2到操作者位置3的直接传输。特别地,通过遥控操作者10的观察方向24在机动车辆2中的图像上的这种光学标记,还可以识别遥控操作者10是否根据需要感知到危急的交通状况和/或特定的交通区域,以便能够执行机动车辆2的安全遥控操作驾驶。

也可能的是,在机动车辆2中特别是仅一个显示单元28上的显示可以动态变化。例如,如果操作者10在其操作者位置3将目光从一个显示单元4至7改变到另一个显示单元4至7,则情况尤其如此。特别是如果他例如根据图2中的表示将目光从显示单元5上的图像27移开,并且例如将他的目光指向显示单元4上显示的图像。这也可以相应地被眼睛跟踪装置25识别。然后,可以同步且实时地实现改变机动车辆2的显示单元28上的图像表示。特别地,在操作者位置3的显示单元5上显示的图像也至少部分地显示在那里。特别地,显示单元28的图像的表示然后实现成使得操作者10目前注视的显示单元5上的图像区域再次至少部分地显示在显示单元28上。因此,这里也总是可以实现显示单元28上的图像区域的光学标记,操作者10目前正注视着的相应显示单元上的该图像区域。

通常根据图4中的简化流程图,可以设想在步骤S1中开始该场景。在这方面,根据步骤S2,检查遥控操作驾驶是否开始。如果这根据S3不是这种情况,则返回到步骤S1。然而,如果根据步骤S4的遥控操作驾驶开始,则在另一步骤S5中确定操作者10的注视方向24。如果在这方面没有识别出观察方向24与操作者位置3的显示单元上的图像相交,则根据步骤S6返回到步骤S1。如果识别出操作者10的观察方向24与显示装置4至7上的图像相交的观察,则根据步骤S7继续进行,使得在机动车辆2中的显示单元的图像上的观察图像区域被视觉标记,如步骤S8所示。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号