用于驾驶辅助系统的用于估算运输工具的未来路线并且与部件相关联的装置,所述未来路线包括根据相对于障碍物位置的不同外观

摘要

一种与系统（SA）相关联的处理装置（D），所述系统用于辅助运输工具（V）的驾驶员并且配置用于在至少一个选定视角下构建围绕所述运输工具（V）的选定区域的至少一部分的合成图像（IZ）图示。所述装置（D）包括处理设备（MT），所述处理设备配置用于在所述图示中至少根据所述运输工具（V）的即时转弯角度和速度确定运输工具（V）的未来路线，以便在所述图示的至少一部分上显示所述未来路线，在所述未来路线与障碍物（O）交叉的情况下，将所述未来路线分解为：包含所述障碍物的第一部分、位于所述运输工具（V）和所述第一部分之间的第二部分以及位于所述第一部分之后的第三部分。

说明书

技术领域

本发明涉及运输工具，必要时是机动运输工具，更具体地涉及能够至 少从视觉上辅助驾驶员驾驶运输工具的车载系统。

背景技术

某些运输工具，尤其是机动运输工具，配备（以永久或暂时的方式） 有驾驶辅助系统，所述驾驶辅助系统配置用于在至少一个选定视图中构建 围绕运输工具的选定区域的至少其中一部分的合成图像的图示，并且用于 展示该图示的至少一部分。

应当注意，对驾驶的辅助可以包括操控辅助和泊车辅助。

每个图示都根据由获取设备（通常是摄像机）在获取区域中获取的中 间图像的图示数据组构建，所述获取区域部分围绕运输工具并且构成选定 区域的一部分。这允许驾驶员从至少一个选定视角（必要时处理之后）观 察运输工具的附近环境。

为了便于理解所展示的合成图像，某些辅助系统包括配置用于从图示 中至少根据运输工具的即时转弯角度和速度确定运输工具未来路线的处理 装置。该未来路线进而在所展示的选定区域图示的一部分上进行展示，通 常通过与运输工具可观察到的环境中探测到的障碍物图示以及必要时与运 输工具的示意性（外观）图示叠加。

这种显示模式的不便在于体现未来路线的线条长度独立于显示屏，因 此驾驶员会感觉到运输工具的未来路线将穿过探测到（并且显示出）的障 碍物，这会造成困扰。

为了改善这种情况，已经提出在第一个探测到的障碍物处停止未来路 线。驾驶员因此不会再感觉到其运输工具将穿过障碍物。然而出现三个新 的问题。实际上，如果探测到的障碍物的位置和图形精确度不足，可以在 当运输工具靠近该障碍物时对未来路线长度的突然改变的显示进行增益。 此外，当探测到的障碍物非常靠近运输工具并且运输工具处于转弯阶段时， 在探测到的障碍物位置处的未来路线会突然停止，驾驶员在转弯期间不再 能够掌握信息。最后，驾驶员不再掌握未来路线越过障碍物的指示，这在 某些情况会造成不便，尤其在探测到的障碍物只是不会带来任何危险的不 高的植物时更是这样。

发明内容

因此本发明用于改善这种情况。

为此本发明尤其提供一种处理装置，一方面，能够与辅助运输工具的 驾驶员的系统相关联并且配置用于在至少一个选定视角下构建围绕所述运 输工具的选定区域的至少一部分的合成图像图示，所述处理装置用于显示 所述图示的至少一部分，另一方面，所述装置包括处理设备，所述处理设 备配置用于在所述图示中至少根据所述运输工具的即时转弯角度和速度确 定未来路线，以便在所述图示的至少一部分上显示所述未来路线。

这里应当理解“选定视角”指的是在特定角度下的视角，例如俯视视 角，或者正视视角，或者后视视角，甚至是前或后四分之三视角。此外， 这里应当理解“选定区域”指的是完全围绕运输工具的区域的整体或一部 分。

该处理装置的特征在于，所述处理设备还配置用于，在所述未来路线 与障碍物交叉的情况下，将所述未来路线分解为：包含所述障碍物的第一 部分、位于所述运输工具和所述第一部分之间的第二部分以及位于所述第 一部分之后的第三部分，所述处理设备还用于将第一和第二外观分别与未 来路线的第二部分和第三部分相关联，使得未来路线的第二部分与第三部 分分别以与它们相关联的第一外观和第二外观显示。

得益于本发明，驾驶员可以瞬时区分位于探测到的障碍物的上游和下 游的未来路线区段，因此当所显示的未来路线穿过障碍物时不会被干扰。 此外，本发明允许更直观地解释显示的图像并且较少驾驶员的智力负担。

根据本发明的处理设备可包括单独采用或组合采用的其它特征，尤其 是：

-所述处理设备可置用于使第三外观与未来路线的所述第一部分相关 联，使得未来路线的所述第一部分以相关联的第三外观显示；

-第一外观可包括未来路线的第二部分的连续且不透明轨迹线，所述 第二外观可包括未来路线的所述第三部分的连续且半透明轨迹线；

第三外观可包括从连续且不透明向连续且半透明逐步过渡的轨 迹线；

-在第一实施例变型中，所述第一外观可包括未来路线的所述第二部 分的连续且不透明轨迹线，所述第三外观可包括未来路线的所述第三部分 的不连续且半透明轨迹线；

所述第二外观可包括从连续且不透明向不连续且半透明逐步 过渡的轨迹线；

-所述第一外观可包括未来路线的所述第二部分的连续且半透明轨迹 线，所述第二外观可包括未来路线的所述第三部分的不连续轨迹线；

所述第二外观可包括未来路线的所述第三部分的不连续且半透 明轨迹线；

·第三外观可包括从连续且半透明向不连续且半透明逐步过 渡的轨迹线；

-所述处理设备可配置用于至少根据确定所述障碍物相对于所述运输 工具位置的精确度计算未来路线的所述第一部分的延伸。

本发明还提供一种用于辅助运输工具的驾驶员的辅助系统，所述系统 配置用于，一方面，在至少一个选定视角下构建围绕所述运输工具的选定 区域的至少一部分的合成图像图示，另一方面，用于显示所述图示的至少 一部分，所述辅助系统包括以上所述类型的处理装置。

本发明还提供一种包括如上所述类型的辅助系统的运输工具，必要时 是机动运输工具。

附图说明

通过阅读下面的详细说明和附图，本发明的其它特征和优点将更加清 楚，所附附图其中：

-图1在俯视图中示意性和功能性示出配备有包括根据本发明的处理 装置的辅助系统的机动运输工具示例，

-图2示意性示出具有障碍物时一部分未来路线的第一显示示例，

-图3示意性示出具有障碍物时一部分未来路线的第二显示示例，

-图4示意性示出具有障碍物时一部分未来路线的第三显示示例，

-图5在俯视图中示意性示出围绕整个运输工具的选定区域与障碍物 和第一未来路线叠加的合成图像，

-图6示意性示出图5的选定区域的前部分与障碍物和第一未来路线 叠加的合成图像，

-图7示意性示出图6的合成图像的一个变型，其中障碍物由方框位 置处的虚线表示，

-图8在俯视图中示意性示出围绕整个运输工具的选定区域与障碍物 和第二未来路线叠加的合成图像，

-图9示意性示出图8的选定区域的前部分与障碍物和第二未来路线 叠加的合成图像，以及

-图10示意性示出图9的合成图像的一个变型，其中障碍物由方框位 置处的虚线表示。

具体实施方式

附图不仅可用于完善本发明，必要时还可以参与本发明的限定。

本发明提供一种用于与辅助系统SA相关联的处理装置D，所述辅助系 统本身用于至少从视觉上辅助驾驶员驾驶其运输工具V。

在下文中，作为非限制性示例，认为运输工具V为机动运输工具类型。 机动运输工具例如涉及轿车、客车、卡车或者运输车。然而，本发明不限 于这种类型的运输工具。本发明实际上涉及能够执行陆上或水上甚至空中 移动和操控的任何类型的陆上运输工具或者海上运输工具（或者河上运输 工具）甚至是航空运输工具（例如无人飞机-构建给定地理区域的选定区域 的视图，以便获得完整照片）。

应当注意，当运输工具V在三维空间（3D）中（例如空中或水中）演 变时，其路线的图示可以位于三维空间（3D）中，或者位于二维空间（2D） 中。在后一种情况中，所显示的路线（T）是估算的3D路线在选定平面（例 如水平面）中的投影。

在图1中示意性并且功能性地示出轿车类型的机动运输工具V，配备 有根据本发明的辅助系统SA的一个实施例。

该轿车V传统上包括：前部分PV和与所述前部分PV相对的后部分 PR、中控台PB，这里配备有屏幕EC（位于中央位置），通信网络RC（车 载网络），必要时是多路传输类型、与屏幕EC和通信网络RC联接的计算 机通信模块MD（或组件）。尽管在图中没有示出，但是运输工具V通常包 括：一方面，与通信网络RC联接的车载电脑，以便提供尤其用于在计算 机通信模块（或组件）MD的控制下在屏幕EC上显示的信息；以及另一方 面，通常与通信网络RC联接，必要时彼此联接，的传感器和计算器，以 便掌握测量或估算到的参数值或状态以及计算结果。

计算机通信模块（或组件）MD主要负责控制与运输工具V的运行相 关或者与车装应用所发送的结果相关的信息和图像在屏幕EC上的显示。 应当注意，该计算机通信模块（或组件）MD可必要时是屏幕EC的一部分。

如图1所示，根据本发明的辅助系统SA包括：至少一个获取设备MAi、 处理设备MT、显示设备MF以及处理装置D。

每个获取设备MAi配置成获取并且传输图像数据组，所述图像数据组 是在依次的时刻下在部分围绕运输工具V并且构成选定区域ZE的一部分 的获取区域中获取到的中间图像图示。

这里应当理解，“选定区域”指的是完全围绕运输工具的区域的整体或 一部分。

每个获取设备MAi永久或暂时地安装在运输工具V中的至少一个适当 地点处。

优选地，获取设备MAi包括至少一个观察摄像机，所述至少一个观察 摄像机最终或暂时地安装在能够观察到运输工具V的紧邻环境的至少一部 分（并且特别是位于保险杠前方或者后保险杠后方的获取区域）的位置中。 每个（观察）摄像机MAi提供实时图像。

在图1中所示的非限制性示例中，运输工具V包括两个获取设备MAi， 所述两个获取设备分别包括分别安置在前部和后部的中央位置处（例如在 保险杠或挡板中）的两个观察摄像机MA1（i=1）和MA2（i=2）。

应当注意，运输工具V还可以配备补充获取设备，例如波分析设备， 如安置在运输工具V的前部和/或后部（例如在保险杠或挡板中）位于能够 探测紧邻环境中的障碍物位置中的雷达探测器。应当理解，波分析设备提 供检验数据，可以通过所述检验数据产生运输工具V的紧邻外部环境的 2D、2.5D或者3D图形。这些波分析设备通常能很好地适应障碍物探测， 所述障碍物包括相对于运输工具V的相对运动。通过分析获得的信息可以 图示距离并且在这种情况下认知运输工具V的移动，从而能够降低探测到 的障碍物相对于运输工具V的相对速度，或者直接图示探测到的障碍物相 对于运输工具V的相对速度。

还应当注意，获取设备MAi的至少其中之一可以必要时是确保运输工 具V的至少一个其它功能的设施。

如图5-10中示意性并且非限制性所示，处理设备MT’配置用于根据由 获取设备MAi所提供的图像数据组以及在通信网络RC中传输的运输工具 V的至少一个参数值（例如即时速度）在选定区域ZE的选定视角下构建合 成图像IZ的图示。

这里应当理解“选定视角”指的是在特定角度下的视角，例如俯视视 角（见图5和图8），或者正视视角（见图6，7，9和10），或者后视视角， 甚至是前或后四分之三视角。

应当注意，处理设备MT’可以在驾驶辅助应用的框架中构建合成图像 IZ的图示，所述驾驶辅助应用可必要时包括操控辅助和/或泊车辅助。在对 驾驶员的这些辅助中，作为对能够构成障碍物的物体探测的补充尤其可以 列举：探测穿越线路、修正路线、根据与前方运输工具间隔的距离适配运 输工具的速度、探测与运输工具适配的泊车位置、在狭窄通道中操控时进 行辅助、或者泊车操控时进行辅助。对于这些辅助功能，本发明所提供的 信息可以例如表现为预先考虑未来的潜在障碍物所得到的功能外观的适 配。这尤其并且非限制性地可以是针对当非主动跨越线路发出警报时估算 出的跨越点，或者针对当对靠近交叉口的障碍物发出警报时估算出的碰撞 点的情况。

当执行附加处理时，合成图像IZ可以仅部分地图示由摄像机获取的图 像。然而在执行处理的情况下，其也能够整体图示由摄像机获取的图像。 因此，合成图像可以包括与摄像机获取的图像具有直接或间接关系的信息， 下面将进行描述。

应当注意，选定区域ZE的合成图像IZ可以包含运输工具V（至少部 分）的示意性图示（或者外观尺寸），如图5和8中（俯视图）非限制性地 示出。

还应当注意，选定区域ZE的合成图像IZ可以必要时由处理设备MT’ 根据依次的图像数据逐步构建出来。为此，处理设备（MT）可以例如使用 “图像历史”技术，这种技术在专利文件FR0953271的详细说明部分中进 行了描述。该技术在于以简便地方式根据信息（例如“车轮通过信号”）对 中间图像（分别由获得的图像数据组图示）进行彼此调校，所述信息分别 与图像数据组相关联并且图示不同中间图像之间运输工具V执行的移动， 以便在选定视角下（图5和8所示（这里是俯视视角））逐步构成选定区域 ZE的合成图像IZ。还应当注意，对于存储器的容量问题，有利地仅暂时存 储正在选定视角下构建的合成图像IZ直到接收下一组图像数据组，然后相 对于正在构建的合成图像IZ的存储数据对由获取设备MAi提供的下一组 数据进行调校。该存储在储存设备，例如存储器，中进行，所述存储设备 优选是处理设备MT的一部分。

在图5至10中所示的非限制性示例中，以简便的方式仅使用运输工具 V的前摄像机MA1以（必要时逐步）构成选定区域ZE的合成图像IZ，这 是因为运输工具V向前行驶。应当注意，在图5和8中，所显示的合成图 像IZ图示整个选定区域ZE（在俯视视角下），而在图6，7，9和10中， 所显示的合成图像IZ仅图示选定区域ZE（在正视视角下）的前部分。该 前摄像机MA1周期性地获取位于运输工具V前方的获取区域的实时图像， 限定每个图像的图像数据被传输至处理设备MT，以便能够（必要时彼此调 校，优选逐渐地获取这些图像数据）。

应当注意，处理设备MT可以使用本领域技术人员已知的任何其它调 校技术，尤其是“马赛克生成”（génération de）技术以及“从运 动求取结构”技术，这些技术尤其已知为活动机器人技术。

处理设备MT’可以实施为软件模块（或者信息模块）形式，或者电子 电路形式，甚至是电子电路和软件模块的组合形式。

此外，处理设备MT’可以是CS专用计算器（如图1中非限制性地示 出）的组成部分，或者计算机通信模块MD。

由处理设备MT’构建的每个最终合成图像IZ（使用或不使用附加处 理），必要时经由通信网络RC和计算机通信模块MD，被提供至显示设备 MF。

显示设备MF配置用于将每个合成图像IZ的图示转化为可显示图像， 并且用于用补充信息显示所述可显示图像的至少一部分，尤其是根据本发 明的处理装置D确定的未来路线T的图示（下面将进行描述）。

因此，显示设备MF包括：至少一个显示屏幕EC和界面应用模块，所 述界面应用模块负责将每个合成图像IZ的图示和相关联的补充信息转化为 可由相关联的显示屏幕EC显示的图像。该界面应用模块可以实施为软件 模块形式（或信息模块），或者电子电路形式，甚至是电子电路和软件模块 的组合形式。

根据本发明的处理装置D可以是CS专用计算器（如图1中非限制性 地示出）的组成部分，或者（当计算机通信模块MD包括处理设备MT时） 是计算机通信模块MD。

该处理装置D主要包括处理设备MT，所述处理设备MT首先配置用 于在合成图像IZ的图示中至少根据运输工具V的即时转弯角度和速度（在 通信网络RC中通过）确定运输工具V的（瞬时）未来路线T。

可以例如根据运输工具的转弯角度、运输工具的车轴之间的距离、车 轴的宽度、运输工具V的即时速度以及运动模型，例如“自行车”运动模 型（本领域技术人员已知），来估算运输工具V的未来路线T。该（瞬时） 未来路线T还可以根据由惯性中心提供和/或通过估算来自一个或多个摄像 机的光学波纹（flot optique）提供的信息获得。

一旦处理装置D的处理设备MT确定未来路线T，所述处理设备即确 定该未来路线T是否与障碍物O交叉。

应当注意，障碍物O由辅助系统SA的处理设备MT’探测，例如通过 识别形状和/或通过波分析。同样，障碍物O相对于选定区域ZE的合成图 像IZ的图示坐标的位置，以及障碍物O的可能速度通过辅助系统SA的处 理设备MT’估算并且提供给处理装置D的处理设备MT。

必要时对可能交叉的研究可以考虑障碍物O相对于运输工具V的相对 移动，因此考虑障碍物O相对于运输工具V的相对速度（作为矢量）。

每次当处理设备MT确定了探测到的障碍物O与未来路线T交叉时， 其开始将未来路线T分解成包含障碍物O的第一部分P1、位于运输工具V 和第一部分P1之间的第二部分P2以及位于第一部分P1之后的第三部分 P3。

应当理解，第一部分P1的相对位置随时间从一种情况向另一种情况变 化，这是由于其包含探测到的障碍物O。

该第一部分P1的延伸（extensioin）可以预先限定或者可以至少根据障 碍物O相对于运输工具V的位置精确度确定。在后一种情况下，该延伸可 以随时间变化。实际上，其可以不仅取决于障碍物O和运输工具V之间的 距离（见图2至4），还可取决于障碍物O相对于运输工具V的可能相对速 度。然而，对距离的估算的精确度大致仅可在预先确定的距离范围中变化 并且障碍物O相对于运输工具V的相对速度的估算精确度大致仅可在一个 相对速度范围中变化，所述相对速度范围大致至少根据距离d以及必要时 探测到的障碍物O和所使用的传感器的轴线之间的线段变化（由于传感器 和处理所产生的不精确度大致纵向和横向上不同）。

应当理解，未来路线T的第二部分P2和第三部分P3分别位于障碍物 O相对于运输工具V朝向障碍物O的行进方向的上游和下游。此外，应当 理解，第二部分P2和第三部分P3的相应延伸随时间从一种情况向另一种 情况变化，尤其根据第一部分P1的位置和延伸。

一旦处理设备MT执行了上述分解，其就将第一外观（aspect）和第二 外观（或渲染（rendus）分别与未来路线T的第二部分P2和第三部分P3 相关联。

应当注意，估算出的未来路线T的长度可以是平均随机值，必要时图 示运输工具V的背景（因此图示可能的操控），或者在运输工具V的参数 的实时值的基础上计算得出的值，例如其速度和/或与障碍物间隔的距离d。

一旦处理装置D的处理设备MT已经确定未来路线T并且至少分别与 第一和第二外观（或渲染）的第二部分P2和第三部分P3相关联，其必要 时经由通信网络RC和计算机通信模块MD提供显示设备MF，限定它们的 数据，尤其是限定第一部分P1、第二部分P2和第三部分P3的数据构成以 上所述的补充信息，以便未来路线T由显示设备MF显示在屏幕EC上， 同时选定区域ZE的合成图像IZ的图示的至少一部分，至少与第二部分P2 和第三部分P3分别相关联的第一外观和第二外观，以及与每个探测到的障 碍物O（当可以探测到障碍物时）被显示在屏幕EC上。

应当注意，此外，处理设备MT可以必要时有利地配置用于使第三外 观（或渲染）与未来路线T的第一部分P1相关联，以便以与其相关联的第 三外观显示未来路线T的第一部分P1。在这种情况下，处理设备MT还必 要时经由通信网络RC和计算机通信模块MD为显示设备MF提供限定第 三外观（构成以上所述的补充信息）的数据，以便以与其相关联的第三外 观将未来路线T的第一部分P1也被显示设备MF显示在屏幕EC上。

还应当注意，探测到的障碍物O可以在显示图像上显示为平行四边形 或平行六边形（例如图5，6，8和9的示例中的情况）或者是位于围绕显 示图像的界限CD的至少一侧上（例如图7和10的示例中）。

第一外观、第二外观以及可能的第三外观（或渲染）可以在不同类型 的轨迹线中选择，尤其在连续并且不透明的轨迹线、连续且半透明的轨迹 线、不连续且半透明的轨迹线以及从连续且不透明向连续且半透明逐步转 变的轨迹线中选择。

这里，应当理解，“半透明”指的是允许从下方（或后方）观察，例如 屏幕底部或者字母数字信息或者障碍物O。

通常，外观（或渲染）是当显示允许区分未来路线T的一部分与另一 个其它部分时的图线图示（应当注意具有相同外观的两个部分不可区分）。

在图2至4中非限制性地示出轨迹线类型的多种组合。

由此，在图2中示出具有障碍物O的情况下未来路线T的其中一部分 的第一显示示例，所述障碍物O在第一部分P1的位置处与未来路线T交 叉。在该第一显示示例中，第一外观包括未来路线T的第二部分P2的连续 且不透明轨迹线，第二外观包括未来路线T的第三部分P2的连续且半透明 轨迹线。进而，在第一显示示例中，第三外观包括例如从连续且不透明向 连续且半透明逐步转变的轨迹线。第三外观实际上能够为其它形式，尤其 是连续且不透明或者不连续且不透明或者连续且半透明甚至不连续且半透 明的形式。

图3中示出具有障碍物O的情况下未来路线T的其中一部分的第二显 示示例，所述障碍物O在第一部分P1的位置处与未来路线T交叉。在该 第二显示示例中，第一外观包括未来路线T的第二部分P2的连续且不透明 轨迹线，第二外观包括未来路线T的第三部分P3的不连续且半透明轨迹线。 此外，在第二显示示例中，第三外观包括例如从连续且不透明向不连续且 半透明逐步转变的轨迹线。第三外观实际上能够为其它形式，尤其是连续 且不透明或者不连续且不透明或者连续且半透明甚至不连续且半透明的形 式，并且更一般地是分别与相邻部分相关联的两个外观（或渲染）之间逐 步演变的任何形式。

图4中示出具有障碍物O的情况下未来路线T的其中一部分的第三显 示示例，所述障碍物O在第一部分P1的位置处与未来路线T交叉。在该 第三显示示例中，第一外观包括未来路线T的第二部分P2的连续且不透明 轨迹线，第二外观包括未来路线T的第三部分P3的不连续且半透明轨迹线。 应当注意，作为变型第二外观可以包括不连续且不透明轨迹线。此外，在 第三显示示例中，第三外观包括例如从连续且不透明向不连续且半透明逐 步转变的轨迹线。第三外观实际上能够为其它形式，尤其是连续且不透明 或者不连续且不透明或者连续且半透明甚至不连续且半透明的形式。

应当理解，当外观允许使这三部分P1至P3彼此区分时可以设想外观 （或渲染）的其它组合。

在图7至10中示意性示出，三个合成图像，分别一个在俯视视角下， 两个在正视视角下，图示同一种情况，其中未来路线T不与探测到的障碍 物O交叉。应当注意，由于不存在与未来路线T的交叉，未来路线T整体 根据单一且唯一的外观显示（这里是连续且不透明的，然而作为变型可以 是连续且半透明或者不连续且不透明或者不连续且半透明的）。

还应当注意，处理设备MT可以实施为软件模块（或者信息模块形式）、 或者电子电路形式，甚至是电子电路和软件模块的组合。此外，处理装置 D必要时可以是辅助系统SA的处理设备MT’的组成部分。

本发明提供多种优点，其中：

-更直观地解释显示图像，

-通过解释显示信息减少驾驶员的智力负担，

-保留位于障碍物位置处和下游处的未来路线部分的显示图像，瞬时 区分位于障碍物上游的区段（第二部分），

-对障碍物探测设备的测量不精确性的调适，

-保留不具有障碍物的未来路线的每个区域和与障碍物交叉的每个区 域之间的空间分隔。

本发明不限于以上所述的处理装置、辅助系统以及运输工具的仅作为 示例的实施例，而是包含本领域技术人员在以下权利要求范围中可以想到 的任何变型。