运行辅助方法、控制单元、运行辅助系统和工作设备

摘要

本发明涉及一种用于工作设备(1)或用于车辆的运行辅助方法(S)，在该运行辅助方法中，(S1)在工作设备(1)的视场中在彼此相继的时刻获得对象(52)的对象框(54)或者获得表征这种对象框(54)的数据，(S2)由彼此相继或直彼此相继拍摄的图像中的给定对象(52)的对象框(54)，确定相应对象(52)的对象框(54)的当前缩放比例变化或由此推导出的参量，并且确定相应对象(52)的对象框(54)的当前横向位置变化，(S3)根据相应对象(52)的对象框(54)的当前缩放比例变化或由此推导出的参量以及当前横向位置变化，确定未来预测的对象框(55)，(S4)确定和评估所预测的对象框(55)的位置，和/或所预测的对象框(55)的横向延伸相对于所检测的视场(50)的横向延伸和/或所拍摄的图像的横向延伸的比例，(S5)根据所述评估的结果，(i)确定所预测的对象框(55)所基于的对象(52)关于可能的碰撞是否是危急的，和/或(ii)控制或调节所述工作设备(1)的运行状态。

说明书

技术领域

本发明涉及一种用于工作设备或用于车辆的运行辅助系统、一种用于工作设备的运行辅助系统的控制单元、一种这样的运行辅助系统以及一种工作设备、尤其车辆。

背景技术

在工作设备中、尤其在车辆领域中越来越多地使用运行辅助系统和运行辅助方法，该运行辅助系统和运行辅助方法应当在与对象的可能碰撞方面检查相应设备的周围环境，并且应当输出相应的警报消息和/或干预该设备的运行。在已知的系统和方法中，例如使用具有三维数据分析处理的相对复杂的系统和数据结构，和/或，周围环境的相应评估的效力不足以用于干预设备的运行、例如不足以用于制动决策。

发明内容

与此不同，根据本发明的具有权利要求1的特征的运行辅助方法具有以下优点：针对工作设备的运行，可以借助相对简单的装置实现特别可靠的碰撞预测。根据本发明，该任务借助权利要求1的特征通过如下方式实现：提供一种用于工作设备、尤其车辆的运行辅助方法，在该运行辅助方法中，

(S1)在工作设备的视场中在彼此相继的时刻获得对象的对象框(Objektbox)或者获得表征这种对象框的数据；

(S2)由彼此相继或直彼此相继拍摄的图像中的给定对象的对象框，确定相应对象的对象框的当前缩放比例变化

(S3)由相应对象的对象框的当前缩放比例变化、尺度变化或由此得出的参量、当前横向位置变化，确定未来预测的对象框；

(S4)确定和评估所预测的对象框的位置和/或所预测的对象框的横向延伸相对于所检测的视场的横向延伸和/或所拍摄的图像的横向延伸的比例；

(S5)根据所述评估的结果，(i)确定所预测的对象框所基于的对象关于可能的碰撞是否是危急的(kritisch)，和/或，(ii)控制或调节工作设备的运行状态。

因此，根据本发明设置，对工作设备的周围环境的评估基于：所谓的对象框、相应预测的对象框以及所述对象框相对于所检测的视场的大小变化。基本上可以纯二维地检测并且能够以高精度确定这些数据。

从属权利要求示出本发明的优选扩展方案。

原则上可以从外部、例如从常规驾驶辅助系统的光学检测单元提供与对象框相关的数据。

然而，在根据本发明的运行辅助方法的一种优选实施方式中设置，在获得对象框和/或获得表征这种对象框的数据的步骤(S1)中或者针对该步骤(S1)：

(S1a)在拍摄时间上彼此相继的图像的情况下，在光学上二维地和/或单目地检测所基于的工作设备的视场；

(S1b)在彼此相继拍摄的图像中或这些图像的区段中确定至少一个对象并且确定分配给该对象的对象框。

如上面已经提到的，本发明的重要方面在于在未来预测视场中的对象的所检测的对象框。这种预测能够以不同方式实施。

在根据本发明的运行辅助方法的一个实施例中，至少针对当前最后检测的图像或图像的区段确定未来预测的对象框。

这尤其通过以下方式实现：在直至预测时间跨度的多个时间增量上迭代地确定并且更新相应对象框的缩放比例的或由此推导出的参量的值、相应对象框的坐标的值、相应对象框的平移的值和/或相应对象框的横向宽度的值。

可以预确定并规定预测时间跨度和/或时间增量。但也可能的是，使预测周期和/或时间增量取决于其他运行参数，例如取决于设备(尤其车辆)自身的固有速度和/或位置，或者也取决于设备(尤其车辆)的周围环境中的一个或多个对象的之前预测的速度和/或位置。因此，如果由于位于周围环境中的对象的数量和/或由于设备和/或对象的相对较高的固有速度而需要的话，则可以以有利的方式实现时间上更紧密进行监测。相反，在交通量相对较少或类似情况中可以降低监测开销。

在此背景下，按照根据本发明的运行辅助方法的另一构型，可以针对每个时间增量(尤其是按照说明的顺序)实施以下步骤：

(I1)根据分配规则重置或预设定待计算的值：

Skalierung

BoxTranslationX

BoxBreite

BoxPositionLinks

BoxPositionRechts

(I2)根据以下分配规则更新缩放比例：

Skalierung

(I3)根据以下分配规则更新水平的或横向的对象框平移：

BoxTranslationX

(I4)根据以下分配规则更新水平的或横向的对象框宽度：

BoxBreite

(I5)根据以下分配规则预测水平的或横向的框位置：

BoxPositionLinks

：＝BoxPositionLinks

BoxPositionRechts

：＝BoxPositionRechts

其中，Skalierung

替代地或附加地，上述等式可由以下计算规则代替或补充

和

其中，BoxPositionLinks

在根据本发明的运行辅助方法的一种具体构型中设置，如果对象的预测的对象框的宽度在所基于的图像的宽度或该图像的预给定区段的宽度方面所占的份额超过预确定的第一阈值，则将所预测的对象框所基于的对象确定为关于可能的碰撞是危急的、尤其具有100％的值的危急程度。必须将该阈值重新应用于每个车辆模型和/或每个新车辆模型。

在此背景下特别有利的是：将针对对象确定的危急程度的值以如下份额减小：针对该对象所预测的对象框在其宽度方面以所述份额位于所基于的图像或预给定区段之外。

替代地或附加地有利地设置，如果所预测的对象框完全位于所基于的图像或预给定区段之外，则将所预测的对象框所基于的对象确定为关于可能的碰撞是非危急的、尤其具有0％的值的危急程度。

为了在将来预测对象框时考虑尽可能现实的情景，根据一种根据本发明的运行辅助方法的另一有利扩展方案设置，将行人求取为对象，基于行人模型来检查和评估作为对象的行人的位置和运动，基于针对行人求取的速度来确定作为对象的行人的加速能力，并且基于速度和加速能力来确定作为对象的行人的危急程度。

在此特别有利的是，基于加速能力产生扩展的并且包围(或至少横向或水平包围)预测对象框的预测对象框，并将其用作评估危急程度的基础。

根据本发明的另一方面，还提供一种控制单元，该控制单元用于工作设备、尤其车辆的运行辅助系统。

根据本发明的控制单元设置用于控制根据本发明的运行辅助方法，能够使根据本发明的运行辅助方法运行，和/或能够按照根据本发明的运行辅助方法来运行所基于的运行辅助系统。

本发明的主题还是一种用于工作设备、尤其车辆的这样的运行辅助系统。该运行辅助系统设置用于实施根据本发明的运行辅助方法。为此，运行辅助系统尤其具有根据本发明构型的控制单元。

此外，本发明还提出一种具有根据本发明的运行辅助系统的工作设备。

该工作设备尤其构造为车辆、机动车或轿车。

根据本发明的另一方面，还提出根据本发明的运行辅助方法的应用、根据本发明的控制单元的应用、根据本发明的运行辅助系统的应用和/或根据本发明的工作设备的应用，所述运行辅助方法、控制单元、运行辅助系统和/或工作设备用于行人保护或自行车骑手保护或自适应巡航控制(ACC)和/或避让系统或方法。

附图说明

参考附图详细描述本发明的实施方式。

图1以车辆的形式示出根据本发明的工作设备的示意性俯视图，在该工作设备中可以使用根据本发明的运行辅助方法的一种实施方式；

图2至图4示出视场中的不同场景的示意性侧视图，这些不同场景能够借助根据本发明的运行辅助方法来评估；

图5和图6示出根据本发明的运行辅助方法或预测对象框的迭代确定的一种实施方式的流程图。

具体实施方式

下面参考图1至图6详细描述本发明的实施例和技术背景。相同和等效的以及起相同或等效作用的元件和部件由相同的附图标记表示。并非在任何情况下都给出所表示的元件和部件的详细描述。

在不脱离本发明的核心的情况下，所示出的特征以及其他特性都能够以任何形式彼此隔离并且任意地彼此组合。

图1以车辆1'的形式示出根据本发明的工作设备1的示意性俯视图，在该工作设备中能够使用根据本发明的运行辅助方法S的一种实施方式。

根据本发明的车辆基本上由其上安装有车轮4的车身2构成，这些车轮能够借助驱动系12通过驱动单元20所驱动，并且这些车轮能够通过转向和制动单元30并且通过相应的制动和转向系13所制动和/或转向。

此外，根据本发明的运行辅助系统100的一种构型是根据本发明的车辆1'(在本发明的意义上作为工作设备1)的组成部分。运行辅助系统100包括摄像机单元40，该摄像机单元用于对车辆1'的周围环境中的视场50进行单目成像。视场50包括具有行人52'作为对象52的场景53。

控制单元10一方面通过控制和检测线路11与摄像机单元40连接，另一方面与驱动单元20以及制动和/或转向单元30连接以便进行控制。

在图1中所示的实施方式中，将由摄像机单元40从视场50检测的场景53的图像51通过控制和检测线路11传输到控制单元10中，并且在控制单元中结合根据本发明的运行辅助方法S对所述图像进行分析处理。

因此根据本发明，结合作为对象52的行人52'在每个图像或帧51中求取对象框54，并且由时间上直接相继的图像51的对象框求取关于位置变化和缩放比例变化的参数、关于框边缘的角速度的参数和/或关于对象框54的由此推导出的参量的参数，并且将如下预测用作基础：该预测用于基于迭代方法I来说明对象52的所预测的框55。

图2至图4示出视场50中的不同场景53的示意性侧视图，这些场景能够借助根据本发明的运行辅助方法S所评估。

在图2中所示的情况下，在场景53中，作为对象52的行人52'位于视场50中，该视场借助图1中所示的摄像机单元40以图像或帧51示出。必要时通过相应的区段或部分51'来限制图像或帧51。

首先，为行人52'推导出对象框54。然后，相对于时间上在先的图像或帧51中的对象框54，确定对象框54的缩放比例变化和位移或平移的度量、角位置、框边缘的角速度和/或由此推导出的参量。然后，在上述迭代方法I中借助步骤I1至I5在多个时间增量上，由这些参量针对经过的预测时间跨度在预期的预测对象框55方面提供预测。以这种方式，可以针对未来的预测时间跨度，由给定对象框54在位置方面借助右下角、左下角以及宽度55b外推出预测对象框55。

然后为了进行评估，将在未来的预测时间跨度预测的对象框55的宽度55b与图像51的区段51'的宽度51b进行比较。如果它们之间的比例超过预给定的第一阈值，则将对象52视为具有100％的危急程度。

也就是说，根据本发明，该危急值已经能够被用于向工作设备1的使用者(尤其车辆1'的驾驶员)发出警报，或者，该危急值能够被用于直接干预工作设备1的运行方法。然而也能够设想，如果对象52涉及行人52'，则能够以贴近现实的方式和方法影响对象52的其他方面(例如预测的加速度特性等)。

为此，能够推导出作为对象52的行人52'的当前速度及其大小，并且将当前速度用作行人模型的输入参数。然后，行人模型针对预期的加速度或针对预期的加速度特性输出相应的值。可以使用这些值来根据图3和图4构建包围或围绕的对象框56以及其右区段和左区段56r和56I，所述右区段和左区段超出原始预测的对象框55，所述右区段和左区段表示作为对象52的行人52'的正或负加速度特性的不确定范围。

图5和图6示出根据本发明的运行辅助方法S或所预测的对象框55的迭代确定I的一种实施方式的流程图，这例如在上面已经结合本发明的一般描述所讨论。

在此背景下还应提及的是，迭代方法I基本上构成了根据本发明的运行辅助方法S的实施方式的步骤S3，其中，在步骤I6中检查：通过经历时间增量是否已经到达预测时间跨度，和/或，是否存在针对迭代的其他终止条件。

在此，预测的对象框55相对于图像51或区段51'的宽度超过第二阈值，其中，第二阈值大于第一阈值，结合这一点例如可以看出替代的或另外的终止条件。

根据以下陈述进一步阐述本发明的这些以及另外的特征和特性：

本发明描述以下措施：如何能够仅基于单目视频系统的测量数据来确定对于碰撞警报系统(例如作为工作设备、尤其车辆的运行辅助系统的一部分)的危急程度标准。

为此，通常使用的碰撞指示符是“碰撞时间”(TTC)、“制动时间”(TBB)。这些指示符提供了如下信息：碰撞何时发生或何时必须采取制动过程以避免碰撞。基于单目视频摄像机的数据并且主要根据对象框的缩放比例变化，能够可靠地计算参数TTB和TTC，而无需确定间距、相对速度和相对加速度。

另一个碰撞指示符是“恒定方位(Constant Bearing,CB)”的值，该值最初源自航运并且指示出：人在持续固有运动中或自身运动中以及在对象运动中是否处于与对象52的碰撞轨迹中。也可以单纯基于单目视频数据、即基于二维数据库来计算CB。

用于计算危急程度的现有技术是使用基于3D的世界坐标系。

这种方法的基础是：例如在(借助单摄像机或单目摄像机仅能够以有限质量通过估计确定的)距离、相对速度和相对加速度的意义上，使用三维数据或3D数据。

CB概念难以理解、难以参数化、无法对未来进行任何预测，也无法使用行人运动模型。

仅TTC/TTB的概念不足以用于制动决策，因为仅考虑了时间方面，但没有考虑到对象是否位于碰撞轨迹中。TTC和TTB的概念例如无法得出结论：是否在对象旁边驶过。

基于本发明的新的基于二维的或基于2D的危急程度计算的方案纯粹或基本上基于所测量的二维或2D数据或2D信号，尤其基于对象框的所谓框坐标以及缩放比例变化、框平移、角度位置和/或角速度的参数的确定，这些参数描述图像、帧、图像或帧的相应区段中的相应对象框的尺度变化、大小变化、移动或位移，并且这些参数结合框坐标能够以高信号品质存在或确定。

根据本发明的方案还包括对未来的预报、预计或预测(更确切地说，在相应对象框54的位置及其大小/宽度或大小变化/宽度变化方面)并且因此根据本发明允许使用行人运动模型。

因此，可以使用行人运动模型来预测行人52'的停留区域。在此，可以使用关于行人52'在各种运动状态下(例如站立、行走、跑、奔跑)的加速能力的模型来得出结论：行人52'在未来可能位于哪些位置。危急程度的值是由行人52'的所预测或所预计的自身停留区域与所预测或所预计的可能停留区域56的重叠计算出的。

与纯CB概念相比，根据本发明的方案更易于理解和参数化，实验评估表明：相比于借助CB实现方案以及基于借助单摄像机估计的3D数据的传统基于3D的方法，根据本发明的方案能够提供更好的结果。

通常也针对每个所拍摄的图像或帧执行预报或预测。在此，针对每个所拍摄的图像或帧设置目标时间跨度(例如2秒)。因此，对未来的目标时间跨度进行预报。在此，将目标时间跨度划分为多个例如相等的时间增量。然而，目标时间跨度和/或时间增量也可以设计成可变的，并且与其他运行参数相关、由其他运行参数来确定、选择和确定。

在此针对每个所拍摄的图像51或帧执行以下过程：

-在视场50中检测给定对象52的相应对象框54的横向框坐标。

-检测对象52的对象框54相对于一个或多个先前的图像或帧的缩放比例变化。

-在视场50中检测给定对象52的对象框54的框边缘在横向方向上相对于先前的图像、帧、部分或区段的框运动、框位移或框平移(单位像素)、角位置和/或角速度。

-将在上文中已经借助方法S和I针对直至目标时间跨度(作为预测时间跨度)的n个时间增量所描述的过程用作具体预测或预计的基础。

-在n个周期中的每个中(即针对直至达到预给定的目标时间跨度的每个时间增量)，将所预测的框宽度与摄像机图像51的图像宽度、或与预给定或预确定部分或区段51'的宽度进行比较。

-可以将图像中的框宽度与图像宽度或区段宽度之间的比例用作确定危急程度的标准的基础。只要框宽度55b占据图像51或区段51'的一定宽度51b并且因此超过阈值(例如35％)，则认为危急程度为100％并将危急程度置于100％。

-另一方面，如果例如所预测的或所预计的框55部分地或完全位于图像51或区段51'之外，则情况是不危急的，将危急程度置于0％。

-根据行人52'的位置和/或速度，可以借助行人模型来求取行人的加速能力。在此，可以为作为对象52的行人52'展开第二扩展的对象框56，该对象框具有行人52'在考虑行人的加速能力情况下的在图像51或图像51的区段51'内的可能横向停留区域。

-为了确定作为对象52的行人52'的速度并且为了将加速能力换算为像素坐标或角度坐标，可以对作为对象52的行人52'的大小进行假设。例如可以将1.75m的常见大小用作基础。

-还可以以如下份额来减小或最小化之前计算的危急程度的值：最后预测或预计的框55以该份额位于图像51、帧、或相应区段51'或其一部分之外。例如，如果框宽度55b的50％(即如果对象框55在考虑到行人模型的情况下代表的可能的停留区域)位于图像51或帧或给定部分或区段51'之外，则危急程度相应地降低。未来的预测离得越远，则(由于潜在更大的停留区域位于图像51或区段51'之外)危急程度越大程度地降低。这种特性是期望的，因为随着对未来的时间预测的增加，关于行人52'的特性的不确定性增加。

-如果作为对象52的行人的所预测的对象框55达到关键大小(例如达到阈值：帧的35％或图像宽度)则在迭代I的这一周期中将预测终止，因为在该时刻已经可能发生碰撞。