用于借助数字图像序列来确定相对运动的方法

摘要

一种用于确定装置(10)与至少一个对象的相对运动的方法，所述方法基于从所述装置的位置处检测的、所述对象的数字图像序列，其中，所述方法包括以下步骤：由所述数字图像序列(S1)的图像对计算多个光流场(S2)，其中，所述图像对由最新的图像和所述图像序列的具有与所述最新的图像不同的时间间隔的图像形成；在各个最新的图像中的子图像区域中定位至少一个对象(S3)，并且将所述子图像区域分配给所述对象；由所述多个光流场形成多个子光流场(S4)，其中，相应的子流场由所述多个流场的流场中的一个流场与所述图像序列的最新的图像的子图像区域的交集产生；相应于至少一个标准从所述多个子流场中选择所述子流场中的至少一个子流场(S5)，以便促进所述对象的尺度变化的估计；以及基于所选择的至少一个子流场，借助所分配的子图像区域，针对所述至少一个对象估计尺度变化(S6)。

说明书

技术领域

本发明涉及一种用于借助数字图像序列来确定装置与至少一个对象的相对运动的方法。

驾驶员辅助系统借助电子系统检测场景，这些电子系统例如借助雷达、激光雷达、超声波或摄像机系统记录和处理数据，以便计算关于这种装置相对于其他对象的相对运动的表征参数。数据的处理可以(也根据所使用的电子系统)基于三维或二维模型进行。在系统决定地检测距离的雷达系统中提供三维模型以用于分析。

背景技术

在单目数字摄像机系统中，可以基于二维图像坐标在图像序列中分析对象的明显运动。装置与至少一个对象的相对运动例如可以基于对象探测的缩放变化来进行或基于来自图像序列的光流的尺度变化估计

在此，通过对象探测的缩放变化来估计相对运动经受一系列不准确性，例如已知且固定的对象宽度的经常错误的假定，或者由于在连续的摄像机图像中对象的延伸的变化而产生不准确性。

在借助光流的尺度变化估计中必须从流场中选择属于目标对象的光流，这可以通过运动分割来进行。光流的运动分割是一个并不普通的且计算密集的问题。尤其是对于汽车领域中的嵌入式系统，所需的计算能力经常是不可用的。

所得出的结果通常高度嘈杂，从而接下来的计算必须处理大量的异常值(Ausreiβer)。

由这种缩放变化、作为表征的参数那么可以随后推导出特别是车辆之间的例如碰撞时间TTC(Time-to-collision或time-to-contact，碰撞时间或接触时间)。

在此，通常在整个图像上以固定的时间间隔计算光流估计。

DE10 2011 006 629 A1描述一种用于基于对车辆环境的视频图像的分析处理来确定配备有视频系统的车辆的碰撞时间的方法，其中，计算碰撞参数TTC以确定车辆与车辆环境的任一部分的碰撞时间。碰撞参数TTC的计算借助在视频图像中由视频系统记录的整个车辆环境的光流场的扩展速率的积分来进行。此外，本发明涉及一种用于执行根据本发明的方法的车辆引导系统。

本发明的任务是，说明一种用于借助数字图像序列来确定装置与至少一个对象的相对运动的方法，借助该方法能够以小的计算能力实现相对运动的估计中的高精度，并且该方法还能够实现由用于所估计的相对运动的度量计算相对运动的其他表征参数。

发明内容

根据本发明，说明根据独立权利要求的特征的用于基于从装置的位置处检测的、对象的数字图像序列来确定该装置与至少一个对象的相对运动的方法、系统以及计算机程序产品和计算机可读的存储介质，其至少部分地具有所提及的效果。有利的构型是从属权利要求以及以下描述的主题。

本发明基于以下认识：远离该装置的对象在图像序列的例如借助摄像机以透视的方式检测的图像中比靠近的对象更小地成像。因此，根据本发明，由具有彼此不同的时间间隔且具有不同大小的这种图像序列的图像对来计算光流场，其中，考虑图像上的以下部分区域，对象成像在该部分区域中。该部分区域——对象成像在该部分区域中——也可以称为“边界框(bounding box)”或“感兴趣区域(region of interest)ROI”。接着，基于标准从多个流场中选择适合的流场以用于确定相对运动，该标准改善该估计的可靠性和精度。

在根据本发明的方法中，基于从装置的位置处检测的、对象的数字图像序列确定该装置与至少一个对象的相对运动。该装置例如可以涉及机动车，该机动车自身具有相对于地面的运动。但是，该装置也可以是静止的，对象(例如机动车)相对于该装置运动。

针对该确定，由数字图像序列的图像对计算多个光流场，其中，图像对由最新的图像和图像序列的具有与最新的图像不同的时间间隔的图像形成。在此，光流基于分配给当前图像点并因此限定光流场的流向量描述在图像序列的图像中对象的在时刻i记录的图像点相对于在时刻j记录的图像点的移动。

此外，在根据本发明的方法中，至少一个对象——应确定其相对运动——在各自最新的图像中定位在数字图像序列的子图像区域中，并且将该子图像区域分配给该对象。因此，针对图像序列中的每个图像辨识以下区域，在该区域中探测到对象，并且对于进一步的计算而言，考虑表征该对象的这些子图像区域ROI(英语：region of interest，感兴趣区域)足矣。通常，该对象为此分配有矩形区域，该矩形区域在很大程度上与该对象一致。替代地，子图像区域也可以由所谓的“语义分割semantischen Segmentierung)”推导出。在本发明的另一构型中，至少一个对象的定位可以仅针对图像序列的所选择的图像进行。如果多个对象定位在各个最新的图像中，则可以通过子图像区域与对象的分配贯穿整个方法地借助所分配的子图像区域跟踪这些对象。

由多个光流场形成多个子光流场，其中，相应的子流场由多个流场的流场中的一个流场与图像序列的最新的图像的子图像区域的交集产生。

在此，流场的计算基于图像序列的最新的图像，并且该流场借助图像对的另一图像计算，该另一图像与当前图像具有相应的时间间隔。对象定位在当前图像中的子图像区域中，并且图像的该子图像区域与基于该最新的图像计算出的流场的交集确定分配给该流场的子流场。

相应于至少一个标准从多个子流场中选择至少一个子流场，以便促进对象的尺度变化的估计。

基于至少一个选择的子流场执行用于至少一个对象的尺度变化的估计。针对尺度变化的估计形成流向量的对，借助这些流向量的对计算缩放变化。因此，如果选择适合的子流场，则对于尺度估计是有益的，因为尺度估计基于该子流场。

如果在图像序列中定位多个对象，则针对每个对象执行该方法。这就是说，针对每个对象，基于标准选择适合的子流场。为此，针对每个对象或针对每个所属的子图像区域，通过分配进行唯一明确的标记。

借助该方法实现，对于对象——这些对象处于与装置不同的距离中并且因此在图像序列的图像中不同地成像——的尺度变化的估计，可以相应于预先定义的标准选出最适合的子流场。

因此，缩放计算的品质通过从不同的时间间隔中选择最适合的子光流场得到改善。因为如果例如对象处于与装置的较大距离中，则可以通过选择例如在相应的图像对的图像之间具有较大时间间隔的流场来使用较长的流向量以用于估计。因此，对于尺度变化的估计，可以在时刻i使用与在时刻j不同的时间间隔来进行光流的计算。

根据本发明的一个构型提出，用于选择子流场的标准考虑子图像区域与计算出的流场的重叠程度。因此，确保对象在图像区域中处于计算出的流场内，并且可以考虑由子图像区域代表的对象的足够的部分。例如，特别是当为了降低计算开销而不针对图像序列的图像的整个区域计算流场时，这是重要的。这在下文中还将进一步解释。附加地或者也替代地，标准可以考虑子图像区域与计算出的流场的交集的绝对大小，因为由该相交区域形成的重叠区域可能如此之大，使得处于该覆盖内的流向量足以用于尺度变化的估计。

根据本发明的另一构型提出，用于选择子流场的标准考虑子流场的流向量的信噪比的大小以及附加地或替代地考虑来自流向量的计算的质量度量

根据本发明的另一构型提出，用于选择子流场的标准考虑在图像序列的图像的子图像区域中对象的定位的探测品质。如果在图像的子区域中对象的定位可靠地存在，则在子流场中也选择正确的流向量，这改善估计。

附加地或者也替代地，标准也可以考虑子图像区域与计算出的流场的交集所位于的图像区域的特征。因此，图像序列的图像的特性也进入到子流场的选择中，这些特性对例如流向量的质量具有明显的影响。这可以涉及对比度、均匀性、灰度值分布、梯度，或者也可以涉及更复杂的特征，例如方向梯度直方图(

在根据本发明的方法的一个构型中提出，用于选择子流场的标准以满足以下不等式为前提：

FV>alpha*(SZ/SZ

并且附加地考虑借以计算子流场的时间间隔的大小。该标准尤其是评估与其他子流场中的数量相比子流场中的流向量的数量。该公式的推导下面在本说明书中进行。以以下方式考虑时间间隔的大小：从多个子流场中优选以较大的时间间隔计算的子流场。

根据本发明的一个构型提出，由图像对的图像的一个图像部分进行多个光流场的计算，其中，该图像部分表示相应图像的部分区域。

如此，在该方法的一个应用中，其中，在与装置的较大距离中的对象(例如在地面上相对于装置在该装置前面运动的车辆)与在近距离范围中处于装置前面的对象相比示出在图像序列的图像的另一图像部分中。

由此能够实现，在计算光流场时已经选择要观测的情景并且因此节省计算开销，因为流场的计算在受限的图像区域上进行。因此，例如可以隐藏天空在图像序列上的成像，或者如果预期要估计的对象在装置的近距离范围或远距离范围中，则可以相应地选择图像部分。

根据改善本发明的一个构型提出，针对图像对的图像的至少两个可区分的图像部分且以分别不同的时间间隔执行多个光流场的计算。

相应的图像部分与用于流场的计算的时间间隔的分配使得对于装置前面来自不同距离的对象成像于其中的相应图像区域能够实现：考虑对于该区域重要相关的时间间隔并且因此在没有质量下降的情况下降低计算开销。因为远处的对象的较小子图像区域需要较长的时间间隔来进行稳健的估计，而在近距离范围中，对于相应的及时反应需要短的时间间隔。因此，不仅节省计算开销，而且执行匹配的计算。

根据本发明的另一构型提出，至少两个可区分的图像部分在其在图像对的图像上的布置和大小方面相应于透视方面布置，以用于在与所述装置的不同距离中定位对象。

如果对象在基本上平坦的区域上在装置前面运动，则装置前面的、远处的对象成像于其中的图像的子图像区域显著小于装置前面的、近距离范围中的对象情况下的子图像区域。如果考虑这些透视情况，则例如可以将用于较远处的对象的图像部分比用于装置的近距离范围中的对象的图像部分更小地且在朝向图像序列的图像的上边缘的方向上更远地放置。

根据本发明的一个构型提出，至少两个图像部分能够通过其面积方面的延伸进行区分，较小的图像部分完全布置在较大的图像部分内部，并且图像部分越小，分别分配的用于计算流场的时间间隔就越大。

借助本发明的该构型，将来自透视观察的优点和对于尺度变化的估计有利的较长时间间隔相结合。

根据本发明的一个构型提出，由图像对的图像部分计算多个光流场的计算，其中，分别在检测相应的图像序列之后确定图像部分和/或图像部分与图像对的时间间隔的分配。

因此能够实现，在运行的方法中，例如基于来自对象定位的信息可以匹配用于计算流场的参数，例如位置、大小和所分配的时间间隔。

根据本发明，还说明一种计算机程序产品，该计算机程序产品包括指令，在通过计算机实施程序时，该指令促使该计算机实施上述方法。

根据本发明，还说明一种计算机可读的存储介质，该计算机可读的存储介质包括指令，在通过计算机实施程序时，该指令促使该计算机实施上述方法。

本发明还说明一种用于确定系统与至少一个对象的相对运动的系统。该系统具有用于检测对象的数字图像序列的设备。这种用于检测数字图像序列的设备例如可以是数字摄像机、数字视频摄像机。此外，该系统具有分析处理单元，该分析处理单元如此与该设备耦合，使得将图像序列传输给该分析处理单元。这例如可以借助总线系统来进行，该总线系统使用于检测数字图像序列的设备与分析处理单元耦合。在此，分析处理单元设置用于，执行上述根据本发明的方法并且在分析处理单元的输出端处提供该方法的结果。

附图说明

本发明的实施例在图1和2中示出且在下文中进一步阐述。附图示出：

图1示出一种用于确定装置与至少一个对象的相对运动的方法的流程图；

图2示出一种用于确定装置与至少一个对象的相对运动的系统。

具体实施方式

在图1中，在流程图10中示出用于确定装置与至少一个对象的相对运动的方法步骤。

对于该方法提供数字图像序列S1，不仅用于计算流场{U(x,y,τ)}S2而且用于定位对象S3。

在根据本发明的方法的实施例的步骤S2中计算多个光流场{U(x,y,τ)}。在此，每个流场{U(x,y,τ)}由多个流向量U形成，这些流向量分别分配给图像的坐标x和y。流向量U由具有时间间隔τ的数字图像序列的图像对计算。在此，由最新的图像和图像序列的图像来计算具有多个不同时间间隔τ：1...n的各个流场{U(x,y,τ)}。

步骤S7是该实施例的可选构型。步骤S7位于步骤S2、即计算多个流场之前。在此，S2中多个光流场的计算仅基于图像对的图像的图像部分，其中，图像部分因此表示相应图像的部分区域。因此，在步骤S7中，针对多个流场计算提供对较小的图像部分的确定，如在图1中在步骤S7中所概述的那样。

如上所述，因此可以从图像中隐藏诸如天空之类的区域，该区域对于尺度变化的估计不是重要相关的，由此减少计算开销。

在本发明的另一替代构型中，在步骤S7中，针对步骤S2中多个光流场的计算进行预先规定，对于图像对的图像的可区分的图像部分分别预先规定不同的时间间隔。

多个流场的计算S2可以借助任意数量的图像部分和所属时间间隔来进行。如上所示，因此能够实现以下：在流场计算时通过较小的图像部分完全检测到出于透视原因而在远处较小地示出的对象及其子图像区域。因此减小用于计算流场的计算开销，并且通过针对较远的对象可能分配较长的时间间隔来改善尺度变化的估计的精度。在近距离范围中——其中，对象的子图像区域较大地示出，则可以为了改善反应时间而将时间间隔选择得较小。

如果图像部分如此布置，使得与定位的对象相关的子图像区域覆盖多个图像部分，则也可以将来自一个图像部分的估计与来自另一图像部分的估计进行比较。

在机动车中的典型应用中，例如三个不同大小的图像部分可以居中且相互嵌套地布置，并且在此，最小的图像部分分配有最长的时间间隔，最大的图像部分分配有最小的时间间隔，并且中等的图像部分分配有位于其他两个时间间隔之间的时间间隔。

如此，根据本发明的方法针对近距离范围中的对象和远距离范围中的对象均能够实现尺度变化的稳健且准确的估计，该尺度变化也可以匹配于其他给定条件。

在步骤S3中，在图像序列的图像的子图像区域中定位至少一个对象，并且将相应的对象分配给一个子区域。定位S3的结果是图像序列的图像的子图像区域，在该子图像区域中已经定位该对象，并且已经将该对象分配给该子图像区域。

在步骤S4中，各一个子流场由计算出的流场{U(x,y,τ)}与至少一个子图像区域的交集形成，由此借助多个计算出的流场{U(x,y,τ)}形成多个子流场。在此，每个子流场都以用于确定该流场{U(x,y,τ)}的时间间隔来表征。

在步骤S5中，相应于标准从多个子流场中选择子流场，其中，通过根据适合的标准的选择来促进对象的尺度变化的估计。

用于从多个子流场中选择至少一个适合的子流场的标准一方面基于由子流场估计尺度变化的必要条件，另一方面基于用于尺度变化的稳健且准确的估计的可能性的质量考虑。

一个用于借助子流场进行尺度估计的必要条件是计算出的流场{U(x,y,τ)}与以下子图像区域之间的交集的最小大小：在该子图像区域中已经定位对象，例如机动车。这就是说，子图像区域与图像部分之间的交集必须具有例如根据经验确定的、用于尺度变化的稳健估计的最小大小。在根据经验的确定中也可以考虑估计的稳健性与要使用的计算时间之间的折中。

此外，对于尺度变化的估计必要的是，计算出的流场{U(x,y,τ)}与子图像区域之间的交集具有对于尺度变化的估计而言足够数量的流向量，借助这些流向量进行尺度变化的估计。在足够数量的流向量的确定中，也可以考虑质量标准，例如信噪比或来自流向量计算的质量因子。

用于选择子流场的质量标准可以涉及子流场的流向量、子图像区域中的对象探测的特征以及图像部分中的特征。

用于选择子流场的质量度量尤其涉及所考虑的子流场中的流向量的数量或者说子流场被流向量占据的密集程度以及流向量的质量参量

此外，质量标准可以涉及子图像区域的特征，该特征由至少一个对象的定位产生。这包括定位的探测品质或可靠性或者说概率。

为了在步骤S5中的选择中考虑来自对象探测的质量标准，可以在步骤S3中的对象探测与步骤S5中的子流场选择之间进行可选的数据交换V2。

来自子图像区域与计算出的流场之间的重叠区域的特征(例如对比度、灰度值分布、梯度、特定特征的存在，或者还有由方向梯度直方图HOG、即考虑局部强度的分布或边缘的布置而产生的特性)可以可选地一起包括到质量考虑中。

此外，除了这种简单的启发学之外，还可以将更复杂的方法、例如自动化分类器或学习分类器——其例如由“机器学习”(例如决策树)或“深度学习”例如“离线”求取——用于选择最适合的子流场。

根据根据本发明的方法的应用和可用的计算预算，可以将这些标准中的各个标准或者也可以将所有标准用于选择最适合的子流场。

在下文中示出从多个子流场中选择至少一个子流场以用于估计对象的尺度变化和所使用的标准的示例。

将以下每个子流场考虑用于选择过程：对于该子流场，子图像区域与图像部分的交集的重叠区域SZ与子图像区域的整个区域的比高于一定的、例如0.75的阈值，或者对于该子流场，重叠区域SZ(即子图像区域与计算出的流场的交集)位于在一定的最小大小之上。

然后，对于如此选择的子流场，由重叠区域SZ确定流向量的数量FV。此外，也通过所有考虑的子流场还确定最大重叠区域SZ

然后，选择具有计算所基于的图像对之间的最大时间间隔的子流场，该子流场满足如下条件：

FV>alpha*(SZ/SZ

其中，alpha是要选择的加权因子，其例如可以根据经验来确定。

因此，比较在所考虑的子流场中所包含的流向量的数量是否大于由重叠区域SZ与最大重叠区域SZ

如果辨识出多个对象，则针对每个重叠区域单独地选择最适合的流场。

在步骤S6中，在选择最适合的子流区域之后进行尺度变化的估计。为了估计尺度变化S6，从重叠区域中形成流向量的对，以便在对象沿图像检测系统的光轴运动时可以量化相对运动。通常，在尺度变化的情况下，一个图像中的一个像素在另一图像中的多个像素上成像，反之亦然。

由这种缩放变化可以随后在另一步骤中推导出特别是车辆之间的碰撞时间TTC(碰撞时间或接触时间)作为用于相对运动的表征参数。

所示出的方法可以借助计算机程序产品来实现，该计算机程序产品包括指令，该指令在通过计算机实施程序时促使该计算机实施具有其所有可选突出特征的该方法。该计算机程序产品也可以存储在计算机可读的存储介质上。

图2示出一种用于确定系统20与至少一个对象的相对运动的系统20。该系统具有用于检测例如对象的数字图像序列的设备1。这种用于检测数字图像序列的设备例如可以是数字摄像机或数字视频摄像机。此外，系统20具有分析处理单元2，该分析处理单元如此与设备1耦合，使得将图像序列传输给该分析处理单元2。这可以例如借助总线系统1a来进行，该总线系统使用于检测数字图像序列的设备1与分析处理单元2耦合。在此，分析处理单元2设置用于执行根据本发明的上述方法并在分析处理单元的输出端3处提供该方法的结果。