确定两个传感器的传感器数据中的视差问题的方法和设备

摘要

本发明涉及一种用于确定两个传感器(51，52)的传感器数据(10，20)中的视差问题的方法，其中，传感器(51，52)布置在彼此间隔开的位置处并且至少部分地检测相同的环境(60)，并且其中，传感器中的至少一个(51)提供距离信息。此外，本发明还涉及一种用于确定两个传感器(51，52)的传感器数据(10，20)中的视差问题的设备(1)和一种机动车辆(50)。

说明书

技术领域

本发明涉及一种方法和一种设备，用于确定两个传感器的传感器数据中的视差问题。此外，本发明涉及一种机动车辆。

背景技术

现代机动车辆具有大量的辅助系统，这些辅助系统在驾驶机动车辆时支持驾驶员，或者可以部分自动化地或自动化地驾驶机动车辆。为此，辅助系统需要关于机动车辆环境的信息。借助传感器检测该信息，并且以传感器数据的形式将其提供给辅助系统。传感器通常借助不同的测量原理来工作。示例性地，传感器包括提供距离信息或三维测量值的激光扫描仪、LIDAR传感器或具有高度检测装置的雷达传感器或相机。

通常，传感器布置在机动车辆上或机动车辆中的不同位置处。这导致各个传感器从不同的方向检测机动车辆的环境。尤其地，在随后的传感器数据融合中，这可能导致视差问题，因为从不同方向被检测的对象的不同传感器的传感器数据包括对象的不同部分，并且因此可能部分地不能与彼此正确关联。尤其地，传感器数据的错误关联可能导致错误的距离估计。

从WO 2015/129907 A1中已知一种测距装置和一种视差计算系统。

发明内容

因此，本发明要解决的技术问题是，构造一种方法和一种设备，利用该方法和该设备可以确定两个传感器的传感器数据中的视差问题。

根据本发明，该技术问题通过具有本发明的特征的方法以及具有本发明的特征的设备来解决。本发明的有利的设计方案由本发明给出。

尤其地，提供了一种用于确定两个传感器的传感器数据中的视差问题的方法，其中，传感器布置在彼此间隔开的位置处并且至少部分地检测相同的环境，并且其中，传感器中的至少一个提供距离信息，所述方法包括步骤：获得传感器的所检测到的传感器数据，将一个传感器的所检测到的传感器数据中的测量值分配给另外的传感器的所检测到的传感器数据中的就此分别对应的测量值，其中，该分配在考虑两个传感器的相应成像条件的情况下进行，对传感器数据中的测量值进行编号，检查彼此对应的测量值的编号的分类是否一致，其中，如果分类不一致，确定视差问题，输出检查结果。

此外，构造了一种用于确定两个传感器的传感器数据中的视差问题的设备，其中，传感器布置在彼此间隔开的位置处并且至少部分地检测相同的环境，并且其中，传感器中的至少一个提供距离信息，所述设备包括输入装置、计算装置和输出装置，其中，输入装置被构造为从传感器获得所检测到的传感器数据，其中，计算装置被构造为将一个传感器的所检测到的传感器数据中的测量值分配给另外的传感器的所检测到的传感器数据中的就此分别对应的测量值，其中，在考虑两个传感器的成像条件的情况下进行分配，对传感器数据中的测量值进行编号，并且检查彼此对应的测量值的分类是否一致，并且如果分类不一致，确定视差问题，并且其中，输出装置被构造为输出检查结果。

该方法和设备能够实现确定两个传感器的所检测到的传感器数据中的视差问题，两个传感器至少部分地检测相同的环境，然而布置在不同的安装位置处。这通过将传感器的传感器数据中的各个测量值彼此分配来进行，其中，这在考虑相应的传感器的相应的成像条件的情况下来进行。针对传感器中的每一个单独地对传感器数据中的各个测量值进行编号。尤其地，在二维传感器数据的情况下，这分别逐行和逐列地(即，针对每行的测量值1至n和针对每列的测量值1至n)进行。随后，基于对传感器的传感器数据中测量值所做出的分配，对分类彼此进行比较。尤其地，在二维传感器数据的情况下，这分别逐行和逐列地进行。如果不存在视差问题，则分类一致，即，提供距离信息的传感器的传感器数据的具有号码1的测量值与另外的传感器的传感器数据的具有号码1的测量值相对应并且以此继续。反之，如果存在视差问题，例如由于由传感器所检测的对象位于传感器非常近的附近，则分类彼此间至少部分不一致(例如，由于在考虑成像条件的情况下所进行的分配，提供距离信息的传感器的传感器数据的具有号码8的测量值位于另外的传感器的具有号码5的测量值之前)。如果分类彼此不一致，则确定视差问题。随后，例如作为检查结果信号或以数字数据包的形式，输出检查结果。

所描述的方法和设备的优点在于可以简单地实现该方法和设备，并且仅需要计算装置的低的计算能力。

尤其地，成像条件包括一些条件，传感器数据在这些条件下分别由传感器检测，诸如光学成像、张角、检测区域和/或检测时间点。通过考虑相应的成像条件，可以将传感器的传感器数据彼此分配。

尤其地，提供距离信息的传感器是激光扫描仪或光探测和测距(Light Detectionand Ranging，LIDAR)传感器、具有高度检测装置的雷达传感器或立体相机。提供距离信息的传感器例如提供三维测量值形式的传感器数据，尤其地经由运行时间测量来确定该三维测量值。

另外的传感器例如可以是相机。相机提供一个或多个相机图像形式的传感器数据。原理上，另外的传感器也可以附加地提供距离信息。

尤其地规定，至少一个提供距离信息的传感器的传感器数据和另外的传感器的传感器数据同步。尤其地，这意味着，在检测区域和时基方面传感器数据彼此一致，即，至少部分地在相同时间点成像环境的相同的局部。原理上，可以以各种方式在准备阶段进行这种同步。在传感器数据的图像空间中，可以借助光流和对图像空间中的三维图像点的匹配来跟踪对象(对象跟踪)。此外，可以在至少一个提供距离信息的传感器的传感器数据中跟踪对象。基于该对象跟踪，可以在另外的传感器的传感器数据中估计分别与相关联的传感器数据相对应的时间点，使得可以同步传感器数据。此外，例如通过使用公共的触发信号，可以同时地进行对传感器的传感器数据的检测。

可以规定，进行传感器数据内插，以便能够实现传感器数据彼此间的分配。如果传感器的扫描不同，则这尤其必要。

设备的部分、尤其是计算装置，可以被单独地或组合地构造为硬件和软件的组合，例如构造为程序代码，该程序代码在微控制器或微处理器上被执行。

可以规定，对于另外的传感器执行该方法，其中，然后总是分别逐对地彼此比较传感器的传感器数据。

尤其地，测量值是测量点。然而，还可以规定，测量值是从传感器数据导出的特征，例如所检测到的相机图像中的边缘点，从相机图像的更大区域确定该边缘点。

在一种实施方式中规定，通过将至少一个提供距离信息的传感器的传感器数据的测量值反投射或者回投影到由另外的传感器的传感器数据的测量值形成的图像空间中，进行对测量值的分配。这能够实现特别简单和快速地检查是否存在视差问题。如果提供距离信息的传感器例如是LIDAR传感器，而另外的传感器是相机，则将LIDAR传感器的传感器数据的测量值投射到相关联的相机图像中，即，根据传感器的相应的成像条件，将LIDAR传感器的传感器数据的各个测量值分配给相机图像中的各个测量值或图像元素。然而，为LIDAR传感器的传感器数据和相机的传感器数据(即，相机图像)分开地、与反投射无关地进行编号。随后，基于经由反投射进行的对测量值的分配检查分类。

在一种实施方式中规定，为了检查分类，相对于另外的传感器的传感器数据的分别对应的测量值，评估至少一个提供距离信息的传感器的传感器数据的相邻测量值之间的夹角变化的符号或者说正负号，其中，如果在夹角变化中出现至少一次符号改变，则确定视差问题。由此，可以快速并且简单地进行检查。

为此，尤其地，确定提供距离信息的传感器的传感器数据的测量值之间的角度，其中，这相对于另外的传感器的传感器数据的分别对应的测量值来进行。在具有LIDAR传感器和相机的示例中，在考虑成像条件的情况下，将LIDAR传感器的传感器数据的测量值反投射到相机图像中。随后，相对于相机，在相机图像中确定针对LIDAR传感器的传感器数据的各个经反投射的测量值的角度(例如从相机的视线来看的方位角)。确定经分类的经反投射的测量值之间的夹角变化。如果在根据分类顺序遍历各个测量值时，在某处出现了夹角变化的符号的变化，则确定视差问题，因为在该情况下，相关联的测量值在反投射中跳跃到相反的方向上。

在一种实施方式中规定，将至少一个检测距离信息的传感器的传感器数据的位于通过不一致的分类定义的区域中的测量值标记为无效。标记为无效的传感器数据虽然基本上可以由辅助系统继续使用，然而至少局部地不再可能进行对所考虑到的两个传感器的传感器数据的融合，因为标记为无效的测量值仅由两个传感器中的一个检测。

在另外的设计方式中规定，附加地检查，在由传感器检测的对象中，至少一个提供距离信息的传感器的传感器数据是否相对于由传感器之间的距离表示的尺寸完全检测所述对象，其中，在检查视差问题时考虑由此推导出的检查结果。由此，可以确保已经完全检测对象。尤其地，在针对围绕所检测的对象的区域未确定视差问题的情况下，可以确保已经完全检测了对象，即，在检查视差问题时检查结果是正确的。

针对设备的设计方案的特征由对方法的设计方案的描述给出。在此，该设备的优点分别是如在方法的设计方案中的相同优点。

此外，尤其地构造一种机动车辆，包括：两个传感器，其中，传感器布置在彼此间隔开的位置处，并且至少部分地检测相同的环境，并且其中，传感器中的至少一个提供距离信息。此外，机动车辆包括按照所描述的实施方式中的任一个的设备。

在机动车辆的改进的实施方式中规定，提供距离信息的传感器是LIDAR传感器，而另外的传感器是相机。

附图说明

以下，参考附图，根据优选的实施例对本发明进行更详尽的阐述。附图中：

图1示出用于确定两个传感器的传感器数据中的视差问题的设备的实施方式的示意图；

图2示出用于说明用于确定两个传感器的传感器数据中的视差问题的方法的示意图。

具体实施方式

图1中示出了用于确定两个传感器51、52的传感器数据10、20中的视差问题的设备1的实施方式的示意图。设备1和传感器51、52布置在机动车辆50中。设备1包括输入装置2、计算装置3和输出装置4。

传感器51、52布置在彼此间隔开的位置处并且至少部分地检测相同的环境。传感器51提供距离信息。例如，传感器51是激光扫描仪或LIDAR传感器，其提供三维测量值形式的传感器数据10。例如，传感器52是相机，其提供相机图像形式的传感器数据20。例如，传感器51、52检测图2中所示出的环境60。

输入装置2获得由传感器51、52所检测到的传感器数据10、20，并将该传感器数据同步到共同时基上。

计算装置3将传感器51的所检测到的传感器数据10中的测量值分配给另外的传感器52的所检测到的传感器数据20中的就此分别对应的测量值。在考虑两个传感器51、52的成像条件的情况下进行分配。简而言之，这意味着执行视线检查，其中，基于检测方向进行基于相互对应的视线或者说检测方向对测量值的分配，从检测方向出发检测在相应的传感器51、52的张角中的所述各个测量值。目的是，彼此对应在考虑相应的成像条件的情况下分别对环境中的相同区域进行成像的那些测量值。

由计算装置3针对传感器51、52中的每一个单独地对传感器数据10、20中的测量值编号。这些经编号的测量值在图2中示意性地示出，其中，号码Sx被分配给相应的测量值或就此对应的视线11、21。

随后，计算装置3检查彼此对应的测量值的分类是否一致。如果分类不一致，则计算装置3确定有视差问题。否则，计算装置3不确定有视差问题。随后，由输出装置4输出检查结果30。尤其地，检查结果30还包括关于传感器数据10、20的哪个部分涉及于此的信息。

可以规定，通过将至少一个提供距离信息的传感器51的传感器数据10的测量值反投射到由另外的传感器52的传感器数据20的测量值形成的图像空间中，进行对测量值的分配。

此外可以规定，为了检查分类，相对于另外的传感器52的传感器数据20的分别对应的测量值，评估至少一个提供距离信息的传感器51的传感器数据10的相邻测量值之间的夹角变化的符号，其中，如果在夹角变化中出现至少一次符号改变，则确定视差问题。

还可以规定，借助计算装置3，将至少一个检测距离信息的传感器51的传感器数据10的位于通过不一致的分类定义的区域中的测量值标记为无效。

可以规定，附加地检查，在由传感器检测的对象中，至少一个提供距离信息的传感器51的传感器数据10是否相对于由传感器51、52之间的距离表示的尺寸完全检测对象，其中，在检查视差问题时考虑由此推导出的检查结果。

图2中示出了用于说明用于确定两个传感器51、52的传感器数据中的视差问题的方法的示意图。传感器51、52彼此间具有距离53，并且检测环境60的重叠区域。此外，示出了传感器51、52的视线11、21，其中，视线11、21分别与针对传感器数据的各个测量值的根据相应的成像条件而投射的检测方向相对应。在所示示例中，传感器51是LIDAR传感器，该LIDAR传感器提供环境60的对象61、62的三维测量值。另外的传感器52是相机，该相机提供相机图像作为传感器数据。

在环境60中，存在平坦的壁61和以另外的机动车辆的形式的对象62。由于距离53，传感器51、52从不同方向检测对象62。传感器51以从对象62旁边经过的方式在区域63中检测壁61，而从传感器52的视线出发，壁61在该区域63中被对象62覆盖。因此存在视差问题。

为了检查传感器数据中是否存在视差问题，将一个传感器51(LIDAR传感器)的所检测到的传感器数据中的测量值分配给另外的传感器52(相机)的所检测到的传感器数据中的就此分别对应的测量值，其中，在考虑两个传感器51、52的相应的成像条件的情况下进行分配。

尤其地，通过将传感器51(LIDAR传感器)的传感器数据的测量值反投射到由另外的传感器52(相机)的传感器数据的测量值所形成的图像空间中进行分配。简而言之，将传感器51(LIDAR传感器)的三维测量值根据成像条件投射到传感器52的图像空间中或所检测到的相机图像中。在此，在该示例中，具有号码S8、S9和S10的测量值或视线11的分配尤其值得注意，因为其涉及对象62。

随后，根据所描述的方法，分别(如示意性示出地)以号码S1至S8对传感器数据的测量值编号，该传感器数据在图2中与各个视线11、21相对应。在此，以检测的顺序或相关联的测量值或相机图像中图像元素的顺序进行编号。例如，如图2中所示，从上到下，对与各个视线11、21相对应的各个测量值编号。

然后，检查对彼此投射的测量值的编号的分类是否一致，即，与对传感器52(相机)的传感器数据的测量值的号码S1至S8的分类相比，对传感器51(LIDAR传感器)的传感器数据的测量值的号码S1至S10的分类是否不同。这是由于对象62的存在以及由此引起的视差问题，在此即传感器51的具有号码S8的视线11的情况。在不存在视差问题的条件下，传感器51的具有号码S8的视线11就必须分配给传感器52的具有号码S8的视线21，然而，该传感器51的具有号码S8的视线11由于其位置在投射到传感器52(相机)的图像空间(相机图像)中时位于具有号码S5的视线21之前。因此，相对于相机图像，分类不一致，从而确定视差问题。

尤其地规定，为了检查分类，相对于另外的传感器52的传感器数据的分别彼此对应的测量值，评估传感器51的传感器数据的相邻测量值之间的夹角变化的符号，其中，如果在夹角变化中出现至少一次符号改变，则确定视差问题。为此，在传感器52的图像空间中分别确定传感器51的传感器数据的投射到图像空间中的测量值的夹角22(相对于图2顺时针)。

在确定了针对图像空间中各个视线11的夹角22之后，下表给出了汇总结果：

在具有号码S8的视线11中符号发生变化，因为在到传感器52的图像空间中的投影中、即到所检测到的相机图像中的投影中，该具有号码S8的视线11位于的具有号码S5、S6、S7的视线21之前。由于在夹角变化的符号中出现了变化，因此确定视差问题。

可以规定，将传感器51(LIDAR传感器)的传感器数据的位于通过不一致的分类定义的区域63中的测量值标记为无效。在此，通过测量值或视线11定义区域，由具有号码S8的测量值或视线11包围该测量值或视线，即，该测量值或视线受图像空间(相机图像)中的返回或者说回退的影响。在此，这些是具有号码S5、S6和S7的测量值或视线11。这在图2中可以清楚地被看到。所涉及的测量值或视线11全部位于区域63中，由传感器52(相机)无法检测到该区域，因为通过对象62覆盖了该区域。

所描述的方法和设备的优点在于易于实现，并且仅需要计算装置的低的计算能力。

附图标记列表

1 设备

2 输入装置

3 计算装置

4 输出装置

10 传感器数据

11 视线

20 传感器数据

21 视线

22 夹角

30 检查结果

50 机动车辆

51 传感器(LIDAR传感器)

52 传感器(相机)

53 距离

60 环境

61 壁

62 对象

63 区域

Sx 号码(测量值或视线)