生成车辆周围环境图像的方法及生成车辆周围环境图像的装置

摘要

本发明涉及一种用于生成车辆周围环境的图像的方法，该方法包括以下步骤：‑通过尤其设置在车辆车身上的多台车载摄像机(12、14、16、18)检测车辆周围环境(S1)，‑通过多台车载摄像机(12、14、16、18)生成摄像机图像，其中，相邻车载摄像机(12、14、16、18)的摄像机图像具有重叠图像区域(40、42、44、46)(S2)，‑在虚拟三维立体空间(60)中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间(60)中的虚拟投影面(62)上(S3)，‑在虚拟空间(60)中提供非固定的虚拟摄像机(48)，并确定虚拟摄像机位置和/或虚拟摄像机方向(S4)，‑根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第一选择区域(56)置放在第一重叠图像区域(40)中(S5)，‑计算第一选择区域(56)中第一车载摄像机(12)的至少一个图像参数(S6)，‑调整第二车载摄像机(14)的至少一个图像参数，使其在第一选择区域(56)中与第一车载摄像机(12)的至少一个图像参数相匹配(S7)。本发明还涉及一种装置(38)。

说明书

本发明涉及一种用于生成车辆周围环境图像的方法和装置。

越来越多的车辆配备有在执行驾驶操作时为驾驶员提供支持的驾驶员辅助系统。部分驾驶员辅助系统包含可向车辆驾驶员显示车辆周围环境的全景环视摄像系统。这类全景环视摄像系统包括多台车载摄像机，它们提供车辆周围环境的真实图像，这些图像尤其通过全景环视摄像系统的数据处理单元合成车辆周围环境的周围环境图像。然后在显示单元上以有益的方式向驾驶员显示车辆周围环境图像。以此方式，可在例如车辆倒车驾驶或在泊车操控期间等车辆操纵时为驾驶员提供支持。

由相邻车载摄像机提供的摄像机图像在重叠区域重叠。如果车载摄像机处于车辆不同面，对不同车载摄像机可能会出现不同的光照度。例如，阳光可从一侧照射到车辆周围环境。此外，行驶区段可导致不同车载摄像机的光照度不同。例如，当车辆驶入车辆隧道时，前置车载摄像机的周围环境突然变暗，而与此同时后置车载摄像机的周围环境依然被日光良好照明。因此，传统的全景环视系统会在合成的整体图像或全景环视图像中出现图像伪影，尤其是亮度跳跃，这是由不同车载摄像机的不同光照条件引起的。

由此，本发明现在的任务是，提供一种能消除基于相邻车载摄像机间亮度差异的现有问题的方法或装置。

所述任务通过具有独立权利要求1特征的方法解决。一种装置是并列独立权利要求的主题。优选实施方式是从属权利要求的主题。

根据第一方面，本发明涉及一种用于生成车辆周围环境的图像的方法，该方法包括以下步骤：

-通过尤其设置在车辆车身上的多台车载摄像机检测车辆周围环境，

-通过多台车载摄像机生成摄像机图像，其中，相邻车载摄像机的摄像机图像具有重叠的图像区域，

-在虚拟三维立体空间中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间中的虚拟投影面上，

-在虚拟空间中提供非固定的虚拟摄像机，并确定虚拟摄像机位置和/或虚拟摄像机方向，

-根据虚拟摄像机的视场区域将虚拟投影面上的第一选择区域置放在第一重叠图像区域中，

-计算第一选择区域中第一车载摄像机的至少一个图像参数，

-调整第二车载摄像机的至少一个图像参数，使其在第一选择区域中与第一车载摄像机的至少一个图像参数相匹配。

根据本发明所述的方法尤其致力于，能在可见区域全景环视视图的三维立体虚拟显示中改进图像质量。此外，可通过根据本发明所述的方法消除相邻摄像机之间的亮度差异。

所述方法步骤尤其以给定的顺序实施。

由于相邻车载摄像机至少部分地检测相同区域，因此相邻车载摄像机的摄像机图像或相邻摄像机图像具有重叠的图像区域。换句话说，由于相邻车载摄像机的视场区域至少部分重叠，因此相邻车载摄像机具有重叠区域。

虚拟三维立体空间中周围环境的虚拟表示优选通过计算单元生成。在此，虚拟表示尤其是或包括周围环境的一种三维立体表示。

在一优选设计方案中，虚拟投影面可包括或被设计成拱起/拱曲的虚拟投影面。所述投影面可在某些区域拱起或完全拱起。有益的方式是将虚拟投影面设计成碗状。设计成碗状的虚拟投影面尤其具有基本平坦的底面。基本平坦的底面优选过渡到拱起的侧壁。

在本发明的意义中，选择区域可以是单一像素。然而，它也可以是区域或多个像素。有益的是将范围选得尽可能小。由此，可建立尽可能好的视觉质量。如果在所述区域内或在更小区域内选择多个检测点，则可进一步提高质量。

车载摄像机优选是全景环视系统的摄像机。在此尤其是理想情况下设置在车辆不同面上的四台摄像机。一台车载摄像机优选设置在车辆前面，一台车载摄像机设置在车辆后面，一台车载摄像机设在车辆左侧以及一台车载摄像机设置在车辆右侧。车载摄像机可设计成鱼眼摄像机。有益的是将多台车载摄像机设计成具有相同结构。

在本发明一优选设计方案中，根据虚拟摄像机的视场区域在虚拟投影面上将第二选择区域置放在第二重叠图像区域内。在另一步骤中，在第二选择区域计算其摄像机图像具有第二重叠图像区域的另一车辆摄像机的至少一个图像参数。该另一车载摄像机优选是第三车载摄像机。但该车载摄像机也可以是第二车载摄像机。在下一步骤中，对其摄像机图像同样具有第二重叠图像区域的又一车载摄像机的至少一个图像参数加以调整，使其在第二选择区域中适配所述另一车载摄像机的所述至少一个图像参数。该又一车载摄像机优选是第二车载摄像机。该又一车载摄像机也可以是第三车载摄像机。

选择区域，尤其是第一或第二选择区域，优选独立于其他区域的位置。第一和第二选择区域尤其处于不同的轴和/或不同的高度。选择区域尤其不处于同一坐标轴上。如果观察虚拟三维立体空间，则两个选择区域在虚拟三维立体空间中尤其处于不同的层面或高度。

具有第一和第二重叠图像区域的车载摄像机的图像和/或图像参数以有益的方式借助(局部)插值或借助插值函数在第一和第二选择区域之间进行调整适配。此外，尤其在选择区域中对所测定的图像参数加以考虑。车载摄像机优选是第二车载摄像机。通过插值，尤其可在选择区域之间建立特别平滑的视觉过渡。

在一设计方案中，可使用线性插值，其中，其公式如下：(1-α)*a+α*b。α(alpha)可在0和1之间的范围内，并描述选择区域a和选择区域b之间的距离，其中，可通过三维立体矢量对所述距离加以描述。

在本发明一设计方案中，在插值时对单个或多个选择区域的位置加以了考虑。优选对单个或多个选择区域的三维立体位置加以考虑。作为附加措施或替代选择，可对尤其处于第一和第二选择区域之间的当前渲染点(gerenderten)的X轴、Y轴和Z轴坐标值加以考虑。如果选择区域不设置在相同坐标轴上和/或沿相同坐标轴设置，则优选对多个坐标值加以考虑。尤其是，不仅要考虑X轴坐标值，还要考虑Y轴和/或Z轴坐标值。由此，尤其可实现更灵活和适应性更强的协调值应用。在已知方法中，亮度差之间的插值仅沿一轴使用，例如沿x轴使用；不考虑例如y轴和z轴值等其他数值。

在一优选设计方案中，进行选择区域、尤其是第一选择区域和/或第二选择区域的置放，由此，在第一步骤中，选择区域被置放在重叠图像区域内的标准位置。所述图像区域既可以是第一重叠图像区域，也可以是第二重叠图像区域。在另一随后的步骤中检查，虚拟摄像机是否能在标准位置处看得见选择区域。例如，如果选择区域处于虚拟摄像机的视场区域之外，尤其是在视场之外，则选择区域对于虚拟摄像机来说是看不见的。另一原因可能是，被虚拟投影面包围的虚拟车辆模型被合并/结合到虚拟三维立体空间中。此时，所述车辆模型尤其是基本处于虚拟摄像机位置和选择区域之间。

如果选择区域是虚拟摄像机看得见的，则选择区域优选保持在标准位置。如果选择区域是虚拟摄像机看不见的，则可在重叠图像区域内的虚拟投影面上移动该选择区域。尤其是对所述选择区域一直进行移动，直至虚拟摄像机能看见它。

所述标准位置可存储在存储器中。有益的做法是，在执行根据本发明所述的方法时先将选择区域置放在标准位置上。

如果检查时发现，在重叠图像区域内没有虚拟摄像机看得见的选择区域，则可将选择区域置放在或重新置放回标准位置。由此，标准位置尤其还可用作回避位置或回退位置。

在本发明一优选设计方案中，提供车辆模型的参数，其中，优选将参数合并到虚拟三维立体空间中。所述参数可以有利地至少是车辆的高度和/或长度和/或宽度。但也可想象的是，所述参数是虚拟车辆模型。所述参数优选存储在模型存储器中。

所述虚拟投影面优选围绕虚拟空间中的车辆模型参数。如果虚拟投影面被设计成碗状，并具有基本平坦的碗底，则车辆模型参数或虚拟车辆模型优选设置在底面上。车辆模型参数或虚拟车辆模型尤其优选基本设置在底面上的中心。

图像参数优选是图像亮度、图像对比度、图像颜色、图像清晰度、颜色饱和度和/或纹理频率。

在一有益的设计方案中，第一车载摄像机是前置车载摄像机。第一车载摄像机基本上具有检测车辆前方区域的视场区域。如果第一车载摄像机是前置车载摄像机，则第三摄像机优选是后置车载摄像机。后置车载摄像机基本上具有检测车辆后方区域的视场区域。前置车载摄像机和后置车辆摄像机优选具有相反的方向和/或优选具有相同的光轴。但也可想象的是，第一车载摄像机是后置车载摄像机和/或第三车载摄像机是前置车载摄像机。

在本发明一优选设计方案中，第二车载摄像机是置于侧面的车载摄像机。所述车载摄像机基本上具有检测车辆旁边区域的视场区域。第二车载摄像机尤其优选是置于左侧或右侧的车载摄像机。第二车载摄像机可设置在车外后视镜上。

在本方法一特别有益的设计方案中，对左侧车载摄像机和/或右侧车载摄像机的图像参数、尤其是左侧车载摄像机和/或右侧摄像机图像的亮度进行调整，使其与前置车载摄像机和/或后置车载摄像机的图像参数、尤其是前置车载摄像机和/或后置车载摄像机图像的亮度相匹配。由此，左侧车载摄像机和/或右侧车载摄像机的图像参数尤其在连接点对应于前置车载摄像机和/或后置车载摄像机的图像参数。根据本发明所述，这可通过下列方式实现：即第一车载摄像机是前置车载摄像机，另一车载摄像机是后置车载摄像机，并且第二车载摄像机和又一车载摄像机是同一车载摄像机，并与一侧面的车载摄像机相对应。此外，这可通过下列方式实现：即第一车载摄像机是后置车载摄像机，另一车载摄像机是前置车载摄像机，并且第二车载摄像机和又一车载摄像机为同一车载摄像机，并与一侧面的车载摄像机相对应。

根据第二方面，本发明涉及一种用于生成车辆周围环境的图像的装置，该装置包括：

-用于检测车辆周围环境并生成摄像机图像的多台车载摄像机，其中，相邻车载摄像机的摄像机图像具有重叠的图像区域，其中，车载摄像机尤其设置在车辆的车身上，

-计算单元，它设计用于在虚拟三维立体空间中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间中的虚拟投影面上，以及

-非固定的虚拟摄像机；

其特征在于，计算单元还设计用于，根据虚拟摄像机的视场区域将虚拟投影面上的第一选择区域置放在第一重叠图像区域中，并计算第一选择区域中第一车载摄像机的至少一个图像参数，以及对第一选择区域中第二车载摄像机的至少一个图像参数进行调整，使其与第一车载摄像机的至少一个图像参数相匹配。

所述装置尤其适用于实施根据本发明所述的方法。

所述虚拟摄像机可在虚拟三维立体空间中自由运动或是可自由运动的。虚拟摄像机方向也可自由运动。由此，尤其可对车辆周围环境中通过车载摄像机检测的每个区域进行观测。

在根据本发明所述装置的优选设计方案中，计算装置设计用于，根据虚拟摄像机的视场区域将虚拟投影面上的第二选择区域置放在第二重叠图像区域内，在第二选择区域中对其摄像机图像具有第二重叠图像区域的另一车载摄像机的至少一个图像参数进行计算，以及对其摄像机图像同样具有第二重叠图像区域的又一车载摄像机的至少一个图像参数进行调整，使其在第二选择区域中与所述另一车载摄像机的所述至少一个图像参数相匹配。此外，计算单元还可设计用于，借助插值在第一和第二选择区域之间对具有第一和第二重叠图像区域或第一和第二选择区域的车载摄像机的图像参数进行调整适配。

其他有益的设计方案从附图中得出。其中：

图1：这是在一设计方案中根据本发明所述方法的流程示意图；

图2：这是在一设计方案中根据本发明所述装置的示意图；

图3：这是车辆周围环境的虚拟表示俯视示意图；

图4：这是虚拟摄像机的示意图。

图1展示根据本发明所述、用于在一设计方案中生成车辆周围环境图像的方法的流程示意图。

在第一方法步骤S1中，车辆周围环境通过多台车载摄像机12、14、16、18检测。车载摄像机12、14、16、18尤其设置在车辆的车身上。在步骤S2中，通过多台车载摄像机12、14、16、18生成摄像机图像，其中，相邻车载摄像机12、14、16、18的摄像机图像具有重叠的图像区域40、42、44、46。

然后，在第三步骤S3中，在虚拟三维立体空间60中生成周围环境的虚拟表示。在此，摄像机图像也被投影到虚拟投影面62上。在第四步骤S4中，在虚拟空间60中提供非固定的虚拟摄像机48。此外，还计算虚拟摄像机位置和/或虚拟摄像机方向。

此外，根据优选设计方案，还可提供这类车辆模型的参数或这类车辆模型，其中，优选将所述参数或车辆模型合并到虚拟三维立体空间中。

在第五步骤S5中，根据虚拟摄像机48的视场区域50在第一重叠图像区域40中确定虚拟投影面62上的第一选择区域56。第一选择区域56的确定方法尤其是在第一步骤中，选择区域56'被置放在重叠图像区域内的标准位置。然后在随后的步骤中检查虚拟摄像机48在标准位置上是否看得见选择区域56'。如果虚拟摄像机48看得见所述选择区域，则该选择区域优选保持在标准位置。如果虚拟摄像机48看不见选择区域56'，则在虚拟投影面62上重叠图像区域40内移动所述选择区域。

如果已确定了第一选择区域56，则在第六步骤S6中，在第一选择区域56中确定第一车载摄像机12的至少一个图像参数。然后，在随后的第七步骤S7中，对第二车载摄像机14的至少一个图像参数进行调整，使其在第一选择区域56中与第一车载摄像机12的至少一个图像参数相匹配。

如图1所示，除了确定第一选择区域外，还可确定其他的选择区域。为此，尤其在第八步骤S8中，根据虚拟摄像机48的视场区域50在虚拟投影面62上的第二重叠图像区域42内确定第二选择区域58。可类似于第一选择区域56的确定进行第二选择区域58的确定。如果置放了第二选择区域58，则优选在步骤S9中在第二选择区域58中计算摄像机图像具有第二重叠图像区域42的另一车辆摄像机16的至少一个图像参数。然后，在步骤S10中，优选对摄像机图像同样具有第二重叠图像区域42的另一车载摄像机14的至少一个图像参数进行调整，使其在第二选择区域58中与其他车载摄像机16的至少一个图像参数相匹配。然后，在步骤S11中，可借助插值计算第一选择区域56和第二选择区域58之间既有第一重叠图像区域40又有第二重叠图像区域42的车载摄像机14的图像参数。

图2展示一设计方案中根据本发明所述装置38的示意图。所述装置38具有用于检测车辆周围环境并生成摄像机图像的多台车载摄像机12、14、16、18。相邻车载摄像机12、14、16、18的视场区域20、22、24、26至少部分重叠。因此，相邻车载摄像机12、14、16、18具有重叠区域28、30、32、34。此外，相邻车载摄像机12、14、16、18的摄像机图像由此可具有重叠的图像区域40、42、44、46。

如图2中可见，装置38还可具有非固定的虚拟摄像机48。此外，装置38还包括计算单元36。所述计算单元36设计用于，在虚拟三维立体空间60中生成周围环境的虚拟表示，其中，生成时在虚拟投影面62上，三维虚拟空间空间60中，进行摄像机图像的投影。此外，计算单元36设计用于，根据虚拟摄像机48的视场区域50将虚拟投影面62上的第一选择区域56置放在第一重叠图像区域56中，并计算第一选择区域中第一车载摄像机12的至少一个图像参数，并对第二车载摄像机14的至少一个图像参数进行调整，使其与第一选择区域56中第一车载摄像机12的至少一个图像参数相匹配。有益的方式是，车载摄像机12、14、16、18为全景环视系统的摄像机，其中，总共具有四台摄像机，并且一台车载摄像机12置于车辆前面，一台车载摄像机16置于车辆后方，一台车载摄像机14置于车辆左侧，一台车载摄像机18置于车辆右侧。

图3展示车辆周围环境的虚拟表示的俯视示意图。摄像机图像的图像区域由点划线表示，其中，相邻摄像机图像具有重叠的图像区域40、42、44、46。车辆模型54被合并到虚拟表示中。此外，图3中还展示虚拟摄像机48。虚拟摄像机48设置在车辆模型54的右侧，具有主要从右下方指向左上方的视场区域50，并包括车辆模型54(由虚线表示)，其中，车辆模型54针对虚拟摄像机48隐藏/遮蔽了虚拟表示的区域52。

第一选择区域56'设置在第一车载摄像机和第二车载摄像机的重叠图像区域40中。根据本发明所述，在第一步骤中，选择区域56'优选设置在标准位置，然后检查虚拟摄像机48是否能看见选择区域56'。如果所述虚拟摄像机看不见选择区域，则优选在重叠图像区域40内移动指定选择区域。如图3所示，选择区域56'位于覆盖/隐藏区域52内，并由此使虚拟摄像机48看不见该选择区域。因此，第一选择区域56'被移动，并由此获得例如选择区域56”。

图4展示虚拟摄像机的示意图。车辆模型54被合并到虚拟三维立体空间60中。车辆模型54被虚拟投影面62围绕，其中，虚拟投影面62基本上设计成碗状，并具有基本平坦的底面，车辆模型54优选设置在底面上。

虚拟摄像机设置在车辆模型54后面的右侧，并指向左前方重叠图像区域40的方向。

选择区域56设置在重叠图像区域40中。所述选择区域56设置在投影面62的壁面区域。选择区域56尤其不处于底面上或选择区域56设置在x轴和y轴上方。如果选择区域56处于重叠图像区域40的x轴上，如根据现有技术基本上所做的那样，则在此所述选择区域是虚拟摄像机48看不见的。此外，图4展示设置在第二车载摄像机和第三车载摄像机的重叠图像区域42中的第二选择区域58。选择区域58设置在虚拟投影面62的底面上，由此它尤其具有为0的z轴坐标值。因此，选择区域56和58不设置在同一坐标轴上，并在所有3个坐标轴上优选具有不同的值。在选择区域56和58中，计算具有相应重叠图像区域的车载摄像机的至少一个图像参数，然后使也具有相应重叠图像区域的车载摄像机的至少一个图像参数与之适配。优选对一侧面车载摄像机的至少一个图像参数进行调整，使其与前置车载摄像机和/或后置车载摄像机的至少一个图像参数相匹配。参考图4，这意味着在选择区域56中计算前置车载摄像机20的图像参数，然后调整适配左侧车载摄像机22的图像参数。在选择区域58中，计算后置车载摄像机24的图像参数，然后调整适配左侧车载摄像机22的图像参数。在包括两个选择区域56和58的车载摄像机中，选择区域56和58之间图像参数的适配优选借助插值进行。这在图4中通过将选择区域56和58彼此连接的线或曲线展示。与现有技术已知的不同，该线不仅仅沿单一轴线走向。插值时，尤其考虑的是选择区域56和58的位置以及当前渲染点的X轴、Y轴和/或Z轴的坐标值。

上面已根据实施例对本发明进行了描述。要指出的是，在不脱离权利要求所限定的保护范围的情况下，可进行多项更改和修改。也可实施不同实施例的组合。

参考标记列表

12 第一车载摄像机

14 第二车载摄像机

16 第三车载摄像机

18 第四车载摄像机

20 第一车载摄像机的视场区域

22 第二车载摄像机的视场区域

24 第三车载摄像机的视场区域

26 第四车载摄像机的视场区域

28 第一/第二车载摄像机的重叠区域

30 第二/第三车载摄像机的重叠区域

32 第三/第四车载摄像机的重叠区域

34 第四/第一车载摄像机的重叠区域

36 计算单元

38 装置

40 第一/第二车载摄像机的重叠图像区域

42 第二/第三车载摄像机的重叠图像区域

44 第三/第四车载摄像机的重叠图像区域

46 第四/第一车载摄像机的重叠图像区域

48 虚拟摄像机

50 虚拟摄像机的视场区域

52 针对虚拟摄像机的被覆盖区域

54 车辆模型

56(')/(”) 第一选择区域

58 第二选择区域

60 虚拟三维立体空间

62 虚拟投影面

S1-S11 方法步骤。