基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆

摘要

本发明涉及一种用于基于传感器和存储器表示车辆(100)的周围环境的方法，其中，所述车辆(100)具有至少一个用于感测周围环境的成像传感器、尤其是摄像机(101，102)，所述方法包括以下方法步骤：感测(301)图像、尤其是摄像机成像的序列；与所述车辆(100)的距离传感器(103，104)有关地来确定(303)距离数据，其中，所述距离数据包括车辆与车辆周围环境中的对象之间的距离；与所述距离数据有关地产生(304)周围环境模型(701)的三维结构；与所感测的图像有关地、尤其是通过神经元网络来识别(307)在所述车辆(100)的周围环境中的至少一个对象(108a、108b、401、402、403、404、405)；与所识别的对象(108a,108b,401,402,403,404,405)有关地来加载(308)合成对象模型(702，703)；与所述合成对象模型(702，703)有关地并且与所述距离数据有关地来适配(310)周围环境模型(701)的所产生的三维结构；并且显示(314)经适配的周围环境模型(701)。

说明书

技术领域

本发明涉及一种用于基于传感器和存储器表示车辆周围环境的方法、一种用于实施该方法的显示装置以及一种具有该显示装置的车辆。

背景技术

文本EP 1 462 762 Al公开了一种用于车辆的环境感测装置。该环境感测装置产生虚拟的三维周围环境模型并且显示该模型。

文本DE 10 2008 034 594 Al涉及一种用于告知车辆乘员的方法，其中，生成对车辆周围环境的表示。

文件US 7,161,616 Bl公开了一种从虚拟观察者视角显示合成图像的方法。

车辆的摄像机不能感测位于车辆周围环境中的对象后方的周围环境区域。例如，不能向驾驶员示出借助摄像机从前方所感测的其它车辆的后视图。因此，仅与所感测的摄像机成像有关地求取的、大多数以从斜上方的视角来表示的周围环境模型典型地不完整地向驾驶员显示周围环境。此外，在对象高且靠近的情况下，通过已知方法会导致在周围环境的所显示的表示中出现非正常失真。

发明内容

本发明的任务是，改善向驾驶员的车辆周围环境表示。

上述任务通过独立权利要求1、9和10的特征来解决。

本发明涉及一种用于基于传感器和存储器来表示车辆的周围环境的方法，其中，车辆包括至少一个用于感测周围环境的成像传感器。成像传感器优选具有摄像机。该方法具有借助成像传感器来感测图像序列。接下来，与所感测的图像有关地来确定距离数据，尤其是二维深度图和/或三维点云。替代地或附加地，可以与周围环境中的对象与车辆之间的、借助车辆的至少一个距离传感器所感测的距离有关地来确定距离数据、尤其是二维深度图和/或三维点云。可选的距离传感器具有超声波传感器、雷达传感器和/或激光雷达传感器。距离数据代表车辆与车辆周围环境中的对象之间的、所感测和/或所求取的距离。借助有源距离传感器，例如借助激光雷达传感器和/或借助雷达传感器和/或借助超声波传感器来确定与车辆的距离或确定距离数据与基于摄像机的距离确定相比具有以下主要优点：即使在光线条件差和/或天气条件差的情况下也可靠地感测距离。可以设置，与光线条件和/或天气条件和/或车辆速度有关地来选择传感器类型摄像机和/或超声波传感器和/或激光雷达传感器和/或雷达传感器，以确定距离数据。接下来，在另一方法步骤中，与所确定的距离数据，尤其是深度图和/或特定的点云有关地产生周围环境模型的三维结构。尤其，周围环境模型的结构具有三维网格。此外，与所感测的图像有关地来识别车辆的周围环境中的至少一个对象。优选，通过第一神经元网络和/或通过另一类型的人工智能或另一分类方法，例如通过支持向量机(Support Vector Machine)或提升树(boosted tree)来识别对象。例如，将车辆、行人、基础设施对象例如交通灯，和/或建筑物识别为对象。可选地，通过第一神经元网络来附加地求取或识别所识别对象的对象分类和/或所识别对象的对象类型。例如可以设置，将小型车的车辆分类作为对象分类来识别，和/或将小型车的制造商模型作为对象类型来识别。然后，与所识别的对象有关地从电存储器加载合成对象模型，其中，该存储器例如布置在车辆的控制器内。可选地，附加地与所识别的对象模型分类和/或所识别的对象类型有关地加载对象模型。合成对象模型可以是代表所识别对象的特定对象模型，或者可以是通用对象模型。通用对象模型是可参数化的，或能与所识别对象和/或所识别的对象分类和/或所识别的对象类型有关地和/或与距离数据有关地来改变。然后，与所加载的合成对象模型和距离数据有关地来适配周围环境模型的所产生的三维结构，其中，合成对象模型补偿或扩展了所产生的周围环境模型的结构区域。换句话说，通过所加载的对象模型与所感测的和/或所求取的距离有关地来扩展所产生的周围环境模型。该关于合成对象模型进行了适配的周围环境模型被显示给驾驶员，其中，所述显示优选在车辆的显示器和/或移动电子器具的显示器上进行。有利地，通过所述方法可以减少周围环境模型的视图中的非正常失真，使得所显示的周围环境模型显得更真实且无错误。此外，通过在使用来自存储器的对象模型的情况下通过适配周围环境模型在该周围环境模型中真实地示出对于一个摄像机来说不能看到的区域、例如其它车辆的没有被摄像机感测到的视图。此外，通过该方法，驾驶员可以更好且更快地估测驾驶状况、相对于对象或停车位的距离，由此，附加地提高驾驶员的驾驶舒适度。

在一个优选的构型中，与所感测图像有关地求取所识别对象的对象定向，尤其，通过第二神经元网络和/或通过另一种人工智能或另一分类方法来识别对象定向。在该构型中，附加地与所求取的对象定向有关地适配周围环境模型的所产生的三维结构。由此，有利地，更快且更可靠地适配所产生的周围环境模型。

在一个特别优选的实施方式中，与所感测的图像有关地来识别车辆周围环境中的区块(Segment)或对象实例。识别区块或对象实例优选借助第三神经元网络和/或通过另一种人工智能或另一分类方法进行。接下来，将距离数据中的距离或深度信息配属给所识别的区块或所识别的对象实例。在该实施方式中，附加地与所识别的区块或对象实例有关地，尤其是与配属给所述距离的区块或对象实例有关地适配周围环境模型的所产生的三维结构。由此，与所加载的合成对象模型有关地、以有利的方式更精确且更快速地适配周围环境模型的所产生的三维结构。

在另一扩展实施方式中，与所感测图像有关地来求取周围环境模型的经适配的三维结构的纹理，其中，所感测的图像优选为摄像机成像。接下来，显示经适配的周围环境模型连同所求取的纹理。例如，在该周围环境模型中求取车辆的颜色。可以设置，所求取的纹理具有所感测的摄像机成像或在视角方面经改变的摄像机成像。通过这种扩展实施方式，周围环境模型以真实的成像和/或着色显示，由此，使驾驶员能够容易地进行取向。可选地，尤其与所识别对象或所识别的对象分类或所识别的对象类型有关地从存储器中加载或求取周围环境模型的通过所加载的对象模型适配过的结构区域的纹理求取结果。例如，当已识别到相应的对象类型时，从电存储器加载车辆的制造商模型的纹理。通过这种构型，周围环境模型对于驾驶员来说显得真实。此外，避免了纹理中的非正常失真。

在一个优选的扩展实施方式中，显示在车辆周围的预给定区域内的经适配的周围环境模型。换句话说，仅在这样的区域内表示周围环境模型：所述区域通过在车辆周围的预给定距离来限界。车辆周围的预给定距离优选小于或等于200米、特别优选50米，尤其是小于或等于10米。例如，预给定区域由预给定区域的基面来限定，该基面代表预给定距离或预给定区域。基面的中心点尤其代表车辆的中心点。基面可以具有任意形状，优选，基面具有方形、椭圆形或圆形的形状。因此，有利地减少用于产生周围环境模型的计算耗费以及用于适配周围环境模型的计算耗费。此外，有利地，通过这种扩展实施方式，实现了所显示的周围环境模型的纹理方面的低非正常失真率。

可以设置，与车辆速度和/或车辆的转向角度和/或距离数据有关地或与所感测的与对象的距离有关地来适配预给定区域的大小和/或预给定区域的形状和/或所显示的周围环境模型的观察者视角。

在本发明的另一构型中，显示在经适配的周围环境模型以外的至少部分地与预给定区域的基面垂直布置的至少一个投影面。将实时感测的图像的至少一个部分区域、尤其是将所感测的摄像机成像的至少一个部分区域投影到该投影面上。在所显示的投影面上表示的图像代表远处周围环境的视图，也就是这样的周围环境区域的视图：所述周围环境位于所显示的周围环境模型以外并且离所述车辆比限界预给定区域的预给定距离远。

在另一构型中，与车辆速度和/或车辆的转向角度和/或距离数据有关地或与所感测的与对象的距离有关地显示投影面。由此，有利地，在泊车过程中在投影面上不显示远景，因此，使这种驾驶状况中的计算耗费最小化。替代地或附加地，可以与车辆速度和/或车辆的转向角度和/或距离数据有关地来适配投影面的大小和/或形状。由此，有利地，例如在以较高速度行驶时，可以向驾驶员显示沿行驶方向位于前方的周围环境区域的狭窄局部，由此，使具有提高的速度的驾驶状况中的计算耗费最小化并且使驾驶员的注意力集中到在该驾驶状况中重要的区域上。

本发明还涉及一种具有显示器的显示装置，该显示装置设置为用于实施根据本发明的方法。显示装置优选具有成像传感器、尤其是摄像机和控制器。该控制器设置为用于实施根据本发明的方法，也就是用于感测图像、产生和适配所显示的周围环境模型，以及用于操控用于显示经适配的周围环境模型的显示器。

本发明还涉及一种具有显示装置的车辆。

附图说明

由下面参照附图对实施例的说明得出另外的优点。

图1：车辆

图2：控制器

图3：根据本发明的方法的流程图

图4：具有所识别对象的图像

图5：与图4的图像有关的所识别的对象定向

图6：与图4的图像有关的所识别的区块

图7：所显示的周围环境模型的示例

图8：用于示出周围环境模型的预给定区域的基面以及投影面。

具体实施方式

图1中以俯视图示出车辆100。车辆100具有朝前方对准的摄像机101作为成像传感器。此外，在车辆100上，在车辆的前部、后部和每个侧面布置广角摄像机102作为成像传感器，这些广角摄像机感测车辆的周围环境190。此外，车辆100具有距离传感器103和104，其中，所述距离传感器在该实施例中具有也可以是成像传感器的激光雷达传感器103，和也可以是成像传感器的多个超声波传感器104。替代地或附加地，在车辆上可以布置雷达传感器，该雷达传感器也可以是成像传感器。激光雷达传感器103和超声波传感器104设置为用于感测车辆100和车辆100的周围环境中的对象108a和108b之间的距离。车辆100还具有控制器105，该控制器感测借助摄像机所感测的图像和借助激光雷达传感器103和/或超声波传感器104所感测的距离。控制器105还设置为用于，操控车辆100中的显示器106，用于向驾驶员显示周围环境的视觉表示，尤其是用于显示借助控制器所产生且经适配的周围环境模型，以及必要时显示周围环境模型以外的投影面。控制器105从车辆100的电存储器107和/或从控制器105的电存储器加载数据，用于计算周围环境模型、尤其是合成的和/或通用的对象模型。

图2中以方框图示出控制器105。控制器105借助摄像机101和/或可选地借助多个广角摄像机102和/或借助激光雷达传感器103来感测至少一个图像序列。此外，控制器105可以可选地借助激光雷达传感器103和/或超声波传感器104来感测距离。控制器105设置为用于从外部存储器107和/或从控制器的内部存储器202加载数据。控制器105的计算单元201与所感测的图像和/或所感测的距离和/或来自存储器107和/或202的数据来计算周围环境模型，这些所感测的距离尤其在特定深度图和/或特定点云中被概括为距离数据。此外，控制器105设置为用于，操控显示器106以显示车辆100的周围环境的表示，尤其，计算出的表示是经适配的周围环境模型，其中，所述显示可以被补充更多信息，例如行驶动态参数例如车辆速度，和/或投影面。

图3中以方框图示例性地示出根据本发明的方法的流程图。该方法以借助成像传感器、尤其是摄像机101和/或102感测301图像序列开始。可选地，在步骤302中，借助至少一个距离传感器103和/或104来感测车辆100和车辆100的周围环境中的对象之间的距离。接下来，在步骤303中，与所感测的图像有关地和/或与所感测的距离有关地求取距离数据、尤其是二维深度图和/或三维点云。距离数据、尤其是深度图和/或点云包括车辆100与车辆100的周围环境中的对象108a、108b之间的、所感测或所求取的距离。例如，与所感测的图像序列有关地、尤其是与分析评价所感测的摄像机成像之间的光流有关地求取距离数据。所述距离数据的每个距离或深度图和/或点云的每个点例如代表车辆100与车辆100的周围环境中的对象108a、108b之间的、所求取的距离。在步骤303中，可以替代地或附加地设置，与借助立体摄像机所感测的图像有关地来求取距离数据。替代地，在步骤303中，与相对彼此独立的传感器系统101，102，103和/或104有关地来确定距离数据或深度图和/或点云。附加地可以设置，与传感器系统101、102、103和/或104的数据的时间变化有关地来求取距离数据或深度图和/或点云。对于求取距离数据，超声波传感器104相对于摄像机101，102例如具有以下特定优点：所感测的距离与光线条件差和/或天气条件差相对无关。在步骤304中，与距离数据、尤其是深度图和/或点云有关地产生周围环境模型的三维结构，尤其，三维结构具有三维网格，其中，三维网格优选简化了距离数据或代表距离数据。在可选的步骤305中，与所感测的图像的序列有关地，给在一个图像中所感测的周围环境区域分区块。例如，识别到区块或对象实例“道路"、区块“对象”、区块“建筑物”和/或区块“基础设施对象”。在可选的步骤306中，将所识别的区块或对象实例配属给距离数据中的所述距离或深度信息。在步骤307中，与所感测的图像有关地识别车辆周围环境中的至少一个对象。这种识别利用至少一个为此训练的第一神经元网络来实施。在接下来的步骤308中，与所识别的对象有关地从存储器107和/或202加载合成对象模型。在可选的步骤309中，与所感测的图像有关地、优选通过第二神经元网络来求取所识别对象的对象定向。所述对象定向可以代表定向对象的第一近似，例如，从包括类别“对象定向朝前方”、“对象定向朝后方”、“对象定向朝右”和/或“对象定向朝左”的集合中求取所识别对象相对于车辆的相对定向的类别。此后，在另一方法步骤310中，与合成对象模型和距离数据有关地适配周围环境模型的所产生的三维结构，其中，合成对象模型补偿或适配所产生的周围环境模型的结构区域。优选，适配310周围环境模型的所产生的三维结构可以附加地与所求取的对象定向有关地进行。在可选的步骤311中，接下来，与所感测的图像有关地来求取周围环境模型的经适配的三维结构的纹理。如果在可选的步骤312中，从存储器加载经适配的结构区域，则不实施对周围环境模型的该经适配的结构区域的纹理的求取311。在另一可选的步骤313中，与车辆速度、车辆的转向角度、车辆和对象之间的所感测距离和/或实时光线条件和/或实时天气条件有关地和/或与所选择的用于产生距离数据的传感器类型有关地来适配预给定区域的形状、预给定区域的大小和/或经适配的周围环境模型的显示视角，其中，预给定区域例如由基面代表。接下来，显示314经适配的周围环境模型，其中，可选地显示在经适配的周围环境模型上所求取的和/或所加载的纹理。在车辆100周围的预给定区域内或预给定区域的基面内显示314经适配的周围环境模型。在进一步的步骤315中可以设置，在经适配的周围环境模型以外显示至少部分与预给定区域的基面垂直布置的投影面，其中，将所感测图像的、尤其是摄像机成像的至少一个部分区域投影到该投影面上。投影面的大小和/或形状可以可选地与车辆速度、转向角度和/或距离数据有关地来适配。

在图4中，示出车辆的朝前方定向的前置摄像机101所感测的、具有通过步骤307所识别的对象401、402、403、404和405的摄像机成像，作为图像。通过至少一个为此训练的第一神经元网络来识别对象401、402、403、404和405。针对所识别的对象可以分别识别对象分类或配属对象分类，例如车辆401、402和403、建筑物405或树木404。

在图5中，示出根据在图4中所示出的摄像机成像所识别的对象401、402和403的通过步骤309所识别的对象定向501和502，以虚线示出类别501“对象定向朝前方”并且以点示出类别502“对象定向朝后方”，其中，对象定向501和502已由至少一个为此训练的第二神经元网络识别出。

在图6中示出通过步骤305根据图4中所示出的摄像机成像或摄像机成像序列所识别的区块或对象实例601、602、603、605和606，其中，区块601、602、603、605和606已由至少一个为此训练的第三神经元网络识别出。例如，区块601代表对于车辆来说可驶过的区域。区块602代表对象区域并且区块603代表不可驶过的区域。绿地区域由区块605代表并且天空区域由区块606代表。第一神经元网络和/或第二神经元网络和/或第三神经元网络可以由更通用的神经元网络或识别方法或分类方法或人工智能来补偿，该更通用的神经元网络或识别方法或分类方法不但识别对象、对象定向而且识别区块。

图7中示出所显示的周围环境模型701。在步骤307中，车辆被识别为对象，由此，周围环境模型分别通过对象模型702和703进行了适配。换句话说，与所识别的对象、所识别的对象定向和所识别的区块有关地将对象模型702和703置入到周围环境模型701中，或周围环境模型通过对象模型702和703来适配。因此，周围环境模型701具有通过两个对象模型702和703适配过的结构。在图7中，经适配的周围环境模型701仅在围绕车辆705的中心点的预给定方形区域704内显示，其中，车辆100也已被作为附加的对象模型置入到周围环境模型701中。在所显示的周围环境模型701的边缘和外部可以布置附加的投影面802。所感测图像的、尤其是所感测的摄像机成像的一个部分区域可以显示到这些投影面802上。图像的在投影面802上显示的部分区域代表对于驾驶员来说的远景。

在图8中示出一种车辆100，所述车辆带有布置在该车辆周围的预给定区域，该预给定区域由预给定区域的基面801代表，并且示出投影面802。在该实施例中，预给定区域的基面801立体地示出并且为方形。替代地，基面的形状也可以实施为椭圆形或圆形。替代地，也可以用从上方垂直的视角或从侧面倾斜的视角来显示。例如，预给定区域的基面801的形状和/或预给定区域的基面801的长度a和/或宽度b与车辆速度和/或天气条件和/或视野条件、例如亮度或白天时间有关地来适配。图8中通过箭头803来象征对预给定区域的基面801的长度a和/或宽度b的适配。在该实施例中，投影面802为弯曲的并且与预给定区域的基面801竖直或垂直。替代地，投影面802可以作为不弯曲的平面布置在预给定区域的基面801的至少一侧上，例如，可以在基面801的每一侧布置投影面802。此外，在另一实施例中，投影面802可以以围绕基面801或围绕预给定区域360°且闭合的方式布置或布置为柱形表面。投影面802的长度c和/或高度d例如与车辆速度有关地进行适配。图8中通过箭头804来象征投影面802的长度c和/或高度d的适配。基面801优选作为周围环境模型的一部分一起显示，其中，基面尤其与所感测的图像和/或距离数据，尤其是深度图和/或点云有关地来求取，使得基面801例如成像出道路的不平度。