用于确定车辆环境的语义网格的电子设备、系统和方法

摘要

本发明涉及一种用于确定车辆的环境的语义网格的电子设备(1)。该电子设备被配置为：接收光学传感器的第一图像数据，该第一图像数据包括环境的2D图像；执行2D图像的语义分割并将所得的语义图像投影到至少一个预定的语义平面中；接收表示环境的异体中心鸟瞰图的占用网格，其中，控制设备进一步包括：神经网络，其被配置为通过将占用网格与至少一个预定的语义平面融合来确定语义网格。本发明进一步涉及系统和方法。

说明书

技术领域

本公开涉及用于确定车辆的环境的语义网格(特别是基于单目相机的2D图像数据的)的电子设备、系统和方法。

背景技术

现代车辆包括用于实现碰撞警告或避让以及其它主动安全应用的对象检测算法。特别地，自主车辆需要准确地感知和理解其周围环境，以便安全且成功地导航。传感器的有限能力、阻塞、环境的复杂性和不确定性使其成为挑战性任务。

已经提出使用几种类型的传感器以及混合主动和被动传感器。引入具有主动传感器(激光雷达、雷达...)和被动传感器(相机、惯性传感器)的架构可以改进对场景的感知。

例如，诸如相机的被动传感器便宜并且提供密集且丰富的外观信息。然而，它们提供的图像信息对环境变化非常敏感，并且当前的计算机视觉算法在处理该图像信息时遭受性能下降。

另一方面，诸如激光的主动传感器提供稀疏的深度和航向测量。由激光生成的点云或由相机记录的图像已被广泛用于检测城市环境中的通用对象。

深度学习可以说是智能车辆中自主系统和辅助系统的主要方法。如该领域的大多数主要工业企业采用的，深度网络的高容量允许他们能够从低级传感器数据(单目相机的RGB图像、立体相机的3D图像、LIDAR等)创建高级语义预测。不利的是，仅凭深度模型以原则性方式处理不确定性仍然是艰巨的任务。另一方面，贝叶斯技术由于悠久的传感器融合应用历史而具有管理不确定性的内置的能力。

理解周围环境的一种广泛使用的方法是构造占用网格。占用网格是环境的空间2D图，其也可以对包含移动对象的区域进行建模，请参见例如：

在2015年ITSC.IEEE第2485-2490页中L.Rummelhard，A.Negre和C.Laugier的“有条件的蒙特卡洛密集占用跟踪器(Conditional monte carlo dense occupancytracker)”。

这些网格的单元包含单元状态的概率。占用图的优点之一是它们很密集，并提供有关空闲空间的信息，这对车辆和移动机器人很重要。另一个优点是它们不取决于传感器的类型。由于该模型具有生成性，因此可以通过调整观察模型来轻松地集成不同类型的传感器。与判别方法相比，无需重新训练。

然而，尽管这些模型提供了具有可能障碍物的准确场景图，但它们不提供对于决策很重要的各单元的语义。

此外，在RGB图像的语义分割领域中进行了各种研究。

例如，提出了通过使用从根据立体视觉构造的证据网格上应用的构建的语义上下文图像获取的元知识来改进复杂城市环境中智能车辆的感知能力，参见：

2015年IEEE第18届智能交通系统国际会议上Bernades等人的“在证据网格中使用语义上下文实现动态城市环境感知的立体视觉(Stereo Vision for Dynamic UrbanEnvironment Perception Using Semantic Context in Evidential Grid)”。

此外，WO2017214595(A1)公开了一种用于执行室内空间的三维语义解析的系统和方法。

从JP2016115334(A)中已知一种用于基于自适应时空射线的方法以计算方式执行语义交通空间的场景分析的方法和系统。

CN 107066507(A)涉及基于云机器人混合云架构的语义图构建方法。

发明内容

当前，仍然期望提供用于确定车辆的环境的语义网格(其表示包含语义信息的占用网格)的电子设备、系统和方法。

因此，根据本公开的实施例，提供了用于确定车辆的环境的语义网格(即，语义网格表示环境)的电子设备。

电子设备被配置为：

-接收光学传感器的第一图像数据，该第一图像数据包括环境的2D图像，

-执行2D图像的语义分割，并将所得的语义图像投影到至少一个预定的语义平面中，

-接收表示环境的异体中心(allocentric)鸟瞰图的占用网格，其中，

控制设备进一步包括：

-神经网络，其被配置为通过将占用网格与至少一个预定的语义平面融合来确定语义网格。

通过提供该电子设备，可以获得确定(或估计)包含详细语义信息的占用网格(即，根据本公开的语义网格)的电子设备。语义特征可以包括如例如道路、汽车、行人、人行道、建筑物、汽车、植被等的类别。为此，可以利用和融合来自多个传感器(激光雷达、雷达、里程表和单目RGB相机)的信息。理想地，可以利用以下混合方法：i)高容量的深度神经网络，以及ii)贝叶斯滤波，其能够以独特的方式对不确定性进行建模。

可以基于投影几何来确定分割图像和语义平面之间的关系。

在语义平面的几何特性(即，其在空间中的位置和/或取向)是预先确定的意义上，语义平面期望地被预先确定。语义平面的“内容”期望地是投影的分割的2D图像(即，使预定平面成为“语义”平面)。

可以通过变换语义图像的坐标系以使得其与占用网格的坐标系匹配，来将语义图像投影到语义平面。

因此，投影的语义图像和占用网格可以具有兼容的空间坐标。

例如，至少一个预定的语义平面可以平行于异体中心鸟瞰图和/或以距地平面的预定距离平行于地平面。

至少一个预定的语义平面可以与异体中心鸟瞰图中的占用网格重叠。

因此，投影的语义图像和占用网格可以覆盖环境的相同区域。

所得的语义图像可以被投影到多个预定的平行的语义平面中，每个预定的平行语义平面具有距地平面不同的预定距离。例如，多个平行语义平面可以形成分层的3D图。

可以通过向每个图像像素分配语义标签来分割2D图像。这样，可以在图像中生成段，其中每个段中的像素具有相同的标签。

至少一个语义平面可以包括多个(语义)平面单元，每个平面单元包括语义标签。换句话说，由于2D图像可包括多个单元，所以语义平面(即投影的分割的2D图像)也可包括(语义)单元。

语义平面的每一个可以包括多个(语义)平面单元，其中语义图像的每个像素可被分配给语义平面中的至少一个语义平面中的平面单元。

占用网格可以包括多个占用网格单元，每个占用网格单元指示占用状态，例如空闲单元、静态占用的单元、动态占用的单元和未知单元。

因此，所接收的占用网格可以是非语义的占用网格。可以基于由贝叶斯粒子滤波器处理的环境的3D点云来估计所接收的占用网格。

3D点云可由主动传感器(例如，激光雷达)生成，其包括分布在环境上的多个扫描区域。

神经网络可以进一步被配置为：通过估计语义平面中与占用网格单元匹配的平面单元中的至少一个，将占用网格与多个预定语义平面融合。

神经网络可以进一步被配置为：

通过基于重叠的占用网格单元的网格状态选择语义平面的平面单元，将占用网格与预定的语义平面融合，以及

向重叠的占用网格单元分配所选择的平面单元的语义标签。

如上所述，投影的语义图像(即，语义平面)和占用网格的空间坐标可以具有兼容的空间坐标。目的是训练学习的映射，该映射将两个表示集成到分段的占用网格(即，语义平面)中。基本假设是，高度h

控制设备可以进一步包括：

进一步的神经网络，其被配置为执行2D图像的语义分割。

神经网络可以是卷积-反卷积几何融合网络。

语义网格可以包括多个单元。例如，每个单元可被分配有语义信息，语义信息例如包括语义类别和每个类别的概率。

本公开进一步涉及用于确定车辆的环境的语义网格的系统(特别是用于车辆或可移动机器人系统)，包括：

-如上描述的电子设备，

-光学传感器(例如，被动光学传感器)，其被配置为生成包括环境的2D图像的第一图像数据，以及，

-主动传感器(期望是扫描传感器，例如，LIDAR)，其被配置为生成第二数据，该第二数据包括表示分布在环境上(特别是在车辆外部)的多个扫描区域的环境的3D点云。

本公开进一步涉及包括如上描述的系统的车辆。然而，本公开还可涉及包括如上描述的系统的任何机器人系统。

光学传感器可以是单目相机或一组单目相机。在后一种情况下，一组单目相机可以例如共同产生环境的全景图像。

该系统可以进一步包括里程计设备，里程计设备被配置为测量车辆的运动和/或生成车辆的里程计数据。

最后，本公开还涉及确定车辆的环境的语义网格的方法。该方法包括以下步骤：

-接收光学传感器的第一图像数据，第一图像数据包括环境的2D图像，

-执行2D图像的语义分割，并将所得的语义图像投影到至少一个预定的语义平面中，

-接收表示环境的异体中心鸟瞰图的占用网格，其中，

-神经网络通过将占用网格与至少一个预定语义平面融合来确定语义网格。

方法可以包括与如上描述的电子设备的功能相对应的其它方法步骤。

所描述的方法可适用于任何种类的机器人系统，而不仅适用于车辆。

除相反描述外，旨在将上述元件和说明书内的元件进行组合。

可以理解，前面的一般描述和下面的详细描述二者都仅是示例性和说明性的，并且不限制本发明。

结合在本说明书中并构成本说明书的一部分的附图示出了本公开的实施例，并且与说明书一起用于解释其原理。

附图说明

图1示出根据本公开的实施例的具有电子设备的系统的框图；

图2示出根据本公开的实施例的由系统图感测到的鸟瞰的示意图；

图3示出根据本公开的实施例的用于确定语义网格的方法的步骤的示意性流程图；以及

图4示意性地示出根据本公开的实施例的投影图与鸟瞰图的对准(仅示出了三个平面)。

具体实施方式

现在将详细参考本公开的示例性实施例，在附图中示出示例性实施例的示例。在所有附图中，将尽可能使用相同的附图标记表示相同或相似的部件。

图1示出根据本公开的实施例的具有电子设备1的系统10的框图。该系统可以具有各种功能，例如可以是机器人系统。例如，系统10可以是可移动的，例如具有可驱动的轮子，并且系统10可以具有用于取得对象的装置，例如至少一个抓爪。系统10可以进一步集成在车辆100中或构成车辆100。

电子设备1执行用于确定系统的环境的语义网格的计算机视觉算法。期望地，该步骤包括检测所感测的场景中对象的存在和位置，并确定该对象的语义类别，即，对象是否是道路、汽车、行人、人行道、建筑物、汽车、植被等。此外，当检测到例如车辆和其它对象时，应用软件可以使用对象检测信息来提供警告或采取适当的措施。

电子设备1可以另外在系统10和/或车辆100中执行其它功能。例如，电子设备还可以用作系统的通用ECU(电子控制单元)。电子设备1可以包括电子电路、处理器(共享、专用或分组)、组合逻辑电路、执行一个或多个软件程序的存储器、和/或提供所描述功能的其它合适组件。换句话说，设备1可以是计算机设备。设备1可以连接到存储器2，存储器2可以存储数据，例如计算机程序，该计算机程序在被执行时执行根据本公开的方法。

电子设备1进一步连接到(被动)光学传感器3，特别是数码相机。数码相机3被配置为使得其可以记录车辆100前方的场景，并且特别地输出提供该场景的外观(颜色，例如RGB)信息的数字数据。相机3期望地是单目相机，其被配置为生成包括环境的2D图像的第一图像数据。还可以提供生成全景2D图像的一组单目相机。

电子设备1进一步连接到主动传感器4，特别是LiDAR传感器、激光传感器、超声传感器或雷达传感器。主动传感器可以是雷达或主动光学传感器，特别是激光传感器和/或LiDAR传感器。主动传感器可以被配置为生成第二数据，第二数据包括表示分布在环境上的多个扫描区域的环境的3D点云。

(被动)传感器3和主动传感器4的输出被发送到电子设备1。期望地，输出被瞬时地(即实时地或准实时地)发送。因此，电子设备也可以实时或准实时地识别被感测的对象。

系统10可以另外连接到外部服务器20，以便一起形成系统30。服务器20可以用于提供并最终更新电子设备1所执行的算法。设备1可连接到服务器。例如，电子设备1可以经由无线连接而连接到服务器20。可替代地或另外地，电子设备1可以经由固定连接(例如，经由线缆)连接到服务器20。

图2示出根据本公开的实施例的通过系统图感测的鸟瞰的示意场景。

车辆100采用具有视野13的数码相机3和具有视野14的LiDAR传感器4扫描其前面的场景。

相机传感器可以检测诸如行人、汽车(作为目标车辆101)、交通信号灯、交通标志等对象。数码相机可以提供相对密集的数据(像素空间)、对象的颜色和外观。需要该信息来理解车辆周围的场景，即生成语义信息。然而，该传感器不提供可靠的深度信息，而仅仅是2D传感器。

LiDAR传感器可以检测对象并且提供对这些对象的距离测量。LiDAR传感器是期望的，因为它们能够提供深度信息，即表示占用网格的环境的3D点云。该占用网格对于指示环境的哪些(3D)区域被对象占用是特别有用的。然而，LiDAR传感器生成的数据对于获得环境中对象的语义信息的作用较小。可以为传感器的整个视野中的每1/2°提供单独的扫描点24。例如，可以检测到在主车辆100的前方的对象101。因此，返回多个扫描点24，该扫描点识别出对象101距主车辆100的距离。然而该检测缺少任何语义信息，即，在该示例中，所检测的对象101是车辆。

图3示出根据本公开的实施例的用于确定语义网格的方法的步骤的示意性流程图。

简言之，该方法将来自LIDAR的3D点云输入l(步骤S6)与来自RGB相机(步骤S1)的2D图像输入x融合，以便从以系统为中心的鸟瞰图中获得语义网格y(步骤S11)。

更详细地，LIDAR输入l(步骤S6)在几何和时间上与贝叶斯粒子滤波器(步骤S8)集成以产生占用网格o(步骤S9)。该网格具有以下优点：保持环境的360度视图，并通过时间积分对完整的LIDAR观测历史进行编码。然而，网格的语义信息很低，因为每个单元的状态(例如，为空；被占用；处于运动状态)编码可能的值，但不包含有关被占用单元的语义类别的细粒度信息。该信息可从将RGB图像x作为输入的深度网络的输出s(步骤S3)获得。然而，这两种表示具有不同类型(3D投影几何与鸟瞰图)，并且需要被融合。

在以下子部分中，将描述该方法的不同部分：i)RGB输入图像的语义分割(步骤S1至S5)，ii)根据LIDAR输入的占用网格估计(步骤S6至S9)；以及iii)学习这两种表示与深度神经网络的融合(步骤S10、S11)。要注意的是，图3中所示的步骤可以表示操作步骤(例如，RGB图像的分割)或提供数据的步骤(例如，RGB图像)。

A.单目RGB输入的语义分割

深度神经网络(步骤2)采用单目RGB输入x(步骤S1)并预测分割s的估计(步骤S3)。高容量神经网络在足够大的数据库上进行训练的情况下能够从低级别输入数据中估计高级别语义信息。期望遵循以下标准实践：首先对模型进行预训练，以对大规模预定义数据集进行分类，然后对目标数据集进行微调以进行分割。

使用深度网络进行图像分割的主要挑战是保持分辨率，即，以提供与输入相同的空间分辨率的分割。困难在于如下事实：内部地，卷积神经网络执行在连续的层之间的下采样和池化，以增加后续层中卷积滤波器的空间支持。

期望使用SegNet变体获得语义信息s，参见例如：

在IEEE PAMI，2017年，第39卷，第12期，第2481-2495页中，V.Badrinarayanan、A.Kendall和R.Cipolla的“SegNet：用于图像分割的深度卷积编码器/解码器架构”。

在其它报告的结果中，SegNet的准确性并不是最高，但是其运行时间/准确性的折衷是非常有利的。SegNet是编码器-解码器网络，在以下各部分中将给出其详细信息。

我们使用来自具有针对对象识别而训练的VGG16架构的先前训练的版本的参数。通过使用soft-max层对像素进行分类。标签是例如道路、汽车、人行道、植被、行人、自行车、建筑物、标牌、围栏和未知物。

B.贝叶斯占用网格

贝叶斯粒子滤波(参见步骤S8)处理来自车辆运动的LIDAR数据(参见步骤S6)以及里程计信息(参见步骤S7)，以便以占用网格的形式可靠地估计异体中心鸟瞰图。该占用网格期望地包含汽车周围环境的360度视图，并通过时间过滤将来自观察历史的信息进行整合；然而，占用网格不包括细粒度的语义类别。

特别地，贝叶斯滤波方法用于预测占用网格图中的单元的动态状态和占用。这是经由推导给定每个单元的传感器测量值和该单元的先前状态的占用概率来实现的。可以使用CMCDOT(有条件的蒙特卡洛密集占用跟踪器)来获得概率，这是最近的贝叶斯滤波方法中的用来推断动态和网格占用的概率的一种贝叶斯滤波方法，参见例如：

在ITSC.IEEE，2015年，第2485-2490页中，Rummelhard等人的“有条件的蒙特卡洛密集占用跟踪器”。

首先，CMCDOT引入了空闲状态、静态占用状态、动态占用状态和未知状态，而不是将每个单元定义为是否被占用。空闲状态表示单元中没有任何类型的对象的概率。然而，应注意，它不一定意味着车辆可以导航到的区域。例如，人行道有很大的空闲可能性，但是由于行驶到该空闲区域的后果而不允许行驶到该空闲区域。静态占用的单元是指单元被障碍物占用的概率。尽管障碍物可能是如建筑物的永久静态结构的一部分，但也可能是临时静态对象(如停放的汽车)的一部分。动态占用的单元示出该单元被动态对象占用的概率。这种状态还包括有关该单元中粒子中包含的单元的速度的信息。仅该动态单元区域中的粒子具有与速度相关的信息，从而显著降低了计算复杂性。

贝叶斯滤波器的第一步骤是从先前状态概率中预测当前状态概率。为了实现这一点，定义了转移概率。它们表示前一时间的状态转换为当前时间的另一状态的概率。例如，静态占用的单元将以0:99的转移概率保持为静态占用的单元，或者将以0:01的转移概率变为动态占用的单元。转移概率也包括速度信息。

在下一步骤中，评估更新的概率。概率传感器模型可以用于观察模型，参见例如：

在麻省理工学院出版社，2005中，S.Thrun、W.Burgard和D.Fox的概率机器人。应注意，由于观测模型的灵活性，贝叶斯滤波器可以与多种传感器一起使用，这是其主要优点之一。在该示例性实施例中，例如使用LIDAR传感器数据I。

在评估步骤之后，估计状态分布。应用粒子重新采样可将新粒子分配给新的动态占用区域，并专注于重要区域。在粒子重新采样后，如有必要，迭代将继续进行预测步骤。尽管可以经由贝叶斯滤波方法准确地获得有关单元状态的占用和动态信息，但这不能始终用于计划车辆的下一个动作。如上所述，相同状态可以指代不同的语义类别。例如，空闲单元可以是道路或人行道，这将导致不同的行为。因此，采用语义信息来丰富占用网格。

使用四个占用网格状态o(参见步骤S9)作为网络的输入，以估计语义网格。占用网格的四个状态表示例如空闲单元、静态占用的单元、动态占用的单元和未知单元。

C.融合几何和语义信息

将从LIDAR输入l获得的来自占用网格o的几何信息(参见步骤S9)与从投影RGB输入x获得的语义信息s(参见步骤S3)进行融合是重要的问题，该问题只有深度信息与RGB输入一起可用才能通过直接几何计算来解决：投影图像x或s中的一个点可能潜在地对应于场景中的若干3D点，并且因此可能对应于网格o中的若干点。立体深度可能提供足够的约束。提出了替代的解决方案，其中学习该融合过程，避免根据立体计算出视差图。

通过提供两种表示作为神经网络的输入来直接学习在黑盒策略中的融合将是次优的。网络将需要学习多个映射，即(i)投影图和鸟瞰图之间的几何变换，(ii)由于缺少深度信息而解决点对线的对应关系，以及(iii)将占用网格状态与来自分割的语义类别融合。尽管(ii)和(iii)在该方法中是不可避免的，但(i)可被直接解决(直到点对线的对应关系)。

出于该原因，引入了中间表示p(参见步骤S5)，该中间表示p将投影输入s转换为与占用网格o的坐标系兼容的鸟瞰图表示，如图4所示。

图4示意性地示出根据本公开的实施例的投影图与鸟瞰图(仅示出了三个平面)的对准。

p中的每个单元取自语义类别的字母的值，即，用于分割图像s的相同字母。目的是创建表示，其中具有给定空间坐标(x；y)的单元对应于o中具有相同坐标的网格单元。为了对由于缺少深度信息而导致的模糊性进行建模，p＝{pi}是分层的3D图，其被组织为与地面平行的D平面pi的集合。这里，i索引了不同的高度。接下来，时间索引t已被删除，因为针对每个时刻t来分别计算融合。

地面与每个平面pi之间的距离为di。假设D平面彼此之间的距离为δd，因此第i平面与地面的距离为iδd。如果相机经过校准，则图像和平面之间的关系将是直接的，并且可以从投影几何中得出。对于平面pi中的每个平面，对于该平面上的任何点，首先在图像平面中通过使用从平面到图像坐标

的变换

可以找到图像平面中的对应像素为

其中K是相机校准矩阵。

如上所述，表示p和o的空间坐标是兼容的。目的是训练学习的映射，该映射将两个表示集成到分割的占用网格o中。基本假设是，高度h

D.联合降维与融合

占用网格o和中间表示p二者都被馈入深度神经网络(参见步骤S10)，该深度神经网络输出语义网格y(参见步骤S11)。语义网格是与输入张量o和p相同空间维度的3D张量。因此，该模型需要保持分辨率，如果网络的中间层使用任何分类分辨率的降低池化，这将是非平凡的任务。同样对于语义分割所实现的，可以使用SegNet变体中的卷积-反卷积网络，其包括最初引入的跳过连接，例如如下：

在IEEE PAMI，2017年，第39卷，第12期，第2481-2495页中，V.Badrinarayanan、A.Kendall和R.Cipolla，“SegNet：用于图像分割的深度卷积编码器/解码器架构”。

输入数据由D+4平面组成：对应于占用网格o的4个平面和对应于从分割的RGB图像计算出的中间表示p的D个平面。后者是分类数据，因为字母表中的每个值对应于语义类别标签。根据定义，数据是无序的，这使得从中直接学习是低效率的，因为学习的映射需要高度(且不必要)复杂。因此，可以通过以1-in-K编码(“热一(hot-one)”)从p对D个平面中的每一个进行编码来增加数据平面的数量。这将创建行为良好的数据，但缺点是显著增加输入表示的大小：输入张量现在具有DxC+4平面，其中C是语义类别的数量。

直接学习该表示是计算上低效率的并且导致不合理的大容量的网络。可以在编码器的输入处添加降维层，其作为第一操作将输入平面减少到较低的数量。平面数量是超参数，其设定等于C。其被实现为1x1卷积，其具有与采用空间共享参数的逐点非线性的相同效果。降维和融合是端到端联合训练的。

编码器部分的其余部分具有例如与著名的VGG16网络类似的13个卷积层。每个编码器层应用卷积并获得一组特征。然后对它们进行批归一化，并执行逐元素的整流线性非线性(ReLU)。最大池化(Maxpooling)用于减小图像的大小。最大值的索引被保留并传递给解码器过程，这加速了解码过程。解码器具有例如13层。再次采用批归一化和ReLU执行卷积。为了对图像进行上采样，使用存储在编码器层中的索引。在最后一层中应用多类别softmax分类器，以估计像素的分类概率。使用交叉熵损失，并将损失作为一批中所有像素的总和。

在包括权利要求的整个说明书中，除另有说明外，术语“包含一个”应理解为与“包含至少一个”同义。另外，除另外说明外，包括权利要求的说明书中阐述的任何范围应理解为包括其端值。所描述的元件的特定值应理解为在本领域技术人员已知的可接受的制造或工业公差范围内，并且对术语“基本上”和/或“大约”和/或“通常”的任何使用应理解为均在可接受的公差范围内。

尽管在此已经参考特定实施例描述了本公开，但是应当理解，这些实施例仅是本公开的原理和应用的说明。

旨在将说明书和示例仅视为示例性的，本公开的真实范围由所附权利要求指示。