一种三维线地标构建方法及装置

摘要

本发明提供的三维线地标构建方法及装置，通过将视觉图像中线语义转换为三维语义点云，与最近一次所构建的局部地图进行语义匹配，以确定在局部地图中不存在相匹配的三维线地标的目标三维语义点云，进而通过递增式聚类滤波生成相应的三维线地标，由此构建新的局部地图。本发明能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。

说明书

技术领域

本发明涉及导航定位技术领域，更具体地说，涉及一种三维线地标构建方法及装置。

背景技术

线语义是视觉语义中极为重要的元素，生活中车道线、可通行空间边界等等都是线语义。与点、箭头和斑马线等语义相比，线语义在车辆感知的时间上持续时间长，在空间上占比广阔。

然而，无论是直线的还是曲线的线语义，由于没有可甄别的特征，很难正确地相互匹配，继而不能在三维语义地图上构建三维的线地标。

发明内容

有鉴于此，为解决上述问题，本发明提供一种三维线地标构建方法及装置，技术方案如下：

一种三维线地标构建方法，所述方法包括：

获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；

将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；

通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；

确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。

优选的，所述方法还包括：

基于截断的有符号距离函数优化所生成的三维线地标的位置。

优选的，所述方法还包括：

对所构建的新的局部地图进行图优化。

优选的，所述将所述线语义转换为三维语义点云，包括：

采样所述线语义得到线状点云；

通过逆透视变换将所述线状点云投影至所述车辆的三维空间内，以获取三维语义点云。

优选的，所述通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云，包括：

构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；

在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；

获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。

优选的，所述确定所述目标三维语义点云所在区域内的全部三维语义点云，包括：

基于所述车辆的多源信息，确定所述车辆的初始化位置；

在所述车辆的初始化位置符合预设聚类条件的情况下，确定所述目标三维语义点云所在区域内的全部三维语义点云。

一种三维线地标构建装置，其特征在于，所述装置包括：

语义提取模块，用于获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；

点云转换模块，用于将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；

语义匹配模块，用于通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；

地标生成模块，用于确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。

优选的，所述地标生成模块，还用于：

基于截断的有符号距离函数优化所生成的三维线地标的位置。

优选的，所述地标生成模块，还用于：

对所构建的新的局部地图进行图优化。

优选的，所述语义匹配模块，具体用于：

构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。

本发明提供的三维线地标构建方法及装置，通过将视觉图像中线语义转换为三维语义点云，与最近一次所构建的局部地图进行语义匹配，以确定在局部地图中不存在相匹配的三维线地标的目标三维语义点云，进而通过递增式聚类滤波生成相应的三维线地标，由此构建新的局部地图。本发明能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的线语义感知的噪声；

图2为本发明实施例提供的三维线地标构建方法的方法流程图；

图3为本发明实施例提供的线语义的示例；

图4为本发明实施例提供的三维线地标构建方法的部分方法流程图；

图5为本发明实施例提供的递增式拟合聚类示意图；

图6为本发明实施例提供的三维线地标优化原理图；

图7为本发明实施例提供的三维线地标构建装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

目前传统的线语义匹配基于图像分割，再从分割出的语义提取粗线状的点云块进行匹配。这些从分割出的语义提取线段进行匹配的方法，本质上还是利用了线段的起点和终点特征，而现实中不少线语义(比如实车道线、可通行边界线)在相机视野中是没有起点和终点的(只有消影点)。此外，基于分割的语义匹配计算量大，占用资源高，带来的硬件成本也高。

另一个难点在于提取二维视觉语义时，过程噪声大。比如易受车辆振动的影响，基于深度学习从图像上提取的语义存在误差等等，这些都极大影响了线语义的匹配以及对应的三维线地标的构建。图1给出了线语义感知的噪声，车辆感知到的线语义在实际车道线或可通行空间边界线的周边浮动。

为解决上述问题，本发明提供一种三维线地标构建方法，该方法的方法流程图如图2所示，包括如下步骤：

S10，获取车辆所在环境的视觉图像，并提取视觉图像中的线语义。

本发明实施例中，视觉图像为二维图像，通过深度学习能够在二维的视觉图像中提取车道线、停止线和可通行空间边界线等线语义，这些语义一般属于静态的背景，可鉴别性高，对光照变化不敏感，也能抵抗季节和天气变化。图3给出了车道线、停止线和可通行空间边界线的示例。

S20，将线语义转换为三维语义点云，并调取最近一次所构建的局部地图。

本发明实施例中，可以通过Bresenham布雷森汉姆算法和逆透视变换获得三维语义点云。具体的，首先采样线语义得到线状点云，具体的，可以采用Bresenham算法进行采样，这就能更充分地表征线语义的几何特征，比如曲率、起止端等等；进一步通过逆透视变换(Inverse Perspective Transformation，IPM)将线状点云投影至车辆的三维空间内，以获取三维语义点云。

需要说明的是，对于Bresenham算法和逆透视变换的处理顺序可以调整，即还可以先通过对线语义进行逆透视变换得到相应的三维语义，再采用Bresenham算法对所获得的三维语义进行采样，得到三维语义点云。可以理解的是，对于其他获得三维语义的方式，也在本申请的保护范围内。

另外，本发明实施例中可以按照一定的时间窗口来构建局部地图，比如车辆行驶一定的距离或者行驶方向偏转一定的角度，就构建一次局部地图。当然，在获得局部地图后，就可以确定车辆在局部地图中的位置，从而在车辆周边区域进行后续的语义匹配。

S30，通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云。

本发明实施例中，提出基于概率的相关线匹配法(correlative line matching)完成语义匹配。同时，本发明还可以在多级分辨率上进行不同粒度的搜索，对线语义进行匹配，提高线语义匹配精度和速度。

具体实现过程中，步骤S30“通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云”可以采用如下步骤，方法流程图如图4所示：

S301，构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率。

本发明实施例中，局部地图对应一个具有多个不同分辨率地图层的分层多粒度地图，该分层多粒度地图中分辨率最高的地图层，即第一地图层即为该局部地图本身，进一步，通过将该第一地图层的多个体素作为一个体素来减小第一地图层的分辨率得到第二地图层，以此类推，直至得到一定数量或者一定分辨率的地图层时为止。

S302，在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算三维语义点云与该地图层中三维线地标的匹配概率的基础。

本发明实施例中，在获得局部地图的分层多粒度地图后，按照分辨率由低到高的次序依次进行语义的匹配，具体的，对于两个相邻的地图层，下一地图层为低分辨率地图层、上一地图层为高分辨率地图层，按照以下公式(1)计算三维语义点云与低分辨率地图中三维线地标的匹配概率，进而从中确定匹配概率最大的三维线地标所在的多个体素(即第一体素)，进一步由于低分辨率地图层的体素与高分辨率地图层的体素具有一对多的关系，因此基于该关系能够确定匹配概率最大的三维线地标在高分辨率地图中所在的多个体素(即第二体素)，以此类推，直到获得分辨率最高的地图层上匹配概率最大的三维线地标为止。此时，分辨率最高的地图层输出三维语义点云与匹配概率最大的三维线地标间的匹配概率。

其中，z

此外，在计算三维语义点云与每个地图层中三维线地标的匹配概率的过程中，可以预先设置旋转窗口w

通过本发明的语义匹配方法，能够减少点云语义匹配的计算量，在讲究硬件成本、计算资源有限的车载平台上，能够很好地实现语义匹配，提高整体性能，适合成本相对较低的硬件平台。

S303，获取分辨率最高的地图层所输出的三维语义点云的匹配概率，并将三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。

本发明实施例中，对于一个三维语义点云来说，如果该三维语义点云的匹配概率小于预设概率阈值，则表示匹配失败，进而将其作为目标三维语义点云，对其执行后续的三维线地标的构建工作。而如果该三维语义点云的匹配概率大于等于预设概率阈值，则表示匹配成功，即能在局部地图中匹配到三维线地标。

由此，本发明实施例中，还可以获取三维语义点云中除目标三维语义点云以外的其他点云的匹配概率，并基于所获取的匹配概率推理得到车辆的精确位置，如以下公式(2)所示：

p(x

其中，u

通过推理获得车辆在局部地图中的精确位置，能够准确定位车辆周边区域，相应也可以增加后续语义匹配的准确度。

S40，确定目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。

本发明实施例中，在当前构建局部地图的窗口内，确定所有位于同一区域内，即具有交集的三维语义点云，进而使用诸如k-means聚类的算法对多个三维语义点云的诸如距离、角度、消影点等几何参数进行递增式拟合聚类。通过递增式拟合聚类，能够有效地滤除语义感知误差。

参见图5所示的递增式拟合聚类示意图，其中(a)是对直线的聚类滤波，(b)是对曲线的聚类滤波。粗黑的直线或曲线为聚类滤波所得到的三维线地标，粗黑的直线或曲线周边其他实线表示三维语义点云。

在其他一些实施例中，还可以基于车辆的位姿来确定聚类滤波的时机，在语义匹配之前融合多源信息进行位姿估计，具体可以融合车载惯导和轮速计等车辆的多源信息，确定车辆的初始化位置，进而可以基于车辆的初始化位置确定是否达到构建局部地图的时间窗口，比如车辆行驶一定的距离或者行驶方向偏转一定的角度等等，从而在达到时间窗口后，进行后续三维地标的构建。

参见以下公式(3)，通过惯导IMU积分可以得到车辆的位置初始估计，基于IMU的车辆位置更新参见公式(4)：

公式(3)中，

而对于轮速计的信息，可以利用阿克曼(Ackerman)车辆运动模型计算车辆的位置初始估计。

在其他一些实施例中，为进一步滤除线语义噪声，提炼三维线地标的位置，本发明实施例提供的三维线地标构建方法还可以采用如下步骤:

基于截断的有符号距离函数优化所生成的三维线地标的位置。

本发明实施例中，利用基于截断的有符号距离函数(TSDF，Truncated SignedDistance Function)对三维线地标进一步滤波，为优化滤波效果，本发明针对线语义定义新的基于截断的有符号距离函数，如以下公式(5)所示：

其中，t表示阈值，表示sdf(x)的绝对值只在0～t的范围内有效；当|sdf(x)|＞t时，则tsdf(x)＝1。。

参见图6所示的三维线地标优化原理图。公式(6)中的depth(x

sdf(x)＝depth(xp)-cam(x) (6)

在其他一些实施例中，减少数据噪声带来的误差，提高三维线地标构建的精度，本发明实施例提供的三维线地标构建方法还可以采用如下步骤:

对所构建的新的局部地图进行图优化。

本发明实施例中，基于最小二乘法原理，能够对语义匹配的结果和多源信息融合得到的车辆位姿约束进行优化。通过将多个优化帧以及其约束条件同时加入图优化，具体可以利用g2o或者ceres库处理图优化问题。

g2o(ceres,gtsam)已经实现了几乎所有的优化逻辑和数学模型，可以直接使用包括高斯牛顿法、列文伯格.马夸特在内的多种非线性优化算法。

本发明实施例提供的三维线地标构建方法，能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。

基于上述实施例提供的三维线地标构建方法，本发明实施例则对应提供执行上述三维线地标构建方法的装置，该装置的结构示意图如图7所示，包括：

语义提取模块10，用于获取车辆所在环境的视觉图像，并提取视觉图像中的线语义；

点云转换模块20，用于将线语义转换为三维语义点云，并调取最近一次所构建的局部地图；

语义匹配模块30，用于通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云；

地标生成模块40，用于确定目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。

可选的，地标生成模块40，还用于：

基于截断的有符号距离函数优化所生成的三维线地标的位置。

可选的，地标生成模块40，还用于：

对所构建的新的局部地图进行图优化。

可选的，点云转换模块20，具体用于：

采样线语义得到线状点云；通过逆透视变换将线状点云投影至车辆的三维空间内，以获取三维语义点云。

可选的，语义匹配模块30，具体用于：

构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算三维语义点云与该地图层中三维线地标的匹配概率的基础；获取分辨率最高的地图层所输出的三维语义点云的匹配概率，并将三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。

可选的，用于确定目标三维语义点云所在区域内的全部三维语义点云的地标生成模块40，具体用于：

基于车辆的多源信息，确定车辆的初始化位置；在车辆的初始化位置符合预设聚类条件的情况下，确定目标三维语义点云所在区域内的全部三维语义点云。

本发明提供的三维线地标构建装置，能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。

以上对本发明所提供的一种三维线地标构建方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。