一种基于激光雷达场景流估计的3D多目标跟踪系统及方法

摘要

本发明公开了一种基于激光雷达场景流估计的3D多目标跟踪系统及方法，通过检测模块对当前k时刻周围环境点云进行检测；通过场景流估计模块采用激光雷达场景流估计网络对k时刻检测目标与k‑1时刻轨迹进行场景流估计；通过目标关联模块将k时刻检测结果与场景流估计层L4输出的估计进行关联匹配；通过轨迹管理模块判定轨迹成功或轨迹消失；本发明提出的基于激光雷达场景流估计的3D多目标跟踪系统及方法，在两帧间的目标关联上可以对点云中的每个点进行运动估计，从而提升目标关联的精度，实现对目标更好的跟踪。

说明书

技术领域

本发明属于智能汽车技术领域，特别涉及了一种基于激光雷达场景流估计的3D多目标跟踪系统及方法。

背景技术

随着智能汽车的不断发展，其对周围环境的感知需求日益增加。基于激光雷达的3D多目标跟踪算法具有感知精度高，对光照和天气适应能力强的特点，受到学术界和工业界的广泛关注。多目标跟踪算法为智能汽车对周围车辆的轨迹预测，对自身车辆的轨迹规划与决策提供了必要的环境信息，是智能车辆感知算法中的重要组成部分。

而场景流是两个连续帧中每个表面点之间的3D位移向量所组成的3D向量场。传统上，场景流是直接由图片数据进行估计。但近年来，由于激光雷达三维传感器应用的增多和针对点云数据的3D深层网络进展显著，从三维点云直接进行场景流估计越来越受到关注。

将场景流估计应用到3D多目标跟踪上，相较于传统3D跟踪方法只针对于目标运动的估计，可以对于场景中的每个点进行估计，而后再从点估计得出目标的运动估计，从而能够实现更加准确的目标运动估计，提升跟踪算法精度。

发明内容

针对上述问题，本发明提出了一种基于激光雷达场景流估计的3D多目标跟踪系统，包括检测模块、场景流估计模块、目标关联模块、轨迹管理模块；

所述检测模块用于对当前k时刻周围环境点云进行检测，获得目标检测结果；

所述场景流估计模块采用激光雷达场景流估计网络对k时刻检测目标与k-1时刻轨迹进行场景流估计；

所述目标关联模块将k时刻检测结果与场景流估计层L

所述轨迹管理模块用于：在轨迹起始时对轨迹进行判定，在连续3帧中若有2帧及2帧以上成功关联，判定轨迹成功；在轨迹结束时，对于没有目标匹配的预测3D包围盒继续使用场景流估计模块进行连续3帧的预测，若3帧中有2帧及2帧以上关联失败，即判定轨迹消失。

进一步，所述检测模块具体如下：

从车载激光雷达获得当前k时刻周围环境点云，并通过预设检测器获得目标序列的检测结果

进一步，所述场景流估计模块包括PointConv卷积特征提取网络模块、估计体积成本模块、场景流估计层模块；

所述PointConv卷积特征提取网络模块：使用PointConv卷积层建立4层下采样组成的特征提取网络，每一层都使用PointConv卷积进行计算，其每层的通道数依次增加，分别为64，96，192，320，对当前获得的4个不同维度的特征会进行储存，在进行k+1时刻的场景流估计时作为历史轨迹特征提取网络的结果使用，避免重复计算；

所述PointConv卷积特征提取网络模块使用的PointConv卷积公式如下所示：

其中，(δ

所述估计体积成本模块：使用MLP(多层感知机)通过学习的方式计算每层的体积成本，计算公式为：

Cost(k,k-1)＝MLP(f

式中，f

对于MLP，其输入维度为串联f

所述场景流估计层模块：将来自上一场景流估计层的场景流输出与预测特征进行上采样，使其获得与当前场景流估计层相同的维度，随后将k-1时刻的点云特征与体积成本结合上采样后的上一场景流估计层的场景流输出与预测特征共同输入到PointConv层中进行场景流估计，随后使用多个1×1卷积对输出维度进行调整，输出第L层的特征预测与场景流估计。

进一步，所述目标关联模块具体如下：

将场景流估计层模块的L

计算第i个预测3D包围盒与第j个检测3D包围盒中心点的欧氏距离记为c

将距离矩阵C中的每个元素，进行逐行逐列的筛查，剔除其中c

筛查出每行每列最小的元素c

本发明还提出了一种基于激光雷达场景流估计的3D多目标跟踪方法，其具体的实施过程如图1所示，主要包括以下步骤：

步骤1：建立检测模块对当前k时刻周围环境点云进行检测，获得目标检测结果；

从车载激光雷达获得当前k时刻周围环境点云，并通过预设检测器获得目标序列的检测结果

步骤2：使用激光雷达场景流估计网络对k时刻检测目标与k-1时刻轨迹进行场景流估计，其具体步骤如下所示。

步骤2.1：使用PointConv卷积建立特征提取网络；

PointConv卷积公式如下所示：

其中，(δ

使用PointConv卷积层建立4层下采样组成的特征提取网络，每一层都使用PointConv卷积进行计算，每层的通道数依次增加，分别为64，128，256，256，通过四层卷积将特征从当前帧实际点云点数下采样到2048,512,128，如流程图1的特征提取网络所示。对当前由上述4层PointConv组成的检测特征提取网络获得的4个不同维度大小的激光雷达点云特征进行储存，在进行k+1时刻的场景流估计时作为历史轨迹特征提取网络的结果使用，避免重复计算。

步骤2.2：构建估计体积成本；

在进行场景流估计时，需要首先计算出k时刻与k-1时刻两帧之前的体积成本，以体积成本和两帧特征作为输入来计算场景流估计。使用MLP(多层感知机)通过可学习的方式来计算每层的体积成本，其公式如下所示。

Cost(k，k-1)＝MLP(f

其中，f

同时对于MLP，其输入维度为串联f

步骤2.3：进行场景流估计；

将上一步获得的体积成本与对应的k-1时刻的点云特征作为场景流估计层的输入，进行场景流估计，其结构如图2所示。

首先将来自上一场景流估计层的场景流输出与预测特征进行上采样，使其获得与当前场景流估计层相同的维度。随后将k-1时刻的点云特征与体积成本结合上采样后的上一场景流估计层的场景流输出与预测特征共同输入到PointConv层中进行场景流估计，随后使用多个1×1卷积对输出维度进行调整，输出第L层的特征预测与场景流估计。

上述为正常的一层场景流估计层，整个场景流估计模块由4层场景流估计层组成。依据对当前检测特征提取网络与历史轨迹特征提取网络所对应层级的关系，将4层场景流分别命名为L

步骤3：使用目标关联模块将k时刻检测结果与场景流估计层L

步骤3.1：将场景流估计层L

步骤3.2：计算第i个预测3D包围盒与第j个检测3D包围盒中心点的欧氏距离记为c

步骤3.3：对于距离矩阵C中的每个元素，进行逐行逐列的筛查，剔除其中c

步骤3.4：筛查找到每行每列最小的元素c

步骤4：对关联后的结果进行轨迹管理；

由于关联会产生误报，在轨迹起始时，对轨迹进行判定在连续3帧中若有2帧及2帧以上成功关联，判定轨迹成功开始。

在轨迹结束时，对于没有目标匹配的预测3D包围盒继续使用场景流估计对其进行连续3帧的预测，若3帧中有2帧及2帧以上关联失败，即判定轨迹消失。

步骤5：将进行过步骤4轨迹管理的最终轨迹进行输出。

本发明的有益效果：

1、本发明提出的基于激光雷达场景流估计的3D多目标跟踪系统及方法，在两帧间的目标关联上可以对点云中的每个点进行运动估计，从而提升目标关联的精度，实现对目标更好的跟踪。

2、本发明所提出的场景流估计方法使用多个层级相互贯通，保证了不同大小尺度范围的点云特征都能得到精确匹配，保证了帧间的关联精度。

3、本发明所提出的场景流估计方法替换了传统跟踪中的卡尔曼滤波方法，避免了在机动目标跟踪时卡尔曼滤波需要使用的复杂运动模型，直接获得两帧间的运动关联，提升了算法速度。

附图说明

图1为本发明一种基于激光雷达场景流估计的3D多目标跟踪方法流程图。

图2为所述场景流估计层结构图

具体实施方式

下面将结合附图说明及具体实施方式具体对本发明作进一步的说明，但本发明的保护范围并不仅限于此。

本发明提出一种基于激光雷达场景流估计的3D多目标跟踪方法，其具体的实施过程如图1所示，主要包括以下步骤：

步骤1：建立检测模块对当前k时刻周围环境点云进行检测，获得目标检测结果；

从车载激光雷达获得当前k时刻周围环境点云，并通过预设检测器获得目标序列的检测结果

步骤2：使用激光雷达场景流估计网络对k时刻检测目标与k-1时刻轨迹进行场景流估计，其具体步骤如下所示。

步骤2.1：使用PointConv卷积建立特征提取网络；

PointConv卷积公式如下所示：

其中，(δ

步骤2.2：构建估计体积成本；

在进行场景流估计时，需要首先计算出k时刻与k-1时刻两帧之前的体积成本，以体积成本和两帧特征作为输入来计算场景流估计。在本申请中对于下采样的4层，计算4层大小不同的体积成本，从而获得不同尺度的成本信息，从而能够综合的考虑提升场景流估计的精度。本申请使用MLP(多层感知机)通过可学习的方式来计算每层的体积成本，其公式如下所示。

Cost(k,k-1)＝MLP(f

其中，f

同时对于MLP，其输入维度为串联f

步骤2.3：进行场景流估计；

将上一步获得的体积成本与对应的k-1时刻的点云特征作为场景流估计层的输入，进行场景流估计，其结构如图2所示。

首先将来自上一场景流估计层的场景流输出与预测特征进行上采样，使其获得与当前场景流估计层相同的维度。随后将k-1时刻的点云特征与体积成本结合上采样后的上一场景流估计层的场景流输出与预测特征共同输入到PointConv层中进行场景流估计，随后使用多个1×1卷积对输出维度进行调整，输出第L层的特征预测与场景流估计。

上述为正常的一层场景流估计层，整个场景流估计模块由4层场景流估计层组成。依据对当前检测特征提取网络与历史轨迹特征提取网络所对应层级的关系，将4层场景流分别命名为L

步骤3：使用目标关联模块将k时刻检测结果与场景流估计层L

步骤3.1：将场景流估计层L

步骤3.2：计算第i个预测3D包围盒与第j个检测3D包围盒中心点的欧氏距离记为c

步骤3.3：对于距离矩阵C中的每个元素，进行逐行逐列的筛查剔除其中c

步骤3.4：筛查找到每行每列最小的元素c

步骤4：对关联后的结果进行轨迹管理；

由于关联会产生误报，在轨迹起始时，对轨迹进行判定在连续3帧中若有2帧及2帧以上成功关联，判定轨迹成功开始。

在轨迹结束时，对于没有目标匹配的预测3D包围盒继续使用场景流估计对其进行连续3帧的预测，若3帧中有2帧及2帧以上关联失败，即判定轨迹消失。

步骤5：将进行过步骤4轨迹管理的最终轨迹进行输出。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。