自动驾驶中移动对象的轨迹预测方法、装置及计算设备

摘要

本申请是关于自动驾驶中移动对象的轨迹预测方法、装置及计算设备。其中，预测方法包括：获得自动驾驶车辆周围环境的视频流；对视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据；依据移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据；获得与当前图像帧对应的道路相关特征数据；依据移动对象在下一帧的状态估计数据、道路相关特征数据及预存的轨迹预测模型，获得移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。本申请提供的方案，提高了对移动对象运动轨迹检测的准确性，有利于提高自动驾驶车辆的行驶安全。

说明书

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种自动驾驶中移动对象的轨迹预测方法、装置及计算设备。

背景技术

目前，自动驾驶领域对移动对象的研究大多集中在移动对象的检测识别与目标跟踪方面，更加注重移动对象当前的位置，而不对其未来的位置进行预测。当自动驾驶汽车在检测到前方有移动对象经过时，都会选择停车等待移动对象通过其安全包络线后再继续行驶。

相关技术中，自动驾驶汽车在面对移动对象时的智能决策行为，主要问题是将移动对象当作一般的障碍物进行预测，导致实际场景中移动对象的轨迹预测准确率较低，无法满足实际需求。

发明内容

为克服相关技术中存在的问题，本申请提供一种自动驾驶中移动对象的轨迹预测方法、装置及计算设备，能够提高对移动对象移动轨迹预测的准确性，进而提高自动驾驶车辆的行驶安全性。

本申请第一方面提供一种自动驾驶中移动对象的轨迹预测方法，包括：

S11：获取自动驾驶车辆周围环境的视频流；

S12：对所述视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据；

S13：依据所述移动对象的检测数据和预设的卡尔曼滤波器，获取所述移动对象在下一帧的状态估计数据；

S14：获得与所述当前图像帧对应的道路相关特征数据；

S15：依据所述状态估计数据、所述道路相关特征数据及预存的轨迹预测模型，获得所述移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

根据本申请的一个实施例，依据所述移动对象检测数据和预设的卡尔曼滤波器，获得所述移动对象在下一帧的状态估计数据，具体包括：获得所述移动对象在前一帧的卡尔曼滤波状态估计数据；获得所述移动对象在所述当前图像帧中的状态观测数据；依据所述前一帧的卡尔曼滤波状态估计数据和在所述当前图像帧中的状态观测数据，获得所述移动对象在下一帧的状态估计数据。

在一些实施例中，获取与所述当前图像帧对应的道路相关特征数据，具体包括：获得所述自动驾驶车辆与所述当前图像帧同一时刻的位置数据和航向角数据；依据所述位置数据、航向角数据、以及预存的高精地图数据和所述当前图像帧，获得与所述当前图像帧对应的道路相关特征数据。

在一些实施例中，对所述视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据，具体包括：对所述视频流中的当前图像帧，通过预设的目标检测器，获得多个移动对象对应的多个检测数据；依据所述移动对象的检测数据和预设的卡尔曼滤波器，获得所述移动对象在下一帧的状态估计数据，具体包括：对所述视频流中的当前图像帧和前一帧，通过预设的多目标跟踪算法，获得多个移动对象在所述当前图像帧中的多个检测数据和所述前一帧中的多个检测数据的匹配数据；并且，依据所述匹配数据，对于每个移动对象：获得该移动对象在前一帧的卡尔曼滤波状态估计数据；获得该移动对象在当前图像帧中的状态观测数据；依据所述前一帧的卡尔曼滤波状态估计数据和在所述当前图像帧中的状态观测数据，获得该移动对象在下一帧的状态估计数据。

在一些实施例中，在获取自动驾驶车辆周围环境的视频流之后，从视频流中获得多个图像帧，以每个图像帧作为当前图像帧，分别执行S12至S15，获得相同移动对象的多条轨迹预测数据；再依据所述多条轨迹预测数据获得一条轨迹预测数据。

在一些实施例中，通过预设的目标检测器进行移动对象检测，具体包括：通过YOLOv5检测网络进行移动对象检测。

在一些实施例中，所述状态估计数据包括所述移动对象的方向数据、速度数据和位置数据中的至少部分；和/或，所述道路相关特征数据包括所述移动对象所在位置周围的道路线数据、标记数据和路口数据中的至少部分。

本申请第二方面提供一种自动驾驶中移动对象的轨迹预测装置，包括：第一获取模块，用于获取自动驾驶车辆周围环境的视频流；目标检测模块，用于对所述视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据；状态估计模块，用于根据所述移动对象的检测数据和预设的卡尔曼滤波器，获得所述移动对象在下一帧的状态估计数据；第二获取模块，用于获取与所述当前图像帧对应的道路相关特征数据；轨迹预测模块，用于根据所述状态估计数据、所述道路相关特征数据及预存的轨迹预测模型，获得所述移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

本申请第三方面提供一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本申请实施例提供的自动驾驶中移动对象的轨迹的预测方法，依据当前图像帧中移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据；进而依据移动对象在下一帧的状态估计数据、与当前图像帧对应的道路相关特征数据以及预存的轨迹预测模型，获得移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。由于能够先通过卡尔曼滤波器获得较为准确的移动对象在下一帧的状态估计数据，在此基础上，同时利用了道路相关特征数据进行移动对象的移动轨迹预测，使得本申请实施例中移动对象的轨迹预测能够更加准确，有助于提高自动驾驶车辆的安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请一实施例的自动驾驶中移动对象的轨迹预测方法的流程示意图；

图2是本申请另一实施例的自动驾驶中移动对象的轨迹预测方法的流程示意图；

图3是本申请一实施例的轨迹预测装置的结构示意框图；

图4是本申请一实施例的计算设备的结构示意框图。

附图标记说明：

100、轨迹预测装置；310、第一获取模块；320、目标检测模块；330、状态估计模块；340、第二获取模块；350、轨迹预测模型；

400、计算设备；存储器、410；处理器、420。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中，自动驾驶汽车在面对移动对象时的智能决策行为，主要问题是将移动对象当作一般的障碍物进行预测，导致实际场景中移动对象的轨迹预测准确率较低，无法满足实际需求。

针对上述问题，本申请实施例提供一种自动驾驶中移动对象的轨迹预测方法和装置，能够通过提高对移动对象移动轨迹预测的准确性，进而提高自动驾驶车辆的行驶安全性。

以下结合附图详细描述本申请实施例的技术方案。可以理解的，本申请的方案可以由自动驾驶车辆中的计算设备执行，但不限于此，例如也可以由云服务器执行。

图1是本申请一实施例的自动驾驶中移动对象的轨迹预测方法的流程示意图。参见图1，本实施例的轨迹预测方法包括：

S11：获取自动驾驶车辆周围环境的视频流。

自动驾驶车辆上可设置一个或多个采集装置，在车辆行驶过程中采集周围环境，特别是车辆前方的视频流。采集装置将所采集的视频流传送到自动驾驶车辆的计算设备，或通过移动网络传送到云服务器。

S12：对视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据。

在一些实施例中，通过自动驾驶车辆的车载摄像头采集车辆周围环境的视频流。车载摄像头在采集图像时会可能产生畸变，导致图片失真，因此，可以在进行移对对象的检测前，先对当前图像帧进行畸变校正，以保证进行畸变校正过的图像最接近真实。这样，能够提高根据摄像头采集的图像进行移动对象轨迹预测的准确性。

进行移动对象的轨迹预测，先要将图像中的移动对象检测出来。本申请说明书中，以移动对象是行人为例进行描述，但可以理解的，本申请中不仅于此，移动对象例如还可以是其他车辆等。

在一些实施例中，例如可以通过YOLO（You Only Look Once）v5检测网络进行移动对象检测。YOLOv5检测网络能够快速、准确地识别环境图像中的目标移动对象。可以理解的，也可以通过YOLO其他系列、基于区域的全卷积网络(R-CNN)、SSD（Single ShotMultiBox Detector）等目标检测方法进行移动对象的检测。

目标检测器输出的移动对象的检测数据可以是表示移动对象的边界框的位置数据，例如可以是边界框的中心坐标和尺度大小，或者也可以是边界框的顶点坐标等。

可以理解的，若当前图像帧中存在多个移动对象，则获得每个移动对象各自的检测数据。

S13：依据移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据。

本申请实施例中，可以采用卡尔曼滤波器预测移动对象的下一时刻的状态。卡尔曼滤波可以在含有不确定信息的动态系统中预测中系统下一步的走向。在本申请实施例中，移动对象在实际运动过程中与理想状态下的运动过程存在差异，利用卡尔曼滤波器计算时能够将误差纳入计算，从而较为准确的得到移动对象在下一帧的状态估计数据。

在一种实现方式中，依据移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据可包括：

获得移动对象在前一帧的卡尔曼滤波状态估计数据和移动对象在当前图像帧中的状态观测数据，然后依据前一帧的卡尔曼滤波状态估计数据和在当前图像帧中的状态观测数据，获得移动对象在下一帧的状态估计数据。其中，状态估计数据可包括移动对象的速度估计数据和位姿（位置和/或方向）估计数据。状态观测数据可包括移动对象的速度观测数据和位姿观测数据，可以通过已知方法获得，例如可以通过计算机视觉和图像处理技术结合自动驾驶车辆的卫星定位数据和/或惯性测量单元的测量数据获得，本申请中不再赘述。

S14：获取与当前图像帧对应的道路相关特征数据。

本申请中，结合移动对象周围的道路相关特征数据进行移动对象的移动轨迹预测。移动对象周围的道路相关特征数据可以从预存的高精地图数据和当前图像帧中识别提取获得。

在一种实现方式中，获取与当前图像帧对应的道路相关特征数据具体包括：获得自动驾驶车辆与当前图像帧同一时刻的位置数据和航向角数据，依据自动驾驶车辆的位置数据和航向角数据、以及预存的高精地图数据，获得与当前图像帧对应的道路相关地图数据；以及，从当前图像帧中识别获取实时道路特征数据。

自动驾驶车辆的位置数据和航向角数据例如可以通过自动驾驶车辆的卫星定位数据和/或惯性测量单元的测量数据获得。

道路相关特征数据包括道路相关地图数据以及实时道路特征数据（例如实时交通信号指示、其他移动对象的位姿、速度）等。其中，道路相关地图数据例如包括移动对象所在位置周围的道路线数据、标记数据和路口数据中的至少部分，道路线数据例如包括机动车道、自行车道、人行道等道路线数据，标记数据例如包括静态的交通标志、建筑物等，路口数据例如包括十字路口、人行横道等。

S15：将移动对象在下一帧的状态估计数据、道路相关特征数据输入预存的轨迹预测模型，获得移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

可以预先存储好轨迹预测模型，将移动对象在下一帧的状态估计数据、道路相关特征数据作为输入数据，输入到轨迹预测模型中，使预存的轨迹预测模型基于输入数据进行模型预测，得到移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

可以理解的，预设轨迹预测模型可以从网络或服务器获得的。进一步的，可以利用深度学习算法构建轨迹预测模型，并利用预先获得的训练数据集对建立的轨迹预测模型进行训练，通过不断迭代至收敛，最终得到训练好的轨迹预测模型。

在一些实施方式中，在获取自动驾驶车辆周围环境的视频流之后，从视频流中获得多个图像帧，以每个图像帧作为当前图像帧，分别执行S12至S15，获得相同移动对象的多条轨迹预测数据，依据多条轨迹预测数据中获得一条轨迹预测数据。具体的，例如可以按照预设规则从多条轨迹中选择其中一条，或者，可以按照预设方法将多条轨迹融合为一条轨迹。

本申请实施例提供的自动驾驶中移动对象的轨迹预测方法，依据当前图像帧中移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据；进而依据移动对象在下一帧的状态估计数据、与当前图像帧对应的道路相关特征数据以及预存的轨迹预测模型，获得移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。由于能够先通过卡尔曼滤波器获得较为准确的移动对象在下一帧的状态估计数据，在此基础上，同时利用了道路相关特征数据进行移动对象的移动轨迹预测，使得本申请实施例中移动对象的轨迹预测能够更加准确，有助于提高自动驾驶车辆的安全性。

图2示出本申请另一实施例的自动驾驶中移动对象的轨迹预测方法。参阅图2，本实施例方法包括：

S21：获取自动驾驶车辆周围环境的视频流。

S22：对视频流中的当前图像帧，通过预设的目标检测器，获得多个移动对象对应的多个检测数据。

获得的多个移动对象对应的多个检测数据例如可以是表示多个移动对象的多个边界框的多组位置数据。每组位置数据例如可以是对应边界框的中心坐标和尺度大小，或者也可以是边界框的顶点坐标等。

S23：对视频流中的当前图像帧和前一图像帧，通过预设的多目标跟踪算法，获得多个移动对象在当前图像帧中的多个检测数据和所述前一图像帧中的多个检测数据的匹配数据。

当图像中有多个移动对象时，需要根据移动对象的检测结果，对不同帧图像中相同移动对象进行跟踪匹配。本实施例中，例如可以但不限于通过已知的匈牙利算法实现，本申请中不再赘述。

S24：依据该匹配数据，对于每个移动对象，依据该移动对象的检测数据和预设的卡尔曼滤波器，获得该移动对象在下一帧的状态估计数据。

可以采用卡尔曼滤波器预测移动对象的下一时刻的状态。

在一种实现方式中，依据移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据可包括：依据上述匹配数据，获得同一移动对象在前一帧的卡尔曼滤波状态估计数据；获得移动对象在当前图像帧中的状态观测数据；依据前一帧的卡尔曼滤波状态估计数据和在当前图像帧中的状态观测数据，获得移动对象在下一帧的状态估计数据。

S25：获取与当前图像帧对应的道路相关特征数据；

移动对象周围的道路相关特征数据可以从预存的高精地图数据和当前图像帧中识别提取获得。

在一种实现方式中，获取与当前图像帧对应的道路相关特征数据具体包括：获得自动驾驶车辆与当前图像帧同一时刻的位置数据和航向角数据，依据自动驾驶车辆的位置数据和航向角数据、以及预存的高精地图数据，获得与当前图像帧对应的道路相关地图数据；以及，从当前图像帧中识别获取实时道路特征数据。

S26：分别将每个移动对象在下一帧的状态估计数据、道路相关特征数据输入预存的轨迹预测模型，获得每个移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

可以预先存储好轨迹预测模型，将移动对象在下一帧的状态估计数据、道路相关特征数据作为输入数据，输入到轨迹预测模型中，使预存的轨迹预测模型基于输入数据进行模型预测，得到移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

在获得多个移动对象的多条移动轨迹预测数据后，可以根据多条移动轨迹预测数据进行自动驾驶车辆的行驶决策。

与前述实现自动驾驶中移动对象轨迹的预测方法实施例相对应，本申请还提供了一种轨迹预测装置。

图3是本申请一实施例的自动驾驶中移动对象的轨迹预测装置的结构示意图。

参见图3，本实施例提供的轨迹预测装置100，包括：

第一获取模块310，用于获取自动驾驶车辆周围环境的视频流；

目标检测模块320，用于对视频流中的当前图像帧，通过预设的目标检测器，获得移动对象的检测数据；

状态估计模块330，用于根据移动对象的检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据；

第二获取模块340，用于获取与当前图像帧对应的道路相关特征数据；

轨迹预测模块350，用于根据移动对象在下一帧的状态估计数据、道路相关特征数据及预存的轨迹预测模型，获得移动对象在当前图像帧之后的预设时长内的移动轨迹预测数据。

在一些实施例中，状态估计模块330依据移动对象检测数据和预设的卡尔曼滤波器，获得移动对象在下一帧的状态估计数据，具体包括：

获得所述移动对象在前一帧的卡尔曼滤波状态估计数据；

获得所述移动对象在当前图像帧中的状态观测数据；

依据移动对象在前一帧的卡尔曼滤波状态估计数据和在当前图像帧中的状态观测数据，获得移动对象在下一帧的状态估计数据。

在一些实施例中，第二获取模块340，获取与当前图像帧对应的道路相关特征数据，具体包括：

获得自动驾驶车辆与当前图像帧同一时刻的位置数据和航向角数据；

依据该位置数据、航向角数据、以及预存的高精地图数据和当前图像帧，获得与当前图像帧对应的道路相关特征数据。

图4是根据本申请一实施例的计算设备400的结构示意图。本实施例的电子设备例如可以是装设于自动驾驶车辆的设备或者是云服务器。

参见图4，计算设备400包括存储器410和处理器420。

处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。