一种交通参与者的信息生成方法及系统

摘要

本发明公开了一种交通参与者的信息生成方法及系统，根据真实交通场景采集数据建立场景库数据集，具有数据内容丰富、目标信息准确等特点更加符合国内实际交通场景应用，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，并确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联更新目标预测估计结果，作为跟踪算法结果输出同时也为下一帧的数据输入形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果获得交通参与者目标最终信息，能够准确的获取多种类型的交通参与者信息。

说明书

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种交通参与者的信息生成方法及系统。

背景技术

随着人工智能技术发展迅速，智能化机器在很多行业辅助或者代替人进行高效、精准地工作。自动驾驶汽车通过车载传感器以及信息通信技术来获得车辆周围的环境感知信息，并对周围的交通参与者进行运动预测，进而将目标信息提供给驾驶操作辅助系统或者自动驾驶系统中的决策、规划环节。但是由于交通环境中场景复杂多变，交通参与者类型众多，准确且快速的获取复杂环境中的交通参与者信息十分具有挑战，现有技术对于交通参与者检测方法的缺点在于目标信息只能获得三维目标框的位置，大小，方向且目标单一，不能获取准确且快速的获取复杂环境中的交通参与者信息。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中不能获取准确且快速的获取复杂环境中的交通参与者信息的缺陷，从而提供一种交通参与者的信息生成方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种交通参与者的信息生成方法，包括如下步骤：在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；

将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；

对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；

将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；

将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。

在一实施例中，每一帧目标信息标注包括：目标类别、目标位置、目标尺寸、目标方向、目标ID。

在一实施例中，目标检测结果D＝(type，x,y,z,θ,l,w,h)，其中type为目标类别，x,y,z,分别为目标框在自身车辆坐标系下的横坐标，纵坐标，高度；l,w,h分别为目标框的长，宽，高；θ为目标框在自身车辆坐标系下的航向角；

物体跟踪的状态量T＝(x’,y’,z’,θ’,v

在一实施例中，交通参与者目标最终信息包括:根据预测的目标状态结果改善目标检测位置结果、目标速度及目标ID。

在一实施例中，所述的交通参与者的信息生成方法，还包括：对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。

在一实施例中，在车辆连续预设帧数检测到目标确认场景中有该目标，并且车辆连续预设帧数检测不到才确认目标离开检测范围。

在一实施例中，在目标数据关联之后，如果预测的目标状态结果与目标检测结果的目标方向或者尺寸大于预设差值，采用预测的目标状态结果优化目标检测结果。

第二方面，本发明实施例提供一种交通参与者的信息生成系统，包括：场景数据采集模块，用于在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；

场景数据建立模块，用于将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；

目标模型训练模块，用于对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；

目标检测模块，用于将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；

目标信息获取模块，用于将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。

在一实施例中，所述的交通参与者的信息生成系统，还包括：目标结果场景库建立模块，用于对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面的交通参与者的信息生成方法。

第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面的交通参与者的信息生成方法。

本发明技术方案，具有如下优点：

本发明提供的交通参与者的信息生成方法及系统，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，包括：类别、横向速度、纵向速度、位置、尺寸、方向、身份ID、目标历史列表以及目标预测列表，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，并确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的交通参与者的信息生成方法的一个具体示例的工作流程图；

图2为本发明实施例中提供的激光雷达安装位置的示意图；

图3为本发明实施例中交通参与者的信息生成系统的一个具体示例的模块组成图；

图4为本发明实施例中交通参与者的信息生成系统的另一个具体示例的模块组成图；

图5为本发明实施例提供的计算机设备一个具体示例的组成图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种交通参与者的信息生成方法，应用于自动驾驶场景中，如图1所示，包括如下步骤：

步骤S10：在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据。

在一具体实施例中，如图2所示，将激光雷达安装在车顶横向中心线上，车辆两侧盲区边界距离车辆中心线不超过3.125m，顶置激光雷达的光束尽量不要打到车辆本体上，激光雷达安装、标定好之后在真实交通场景采集数据。在汽车自动驾驶时也同时安装摄像头、长距雷达、角毫米雷达等获取交通行驶数据，数据采集的过程中将被存储在外存储设备，如：移动硬盘等。将采集完后数据包上传到云平台等待进一步处理。

步骤S20：将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注。

交通参与者目标首先需要生成目标物类别、位置、尺寸、方向这些基本信息，三维目标检测网络模型训练结果依赖于数据集，因此建立场景数据是首要工作。本发明实施例从数据包中解析出来，点云数据解析为时间戳命令的.pcd文件，然后根据解析后的数据进行场景切分，主要包括自车切入、自车切出、变道、跟车等场景，在切分后的场景流片段中进行数据场景描述，描述文件一般以json格式保存。对场景流中的点云数据中每一帧目标信息标注，标注的信息至少包括目标类别(包括：汽车、客车、摩托车，三轮车等)、目标位置、目标尺寸、目标方向、目标ID，标注的类别内容丰富且符合中国交通场景特色利于检测结果，每一个点云数据对应一个标注文件，标准文件一般以txt或者json的文件形式保存。

步骤S30：对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型。

由于原始点云数据存在噪点且数据量庞大，直接进行目标检测模型训练，会降低检测算法的处理速度因此需要对原始点云数据进行预处理。本发明实施例对获得原始点云数据进行预处理的过程包括：去离群点噪声，对环境或者设备自身影响造成的噪声点云进行过滤，原始点云数据范围以及数量较大，对点云进行特定范围过滤并进行下采样，建立自身车辆坐标系设置在一车体后轴中心为坐标系原点下，车辆前方行驶为x轴正方向，右手定则确定y轴以及z轴方向，过滤的范围在(x：-80m，+100m；y:-40m,+40m；z:0m,4m)。采用VoxelGrid滤波器进行下采样，网格单位为0.01m，然后用每个体素的重心来近似表达体素中的其它点云。

根据原始点云数据以及标注数据进行SECOND(Sparsely EmbeddedConvolutional Detection，稀疏嵌入的卷积目标检测网络)模型训练，获得网络模型权重参数。首先，对定义标注模型的数值的实际信息生成字典类型并在原始数据中根据标注的目标框内的点云信息与标注的信息生成pkl数据预处理文件。根据采集的数据改进网络代码，只根据点云数据而不依赖于图像且点云标注信息符合场景数据标注的内容。然后根据模型网络进行体素网格生成、体素特征编码、类别anchor(包括：三维bbox相关信息，长宽高、中心点的偏移量、旋转角度等)voxel特征提取、中间特征提取层、RPN区域推荐层。通过网络迭代收敛网络loss接近0之后，保存生成的模型参数到ckpt文件。

本发明实施例根据真实交通场景采集数据，建立场景库数据集，因此该数据集具有数据量大、数据内容丰富、目标信息准确等特点，基于场景数据进行网络模型训练生成基本目标信息，目标信息更加准确且符合国内实际交通场景应用。

需要说明的是，本发明实施例是自身车辆坐标系的设置方式、下采样的算法及网络模型的选择只是作为一种具体的实施例进行举例说明，并不以此为限。

步骤S40：将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果。

本发明实施例的目标检测结果，包括：交通参与者分类结果，目标框回归结果，目标框偏航角结果，输出的每个目标检测结果表示为D＝(type，x,y,z,θ,l,w,h)，其中，type是目标类别(包括：car小车、truck卡车、bicycle自行车、pedestrian行人等)，x,y,z,分别是目标框在自身车辆坐标系下的横坐标，纵坐标，高度；l,w,h分别为目标框的长，宽，高；θ为目标框在自身车辆坐标系下的航向角。利用训练好的目标检测模型输出的目标数据信息丰富，解决了交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。

步骤S50：将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。

本发明实施例基于自身车辆坐标系检测的目标信息转换为大地坐标系下，然后确定物体运动模型(例如是匀加速运动模型或者匀速直线运动模型)以及物体跟踪的状态量，物体跟踪的状态量T＝(x’,y’,z’,θ’,v

本发明实施例中，状态量预测、数据关联及目标状态更新为一个闭环的循环过程，当前帧的目标状态更新后将作为下一帧的的数据输入进行状态量预测，最终更新的目标估计结果作为下一帧的数据输入，以此类推。

本发明实施例在车辆连续5帧检测到到目标确认场景中有该目标，并且车辆连续3帧检测不到才确认目标离开检测范围。在目标数据关联之后，如果预测的目标状态结果与目标检测结果的目标方向或者尺寸大于预设差值，采用预测的目标状态结果优化目标检测结果。具体为：前后帧目标框的面积区域不应缩小；前后帧目标框角度旋转变化不应大于0.04弧度值。

本发明实施例还对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据(例如车道线信息，gps信息等)支持场景库建立，以更准确的对场景进行切分以及仿真系统的开发。

在实际在自动驾驶场景中终端显示目标信息包括：类别、横向速度、纵向速度、位置、尺寸、方向、身份ID、目标轨迹历史列表以及目标轨迹预测列表(预设时间步长根据实际应用设置，在此不作限制)，方便实时查看了，及时了解行驶状态及轨迹预测。

本发明实施例提供的交通参与者的信息生成方法，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。

实施例2

本发明实施例提供一种交通参与者的信息生成系统，如图3所示，包括：

场景数据采集模块10，用于用于在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据。此模块执行实施例1中的步骤S10所描述的方法，在此不再赘述。

场景数据建立模块20，用于将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注。此模块执行实施例1中的步骤S20所描述的方法，在此不再赘述。

目标模型训练模块30，用于对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型。此模块执行实施例1中的步骤S30所描述的方法，在此不再赘述。

目标检测模块40，用于将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果。此模块执行实施例1中的步骤S40所描述的方法，在此不再赘述。

目标信息获取模块50，用于将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。此模块执行实施例1中的步骤S50所描述的方法，在此不再赘述。

本发明实施例提供的交通参与者的信息生成系统，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。

在另一实施例中，上述的交通参与者的信息生成系统，如图4所示，还包括：目标结果场景库建立模块60，用于对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。其他自动驾驶场景的数据包括：车道线信息，gps信息等，以更准确的对场景进行切分以及仿真系统的开发。

实施例3

本发明实施例提供一种计算机设备，如图5所示，该设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的交通参与者的信息生成方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。

一个或者多个模块存储在存储器52中，当被处理器51执行时，执行实施例1中的交通参与者的信息生成方法。

上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。