一种基于图像点云融合的高精度交通要素目标提取方法

摘要

本发明涉及一种基于图像点云融合的高精度交通要素目标提取方法，包括：根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据；根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测；利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的分割的结果映射到点云数据，提取得到交通要素目标；将RGB数据与对应的点云数据相融合，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取。

说明书

技术领域

本发明涉及高精度地图制作生成领域，尤其涉及一种基于图像点云融合的高精度交通要素目标提取方法。

背景技术

高精度地图，通俗来讲就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与交通相对的周围静态信息。高精度地图将大量的行车辅助信息存储为结构化数据，比如车道周边的固定对象信息，比如交通标志、交通信号灯等指示信息。

由于高精度地图的精度为厘米级别，而生产高精度地图的点云数据为无序的，点云数据中点与点的距离一般在5cm-15cm之间，所以在点云中高精度提取交通要素，存在很多难点。传统的点云处理方法在对交通要素进行检测的精度比较低，漏检比较高，并不能完整的对整个点云数据中的交通要素进行全量提取，所以国内外有很多学者，研究利用AI技术来对点云进行处理，并提取相关的对象，在对点云进行分类的研究中，AI提出了pointNet++网络可实现对点云对象的分类，在对点云进行语义分割方面，提出了Minet网络，可实现对网络中的点云点进行分类，并形成语义级别的分割。

然而点云数据没有交通要素的属性信息，只有几何精度信息，因此基于AI技术进行点云数据的提取的信息难以保证其完整性。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于图像点云融合的高精度交通要素目标提取方法，解决现有技术中的问题。

本发明解决上述技术问题的技术方案如下：一种基于图像点云融合的高精度交通要素目标提取方法，包括：

步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用所述图像对对应的点云数据进行属性赋值后得到融合数据；

步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对所述图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个所述检测模型对所述图像进行各个交通要素的检测，对所述交通要素对应的点云数据进行保存；

步骤3，利用语义分割网络对所述图像中的所述交通要素进行目标语义分割，将所述图像的分割的结果映射到所述点云数据，提取得到交通要素目标。

本发明的有益效果是：将RGB数据与对应的点云数据相融合，实现高精度配准；利用配准好的数据，结合深度学习目标检测算法，可实现对目标的高精度提取，提取的结果有RGB目标和点云数据目标，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取；利用配准好的数据，结合深度学习的语义分割算法，可实现对目标的形点串进行高精度提取，以便对图像各类目标进行语义分割，同时，也可以实现对点云数据的目标进行高精度的语义提取。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1包括：

步骤101：利用深度学习检测网络对所述图像的RGB数据以及点云数据的高精度交通要素进行提取；

步骤102：利用同名点配准方法对所述RGB数据和点云数据的相同特征目标进行高精度的匹配，利用所述RGB数据对对应的点云数据进行属性赋值，将所述深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中。

进一步，所述配准方法包括：

步骤10201，选择所述图像和点云数据上的多个特征，构建多个同名特征对；

步骤10202，根据所述图像获取时刻POS，并将所述同名特征对的绝对坐标转换至载体坐标；

步骤10203，根据相机的外参数初值，将所述同名特征对的载体坐标转换为相机坐标；

步骤10204，根据相机的内标定参数，获取所述同名特征对的相片上的坐标，计算残差值；

步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准。

进一步，所述步骤102还包括标志牌去重：

以目标检测的IOU评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。

进一步，所述步骤2中对所述交通要素进行分类的类别包括：标识牌、杆件、和交通信号灯。

进一步，将训练集中的所述图像转化为灰度图片后送入到模型进行训练，得到最优的所述目标检测模型后，利用该最优的所述目标检测模型对图像进行检测，将检测到的标识牌、杆件、和交通信号灯目标进行保存。

进一步，所述步骤2中对所述交通要素对应的点云数据进行保存的过程包括：根据所述检测到的图像中的各个交通要素的轨迹点的位置信息，将所述轨迹点的位置信息对应的点云数据进行保存。

进一步，所述步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。

进一步，所述步骤1之后还包括：基于传统机器学习的图像处理算法，对破损或被遮挡的所述交通要素进行判断和处理，并对每个所述交通要素精度过程进行赋值。

进一步，所述步骤3之后还包括：

根据所述点云数据的强度信息和位置信息来移动轮廓点精确的位置，对所述点云数据的所述交通要素进行精提取。

采用上述进一步方案的有益效果是：利用配准好的数据，结合深度学习中的关键点提取算法，可实现对目标关键点进行高精度提取，以便完成对箭头等刚性结构体的关键点进行提取，同时，也可以实现对点云数据中所对应的目标进行高精度的关键点提取；基于传统机器学习的图像处理算法，可实现对深度学习方法不易处理的情况，例如印刷破损、被遮挡的交通要素等进行判断与处理，同时传统的图像处理方法，可完成对每个交通要素精度过程进行赋值，以提高自动化制图的效率。

附图说明

图1为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的流程图；

图2为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的实施例的流程图；

图3为本发明提供实施例的利用同名点配准方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

传统的高精度电子导航地图的构建，主要采用人工的制作方法，将原始的点云数据构建成高精度地图，该方法效率低下，成本高，不利于地图的制作，利用机器学习的方法将多源异构数据融合的结果，制作成高精度导航电子地图，将是发展的趋势，利用机器学习的多种概率模型算法，贯穿整个自动化制构图过程，成为了系统方法中的关键技术。

研究的关键技术内容主要包含：图像点云配准，深度学习目标检测算法，深度学习关键点检测算法，深度学习分割算法以及传统基于机器学习的相关视觉处理算法。

发明实施例中使用的电脑环境为windows10，显卡为GTX1080Ti，软件开发环境为pycharm和anaconda，深度学习开发环境为pytorch。

如图1所示为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的流程图，由图1可知，该方法包括：

步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据。

图像与点云的配准可以解决对点云数据赋属性的问题，可实现物理世界的感知。

步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测，对交通要素对应的点云数据进行保存。

基于深度学习目标检测算法，可实现对电子地图中所需的交通要素准确的检测，完成对电子地图数据属性的获取，同时，可实现端对端的嵌入到自动化地图数据制作中，简化自动化构图的过程。

步骤3，利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的高精度分割的结果也可以映射到点云数据，提取得到交通要素目标。

基于深度学习的语义分割算法，以像素精度的方式分割出交通要素目标和背景，基于图像数据和点云数据进高质量的融合配准，将高精度的语义分割算法，嵌到系统找那个完成对融合数据的分割，可提高地图数据的相对精度，最后利用几何精度提炼算法进一步提升分割后目标轮廓的几何相对精度。

利用语义分割网络将配准的结果进行语义级别的分割，使不同的类别的边缘信息更加准确，以便高精度的获得不同目标的形点串，由于图像与点云数据已经进行了高精度的配准，所以对图像的高精度分割的结果也可以映射到点云最后结构，实现高精度点云的分割，并可以将图像的属性信息赋值到对应的点云目标。

本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法，针对点云数据没有交通要素的属性信息，只有几何精度信息，所以将图像和点云融合形成融合数据以满足对高精度地图数据的提取要求，利用激光点云数据和图像数据的融合结果自动提取交通要素的形点串和属性信息，满足集合信息与属性信息的同时提取，实现自动化提取物理世界的交通要素，以便减少人工参与的制作时间。

将RGB数据与对应的点云数据相融合，实现高精度配准；利用配准好的数据，结合深度学习目标检测算法，可实现对目标的高精度提取，提取的结果有RGB目标和点云数据目标，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取；利用配准好的数据，结合深度学习的语义分割算法，可实现对目标的形点串进行高精度提取，以便对图像各类目标进行语义分割，同时，也可以实现对点云数据的目标进行高精度的语义提取。

实施例1

如图2所示为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的实施例的流程图，由图2可知，该高精度要素目标提取方法的实施例是基于多种深度学习集成的，深度学习算法为机器学习算法中的一种特殊算法，它将神经网络算法有更多的隐藏层，这些层位于神经元的第一层(即输入层)和最后一层(即输出层)之间。随着网络深度的增加，其参数也将成指数级增长，但是对物理世界的特征表示能力更强。该实施例包括：

步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据。

具体的，该步骤1包括：

步骤101：利用深度学习检测网络对图像的RGB数据以及点云数据的高精度交通要素进行提取。

对于激光扫描仪采集到的点云数据和图像(RGB图信息)检查合格以后就开始利用深度学习中的检测网络实现高精度交通要素的提取。

步骤102：利用同名点配准方法对RGB数据和点云数据的相同特征目标进行高精度的匹配，利用RGB数据对对应的点云数据进行属性赋值，将深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中。

步骤102还包括标志牌去重：

以目标检测的IOU(Intersection-over-Union，交并比)评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。

如图3所示为本发明提供实施例的利用同名点配准方法的流程图，由图3可知，该配准方法包括：

步骤10201，选择图像和点云数据上的多个特征，构建多个同名特征对。

步骤10202，根据图像获取时刻POS(位置姿态)，并将同名特征对的绝对坐标转换至载体坐标。

步骤10203，根据相机的外参数初值，将同名特征对的载体坐标转换为相机坐标。

步骤10204，根据相机的内标定参数，获取同名特征对的相片上的坐标，计算残差值。

步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准。

步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测，对交通要素对应的点云数据进行保存。

根据业务需求步骤1只提取部分目标的属性，而步骤2-3的需求是提取图片中所有交通要素的目标，这对深度学习目标检测来说是一个比较大的挑战，因此本发明按照特征的独立性进行分类，主要分为标识牌、杆件和交通信号灯，根据这些主要的交通要素进行选择同名点。

优选的，步骤2中对交通要素进行分类的类别主要包括：标识牌、杆件、和交通信号灯。

进一步的，为了提高标志牌、杆件和交通信号灯的查全率和查准率，将训练集中的图像转化为灰度图片后送入到模型进行训练，得到最优的目标检测模型后，利用该最优的目标检测模型对图像进行检测，将检测到的矩形标识牌、杆件、和交通信号灯目标进行保存。

具体的，步骤2中对交通要素对应的点云数据进行保存的过程包括：根据检测到的图像中的各个交通要素的轨迹点的位置信息，将轨迹点的位置信息对应的点云数据进行保存。

步骤3，利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的分割的结果映射到点云数据，提取得到交通要素目标。

优选的，步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。

基于深度学习的关键点检测算法为目标检测算法的一个子研究方向，可对地图中的结构数据像箭头等角点坐标信息进行提取，同时也可以对结构道路上的增加减区域进行检测，可实现端对端的嵌入到自动化地图数据制作中，简化自动化构图的过程。

基于传统机器学习的图像处理算法，对破损或被遮挡的交通要素进行判断和处理，并对每个交通要素精度过程进行赋值。

基于传统机器学习的图像处理算法，可实现对深度学习方法不易处理的情况，例如印刷破损、被遮挡的交通要素等进行判断与处理，同时传统的图像处理方法，可完成对每个交通要素精度过程进行赋值，以提高自动化制图的效率。

步骤3之后还包括：

根据点云数据的强度信息和位置信息来移动轮廓点精确的位置，对点云数据的交通要素进行精提取。

点云数据当中精提取主要是根据点云强度信息和位置信息来移动轮廓点精确的位置，即可精确地获取激光点云数据中的信息，这样才达到了高精度制作的厘米级要求。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。