一种基于深度学习的高速公路路面病害三维信息检测系统

摘要

本发明公开了一种基于深度学习的高速公路路面病害三维信息检测系统，包括路面信息感知层、数据存储层和综合服务层。本发明能够实时检测判断路面病害类型，实时获取路面信息感知层的三维点云图像及相关信息，对这些信息进行存储、查询、分类，并在电子地图上显示其对应的位置，同时能够完成路面状态发布，为公路路面养护人员提供极大地便利。

说明书

技术领域

本发明属于公路智慧养护领域，特别涉及了一种高速公路路面病害三维信息检测系统。

背景技术

截至2018年低，我国高速公路通车总里程达到14.26万公里，如何对高速公路路面进行合理的检测和破损路面进行科学养护成为交管部门的一项新的挑战。因为大部分早期建设的高速公路经过长期运营，再加上行车荷载(包括允许荷载和超载)、外界自然条件的长期作用以及对公路管理的忽视，这一连串的因素使得沥青路面在使用的过程中渐渐产生了多种类型的路面破损，因此，开展高速公路破损路面的检测与评估工作在现代化公路养护中具有重要的意义。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于深度学习的高速公路路面病害三维信息检测系统。

为了实现上述技术目的，本发明的技术方案为：

一种基于深度学习的高速公路路面病害三维信息检测系统，包括路面信息感知层、数据存储层和综合服务层；所述路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层；所述数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层；所述综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，所述电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，所述数据调用模块用于调取数据存储层的图像数据和系统数据，所述深度学习模块用于处理图像数据，所述图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。

进一步地，所述路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块，所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪。

进一步地，所述数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。

进一步地，所述电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。

进一步地，所述深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。

进一步地，所述PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分；所述PointNet网络通过一系列串联的setabstraction，将点云中的点进行局部划分，提取局部的整体特征。

进一步地，所述PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：

其中，L

进一步地，所述图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL编程库以及VTK可视化工具包来显示点云图像，并对点云图像进行包括旋转、平移、放大和缩小额操作。

进一步地，所述深度学习模块将采集到的点云图像切分为8×8的网格状，再将切割后的每一小块路面点云使用VoxelNet进行滤波降采样。

进一步地，所述图像加载模块读取深度学习模块对每一小块路面点云的分类结果列表，根据读取结果给有病害的小块路面点云进行标记后合并，发布最终的路面状态信息。

采用上述技术方案带来的有益效果：

本发明能够实时检测判断路面病害类型，实时获取路面信息感知层的三维点云图像及相关信息，然后对这些信息进行存储、查询、分类，并在电子地图上显示其对应的位置，同时能够完成路面状态发布，为公路路面养护人员提供极大地便利。

附图说明

图1为本发明的系统架构示意图；

图2为本发明中图像加载模块界面图；

图3为本发明中点云图像处理流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种基于深度学习的高速公路路面病害三维信息检测系统，如图1所示，包括路面信息感知层、数据存储层和综合服务层。路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层。数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层。综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，数据调用模块用于调取数据存储层的图像数据和系统数据，深度学习模块用于处理图像数据，图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。

在本实施例中，优选地，如图1所示，路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块。所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪，距离测量仪通过向发送脉冲驱动信号控制3D相机的采集频率。

在本实施例中，优选地，数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。数据存储层直接存储了预设数据，包括路线名称、检测天气、车道、公路等级、施测方向、匝道、路面类型、起始位置桩号、检测员等信息。

在本实施例中，优选地，电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。

在本实施例中，优选地，深度学习模块将采集到的原始点云切分为8×8的网格状。切割后的每一小型矩形的点云点数在3900左右，再将每一小块路面使用VoxelNet滤波降采样到3072个。深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分，PointNet网络通过一系列串联的set abstraction，将点云中的点进行局部划分，提取局部的整体特征。PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：

其中，L

在本实施例中，优选地，如图2所示，图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL(Point Cloud Library)编程库以及VTK可视化工具包来显示从前端接收的路面点云三维图像，可以对图像旋转、平移、放大、缩小等操作。

在本实施例中，优选地，如图3所示，图像加载模块通过路面状态发布系统会读取深度学习网络对每一小方块路面的分类结果列表，根据读取结果并给有病害的小方块路面点云数据标记红色再将合并，最后会将路面状态发布到信息板上。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。