一种基于深度学习的探地雷达自主式智能扫查及导航方法

摘要

本发明提供一种基于深度学习的探地雷达自主式智能扫查及导航方法，包括：步骤S1，对探地雷达机器人采集的数据进行实时数据处理，使用人工智能目标检测方法识别异常体；步骤S2，根据识别到的异常体后边界，获得当前测线的折返点，根据折返点和坐标系向量循环往复进行目标检测；步骤S3，根据所述折返点和参考方向，提取内存中上一次保存的历史向量，通过反向行进对数据采集进行导航；步骤S4，根据多次往返采集数据生成的垂直切片图像集，实时进行异常体三维模型渲染。本发明能够实时处理采集数据，有助于提高对前期探测进行现场复测和验证的效率，能够满足特定场景地下异常体探测的小型轻量化、智能自动化、实时性以及安全性的需求。

说明书

技术领域

本发明涉及地质勘察技术领域，尤其涉及一种基于深度学习的探地雷达自主式智能扫查及导航方法。

背景技术

探地雷达(GPR)通过发射高频脉冲电磁波对地下介质进行探测，识别地下目标异常体，具有操作简单、探测精度高、无损伤和采集速度快等特点，是目前工程检测和勘察最为活跃的探测技术，在城市道路地下病害探测中的应用日趋广泛。机器人(Robot)是指自动执行工作的机器装置，可以根据人工智能制定的行动方式来行动，搭载探地雷达协助人类从事数据采集工作。以往对前期使用车载三维探地雷达的探测成果进行返回现场复测验证的方式是采用单通道或双通道便携式探地雷达人工采集数据后进行评判验证，执行效率较低，不同复测人员的验证标准不统一，导致评判结果产生偏差，现场复测人员的安全保障也存在隐患。因此，需要提出一种无需人工介入的自主式智能扫查方法来解决上述存在的问题，同时也需要进一步满足一些特定场景的地下异常体探测的小型轻量化、智能自动化、实时性以及安全性的需求。

发明内容

本发明所要解决的技术问题是需要提供一种无需人工介入的基于深度学习的探地雷达自主式智能扫查及导航方法，旨在达到实时处理采集数据，智能识别异常体并根据异常体的边界获取测线的折返点以控制自主式导航并实时进行异常体三维模型渲染的目的。本发明能够很好地满足探地雷达在特定场景地下异常体探测的小型轻量化、智能自动化、实时性以及安全性的需求。

对此，本发明提供一种基于深度学习的探地雷达自主式智能扫查及导航方法，包括以下步骤：

步骤S1，对探地雷达机器人采集的数据进行实时数据处理，使用人工智能目标检测方法识别异常体；

步骤S2，根据识别到的异常体后边界，获得当前测线的折返点，根据折返点和坐标系向量循环往复进行目标检测；

步骤S3，根据所述折返点和参考方向，提取内存中上一次保存的历史向量，通过反向行进对所述探地雷达机器人的数据采集进行导航；

步骤S4，根据多次往返采集数据生成的垂直切片图像集，实时进行异常体三维模型渲染。

本发明的进一步改进在于，所述步骤S1包括以下子步骤：

步骤S101，对采集的数据进行时间递进增益处理，计算每个采样点的增益参数；

步骤S102，根据每个采样点的增益系数对一个采集周期内不同深度的采样点进行不同级别的增益处理，得到处理后的振幅值；

步骤S103，根据处理后的振幅值生成垂直切片图像；

步骤S104，基于深度学习的轻量级神经网络模型yolov5对生成的垂直切片图像进行实时的批量目标检测，识别异常体。

本发明的进一步改进在于，所述步骤S101中，通过公式tgCoef[i]=tgVal*Contrast计算每个采样点的增益参数tgCoef[i]，其中，i表示循环系数，i∈[0,nSamples]，nSamples表示采样点数；tgVal表示深度增益量，tgVal=时间增益量timegain/1000；Contrast表示对比度；所述步骤S102中，通过每个采样点的增益参数tgCoef[i]与对应深度的采样点的振幅值相乘，得到处理后的振幅值。

本发明的进一步改进在于，所述步骤S103包括以下子步骤：

步骤S1031，通过第一预设数量的道数据对应雷达采集行进方向上的10米距离，构成垂直切片图像的宽度；

步骤S1032，通过第二预设数量的采样点数对应深度方向的512厘米，构成垂直切片图像的高度；

步骤S1033，以第一预设数量的1/2条道数据作为步进距离，生成多幅垂直切片图像。

本发明的进一步改进在于，所述步骤S104包括以下子步骤：

步骤S1041，实现人工智能目标检测的网络模型训练，在轻量级神经网络模型yolov5中，采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并采用等效卷积去掉focus层，利用focal loss替换标准的二元交叉熵损失函数；

步骤S1042，将网络模型的推理批量尺寸设置为16，置信度阈值设置为70，对生成的垂直切片图像进行批量目标检测，当被标记矩形框的得分超过预设阈值时，标记为异常体，并记录异常体的长度和深度信息。

本发明的进一步改进在于，所述步骤S2包括以下子步骤：

步骤S201，从探地雷达机器人的初始开机位置或上一个折返点位置开始，基于探地雷达机器人的位姿数据，计算测线方向在探地雷达机器人坐标系下的向量，并作为历史记录保存在导航单元的内存中；

步骤S202，探地雷达机器人沿初始开机位置或上一次计算的测线方向行进并采集数据，计算单元实时进行目标检测；

步骤S203，当异常体目标被标记时，导航单元设置当前位置作为测线的折返点；

步骤S204，导航单元根据上一次保存的探地雷达机器人坐标系的向量，做循迹倒车式的反向行进，继续采集数据，计算单元继续进行实时目标检测；

步骤S205，返回至所述步骤S201循环往复。

本发明的进一步改进在于，所述步骤S3包括以下子步骤：

步骤S301，根据预先通过车载三维探地雷达的探测结果，返回现场进行复测，或到达特定场景的指定区域开始探测；所述探测结果包括GPS坐标位置；

步骤S302，在导航单元设置初始的探测区域、测线方向、测线的前后折返点以及往返最大次数；

步骤S303，根据步骤S2获得的折返点及参考方向，采用弓字形的往返路径对探地雷达机器人进行导航，在测线的折返点处提取内存中上一次保存的历史向量，实现反向行进采集数据；

步骤S304，若未识别到异常体，导航单元则按预设的折返点对探地雷达机器人进行导航，往返采集数据，直到达到预设的最大往返次数为止。

本发明的进一步改进在于，所述步骤S4包括以下子步骤：

步骤S401，按照往返采集的时间先后顺序，生成具有相同宽度的多帧格式的tiff图片；

步骤S402，基于光线跟踪法对多帧格式的tiff图片进行三维渲染。

本发明的进一步改进在于，所述步骤S401包括以下子步骤：

步骤S4011，按照往返采集的时间先后顺序，将折返点之间的数据依次生成垂直切片图像；

步骤S4012，判断测线是否识别到异常体，若是，则跳转至步骤S4013；若否，则跳转至步骤S4015；

步骤S4013，对由近端折返点到远端折返点方向的测线对应的垂直切片图像，在所述垂直切片图像的两侧补全第一空白图像，所述第一空白图像分别为预设近端折返点到近端折返点的空白图像以及远端折返点到预设远端折返点的空白图像；

步骤S4014，对由远端折返点到近端折返点方向的测线对应的垂直切片图像，在所述垂直切片图像的两侧补全第二空白图像，所述第二空白图像分别为预设远端折返点到远端折返点的空白图像以及近端折返点到预设近端折返点的空白图像；

步骤S4015，对由远端折返点到近端折返点方向的测线对应的垂直切片图像，进行一次水平翻转。

本发明的进一步改进在于，所述步骤S402包括以下子步骤：

步骤S4021，将所述tiff图片的每一帧按照帧的顺序，排列成三维矩阵；

步骤S4022，利用边缘检测算法对全通道的三维矩阵数据进行处理，将目标波形与背景杂波进行分离；

步骤S4023，确定所述三维矩阵的观察方向，并沿观察方向对所述三维矩阵进行等距采样；

步骤S4024，对各个采样点进行三次立方平滑插值处理，求出各个采样点的颜色值和不透明度值；

步骤S4025，将求得的各个采样点的颜色值和不透明度值，按照从前到后的顺序进行图像合成；

步骤S4026，将所有像素点沿所述观察方向上的累加颜色值投射在屏幕上，生成三维渲染图；

步骤S4027，当检测到观察方向发生变化时，重复所述步骤S4023至步骤S4026得到新的三维渲染图。

与现有技术相比，本发明的有益效果在于：能够对探地雷达机器人采集的数据进行实时处理，使用人工智能目标检测识别异常体，并根据异常体边界获得当前测线的折返点，以此来对探地雷达机器人进行自主式导航，以便同步实现异常体的三维模型渲染。本发明有助于提高对前期探测成果进行现场复测和验证的效率，在此基础上，还能够进一步满足特定场景的地下异常体的探测需求，实现了针对性的自主式智能安全扫查，为提升产品的小型轻量化设计、智能自动化设计、实时性以及安全性提供了很好的基础。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是本发明一种实施例的三维探地雷达进行实时数据采集的探测成果图；

图3是本发明一种实施例实时目标检测识别的异常体的垂直切片图像；

图4是本发明一种实施例中探地雷达机器人沿弓字形路径智能往返采集的示意图；

图5是本发明一种实施例中多帧格式的tiff垂直切片集的示意图；

图6是本发明一种实施例中异常体三维渲染模型。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

如图1至图6所示，本例提供一种基于深度学习的探地雷达自主式智能扫查及导航方法，包括以下步骤：

步骤S1，对探地雷达机器人采集的数据进行实时数据处理，使用人工智能目标检测方法识别异常体；

步骤S2，根据识别到的异常体后边界，获得当前测线的折返点，根据折返点和坐标系向量循环往复进行目标检测；本例所述异常体后边界指的是通过目标检测方法识别异常体而输出的矩形边界框的后边界；

步骤S3，根据所述折返点和参考方向，提取内存中上一次保存的历史向量，通过反向行进对所述探地雷达机器人的数据采集进行导航；

步骤S4，根据多次往返采集数据生成的垂直切片图像集，实时进行异常体三维模型渲染。

本例所述步骤S1先通过探地雷达机器人进行实时的数据采集，如图2所示，获取的检查数据里包含的GPS坐标位置，便于返回现场开始复测，或到达特定场景的指定区域开始探测；然后进行实时数据处理。

在实时数据处理过程中，由于针对地下空间的探地雷达波具有波形复杂、能量易衰减和干扰杂波多的特点，无法直接观察，极易与周围环境混淆，需要经过多种滤波处理才能够发现地下病害体目标；现有技术针对地下空间的探地雷达波的数据处理包括全局背景消除滤波、反向能量衰减增益、去除低频噪声滤波以及K-L变换等方法。这些现有技术需要整条测线数据计算中间值，必然存在计算量大和速度慢等问题，无法真正满足实时性的要求。与现有技术不同，本申请通过下面步骤S101和步骤S102这两个子步骤就能够针对地下空间的实时采集数据进行高效的滤波，既能较好地从探地雷达波中将目标体图像进行增益突出，又能做到高效处理，满足实时性要求。

本例所述步骤S1包括以下子步骤：

步骤S101，对采集的数据进行时间递进增益处理，计算每个采样点的增益参数；

步骤S102，根据每个采样点的增益系数对一个采集周期内不同深度的采样点进行不同级别的增益处理，得到处理后的振幅值；

步骤S103，根据处理后的振幅值生成垂直切片图像；

步骤S104，基于深度学习的轻量级神经网络模型yolov5对生成的垂直切片图像进行实时的批量目标检测，识别异常体。

本例所述步骤S101中，通过公式tgCoef[i]=tgVal*Contrast计算每个采样点的增益参数tgCoef[i]，其中，i表示循环系数，i∈[0,nSamples]，初始化时，循环系数i=0，随着每次循环加1；nSamples表示采样点数；tgVal表示深度增益量，tgVal=时间增益量timegain/1000；Contrast表示对比度；所述步骤S102中，通过每个采样点的增益参数tgCoef[i]与对应深度的采样点的振幅值相乘，得到处理后的振幅值。

经过以上实时处理的数据，图像处理单元可以用来生成垂直切片图像(B-scan)。探地雷达采集的数据由多条道数据(trace)组成，每条道数据对应一个采集周期，含多个深度方向的采样点 (sample)，每个采样点对应一个振幅值，数值范围从-32768到32767；本例所述步骤S103包括以下子步骤：

步骤S1031，通过第一预设数量的道数据对应雷达采集行进方向上的10米距离，构成垂直切片图像的宽度；所述第一预设数量为预先设置的道数据(trace)的数量，默认为200条，在实际应用中可以根据需求进行自定义修改和调整；

步骤S1032，通过第二预设数量的采样点数对应深度方向的512厘米，构成垂直切片图像的高度；所述第二预设数量为预先设置的采样点数 (samples)的数量，默认为256个，在实际应用中可以根据需求进行自定义修改和调整；

步骤S1033，以第一预设数量的1/2条道数据作为步进距离，生成多幅垂直切片图像B-scans。即步进的取值为第一预设数量的一半，比如100条道数据作为步进距离step。

接着通过人工智能目标检测模型实现AI实时目标检测，优选采用基于深度学习的轻量级神经网络模型yolov5，以海量真实异常体标注样本训练而成。通过计算单元使用该模型对以上生成的垂直切片图像进行实时批量目标检测，识别异常体。

本例所述步骤S104包括以下子步骤：

步骤S1041，实现人工智能目标检测的网络模型训练，在轻量级神经网络模型yolov5中，采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并采用等效卷积去掉focus层，利用focal loss替换标准的二元交叉熵损失函数；训练时增加recall权值以获取最佳模型，采用量化参数为FP16及BatchSize=16的TensorRT推理加速方式，在准确率和推理效率中取得最优值；

步骤S1042，计算单元配置算力为6.0的嵌入式Nvidia图像处理模块，将网络模型的推理批量尺寸设置为16，置信度阈值设置为70，能同时检测16幅垂直切片图像。每幅垂直切片图像对应雷达采集行进方向上的10米距离，每幅垂直切片图像以5米为间隔依次生成，每个批次可以处理测线方向上的80米路段，用时约400ms；对生成的垂直切片图像进行批量目标检测，当被标记矩形框的得分超过预设阈值时，标记为异常体，并记录异常体的长度和深度信息。所述预设阈值为预先设置的异常体的判断值，该异常体的判断值取值范围可以根据实际情况进行设置和调整，默认值可以根据历史数据来获取。

采用AI实时目标检测法去识别异常体，具备秒级以内的快速响应。目标异常体一旦被检测识别，就能够获得异常体的长度和深度信息，也代表探地雷达的扫查装置已经且刚刚通过异常体的后边界，在导航单元设置此时此刻所在位置作为当前测线的折返点，该折返点表示自主式扫查及导航的工作方向需要转向，以此计算工作场景的参考方向。

本例所述步骤S2包括以下子步骤：

步骤S201，从探地雷达机器人的初始开机位置或上一个折返点位置开始，基于探地雷达机器人的位姿数据，计算测线方向在探地雷达机器人坐标系下的向量，并作为历史记录保存在导航单元的内存中；

步骤S202，探地雷达机器人沿初始开机位置或上一次计算的测线方向行进并采集数据，计算单元实时进行目标检测；

步骤S203，当异常体目标被标记时，导航单元设置当前位置作为测线的折返点；

步骤S204，导航单元根据上一次保存的探地雷达机器人坐标系的向量，做循迹倒车式的反向行进，继续采集数据，计算单元继续进行实时目标检测；

步骤S205，返回至所述步骤S201循环往复。

本例所述步骤S3以所述折返点和参考方向来对探地雷达机器人数据采集进行导航。所述步骤S3包括以下子步骤：

步骤S301，根据预先通过车载三维探地雷达的探测结果，返回现场进行复测，或到达特定场景的指定区域开始探测；所述探测结果包括GPS坐标位置；

步骤S302，在导航单元设置初始的探测区域、测线方向、测线的前后折返点以及往返最大次数；

步骤S303，根据步骤S2获得的折返点及参考方向，采用弓字形的往返路径对探地雷达机器人进行导航，在测线的折返点处提取内存中上一次保存的历史向量，实现反向行进采集数据；往返采集数据的过程是：如果识别到异常体，即目标异常体一旦被AI检测识别，就能够获得异常体的长度信息，也代表扫查装置已经且刚刚通过异常体的后边界。根据步骤S2在导航单元设置此时此刻所在位置作为当前测线的折返点，并提取内存中上一次保存的历史向量，做反向行进采集；

步骤S304，若未识别到异常体，导航单元则按预设的折返点对探地雷达机器人进行导航，往返采集数据，直到达到预设的最大往返次数为止。预设的折返点可以从所述历史记录中获取，也可以根据需求进行自定义设置和调整。

本例所述步骤S4根据多次往返采集数据生成的垂直切片图像集，实时进行异常体三维模型渲染。所述步骤S4包括以下子步骤：

步骤S401，按照往返采集的时间先后顺序，生成具有相同宽度的多帧格式的tiff图片；

步骤S402，基于光线跟踪法对多帧格式的tiff图片进行三维渲染。

本例所述步骤S401包括以下子步骤：

步骤S4011，按照往返采集的时间先后顺序，将折返点之间的数据依次生成垂直切片图像；

步骤S4012，判断测线是否识别到异常体，若是，则跳转至步骤S4013；若否，则跳转至步骤S4015；

步骤S4013，对由近端折返点到远端折返点方向的测线对应的垂直切片图像，在所述垂直切片图像的两侧补全第一空白图像，所述第一空白图像分别为预设近端折返点到近端折返点的空白图像以及远端折返点到预设远端折返点的空白图像；由近端折返点到远端折返点方向的测线也称奇数行测线；所述近端折返点指的是通过实时目标检测异常体而获得的靠近探测起始点一侧的折返点；所述远端折返点指的是通过实时目标检测异常体而获得的远离探测起始点一侧的折返点；所述预设近端折返点指的是在导航单元初始设置的探测区域内靠近探测起始点一侧的折返点；所述预设远端折返点指的是在导航单元初始设置的探测区域内远离探测起始点一侧的折返点；

步骤S4014，对由远端折返点到近端折返点方向的测线对应的垂直切片图像，在所述垂直切片图像的两侧补全第二空白图像，所述第二空白图像分别为预设远端折返点到远端折返点的空白图像以及近端折返点到预设近端折返点的空白图像；由远端折返点到近端折返点方向的测线也称偶数行测线；

步骤S4015，对由远端折返点到近端折返点方向的测线对应的垂直切片图像，进行一次水平翻转。

本例所述步骤S402用于对多帧格式的tiff图片进行三维渲染，采用的方法为基于光线跟踪法的体绘制。更为具体的：所述步骤S402包括以下子步骤：

步骤S4021，将所述tiff图片的每一帧按照帧的顺序，排列成三维矩阵；

步骤S4022，结合地下探测环境增加了背景分离技术，即利用边缘检测算法对全通道的三维矩阵数据进行处理，将目标波形与背景杂波分离，改进和优化体绘制效果，具体过程如下：采用OpenCV中的图像梯度方法，进行基于一阶差分的Sobel滤波，寻找梯度强度，然后进行边缘提取。详细的子步骤包括以下5个：

步骤S40221，采用高斯滤波器进行滤波，减少探地雷达深部信息的噪点；

步骤S40222，采用sobel算子，计算出每个采样点的梯度大小和梯度方向；

步骤S40223，采用非极大值抑制来消除异常体边缘的杂散像素；

步骤S40224，采用强度梯度双阈值来确定异常体真实和潜在的边缘；

步骤S40225，通过抑制弱边缘来完成最终的边缘检测，把目标波形从背景杂波中提取出来；

步骤S4023，确定所述三维矩阵的观察方向，并沿观察方向对所述三维矩阵进行等距采样；

步骤S4024，对各个采样点进行三次立方平滑插值处理，求出各个采样点的颜色值和不透明度值；

步骤S4025，将求得的各个采样点的颜色值和不透明度值，按照从前到后的顺序进行图像合成；

步骤S4026，将所有像素点沿所述观察方向上的累加颜色值投射在屏幕上，生成三维渲染图；

步骤S4027，当检测到观察方向发生变化时，重复所述步骤S4023至步骤S4026得到新的三维渲染图。

本例所述步骤S40224中，所述强度梯度双阈值指的是预先设置的针对边缘的最大阈值和最小阈值，可以根据实际情况和需求进行自定义设置和调整。通过该强度梯度双阈值来确定异常体真实和潜在的边缘的详细过程如下：对强度梯度大于最大阈值的像素确定为真实边缘；对强度梯度小于最小阈值的像素进行丢弃处理；对介于所述最大阈值和最小阈值之间的像素，则根据其连通性来判断是否作为潜在的边缘，当介于所述最大阈值和最小阈值之间的像素能够连接到任何确定的真实边缘的像素时，则判定其为潜在的边缘予以保留；否则，进行丢弃处理。

本例上述步骤S402的各个子步骤利用体绘制中可以对不同灰度值的体素加载不同颜色和透明度的特性，进而能够将识别出的异常体区域所对应的灰度值加载与周围土体不同的颜色，形成鲜明的对比，不完全等同于常规的三维渲染方法，更为适合地下环境的探测。最后，生成的三维体渲染模型文件可下载至平板电脑或是移动终端上查看，作为最终确认异常体的依据。

综上所述，本例能够对探地雷达机器人采集的数据进行实时处理，使用人工智能目标检测识别异常体，并根据异常体边界获得当前测线的折返点，以此来对探地雷达机器人进行自主式导航，以便同步实现异常体的三维模型渲染。本发明有助于提高对前期探测成果进行现场复测和验证的效率，在此基础上，还能够进一步满足特定场景的地下异常体的探测需求，实现了针对性的自主式智能安全扫查，为提升产品的小型轻量化设计、智能自动化设计、实时性以及安全性提供了很好的基础。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可做出若干简单推演或替换，都应当视为属于本发明的保护范围。