基于增强深度边缘特征的二维及三维路面裂缝识别方法

摘要

本发明提供了一种基于增强深度边缘特征的二维及三维路面裂缝识别方法，包括：读入路面采集系统获取的三维路面数据/二维路面数据；数据预处理；三维路面数据姿态起伏/二维路面数据光照不均信息去除；边缘增强数据获取；整体嵌套边缘检测深度网络训练，根据训练模型获取测试数据边缘概率图；S6，对边缘概率图转化处理，获取路面数据强边缘信息；S7，强边缘选取和连接；S8，提取二维/三维路面的裂缝属性信息。本发明融合了路面横断面频率成分特性以及深度学习网络获取的多尺度边缘特性，对路面裂缝边缘进行增强，有助于二维、三维路面数据裂缝的准确提取，适用于二维、三维数据采集系统获取的多种典型路面的裂缝自动识别任务。

说明书

技术领域

本发明涉及路面破损自动检测识别技术领域，特别涉及一种基于增强深度边缘特征的二维及三维路面裂缝识别方法。

背景技术

随着公路路面破损测量设备和自动检测技术的发展，车载公路路面测量系统能获取越来越多的二维和三维路面数据，包括不同路面背景及不同裂缝类型的数据。二维光学路面数据获取设备具有经济实惠、技术成熟的特点，而且适用于典型机器学习方法的引入，但是在实际应用中容易受到光照、阴影、路表轮胎磨痕和油渍等的影响。线扫描三维路面检测方法能克服实际路面检测工程中光照阴影不均匀的干扰，而且能获取路面破损的三维信息，是目前的发展趋势。但是，高精度三维路面数据在实际动态采集环境中包含了严重的载车姿态起伏信息，而且三维数据中包含了路面破损、路面纹理、标志线以及其他路面目标的高程信息。相较于二维光学路面破损检测算法的快速发展，目前三维路面破损检测技术还相对滞后。裂缝作为路面破损中最常见的破损类型，是实际路面养护检测工程应用中最受关注的检测指标。由于二维路面数据和三维路面数据在实际公路检测工程应用中都有一定优势，目前也都在具体的检测工程中发挥作用。但是，目前针对二维路面和三维路面裂缝检测的方法都是各自独立的，缺乏能同时处理二维和三维路面数据裂缝检测的方法。

由于实际路面裂缝检测工程应用中二维、三维路面数据的海量大数据特性，利用机器学习方法从海量路面数据中快速自动检测裂缝位置和属性信息具有重要的理论和应用价值。由于二维光学路面数据更符合计算机视觉机器学习模型的数据集需求，目前二维光学路面机器学习深度学习方法得到了广泛的研究和实际生产应用。然而，机器学习难以直接在线扫描三维路面数据裂缝检测应用中获取较好的效果，一方面线扫描三维数据中包含行车姿态及变形病害等因素的干扰，实际裂缝检测任务对于方法的鲁棒性较高，需要适用于不同类型裂缝不同路面背景的数据；另一方面由于三维数据与二维数据中裂缝特性差异较大，三维路面标注一般获取更加困难，传统的监督机器学习方法甚至深度学习方法对不同数据不同路面裂缝的适用性有限。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明的目的是：针对上述背景技术中存在的不足，提供一种基于增强深度边缘特征的二维及三维路面裂缝自动检测方法，以充分增强并利用裂缝在路面数据中表现出来的连续边缘特性，能适用于二维和三维路面数据各种典型路面裂缝提取的裂缝检测应用。

为了达到上述目的，本发明提供了一种基于增强深度边缘特征的二维及三维路面裂缝识别方法，包括如下步骤：

S1，读入路面采集系统获取的三维路面数据/二维路面数据；

S2，数据预处理；

S3，三维路面数据姿态起伏/二维路面数据光照不均信息去除；

S4，边缘增强数据获取；

S5，整体嵌套边缘检测深度网络训练，根据训练模型获取测试数据边缘概率图；

S6，对边缘概率图转化处理，获取路面数据强边缘信息；

S7，强边缘选取和连接；

S8，提取二维/三维路面的裂缝属性信息。

进一步地，二维路面数据是利用车载二维相机获取的路面光学数据，三维路面数据是利用线扫描三维测量传感器，沿测量方向采集一系列路面断面轮廓，将一系列路面断面轮廓拼接得到。

进一步地，其特征在于，S2中对系统异常及环境异常产生的异常值进行矫正，断面轮廓通过标定文件进行像方到物方转换，获取物方的断面数据，校正测量系统中的系统误差。

进一步地，S3中对于获取的三维路面数据/二维路面数据，将各个横断面进行成分分解，去除低频成分影响，增强裂缝高频边缘特征。

进一步地，S4中将各个横断面高频成分进行拼接，形成边缘特性增强后的高频成分数据，将边缘增强后的数据统一转化为数值分布在0-255范围内的灰度图。

进一步地，S5中将S4获得的数据输入到整体嵌套边缘检测深度网络获取边缘概率图，整体嵌套边缘检测深度网络由开源的二维路面数据集和对应的裂缝标注进行训练，训练过程输入的数据集也经过S3和S4步骤的处理。

进一步地，S6中将获取的边缘概率图转化为数值分布在0-255范围内的灰度图，结合边缘图均值Ave，获取阈值Th1＝3*Ave。

进一步地，S7中基于所获取及转化后的边缘概率图以及阈值Th1，将低于阈值的弱边缘去除，保留不小于阈值的强边缘，将选取的强边缘的连通域作为图像边缘对象，图像边缘对象位置及其方向作为张量投票算法的输入，结合边缘对象区域及对象方向张量编码，获取输入边缘对象数据的张量显著性场，结合获取的张量显著性场中较为显著的线段，构造出可能的连接结果，将连接结果与强边缘图进行结合，利用连通域面积参数，删除连通域较小的边缘图。

进一步地，S8中基于S7获取的裂缝边缘连接结果和S4获取的高频成分数据，利用裂缝对象区域属性特征获取裂缝面积、严重程度属性信息。

进一步地，在最终获取的推理裂缝的位置的基础上，对应地获取边缘子对象位置及其连通域信息；对于二维数据，根据裂缝边缘对象连通域特征确定裂缝的长度、面积属性，结合高频成分数据灰度判定裂缝的严重程度；对于三维数据，根据裂缝边缘对象连通域特征确定裂缝的长度、面积属性，结合高频成分数据高程图判定裂缝的深度信息，进而判定裂缝的严重程度及其分布属性。

本发明的上述方案有如下的有益效果：

本发明提供的基于增强深度边缘特征的二维及三维路面裂缝识别方法，结合了实际应用环境获取的二维路面和三维路面数据，能够适用于二维、三维数据采集系统获取的沥青路面、水泥路面、粗纹理、细纹理和普通纹理路面等多种典型路面的裂缝自动识别任务；融合路面横断面频率成分特性以及深度学习网络获取的多尺度边缘特性，对路面裂缝边缘进行增强，一方面能去除路面数据采集系统由于光照不均匀(二维路面数据情况)、载车姿态起伏(三维路面数据情况)对裂缝边缘特性的淹没影响，另一方面能顾及到裂缝的不同粗细不同深浅的边缘特性，有助于二维、三维路面数据裂缝的准确提取；

本发明中，经过断面成分分解增强后的路面裂缝边缘特性得到增强，基于增强成分数据和少量裂缝标注数据，训练深度学习边缘检测网络，基于此深度学习边缘检测网络能同时处理二维路面增强数据以及三维路面增强数据的裂缝边缘概率结果，从而利用已有的二维路面标注数据集训练深度学习模型，克服路面标注样本不足难以训练网络的缺陷，在有限的标注条件下获取准确全面的二维和三维路面裂缝边缘概率信息，能为实际公路路面检测应用提供鲁棒稳健的裂缝检测方式；

本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

图1为本发明的步骤流程图；

图2为本发明的整体嵌套边缘检测深度网络(HED)结构以及HED处理路面边缘增强数据获取边缘特征图的流程示意图；

图3为本发明的张量示意图及边缘对象级张量方向编码结果，(a)投票产生；(b)二维棒张量显著性场；(c)HED强边缘对象示意图；(c)结合边缘对象特性的张量编码获取的数据张量显著性场；(d)基于张量投票结果的HED强边缘连接结果；

图4为本发明获取的高精度线扫描三维路面裂缝识别示例，(a)预处理后的三维路面数据；(b)经过频率成分分解后获取的去除低频成分的边缘增强结果；(c)HED深度网络获取的边缘概率结果；(d)经过张量投票和形态学后处理的裂缝识别结果；(e)基于边缘增强路面底图和裂缝识别所获取的裂缝属性结果；

图5为本发明的获取的二维路面裂缝识别示例，(a)预处理后的二维路面数据；(b)经过频率成分分解后获取的去除光照不均的边缘增强结果；(c)HED深度网络获取的边缘概率结果；(d)经过张量投票和形态学后处理的裂缝识别结果；(e)基于边缘增强路面底图和裂缝识别结果所获取的裂缝属性结果。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明的描述中，为了简单说明，该方法或规则作为一系列操作来描绘或描述，其目的既不是对实验操作进行穷举，也不是对实验操作的次序加以限制。例如，实验操作可以各种次序进行和/或同时进行，并包括其他再次没有描述的实验操作。此外，所述的步骤不都是在此描述的方法和算法所必备的。本领域技术人员可以认识和理解，这些方法和算法可通过状态图或项目表示为一系列不相关的状态。

如图1所示，本发明的实施例1提供了一种基于增强深度边缘特征的二维及三维路面裂缝识别方法，具体包括如下步骤：

S1，读入路面采集系统获取的三维路面数据/二维路面数据。其中二维路面数据是指，利用车载二维相机获取的路面光学数据。三维路面数据是指，利用线扫描三维测量传感器，沿测量方向采集一系列路面断面轮廓，将一系列路面断面轮廓拼接得到三维数据。

在本实施例中，二维路面数据通过光学相机获取，反映路面的明暗亮度信息；三维路面数据通过线扫描三维测量传感器获取，基于三角测量原理测量得到被测物表面相对高程情况，获取的三维数据可以反映被测路面的高程信息。本实施例涉及的二维路面数据横断面精度不低于2mm，涉及的三维数据横断面精度不低于1mm，高程分辨率高于0.5mm。

S2，数据预处理。对系统异常及环境异常产生的异常值(零值和凸起毛刺)进行矫正，断面轮廓通过标定文件进行像方到物方转换，获取物方的断面数据，以校正测量系统中的系统误差。

由于测量环境的干扰(路面水渍、油渍或被测区域有异物)，采集到的数据可能存在少量异常噪声(零值点)。为了减少这些零值点对于裂缝边缘造成虚检，本实施例利用均值滤波后横断面中的非异常采样点替换异常噪声点，得到预处理后的路面断面数据。实际车载路面数据采集系统存在着传感器安装角度、光强分布不均等系统误差。这些系统误差将弱化路面裂缝目标的特征，因此需要对测量传感器采集的数据通过标定文件进行校正。

S3：三维路面数据姿态起伏/二维路面数据光照不均信息去除。车载系统在采集路面数据过程中，由于行车的颠簸起伏以及路面存在的变形病害等影响，所采集的原始三维数据中存在明显的低频幅度姿态起伏信息，裂缝隐藏在这些宏观变化信息中。由于路面光照阴影不均匀，以及路面坑槽、变形病害等的影响，二维路面也有明显的亮度不均现象，裂缝边缘信息也容易被这种低频的不均匀灰度分布所干扰。

因此，为了减少路面数据中这种低频起伏对于裂缝定位和属性信息提取的影响，有必要采用相关算法对数据中包含的低频姿态起伏成分进行去除，例如专利CN108765376A所述，仅保留稀疏成分及振动成分之和作为高频成分。上述处理在不损失裂缝信息的前提下，能够减少行车起伏、光照不均和路面变形对于裂缝检测的影响，以利于裂缝边缘特性增强及属性信息提取。

具体地，对于S2获取的三维路面数据，将各个横断面进行成分分解，去除其中由于载车动态采集过程中的姿态起伏和路面平滑变形病害等导致的低频成分影响，增强裂缝高频边缘特征；对于S2获取的二维路面数据，将各横断面按照频率成分进行分解，去除路面光照阴影不均匀等导致的低频成分影响，增强裂缝高频边缘特征。

S4，边缘增强数据获取。路面数据成分分析在路面横断面数据基础上进行，将各个横断面高频成分进行拼接，形成边缘特性增强后的高频成分数据，作为后续处理的输入。

为了使得所获取的边缘增强数据更好的与深度学习网络相衔接，将边缘增强后的数据统一转化为数值分布在0-255范围内的灰度图。

S5，整体嵌套边缘检测深度网络训练，根据训练模型获取测试数据边缘概率图。将S4获得的数据输入到整体嵌套边缘检测深度网络获取边缘概率图。该深度网络由开源的二维路面数据集和对应的裂缝标注进行训练，训练过程输入的数据集也经过S3和S4步骤的处理，以增强输入数据裂缝边缘特性。

其中，参与预训练的开源路面数据集含有相应的标注，包括：二维沥青路面数据集FISSURESDataset，二维沥青路面数据集DeepCrack Dataset、ESAR二维路面数据集、LCMS三维路面数据集。

整体嵌套边缘检测深度网络(HED)结构如图2所示，是基于16层的视觉集合组网络(VGG)改进而来，将输出层与卷积层相连，去掉了VGG的最后一个池化层和后面所有的连接层，对整体图像的训练和预测，可以增大特征图的感受，缓解特征图分辨率低的问题。同时，HED属于多层次多尺度网络，对噪声具有鲁棒性。HED对于每个子模块(stage)的最后一个卷积层分别连接一个侧边输出层，不同输出层所包含的边缘特征有所不同，将侧边输出图像进行反卷积处理，使各侧边输出层与输入图像尺寸一致，最后利用特征融合层将多尺度的边缘特征进行融合形成融合边缘输出层。对于实际路面数据，边缘像素和非边缘像素是严重失衡的，HED使用类平衡权重策略来自动平衡边缘/非边缘类之间的损失。

HED能获取S4输出的路面数据边缘特征图，由于裂缝本身粗细和深浅程度差异、以及路面纹理背景的干扰，边缘特征图不仅含有不同程度边缘，还含有其他目标的边缘信息，需要进一步进行处理。

S6，对边缘概率图进一步处理，获取路面数据强边缘信息。将S5获取的融合层结果作为输入路面数据的边缘概率图。由于路面背景纹理弱、边缘影响以及裂缝本身深浅不同造成的强弱边缘程度不均匀的现象，因此有必要对深度网络输出的边缘概率图结合裂缝的连续性做进一步判断和处理。依据深度网络输出的边缘概率图，将其转化为数值分布在0-255范围内的灰度图，结合边缘图均值Ave，获取阈值Th1＝3*Ave。

S7：强边缘选取和连接。基于S6所获取的边缘概率图以及阈值Th1，将低于阈值的弱边缘去除，保留不小于阈值的强边缘。将选取的强边缘的连通域作为图像边缘对象，图像边缘对象位置及其方向作为张量投票算法的输入，结合边缘对象区域及对象方向张量编码，即可获取输入边缘对象数据的张量显著性场。结合获取的张量显著性场中较为显著的线段，构造出可能的连接结果。将连接结果与强边缘图进行结合，利用连通域面积参数，删除连通域较小的边缘图。

图3(a)、(b)示出了张量投票(TV)算法生成和2D棒张量显著性场。TV算法通过特征的张量表示和非线性投票从数据中推断显著性结构。TV算法一般使用二维点作为输入，本实施例对TV算法进行了改进，使用具有方向和位置特征的图像边缘对象子块作为输入。具体的，利用图像子对象的位置和方向特征形成二阶对称非负张量场T，T＝(λ

对于各个子对象内的像素点的方向由子对象整体的方向获取，改进的对象级方向张量投票能结合裂缝的临近特性和方向特性对间断的边缘特征做适当的延伸。如图3(c)所示，显示选定的子对象，子对象的位置及其方向用作TV的输入。因此，子对象区域和对象的方向张量编码相结合，可得到强边缘连接后的结果，如图3(e)所示。利用连通域面积参数，删除连通域较小的边缘图，此处设置的连通域面积阈值Th2，可根据需求进行设置，对于数据横向采样分辨率精度达到1-2mm的高精度二维和三维数据，Th2阈值默认为100。

S8：提取二维/三维路面的裂缝属性信息。基于S7获取的裂缝边缘连接结果和S4获取的高频成分数据，利用裂缝对象区域属性特征获取裂缝面积、严重程度等属性信息。具体地，以最终获取的推理裂缝的位置的基础上，对应地获取边缘子对象位置及其连通域信息。对于二维数据，根据裂缝边缘对象连通域特征可以确定裂缝的长度、面积属性等，结合高频成分数据灰度可判定裂缝的严重程度。对于三维数据，根据裂缝边缘对象连通域特征可以确定裂缝的长度、面积属性等，结合高频成分数据高程图可判定裂缝的深度信息，进而判定裂缝的严重程度及其分布属性。二维/三维路面裂缝属性信息可为路面裂缝严重程度及其分布提供更为全面的结果。

以下结合实际路面获取的线扫描三维路面数据和开源的二维路面数据集对本实施例的有效性和准确性做进一步说明。

1.测试数据。为了验证发明方法的普适性，在上述FISSURES Dataset，DeepCrackDataset，ESAR二维数据集以及LCMS三维路面数据集训练的HED基础上，测试数据选用Aigle-RN二维路面数据集以及CN112270677A中涉及设备所获取的三维路面数据集(横向分辨率1mm，高程分辨率≤0.5mm)

2.三维路面数据裂缝检测试验。图4(a)示例了受到载体姿态起伏和路面变形病害影响的高精度线扫描三维路面，经过频率成分分解后获取的去除低频成分的边缘增强结果如图4(b)所示，HED获取的边缘概率结果如图4(c)所示，经过张量投票和形态学后处理的裂缝识别结果如图4(d)所示，基于边缘增强路面底图和裂缝识别结果所获取的裂缝属性信息如图4(e)所示。

3.二维路面书裂缝识别实验。图5(a)示例了Aigle-RN二维路面数据集中一个受到光照不均影响的二维路面数据，经过频率成分分解后获取的去除光照不均的边缘增强结果如图5(b)所示，HED深度网络获取的边缘概率结果如图5(c)所示，经过张量投票和形态学后处理的裂缝识别结果如图5(d)所示，基于边缘增强路面底图和裂缝识别结果所获取的裂缝属性信息如图5(e)所示。

通过以上实际操作结果可以看出，充分利用边缘增强处理、深度网络边缘特征能有效去除实际路面数据中环境及载车影响，依靠动态获取的二维和三维路面数据进行准确有效且具有普适性的裂缝识别方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。