一种基于候选区域网络和机器视觉的道路病害检测方法

摘要

本发明适用于深度学习与道路工程技术领域，涉及一种基于候选区域网络和机器视觉的道路病害检测方法，包括：获取路面病害数据集；分类标注病害并分为训练集、验证集和测试集；搭载卷积神经网络模型，将训练集导入模型，进行模型训练；设置不同的超参数，引入验证集图片测试寻找最优超参数；引入测试集图片到最优模型，对模型进行测试；使用检测车进行拍摄并判断检测效率及准确率能否达到所需要求。本发明采用深度学习的方法，研发适用于道路病害特征的目标检测算法，基于道路病害大数据进行模型训练，提高了模型的鲁棒性和泛化能力；同时通过优化基础残差卷积神经网络和候选区域建议网络，提高了模型检测的准确度，实现了路面病害的自动识别。

说明书

技术领域

本发明属于深度学习与道路工程技术领域，尤其涉及一种基于候选区域网络和机器视觉的道路病害检测方法。

背景技术

公路是国家的命脉，良好的公路环境便于货物及人员的流动，对国家经济建设起着至关重要的作用。随着车载及冻融循环的影响，路面病害逐渐增加，如果不加以修补，在水平方向将加大路面的破环程度，严重影响车速及行车舒适度；在纵向上将加深道路的损伤程度，甚至扩展至路基，对道路造成严重的结构性破坏。因此，应当及时检测路面病害，用于路面损伤程度的判断和病害的精确维修。

传统的基于计算机视觉的道路病害检测方法主要可以分为两类，第一种方法为基于病害边缘像素值变化大的边缘检测算法，主要包括Soble边缘检测方法、Canny边缘检测方法和小波分析的方法；第二种方法为基于病害区域像素值较大的方法，主要包括HOG直方图检测方法、各向异性检测方法、阈值分割方法和最小路径法等。如今已进入大数据时代，由于路面长期暴露在自然环境中，图像采集设备捕获的图像常常含有雨水，阴影，污渍等噪音和干扰，传统的检测方法泛化能力较低，无法适应各种场景，更无法面对庞大数量的路面病害数据。公开号为CN108197655A的专利文献公开了一种基于主成分分析与神经网络的路面破损病害图像分类方法，该方法首先通过主成分分析的方法对原始病害图像进行归一化处理，再使用神经网络对道路病害图像进行分类，该方法冗增了处理步骤，降低了检测的效率。并且，该方法无法识别病害的具体位置坐标。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于候选区域网络和机器视觉的道路病害检测方法，以解决现有技术中道路病害检测方法检测精度与效率低、鲁棒性与泛化能力差的问题。

为了解决上述技术问题，本发明采用了如下的技术方案：

本发明提供了一种基于候选区域网络和机器视觉的道路病害检测方法，包括以下步骤：

S10、获取路面病害数据集：采集路面病害图像，对所述路面病害图像进行预处理和分割处理，并挑选含有典型病害特征的所述路面病害图像；

S20、数据集处理：根据所述步骤S10获取的所述路面病害数据集，分类标注病害，建立道路病害图像数据库，并按比例分为训练集、验证集和测试集；

S30、模型训练：搭载多层下采样的卷积神经网络模型结构，使用迁移学习方法进行模型初始化，将所述训练集图片导入模型，进行模型训练；

S40、模型调参：根据所述步骤S30的训练结果，设置不同的模型超参数，引入所述验证集图片进行模型测试，对比模型训练过程中的损失值及准确率的变化曲线，寻找最优超参数值；

S50、模型测试：根据所述步骤S40所得到的最优模型，引入所述测试集图片进行模型测试，输出各项检测数值指标，判断是否达到预期值；

S60、实时检测测试：使用检测车进行路面病害视频拍摄，传输回高性能计算机终端检测，判断模型检测效率及准确率能否达到所需要求。

进一步的，所述步骤S10具体包括：

S11、路面病害图像采集方法为：网上爬取或下载指定所述道路病害图像，并结合道路检测车实际采集所述道路病害图像。

S12、使用matlab程序，批量分割所述路面病害数据集为256*256分辨率；

S13、使用数据增强技术对图片数量进行扩增；

S14、由专业人员挑选病害图片。

进一步的，所述步骤S13中所述数据增强技术主要包括平移变换，尺度缩放，旋转变换，对称变换，模糊处理，对比度调整。

进一步的，所述步骤S20具体包括：

S21、使用matlab标注程序分类标注病害，主要分为裂缝，坑槽，龟裂三类病害；

S22、标注图片背景区域像素为0，裂缝区域像素为1，坑槽区域像素为2，龟裂区域像素为3；

S23、将标定后的jpg格式的图片和生成的xml格式的标注信息结合，建立所述道路病害图像数据库；

S24、使用matlab分类程序将所述道路病害图像数据库按6：2：2的比例分为所述训练集、所述验证集和所述测试集。

进一步的，所述步骤S24中的所述训练集、所述验证集和所述测试集的图像互不交叉重合，有利于检验模型的鲁棒性和泛化能力。

进一步的，所述步骤S30具体包括：

S31、搭载Faster RCNN模型框架，所述Faster RCNN模型框架包括基础残差卷积神经网络，候选区域网络和输出网络；

S32、迁移学习是相对于随机参数初始化而言，采用在pascal公开数据集表现良好的VGG-16(Visual Geometry Group Network，视觉几何群网络)预训练模型初始化神经网络，加快训练效率，提高检测精度；

S33、使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。

进一步的，所述步骤S40中调整的所述超参数为初始学习率、总迭代次数、动量系数、权重衰减值和候选锚框尺寸。

进一步的，所述步骤S40中调整所述超参数的主要依据为：设置不同所述超参数时，模型在验证集上的检测表现，即识别的效率、准确率上升曲线的最大值和损失值下降曲线的平温度和收敛性。

进一步的，所述步骤S50中，所述检测数值指标主要包括准确率、检测效率、F1分数(

本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法与现有技术相比，至少具有如下有益效果：

本发明采用的残差卷积神经网络通过采用残差块将前端特征层直接映射于后端特征层，解决了梯度弥散的问题，从而提高了模型的准确度；采用候选区域建议网络确定目标的位置区域，将候选区域的提取融入到卷积神经网络中，从而实现了端到端的训练与测试，大大加快了识别速度；采用深度学习的方法，通过对大量路面病害学习，模型能够学习到更具鲁棒性的特征表达，从而增加了泛化能力，提高识别的准确度，同时本发明能够对路面病害视频自动识别并标定位置坐标，统计病害数量。

附图说明

为了更清楚地说明本发明的方案，下面将对实施例描述中所需要使用的图作一个简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法的总流程图；

图2为本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法的总结构图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示，本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法，包括以下步骤：

S10、获取路面病害数据集：采集路面病害图像，对路面病害图像进行预处理和分割处理，并挑选含有典型病害特征的路面病害图像。

S11、路面病害图像采集方法为：网上爬取或下载指定道路病害图像，并结合道路检测车实际采集道路病害图像。

S12、使用matlab程序，批量分割路面病害数据集为256*256分辨率；

S13、使用数据增强技术对图片数量进行扩增，数据增强技术主要包括平移变换，尺度缩放，旋转变换，对称变换，模糊处理，对比度调整。

S14、由专业人员挑选病害图片。

具体地，挑选图片的主要依据有：

1、图片应具有多样性，路面病害数据集应包括光照强度、阴影、杂草、混凝土路面、沥青路面等图片；

2、图片视角应多样化，包括正视图片、侧视图片和斜视图片等；

3、病害目标应具有代表性，具有明显的病害特征；

4、病害应在图片中显示清晰。

S20、数据集处理：根据步骤S10获取的路面病害数据集，分类标注病害，建立道路病害图像数据库，并按比例分为训练集、验证集和测试集，具体过程为：

S21、使用matlab标注程序分类标注病害，主要分为裂缝，坑槽，龟裂三类病害；

S22、标注图片背景区域像素为0，裂缝区域像素为1，坑槽区域像素为2，龟裂区域像素为3；

S23、将标定后的jpg格式的图片和生成的xml格式的标注信息结合，建立道路病害图像数据库；

S24、使用matlab分类程序将道路病害图像数据库按6：2：2的比例分为训练集、验证集和测试集，且互不交叉重合，有利于检验模型的鲁棒性和泛化能力。

具体地，本发明使用矩形框标注病害位置，检测时，也以矩形预测框检测并框选病害。

具体地，标注病害时，应尽量沿边缘划分，对于边界不明显的病害，或病害重合的区域，应由有经验的专业人员进行辨认。

S30、模型训练：搭载多层下采样的卷积神经网络模型结构，使用迁移学习方法进行模型初始化，将训练集图片导入模型，进行模型训练，具体步骤为：

S31、搭载Faster RCNN模型框架，Faster RCNN模型框架包括基础残差卷积神经网络，候选区域网络和输出网络；

S32、迁移学习是相对于随机参数初始化而言，采用在pascal公开数据集表现良好的VGG-16预训练模型初始化神经网络，加快训练效率，提高检测精度；

S33、使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。

具体地，传统的全连接神经网络通过矩阵乘法连接输入层和输出层，输入层和输出层的每一个元素间都需要有一个对应的矩阵参数计算，这个过程计算量过于庞大，因此，本发明引入卷积神经网络。卷积有以下两个优点：参数共享，相比于一一对应的全连接权值矩阵，卷积核作用在输入层的每一个位置上，使得神经网络具有了平移不变性；稀疏连接，卷积操作将全连接权值矩阵简化为卷积核，降低了存储需求和计算量。

具体地，通常使用的池化函数包括平均池化和最大池化，平均池化是取相邻矩形区域内的平均值来代替网络在该位置的输出，最大池化是取相邻矩形区域内的最大值来代替网络在该位置的输出。当输入进行局部平移时，因为池化函数的存在，使得输入的表示近似不变，从而保证了模型局部的平移不变性。此外，池化层还能够缩减模型大小，提高计算速度，提高所取特征的鲁棒性。

具体地，对于传统的神经网络，随着网络深度的增加，检测效果呈现先增长后饱和最后迅速下降的问题。这一问题来源于网络深度的增加导致了梯度空间结构的消除，从而引起了网络退化的问题。为了解决这一问题，本发明引入深度残差网络。残差网络由一系列的残差块组成，残差块分为两个部分：直接映射部分和残差部分。残差单元通过跳层连接实现，使得特征信息的前后传播更加顺畅，解决了退化问题，提高了网络检测的准确度。

具体地，候选区域建议网络是一种用来搜索检测目标位置坐标的卷积神经网络，通过引入锚框的概念，将直接计算目标位置坐标转化为，通过计算目标与锚框的相对位置坐标从而间接得到目标位置坐标的方法。该网络与传统的卷积神经网络一样，通过GPU计算，因此，能够融入深度学习算法中，形成端到端的学习与识别模式，提高了计算效率。

具体地，训练算法主要分为前向传播阶段和反向传播阶段。向前传播阶段：采用正向传播算法从第一层开始正向一层一层计算，求出每层经过激活函数ReLU得到的结果，直到最后一层。但是为了使整个网络的损失函数值最小，需要不断迭代来更新神经元前面的参数和偏差。反向传播阶段：通过首先计算最后一层的误差，然后再逐层反向求出各层的误差，利用得到的残差来对权值和偏置进行更新，从而计算出网络模型的最小损失函数。其中，训练过程中，每经过一次前向传播和一次反向传播为一次迭代。

S40、模型调参：根据步骤S30的训练结果，设置不同的模型超参数，引入验证集图片进行模型测试，对比模型训练过程中的损失值及准确率的变化曲线，寻找最优超参数值。

具体地，调整的主要超参数为初始学习率，总迭代次数，动量系数，权重衰减值，候选锚框尺寸。

作为优选方案，本实例调整超参数的主要依据为，设置不同超参数时，模型在验证集上的检测表现，即识别的效率，准确率上升曲线的最大值和损失值下降曲线的平稳度和收敛性。

作为优选方案，本实例经过多次调优，最终模型的超参数为：初始学习率为0.001，每次迭代的小批量图片数量为2，动量系数为0.9，权重衰减值为0.0005，总迭代次数为20000次，经过12000次迭代后，学习率下降为原来的10％。

S50、模型测试：根据步骤S40所得到的最优模型，引入测试集图片进行模型测试，输出各项检测数值指标，判断是否达到预期值。

具体地，检测数值指标主要包括准确率，检测效率，F1分数及PR曲线。

具体地，通过改变置信度阈值，测试集图片能够输出大量一一对应的召回率和精确率。PR曲线是以召回率为横坐标，精确率为纵坐标的变化曲线。通过比较曲线下方面积的大小，确定模型的优劣性。当测试集样本不均衡时，PR曲线比准确率和F1分数更能够直观地评价模型。

S60、实施检测测试：使用检测车进行路面病害视频拍摄，传输回高性能计算机终端检测，判断模型检测效率及准确率能否达到所需要求。

具体地，CCD相机(Charge coupled device，电荷耦合设备相机)主要工作原理为将光线转化为电荷并将电荷存储。CCD相机具有重量轻、体积小和抗震性能强的优点，因此，可应用于路面病害视频的拍摄。

具体地，一般的视频每秒传输的帧数为30FPS(Frames Per Second，画面每秒传输帧数)，因此，应当判断检测视频的效率能否达到30FPS，即能否达到实时检测的目的。

具体地，应当统计正确及错误检测的病害信息，查看各类病害是否均达到95％以上的准确率，用以保证本发明的实际应用能力。如果准确率达不到预计要求，应当统计和归纳误检的病害信息，寻找误检病害的图片按本发明的方法处理后加入道路病害图像数据库，重新训练并调优，直至各项指标均达到预期要求。

以上实施例所述的局域候选区域网络与机器视觉的道路病害检测方法，采用的残差卷积神经网络通过采用残差块将前端特征层直接映射于后端特征层，解决了梯度弥散的问题，从而提高了模型的准确度；采用候选区域建议网络确定目标的位置区域，将候选区域的提取融入到卷积神经网络中，从而实现了端到端的训练与测试，大大加快了识别速度；采用深度学习的方法，通过对大量路面病害学习，模型能够学习到更具鲁棒性的特征表达，从而增加了泛化能力，提高识别的准确度，同时本发明能够对路面病害视频自动识别并标定位置坐标，统计病害数量。

显然，以上所描述的实施例仅仅是本发明较佳实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。