基于卷积神经网络的混凝土结构表面微裂纹特征提取方法

摘要

一种基于卷积神经网络的混凝土结构表面微裂纹特征提取方法，属于混凝土结构表面损伤特征提取领域。建立混凝土结构表面的包含微裂纹与背景的图像分类数据集；训练和验证用于混凝土结构表面微裂纹区域识别的卷积神经网络；对训练和验证的卷积神经网络进行测试；采用训练和验证的卷积神经网络进行混凝土结构表面图像中的微裂纹区域识别；对识别出的图像中的微裂纹区域进行骨架化；根据微裂纹区域骨架提取微裂纹的特征。与传统的图像处理方法相比，本发明具有更好的鲁棒性与泛化能力。与基于深度学习语义分割算法的混凝土结构裂缝特征提取方法相比，本发明具有数据集制作更简单、计算量更小、精度更高的优点。提高了混凝土结构表面微裂纹特征提取的精度与效率。

说明书

技术领域

本发明涉及混凝土结构表面损伤特征提取领域，特别是一种基于卷积神经网络的混凝土结构表面微裂纹特征提取方法。

背景技术

混凝土由于具有材料来源广泛、价格低廉、缺陷率低且可塑性强等优点而被广泛应用于各类大型工程结构中。在混凝土结构的诸多表面损伤中，危害比较大的是裂缝，雨水会经过裂缝直接接触到钢筋表面，对钢筋造成腐蚀，大大降低结构的使用寿命，增大危险系数。定时开展对混凝土结构表面裂缝的检测在裂缝产生初期就进行维护，可以降低由于结构重建而导致的资金投入，增加结构的使用寿命，符合可持续发展的理念。

目前，混凝土结构表面裂缝特征的提取方法主要有：1)人工法：人工检测提取混凝土表面裂缝时，需要专业的检测人员以目测观察结合仪器检测的方式进行，并且检测人员要接近各部件仔细检查其缺损情况。虽然人工法能够对混凝土结构表面的裂缝进行有效的检测，但是这种方法需要专业的检测人员，费时费力，并且检测结果存在一定的主观性。2)传感器法：传感器法通过传感器感知混凝土裂缝的大小和位置等特征，具有检测精度高的优点。采用传感器法进行混凝土结构裂缝的检测与特征提取时，传感器的安装方式有两种：内部预埋或者表面固定。由于混凝土结构施工的复杂性，预埋式传感器的成活率往往较难保证。而表面粘贴固定式传感器在检测混凝土表面的损伤时需要通过粘接剂或螺栓间接传递损伤变形，在长期检测中的耐久性会降低。此外，由于混凝土不均匀的特性，在检测混凝土结构时传感器测点的选择也是一个难题。3)图像处理法：图像处理法检测提取混凝土裂缝的处理对象是裂缝图像，在使用时首先要将原始裂缝图像转换为数字信号，之后将数字信号输入计算机并运用检测算法对其中的裂缝进行检测并提取特征。虽然基于图像处理技术的混凝土裂缝检测与特征提取方法是有效和快速的，但是该方法对图像中的噪声(如污渍、阴影和光照不均匀)非常敏感，这也导致了该方法很难在实际工程中进行应用。4)深度学习图像语义分割法：该方法进行混凝土表面裂缝的检测与特征提取时，采用深度学习中的语义分割算法，将裂缝图像中的裂缝像素从背景像素区分出来，然后通过后处理技术对裂缝像素进行处理，提取裂缝特征。深度学习图像语义分割法可以实现混凝土结构表面较宽裂缝的有效检测，但是该方法无法对图像中的混凝土结构表面微裂纹进行检测，同时该方法所需的语义分割网络模型的训练需要建立像素级的裂缝数据集，需要较大的人工投入。此外语义分割网络模型的训练需要较大的数据计算量，对网络模型训练所用的硬件设备有较高要求。

发明内容

本发明的目的是要提供一种基于卷积神经网络的混凝土结构表面微裂纹特征提取方法，实现混凝土结构表面微裂纹的长度、方向及在图像中位置特征高精度、自动化提取。

本发明的目的是这样实现的：基于卷积神经网络的混凝土结构表面微裂纹特征提取方法，包括以下步骤：

S1、建立混凝土结构表面的包含微裂纹与背景的图像分类数据集；

S2、构建用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络；

S3、采用S1建立的数据集训练和验证S2构建的卷积神经网络；

S4、采用S3训练和验证的卷积神经网络进行混凝土结构表面图像中的微裂纹区域识别；

S5、对S4识别出的图像中的微裂纹区域进行骨架化；

S6、根据S5的微裂纹区域骨架提取微裂纹的特征。

进一步地，所述S1中建立混凝土结构表面的包含微裂纹与背景的图像分类数据集的具体步骤为：

S1.1、收集混凝土结构表面微裂纹的原始图像数据；

S1.2、将S1.1收集的原始微裂纹图像切割成小图像，并从切割出的小图像中人工挑选出数量相同的微裂纹图像与背景图像；所述的微裂纹图像中包含微裂纹，所述的背景图像中不包含微裂纹；

S1.3、从S1.2切割出的微裂纹图像与背景图像中，随机挑选80％的微裂纹图像与背景图像用于建立S2中卷积神经网络的训练集，剩余的20％的微裂纹图像与背景图像作为S2中卷积神经网络的验证集。

进一步地，所述S2中构建用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络的具体步骤为：

S2.1、通过微调AlexNet，建立用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络架构；

S2.2、对建立的卷积神经网络中各个层的权重和偏置参数进行初始化；

S2.3、对建立的卷积神经网络的训练和验证时的学习率、动量、权重衰减、过拟合丢弃率、每个训练迭代批次输入的图片数量以及每个验证迭代批次输入的图片数量的超参数进行设置。

进一步地，所述S3中训练和验证用于混凝土结构表面微裂纹区域识别的卷积神经网络的具体步骤为：

S3.1、采用S1.3建立的训练集，训练S2构建的卷积神经网络；

S3.2、在S3.1卷积神经网络的训练过程中，穿插验证过程，采用S1.3建立的验证集对训练过程中获得的卷积神经网络模型进行验证。

进一步地，所述S4中采用S2训练和验证的卷积神经网络进行混凝土结构表面图像中的微裂纹区域识别的具体步骤为：

S4.1、采用智能手机采集一张混凝土结构表面的微裂纹图像，同时记录智能手机进行图像采集时的拍照距离；

S4.2、将S4.1采集的混凝土结构表面的微裂纹图像的长和宽像素尺寸调整为256的整数倍；

S4.3、对于S4.1中进行尺寸调整后的混凝土结构表面微裂纹图像，采用256×256的正方形滑动窗口按照从左到右、从上到下的顺序依次对选取的微裂纹图像错位扫描两次；

S4.4、在进行S4.3步骤的过程中，当窗口滑动到某一位置时，应用S3中训练好的卷积神经网络对该位置处的小图像进行分类；

S4.5、重新建立一张与S4.2调整长和宽之后的图像尺寸相同的白色图像，将S4.4中分类为包含微裂纹的小图像，根据其在原图中的位置，覆盖在新建的白色图像中的对应位置，最终覆盖了包含微裂纹小图像的区域则为图像中的微裂纹区域；

S4.6、将S4.5覆盖了包含微裂纹小图像的新建图像的尺寸，调整为S4.1中采集到的图像的原始尺寸。

进一步地，所述S5中对S4识别出的图像中的微裂纹区域进行骨架化的具体步骤为：

S5.1、对S4中识别出的图像中的混凝土结构表面微裂纹区域进行黑白二值化处理，二值化图像中，识别出的微裂纹区域为白色，其余背景部分为黑色；

S5.2、对S5.1中二值化后的图像中的孤立微裂纹区域进行去除；

S5.3、对S5.2中去除了孤立区域的二值化图像中的微裂纹区域的边缘进行中值滤波平滑操作；

S5.4、对S5.3中经过中值滤波后的图像中的微裂纹区域进行骨架化处理。

进一步地，所述S6中根据S5的微裂纹区域骨架提取微裂纹的特征的具体步骤为：

S6.1、标定S4.1中所用的智能手机在不同拍摄距离时图像中的每个像素对应的真实长度，拟合拍摄距离与每个像素对应的真实长度之间的关系曲线；

S6.2、在经S5处理后获得的微裂纹区域骨架图中，提取每一条微裂纹的像素长度，再根据所处理图像的拍摄距离与S6.1标定的关系曲线，将微裂纹的像素长度转换为真实长度；

S6.3、在经S5处理后获得的微裂纹骨架图中，提取每一条微裂纹的方向；

S6.4、在经S5处理后获得的微裂纹骨架图中，提取每一条微裂纹在图像中的像素位置，再根据所处理图像的拍摄距离与S6.1标定的关系曲线，将提取的混凝土结构微裂纹在图像中的像素位置转换为真实位置。

有益效果及优点，由于采用了上述方案，采用训练的卷积神经网络，结合穷举搜索窗口滑移技术，进行图像中混凝土微裂纹区域的识别检测，然后对识别出的微裂纹区域进行骨架化处理，再根据微裂纹区域骨架进行混凝土结构表面微裂纹的长度、方向及在图像中的位置特征的提取。

与人工法相比，本发明所提出的基于卷积神经网络的混凝土结构表面微裂纹特征提取方法可以实现混凝土结构表面微裂纹特征的自动化提取，省时省力；

与传统的图像处理方法相比，本发明所提出的方法具有更好的鲁棒性与泛化能力；与基于深度学习语义分割算法的混凝土结构裂缝特征提取方法相比，本发明提出的方法具有数据集制作更简单、计算量更小、精度更高的优点。本发明有效提高了混凝土结构表面微裂纹特征提取的精度与效率。

实现了混凝土结构表面微裂纹的长度、方向及在图像中位置特征高精度、自动化提取，达到了本发明的目的。

附图说明

图1基于卷积神经网络的混凝土结构表面微裂纹特征提取方法流程图。

图2构建的用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络架构。

图3两遍式穷举搜索滑移窗口微裂纹区域识别示意图。

图4混凝土结构表面图像中的微裂纹区域识别与骨架化流程举例。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

实施例1：如图1所示，基于卷积神经网络的混凝土结构表面微裂纹特征提取方法包括以下六个步骤：

步骤一、建立混凝土结构表面的包含微裂纹与背景的图像分类数据集；

步骤二、构建用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络；

步骤三、采用步骤一建立的数据集训练和验证步骤二构建的卷积神经网络；

步骤四、采用步骤三训练和验证的卷积神经网络进行混凝土结构表面图像中的微裂纹区域识别；

步骤五、对步骤四识别出的图像中的微裂纹区域进行骨架化；

步骤六、根据步骤五的微裂纹区域骨架提取微裂纹的特征。

本发明基于卷积神经网络进行混凝土微裂纹区域识别，然后根据混凝土微裂纹区域的骨架进行特征提取，具体实施方法如下：

对于步骤一中混凝土结构表面微裂纹数据集的建立，首先，采用智能手机从真实的混凝土结构表面拍摄微裂纹1000至1500张，这些图像中应该尽可能多的包含光照变化、混凝土表面锈渍、坑洞等环境噪声。然后，将拍摄的原始微裂纹图像切割成256×256像素大小的小图像，并从切割出的小图像中人工选取微裂纹图像20000至40000张、背景图像20000至40000张(应保证选取的微裂纹图像与背景图像的数目相等)，所述的微裂纹图像中包含微裂纹，所述的背景图像中不包含微裂纹，再将选取的微裂纹与背景小图像缩小为227×227像素大小。最后，从选取并缩小的微裂纹与背景小图像中，随机挑选80％的微裂纹图像与80％的背景图像用于建立步骤二中卷积神经网络的训练集，剩余的20％的微裂纹图像与20％的背景图像作为步骤二中卷积神经网络的验证集。

对于步骤二中用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络的构建，首先，对卷积神经网络AlexNet进行微调，将AlexNet的输出分类数改为2，其余网络参数不变，建立用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络架构，图2为构建的用于混凝土结构表面微裂纹区域识别的二分类卷积神经网络架构，表1为构建的二分类卷积神经网络架构的各个层的详细参数。然后，对建立的卷积神经网络中各个层的权重均采用Gaussian方法进行初始化，偏置参数均采用Constant方法进行初始化。最后，将建立的卷积神经网络的训练和验证时的基础学习率设置为0.01，学习率降低策略采用“step”，动量设置为0.9、权重衰减设置为0.0005、过拟合丢弃率设置为0.5、每个训练迭代批次输入的图片数量设置为256，每个验证迭代批次输入的图片数量设置为200。

表1二分类卷积神经网络架构各个层的详细参数

对于步骤三中采用步骤一建立的数据集训练和验证步骤二构建的卷积神经网络，首先，采用步骤一建立的训练集，训练优化步骤二构建的卷积神经网络中各个层的权重和偏置参数。然后，在卷积神经网络的训练过程中，穿插验证过程，采用步骤一建立的验证集对训练过程中获得的卷积神经网络模型进行验证，并计算每个验证过程的精度，验证精度计算公式为：

对于步骤四中采用步骤三训练和验证的卷积神经网络进行混凝土结构表面图像中的微裂纹区域识别，第一步是要采用智能手机采集一张混凝土结构表面的微裂纹图像，图4(a)为采集的待提取特征微裂纹图像，同时记录智能手机进行图像采集时的拍摄距离。第二步是要将待提取特征微裂纹图像的长和宽像素尺寸调整为256的整数倍。具体尺寸调整方法为：

New size＝┌Original size/256┐×256

其中：Original size表示调整前待提取特征微裂纹图像的尺寸，New size表示调整后的图像尺寸，┌Original size/256┐表示对原始尺寸除以256得到的倍数向上取整。第三步是根据穷举搜索的思想，对于第二步中进行尺寸调整后的待提取特征微裂纹图像，采用256×256像素的正方形滑动窗口按照从左到右、从上到下的顺序依次对选取的微裂纹图像错位扫描两遍，两遍式穷举搜索滑移窗口微裂纹区域识别示意图的如图3所示。第四步是在进行第三步的过程中，当窗口滑动到某一位置时，应用步骤三中训练好的卷积神经网络对该位置处的小图像进行分类，分类为包含微裂纹图像或者背景图像。第五步是要重新建立一张与调整后的图像尺寸相同的白色图像，将第四步中分类为包含微裂纹的小图像，根据其在原图中的位置，覆盖在新建的白色图像中的对应位置，最终覆盖了包含微裂纹小图像的区域则为待提取特征微裂纹图像中的微裂纹区域。第六步是将第五步中覆盖了包含微裂纹小图像的新建图像的尺寸，调整为其原始大小。图4(b)为卷积神经网络模型识别的微裂纹区域图。

对于步骤五中对步骤四识别出的图像中的微裂纹区域进行骨架化，首先，对步骤四中识别出的图像中的混凝土结构表面微裂纹区域进行黑白二值化处理。二值化后的图像中，识别出的微裂纹区域为白色，其余背景部分为黑色，图4(c)为微裂纹区域二值化图。然后，对二值化图像中各个联通区域的像素面积进行测量，去除二值化图像中面积小于256×256像素的孤立微裂纹连通区域，图4(d)为去除孤立微裂纹区域图。之后，对去除了孤立微裂纹联通区域的二值化图像中的微裂纹区域的边缘进行中值滤波平滑操作，图4(e)为二值化微裂纹区域边缘中值滤波平滑图。最后，对经过中值滤波边缘平滑后的图像中的微裂纹区域进行骨架化处理，提取各个微裂纹区域的骨架。图4(f)为微裂纹区域骨架图，为了便于观察，图中的微裂纹骨架宽度被放大到20像素。

对于步骤六中根据步骤五的微裂纹区域骨架提取微裂纹的特征，首先，标定步骤四中所用的智能手机在不同拍摄距离时图像中的每个像素对应的真实长度。标定实验中，以白色A4纸上打印的黑色实心圆为智能手机的拍摄目标，让固定在直线导轨上的智能手机对白纸上的黑色实心圆进行拍照，智能手机从初始位置以10毫米的步长移动到最大位置，然后再返回到初始位置，完成一个循环。同时在移动过程中使用激光测距仪测量黑色实心圆与智能手机之间的距离并记录。实验重复三次，将实验结果中的拍摄距离与每个像素对应的真实长度之间的关系按照指数函数拟合，获取拍摄距离与每个像素对应的真实长度之间的关系曲线。然后，在经步骤五处理后获得的微裂纹骨架图中，计算每一个微裂纹骨架的像素长度，再根据标定的拍摄距离与每个像素对应的真实长度之间的关系曲线，将微裂纹骨架的像素长度转换为真实长度，转换后的各个微裂纹骨架的真实长度即为微裂纹的真实长度。之后，在经步骤五处理后获得的微裂纹骨架图中，根据公式

计算每一个微裂纹骨架的方向，式中：x和y分别是每一个微裂纹骨架上的像素的像素横坐标和像素纵坐标(此处坐标系设置为：微裂纹区域骨架图像的左上角为坐标原点，水平向右为x轴，竖直向下为y轴)，m为微裂纹骨架C包含的像素的总个数。这里需要说明的是，所提取的微裂纹方向的范围为(-90°,90°)。最后，在经步骤五处理后获得的微裂纹骨架图中，提取各个微裂纹骨架像素在图像中的坐标位置，再根据标定的拍摄距离与每个像素对应的真实长度之间的关系曲线，将提取的微裂纹骨架在图像中的像素坐标位置转换为真实位置。