一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法

摘要

本发明公开了一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法，所述系统包括图像采集模块、元数据输入模块、数据同步模块、图像预处理模块、深度学习模型训练模块、深度学习模型加载模块、缺陷类型识别模块、缺陷定位模块、信息存储模块、数据分析与可视化模块。通过所述盾构管片缺陷类型识别及定位系统可以实现管片缺陷信息的自动化快速和精准统计，极大减少了人工劳动量，缩短了管片缺陷从发现到修复的时间。

说明书

技术领域

本发明涉及计算机视觉图像处理技术应用领域，具体涉及于一种基于深度学习的盾构管片缺陷类型识别及定位系统。

技术背景

当今中国已是世界上隧道及地下工程规模最大、数量最多、地质条件和结构形式最复杂、修建技术发展速度最快的国家。盾构施工法作为一种适用于现代隧道及地下工程建设的重要施工方法之一，拥有诸多优势，发挥着重要的作用。而盾构管片是盾构施工的主要装配构件，是隧道的最内层屏障，承担着抵抗土层压力、地下水压力以及一些特殊荷载的作用。盾构管片是盾构法隧道的永久衬砌结构，盾构管片质量直接关系到隧道的整体质量和安全，影响隧道的防水性能及耐久性能。并且，盾构管片的缺陷若未及时发现将带来巨大的安全隐患和经济损失，可见及时发现并修复管片缺陷的重要性。调研显示地铁盾构隧道施工所用管片质量缺陷仍存在一些尚未得到很好解决的问题，如管片的渗漏、裂纹、错台、崩角、扭转等。

在传统的人工进行管片缺陷巡检并识别分类的过程中，一方面，对于盾构管片的巡检过程中出现的质量问题，往往是由人工手动纸质记录并拍照取样。另一方面，对于管片质量信息的处理也是由人工凭借以往经验来加以分析。然而，该纯人工方法存在人力投入量大、处理速度慢耗时长以及智能化程度低等问题，并且准确率也不能做高保证，对管片质量的维护造成影响。

近年来，计算机技术突飞猛进，尤其在人工智能深度学习领域，图像识别技术也日益成熟。计算机可以通过外部架构摄像头捕获的2D图片图像对其进行分类和识别，并且伴随着计算机算力的提升和处理能力的增强，使得用计算机对盾构管片的自动化巡查缺陷位置及类型识别成为可能，该方法解决了传统人工方法的诸多问题，并且迁移扩展能力较强，极具发展前景。

发明内容

鉴于现有技术的缺陷，本发明的目的在于提供一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法，将深度学习技术与管片缺陷识别方法相结合，能够实现自动化识别检测盾构管片缺陷类型和缺陷位置，极大提高管片缺陷信息统计并维修的速度和精度。

为了实现上述目的，本发明采用的技术方案如下：

一种基于深度学习的盾构管片缺陷类型识别及定位系统，所述系统包括：

图像采集模块，用于从外部架构拍摄盾构管片图像；

元数据输入模块，用于输入描述缺陷信息的数据；

数据同步模块，用于同步移动端和服务端数据；

图像预处理模块，用于预处理从外部架构获得的图像；

深度学习模型训练模块，用于训练神经网络获得权重文件；

深度学习模型加载模块，用于加载训练好的卷积神经网络；

缺陷类型识别模块，用于识别有缺陷的管片判断其缺陷类型；

缺陷定位模块，用于定位有缺陷的管片的缺陷位置；

信息存储模块，用于存储管片的缺陷信息；

数据分析与可视化模块，用于对管片缺陷位置、类型信息进行综合分析，生成报表并以图示的形式进行可视化。

基于上述系统，本发明还提供一种基于深度学习的盾构管片缺陷类型识别及定位系统的识别与定位方法，所述方法包括以下步骤：

S110将环号，管片类型，k点位置等元数据输入到数据同步模块；

S120由外部架构对地铁盾构管片管壁进行图像采集，然后输入到数据同步模块；

S130将步骤S1输入的元数据和步骤S2采集的图像进行加载，然后上传到服务器；

S140接收移动设备上载的数据并下载到服务器上，并将数据存储于信息存储模块；

S150对外部获取的管片缺陷图片进行预处理，通过传统的图像随机仿射变换方式，对图像数据进行数据增强以获得更易处理的图像数据；

S160对图像特征图进行缺陷检测，得到检测结果与标签比较并进行误差计算，根据误差更新深度卷积网络参数，当误差小于深度卷积网络设定误差阈值时停止训练，得到训练完的深度卷积网络；

S170将存储在服务器上的已经训练好的深度学习模型进行加载，包括缺陷类型识别模块和缺陷定位模块；

S180将预处理过的图片交付给缺陷类型识别模块，输出识别出的缺陷类型后对其进行分类；

S190预处理过的图片交付给缺陷定位模块，输出图片中缺陷所处的位置；然后根据定位缺陷和镙栓孔的大概位置，计算两者的相对距离和角度从而确定缺陷在管片上的具体位置；

S1100将网络输出的缺陷类型信息和缺陷定位信息交付给信息存储模块，用于存储数据，并与移动设备进行数据同步；

S1110对信息存储模块中的信息进行归纳总结，得出对用户有用的信息，根据使用该系统用户的需求，将管片缺陷的各类信息可视化给用户，并为用户提供评估和总结。

需要说明的是，所述步骤S8中的缺陷类型识别模块采用ResNet50-FPN-RPN网络结构实现，包括以下步骤：

S210通过图像采集装置采集管片缺陷图像并对缺陷对象的缺陷类型进行标注，建立各种缺陷的缺陷数据集；

S220训练参数初始化，载入预训练网络模型及权重，设置缺陷分类类别及数量；预设定训练次数，在确保符合损失函数等约束条件限制情况下，得到训练后的网络权重文件；

S230编辑训练数据集和测试集，训练数据集包括缺陷图像、图像文件路径以及缺陷类型，采用一个预先训练好的卷积神经网络，将图像采集终端获取的图像进行初步的二分类，即获得有缺陷图像和无缺陷图像的结果集；

S240筛选二值分类结果集中含有缺陷的图像，进行后续步骤精分类操作，无缺陷的图片剔除操作；

S250采用ResNet50网络架构作为特征提取器提取feature map；同时增加特征金字塔网络FPN扩展主干网络，是获得管片缺陷的多尺度信息；

S260采用一个轻量级区域建议网络RPN来寻找候选ROI，在寻找目标区域的同时，扫描的每个区域都是一个anchor，最终会根据每个anchor的具体得分，选出最高分即最有可能是缺陷所在位置的anchor，将其传递到下一个阶段；

S270对传递下来的ROI进行ROI池化操作，采用Mask RCNN中提出的ROI Align操作，在特征图的不同点采样，应用双线性插值法最终获得固定尺寸大小的特征图；然后将其输入分类器进行缺陷类型分类；

S280将神经网络输出的预测缺陷类型信息保存至信息存储模块，交由服务器维护数据以供用户使用。

需要说明的是，所述步骤S9中对管片缺陷定位采用YOLO_V3网络实现；包括以下步骤：

S310通过外部采集装置采集管片缺陷并对缺陷对象的详细坐标位置进行标注，并对其进行编号，从1开始，建立缺陷位置数据集；

S320将缺陷定位卷积神经网络参数初始化，并利用已建数据集对网络进行训练生成权重文件；

S330接收图像采集终端采集的并预处理后的管片缺陷图，调用预先训练好的缺陷定位卷积神经网络，设置网络参数并载入训练好的网络权重；

S340将设计网络选择输入图像大小为416×416，采用双线性插值法对图像进行统一尺寸；

S350对序列化化后的图像采取归一化处理，将0-255的RGB色彩模式归一至0-1的黑白二值模式；

S360将上述处理后的图像划分为S×S个网格，只有在目标缺陷的中心落入某个网格单元时，那么该网格单元才负责检测该对象，从而获得目标缺陷的位置检测结果；每个所述网格预测固定数量个预测框，最终根据定位缺陷的预测框和镙栓孔的大概位置，计算两者的相对距离和角度从而定位缺陷在管片上的具体位置；

S370将神经网络输出的预测缺陷位置信息保存至信息存储模块，交由服务器维护数据以供用户使用。

需要说明的是，所述预测框包含5个基本数据为(x,y,w,h,cre)；其中，(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽；cre的值是反映边界框是否包含目标概率与当前边界框与真实边界框重合的情况。

需要说明的是，所述步骤S11中的管片缺陷可视化需要根据管片类型、K块位置、管片缺陷类型及位置来渲染便于用户观看的透视图，包括以下步骤：

S410根据管片类型、K块位置渲染管片透视图,管片类型包括：10点位、16点位、19点位及大盾构等，K块位置可根据管片类型及管片推进环数位于不同位置；

S420根据管片类型、K块位置渲染管片连接螺栓；管片连接螺栓包括纵向螺栓及横向螺栓，纵向螺栓用于连接前后环的盾构管片，横向螺栓用于连接同一环中相临的管片；

S430根据管片质量缺陷类型及位置渲染缺陷图例，不同缺陷类型用不同的图例来渲染，具体包括：渗漏、裂纹、错台等；缺陷大致位置则基于缺陷所在管片及与螺栓的相对位置来计算和渲染。

本发明的有益效果在于：

1、所述盾构管片缺陷类型识别及定位系统，只需要用户将管片缺陷图片输入该系统，就可以快速获得管片缺陷类型及位置信息。用户可以查看所有的缺陷记录，系统自动生成记录表。用户可以查看所有缺陷在管片上的分布情况，系统自动生成定位表和图。用户可以查看日统计和月统计缺陷结果，即每天和每个月的缺陷确认情况，系统自动生成管片质量报表并以饼状图和柱状图展示给用户。

2、相较于传统的人工对缺陷进行分类和定位，本系统实现了自动缺陷类型识别模块和定位模块，即训练一个可以进行缺陷识别的卷积神经网络用于管片缺陷的类型识别和一个可以给缺陷位置进行定位的卷积神经网络确定缺陷位置。将外部架构拍摄缺陷图像输入网络前，进行了充分的预处理和图像增强处理，以提高神经网络判断的准确性。经检验，上述方式对管片缺陷分类和检测具有很高的准确度，克服了许多人工操作的缺点，避免了许多误判带来的损失，且极具经济效益，拥有很高的实际运用价值。

附图说明

图1为本发明实例系统构成的示意图；

图2为本发明基于深度学习的盾构管片表面缺陷类型识别的流程图；

图3为本发明基于深度学习的盾构管片表面缺陷定位的流程图；

图4为本发明的盾构管片透视及表面缺陷渲染的流程图；

图5为本发明的盾构管片透视及表面缺陷渲染的示意图。

具体实施例

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本发明为一种基于深度学习的盾构管片缺陷类型识别及定位系统，所述系统包括：

图像采集模块，用于从外部架构拍摄盾构管片图像；

元数据输入模块，用于输入描述缺陷信息的数据；

数据同步模块，用于同步移动端和服务端数据；

图像预处理模块，用于预处理从外部架构获得的图像；

深度学习模型训练模块，用于训练神经网络获得权重文件；

深度学习模型加载模块，用于加载训练好的卷积神经网络；

缺陷类型识别模块，用于识别有缺陷的管片判断其缺陷类型；

缺陷定位模块，用于定位有缺陷的管片的缺陷位置；

信息存储模块，用于存储管片的缺陷信息；

数据分析与可视化模块，用于对管片缺陷位置、类型信息进行综合分析，生成报表并以图示的形式进行可视化。

实施例

基于本发明的系统，本发明的实现管片缺陷类型识别及定位的方法包括以下步骤：

步骤S110：所述步骤将环号，管片类型，k点位置等元数据输入到数据同步模块。所述环号一共10号，标准环一共有7环，邻接环2环，封顶环1环。所述管片类型包括10点位、16点位、19点位及大盾构等。

步骤S120：所述步骤由外部架构对地铁盾构管片管壁进行图像采集，然后输入到数据同步模块。所述外部架构可以为手机、平板电脑等，在外部架构提供支持摄像并且安装了本系统程序的基础上，从本系统内部开启摄像模式即可对管片有缺陷的部位进行取像。

步骤S130：所述步骤用于将采集的图像和输入的元数据进行加载，然后上传到服务器。

步骤S140：所述步骤用于接收移动设备上载的数据并下载到服务器上，并将数据存储于信息存储模块。

步骤S150：所述步骤对从外部获取的管片缺陷图片进行预处理，主要是通过传统的图像随机仿射变换方式，包括剪裁、旋转、缩放、去噪和锐化其中一种或多种，对图像数据进行数据增强以获得更易处理的图像数据。

步骤S160：所述步骤对图像特征图进行缺陷检测，得到检测结果与标签比较并进行误差计算，根据误差更新深度卷积网络参数，当误差小于深度卷积网络设定误差阈值时停止训练，得到训练完的深度卷积网络，保存权重文件。

步骤S170：所述步骤将存储在服务器上的已经训练好的深度学习模型进行加载，包括缺陷类型识别模块和缺陷定位模块。

步骤S180：所述步骤将预处理过的图片交付给缺陷类型识别模块，该模块网络最终输出识别出的缺陷类型，并对其进行分类。

步骤S190：所述步骤将预处理过的图片交付给缺陷定位模块，该模块网络最终输出图片中缺陷所处的位置。然后根据定位缺陷和镙栓孔的大概位置，计算两者的相对距离和角度从而定位缺陷在管片上的具体位置。

步骤S1100：将上述两个网络输出的缺陷类型信息和缺陷定位信息交付给信息存储模块，用于存储数据，并与移动设备进行数据同步。

步骤S1110：对信息存储模块中的信息进行归纳总结，得出对用户有用的信息，根据使用该系统用户的需求，将管片缺陷的各类信息可视化给用户，并为用户提供评估和总结，可视化提供柱状图，饼状图以及报表等形式展示。

进一步的，所述步骤S180中的管片缺陷类型识别采用ResNet50-FPN-RPN网络结构实现，其具体的步骤如下：

步骤S210：通过图像采集装置采集管片缺陷并对缺陷对象进行标注，建立缺陷数据集。缺陷数据集大量完整的包括错台(包括三种：前一环高、前一环低，环内错台)、碎裂、渗漏、裂缝(包括两种：横向裂缝、纵向裂缝)等缺陷表面图像类型。

步骤S220：训练参数初始化，载入预训练网络模型及权重，设置缺陷分类类别及数量。预设定训练次数，在确保符合损失函数等约束条件限制情况下，得到训练后的网络权重文件。所述损失约束为L＝L

步骤S230：编辑训练数据集和测试集，训练数据集包括缺陷图像、图像文件路径以及缺陷类型，采用一个预先训练好的卷积神经网络，将图像采集终端获取的图像进行初步的二分类，即获得有缺陷图像和无缺陷图像的结果集。

步骤S240：筛选二值分类结果集中含有缺陷的图像，进行后续步骤精分类操作，无缺陷的图片剔除操作。

步骤S250：本网络实现采用ResNet50网络架构作为特征提取器提取feature map。同时增加特征金字塔网络FPN扩展主干网络，是为了保证在扩大感受野的同时不丢失具体的特征，更好的获得管片缺陷的多尺度信息。

步骤S260：采用一个轻量级区域建议网络RPN来寻找候选ROI，在寻找目标区域的同时，扫描的每个区域都是一个anchor，最终会根据每个anchor的具体得分，选出最高分即最有可能是缺陷所在位置的anchor，将其传递到下一个阶段。

步骤S270：由于分类器不能很好地处理不同尺寸的输入，而只能处理固定的输入尺寸，而ROI框可以是任意尺寸，所以需要对传递下来的ROI进行ROI池化操作，本网络采用Mask RCNN中提出的ROI Align操作，在特征图的不同点采样，应用双线性插值法最终获得固定尺寸大小的特征图。然后将其输入分类器进行N类别分类(N为缺陷类型数量)。双线性插值的具体方法为：假如我们想得到未知函数f在点P＝(x,y)的值，假设我们已知函数f在Q

步骤S280：将神经网络输出的预测缺陷类型信息保存至信息存储模块，交由服务器维护数据以供用户使用。

进一步的，所述步骤S190中的管片缺陷定位采用YOLO_V3网络实现。其具体的步骤如下：

步骤S310：通过外部采集装置采集管片缺陷并对缺陷对象的详细坐标位置进行标注，并对其进行编号，从1开始，建立缺陷位置数据集。所述标注使用labelImg软件对图像进行标注，使用矩形真实框标注出图像中缺陷的位置，并记录矩形框左上角(x

步骤S320：将缺陷定位卷积神经网络参数初始化，并利用已建数据集对网络进行训练生成权重文件。

步骤S330：接收图像采集终端采集的并预处理后的管片缺陷图，调用预先训练好的缺陷定位卷积神经网络，设置网络参数并载入训练好的网络权重。

步骤S340：由于YOLO_V3网络要求输入图像尺寸为32的整数倍，所设计网络选择输入图像大小416×416，处理方法为对图像采用双线性插值法进行统一尺寸大小。

步骤S350：对序列化化后的图像采取归一化处理，将0-255的RGB色彩模式归一至0-1的黑白二值模式，方便神经网络后续处理。归一化公式为：

步骤S360：将上述处理后的图像划分为S×S个网格，只有在目标缺陷的中心落入某个网格单元时，那么该网格单元才负责检测该对象，从而获得目标缺陷的位置检测结果。每个所述网格预测固定数量个预测框，所述预测框包含5个基本数据为(x,y,w,h,cre)，(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽。cre的值是反映边界框是否包含目标概率与当前边界框与真实边界框重合的情况。最终根据定位缺陷预测框和镙栓孔的大概位置，计算两者的相对距离和角度从而定位缺陷在管片上的具体位置。损失函数的设计：loss＝Lc+Lp，其中Lc表示有无缺陷分类的损失函数，对分类的准确性负责。Lp表示缺陷定位的损失函数，对缺陷定位的精确度负责。本发明中Lp＝1-I0U，其中IOU为交并比，即预测结果与真实目标所在位置的交叉面积和二者合并面积的比值。

步骤S370：将神经网络输出的预测缺陷位置信息保存至信息存储模块，交由服务器维护数据以供用户使用。

步骤S1110：对信息存储模块中的信息进行归纳总结，得出对用户有用的信息，根据使用该系统用户的需求，将管片缺陷的各类信息可视化给用户，并为用户提供评估和总结。主要是需要根据管片类型、K块位置、管片缺陷类型及位置来渲染便于用户观看的透视图，具体流程具体如下：

步骤S410：根据管片类型、K块位置渲染管片透视图,管片类型包括：10点位、16点位、19点位及大盾构等，其中10点位的衬砌依次为K、B、A1、A2、A3、C。16点位的衬砌依次为K、B1、A1、A2、A3、B2；19点位的衬砌依次为F、L1、B1、B2、B3、B4、L2,大盾构点位的衬砌依次为F、L1、B1、B2、B3、B4、B5、B6、B7、L2。不同管片类型衬砌的角度如下表格(K/F块位置可根据管片类型及管片推进环数位于不同位置)：

步骤S420：根据管片类型、K块位置渲染管片连接螺栓。管片连接螺栓包括纵向螺栓及横向螺栓，纵向螺栓用于连接前后环的盾构管片，横向螺栓用于连接同一环中相临的管片。

步骤S430：根据管片质量缺陷类型及位置渲染缺陷图例，不同缺陷类型用不同的图例来渲染，具体包括：渗漏、裂纹、错台等。缺陷大致位置则基于缺陷所在管片及与螺栓的相对位置来计算和渲染。渲染效果示意图如图5。

进一步的，所述信息存储模块用于存储所述管片缺陷信息。所述存储模块用于存储多个管片展开图，存储模块与数据分析及可视化模块相连接，用于根据用户的管片选择指令从所述存储模块中获取并展示待记录的管片展开图，并且根据用户的不同修改操作将修改后的新的数据重新存储到所述信息存储模块。

所述缺陷信息包括缺陷上报时间、区间、线路、环号、衬砌块、缺陷类型、上报人员、备注以及图片信息。所述管片展开图包括管片的10个环向点位、16个环向点位、19个环向点位以及大盾构、矩形盾构等的展开图。所述多个管片展开图包括隧道施工工程中的多个环号的原始管片展开图。所述管片选择指令包括管片的环号、该管片环的K块点位、类型以及盾尾间隙信息。所述可视化模块可以显示特定环号对应的管片展开图。

所述数据分析及可视化模块用于将所有管片整体信息展示给用户。所述数据分析包括三个基本功能：缺陷记录管理功能、缺陷位置分布管理功能、质量报表管理功能。所述缺陷记录管理功能用于根据用户输入的第一查询指令，从所述信息存储模块中获取与所述第一查询指令对应的管片缺陷信息并生成缺陷记录列表；所述缺陷位置分布管理功能用于根据用户输入的第二查询指令，从所述信息存储模块中获取与所述第二查询指令对应的管片缺陷信息进行统计分析，并生成缺陷位置分布统计表；所述质量报表管理功能用于根据用户输入的第三查询指令，从所述信息存储模块中获取与所述第三查询指令对应的管片缺陷信息进行统计分析，并生成质量报表。所述第三查询指令包括日报表查询指令以及月报表查询指令，所述质量报表包括质量日报表以及质量月报表。所述各类记录列表提供柱形图和饼状图等清晰形式展现给用户，以使得用户更加方便的对管片缺陷的整体情况做综合分析。

所述数据分析及可视化模块可以将用户选中的所述各类记录列表中的多条缺陷记录导出为EXCEL、WORD、TXT或PDF文档，同时支持用户选中的所述记录列表中的多条缺陷记录发送到外部打印机，以使得外部打印机打印用户选中的缺陷记录列表中的多条记录。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变，而所有的这些改变，都应该包括在本发明权利要求的保护范围之内。