一种接触网绝缘子可见光图像检测方法

摘要

本发明公开了一种接触网绝缘子可见光图像检测方法，属于接触网绝缘子检测领域，该方法包括根据接触网绝缘子可见光图像，得到接触网绝缘子图像集，并构建接触网绝缘子数据集；根据接触网绝缘子数据集，构建并训练基于改进RetinaNet的绝缘子目标检测模型，得到最优绝缘子检测模型；利用最优绝缘子检测模型，对待测图像进行检测，得到种类预测结果和锚框位置参数调整结果；根据种类预测结果和锚框位置参数调整结果，对含有接触网绝缘子目标的预设锚框进行调整，输出带有预测框的接触网绝缘子目标检测结果图像，完成对接触网绝缘子可见光图像的检测。本发明解决了接触网绝缘子目标检测效果不佳，定位精准度低的问题。

说明书

技术领域

本发明属于接触网绝缘子检测领域，尤其涉及一种接触网绝缘子可见光图像检测方法。

背景技术

接触网系统是电气化铁路的重要组成，其状态优劣直接影响牵引供电质量及铁路运行，保证接触网系统的可靠与稳定是铁路检修与运维的重要一环。绝缘子作为接触网牵引供电系统中的关键部件，同时起电气绝缘与结构支撑作用，其长期工作于自然环境中，易受外部因素影响而发生破损、脏污及老化等各类故障，影响铁路系统的正常运行。因此，需要定期对绝缘子进行检修与维护，及时检测到绝缘子异常状态，可有效降低事故发生的概率，减少由此带来的经济损失。

人工检测方法由于工作效率低、危险性高等特点，已被自动化识别检测方法广泛取代。目前，对绝缘子的检测方法主要分为两大类：

1、传统图像处理方法：使用人工设计的特征描述子提取图像的纹理、边缘、颜色等特征，而后通过模板匹配等方式进行特征的匹配与定位。

2、深度学习方法：基于卷积神经网络的深度学习方法通过自动抓取图像较为抽象的高维特征来代替手工低维特征，使学习到的特征更具有代表性，包含更多语义信息，使得绝缘子目标定位的精度与鲁棒性有了很大提高。

目前基于深度学习的绝缘子检测研究较少，且主流思路为直接使用经典深度学习检测模型，通过调整预设检测框大小和参数进行优化，大多未考虑绝缘子数据集自身长宽比较大等特点及实际检测场景，实际检测效果一般。

发明内容

针对现有技术中的上述不足，本发明提供的一种接触网绝缘子可见光图像检测方法解决了接触网绝缘子目标检测效果不佳，定位精准度低的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种接触网绝缘子可见光图像检测方法，包括以下步骤：

S1、获取接触网绝缘子可见光图像，并对所述接触网绝缘子可见光图像进行预处理，得到接触网绝缘子图像集；

S2、根据所述接触网绝缘子图像集，构建接触网绝缘子数据集；

S3、构建基于改进RetinaNet的绝缘子目标检测模型；

S4、根据所述接触网绝缘子数据集，训练基于改进RetinaNet的绝缘子目标检测模型，得到最优绝缘子检测模型；

S5、根据所述最优绝缘子检测模型，对待测图像进行检测，得到种类预测结果和锚框位置参数调整结果；

S6、根据所述种类预测结果和锚框位置参数调整结果，对含有接触网绝缘子目标的预设锚框进行调整，输出带有预测框的接触网绝缘子目标检测结果图像，完成对接触网绝缘子可见光图像的检测。

本发明的有益效果为：本发明通过采集大量接触网绝缘子可见光图像样本，针对接触网绝缘子检测过程中复杂多变的拍摄角度、光照与背景问题，对接触网绝缘子图像集进行预处理及数据增强，得到接触网绝缘子数据集，提高了模型的泛化能力与检测效果；改进特征提取网络G_ResNet中利用Ghost模块代替常规卷积操作，提高了网络的特征提取能力，并使网络参数量与计算量降低；通过添加CBAM注意力机制，抑制无关目标特征，提高关键目标检测能力；根据接触网绝缘子形状特征，通过增加角度参数的方式对原有网络进行改进，使得预测框更加精确契合接触网绝缘子目标，减少背景噪声，使检测效果更加精确。

进一步地，所述步骤S2中接触网绝缘子数据集的构建方法，包括以下步骤：

S201、对所述接触网绝缘子图像集进行数据增强操作，得到初始数据集；

S202、标注初始数据集中的接触网绝缘子目标，并采用VOC数据集格式保存接触网绝缘子目标的种类信息及位置信息，得到接触网绝缘子数据集。

上述进一步方案的有益效果为：通过采集大量接触网绝缘子可见光图像样本，针对接触网绝缘子检测过程中复杂多变的拍摄角度、光照与背景问题，对接触网绝缘子图像集进行预处理及数据增强，得到接触网绝缘子数据集，提高了模型的泛化能力与检测效果。

进一步地，所述步骤S201中数据增强操作包括对所述接触网绝缘子图像集中的图像进行旋转、翻转、亮度变换和对比度变换。

上述进一步方案的有益效果为：通过对接触网绝缘子图像集进行数据增强操作，得到接触网绝缘子数据集，提高了模型的泛化能力与检测效果。

进一步地，所述步骤S3中的基于改进RetinaNet的绝缘子目标检测模型包括依次连接的改进特征提取网络G_ResNet、CBAM注意力机制、特征金字塔网络FPN和预测网络；

所述改进特征提取网络G_ResNet，用于利用Ghost模块进行残差瓶颈结构堆叠，得到堆叠结果，并基于堆叠结果得到待测图像的初始特征图，将所述初始特征图输入至CBAM注意力机制；

所述CBAM注意力机制，用于根据所述初始特征图，生成注意力权重抑制无关目标，得到带注意力权重的特征图，并将所述带注意力权重的特征图输入至特征金字塔网络FPN，所述CBAM注意力机制计算过程表达式为：

其中，F为初始特征图；M

所述特征金字塔网络FPN，用于根据所述带注意力权重的特征图，利用上采样与侧边连接进行多尺度特征融合得到融合后的特征图，并将所述融合后的特征图输入至预测网络；

所述预测网络，用于根据所述融合后的特征图，利用多次卷积得到种类预测结果和锚框位置参数调整结果。

上述进一步方案的有益效果为：通过在改进特征提取网络G_ResNet中利用Ghost模块代替常规卷积操作，提高了网络的特征提取能力，并使网络参数量与计算量降低；通过添加CBAM注意力机制，抑制无关目标特征，提高关键目标检测能力；在特征金字塔网络FPN中进行多尺度融合，并通过预测网络获取种类预测结果和锚框位置参数调整结果，为接触网绝缘子目标的精准定位提供数据支撑。

进一步地，所述改进特征提取网络G_ResNet使用Ghost模块进行残差瓶颈结构堆叠，所述Ghost模块的计算过程表达式为：

其中，X为待测图像；f'为卷积核；Y'为待测图像的本征特征图；y

上述进一步方案的有益效果为：在改进特征提取网络G_ResNet中，使用Ghost模块替换简单卷积操作获得特征图，并按残差瓶颈结构进行堆叠，在不降低特征提取能力的同时，大幅降低了网络的参数量。

进一步地，所述CBAM注意力机制包括依次连接的通道注意力模块和空间注意力模块；

所述通道注意力模块，用于对所述初始特征图赋予通道维度上的注意力权重，得到通道特征图，并将所述通道特征图输入至空间注意力模块；

所述空间注意力模块，用于对所述通道特征图赋予空间维度上的注意力权重，得到带注意力权重的特征图。

上述进一步方案的有益效果为：输入的初始特征图分别在通道与空间维度上产生注意力权重，得到需要加强或抑制的特征信息，提高绝缘子目标检测能力。

进一步地，所述预测网络包括分类子网络与位置回归子网络；

所述分类子网络，用于利用多次卷积预测融合后的特征图上每个空间位置的目标物体存在概率，得到种类预测结果；

所述位置回归子网络，用于利用多次卷积将融合后的特征图上每个锚框的偏移量回归到附近的真实目标，得到锚框位置参数调整结果。

上述进一步方案的有益效果为：通过分类子网络和位置回归子网络分别得到待测图像中接触网绝缘子目标的种类预测结果和锚框位置参数调整结果，为接触网绝缘子目标的精准定位提供支撑。

进一步地，所述分类子网络包括依次连接的4层256个卷积核的卷积层和1层K×A的卷积层，其中，K为网络检测的接触网绝缘子目标的种类数量，A为该特征层在每个特征点上生成的锚框数量；

所述位置回归子网络包括依次连接的4层256个卷积核的卷积层和1层5×B的卷积层，其中，5为锚框的5个参数调整状态，B为该特征层在每个特征点上生成的先验框数量。

上述进一步方案的有益效果为：多层卷积的设计使得分类子网络和位置回归子网络能够提取初始特征图更高层的语义信息，使得种类预测结果和锚框位置参数调整结果更精准。

进一步地，所述步骤S3中的基于改进RetinaNet的绝缘子目标检测模型的损失函数表达式为：

其中，L为基于改进RetinaNet的绝缘子目标检测模型的损失函数；N为预设锚框总数；t

上述进一步方案的有益效果为：基于改进RetinaNet的绝缘子目标检测模型的损失函数包含位置回归损失与分类损失，位置回归损失通过smooth L1函数进行计算，分类损失通过聚焦损失函数进行计算，能够得到最优解的绝缘子检测模型。

进一步地，所述步骤S5中锚框使用旋转矩形框表示，所述旋转矩形框的表达式为：

B＝(x,y,w,h,θ)

其中，B为旋转矩形框。

上述进一步方案的有益效果为：根据接触网绝缘子形状特征，通过增加角度参数的方式对原有网络进行改进，使得预测框更加精确契合接触网绝缘子目标，减少背景噪声，使检测效果更加精确。

附图说明

图1为本发明的方法流程图。

图2为本发明中绝缘子可见光图像的实例图。

图3为本发明中基于改进RetinaNet的绝缘子目标检测模型结构示意图。

图4为本发明中Ghost模块结构示意图。

图5为本发明中旋转矩形框的说明图。

图6为本发明中预测网络结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，在本发明的一个实施例中，本发明提供了一种接触网绝缘子可见光图像检测方法，包括以下步骤：

S1、获取接触网绝缘子可见光图像，并对所述接触网绝缘子可见光图像进行预处理，得到接触网绝缘子图像集；

本实施例中，如图2所示，通过装有相机的接触网检测装置在现场自动拍摄得到接触网绝缘子可见光图像，并对采集图片进行人工筛选，去除模糊与质量不佳的样本，得到接触网绝缘子图像集，接触网绝缘子图像集中包含多种光照条件，多种接触网背景(正定位型、反定位型、带补偿装置型、双定位型接触网)下的接触网绝缘子。

S2、根据所述接触网绝缘子图像集，构建接触网绝缘子数据集，其构建方法包括以下步骤：

S201、对所述接触网绝缘子图像集进行数据增强操作，得到初始数据集；

S202、标注初始数据集中的接触网绝缘子目标，并采用VOC数据集格式保存接触网绝缘子目标的种类信息及位置信息，得到接触网绝缘子数据集。

所述步骤S201中数据增强操作包括对所述接触网绝缘子图像集中的图像进行旋转、翻转、亮度变换和对比度变换。

本实施例中，数据增强操作包括对接触网绝缘子图像集中的图像随机进行的旋转、翻转、亮度变换及对比度变换等操作中的一种或多种。

本实施例中，使用RoLabelImg软件对初始数据集中接触网绝缘子目标进行精确标注，采用VOC数据集格式保存接触网绝缘子目标种类及位置信息，得到接触网绝缘子数据集；将得到的接触网绝缘子数据集按8：2的比例随机划分为训练集与测试集。

S3、构建基于改进RetinaNet的绝缘子目标检测模型，所述基于改进RetinaNet的绝缘子目标检测模型的损失函数表达式为：

其中，L为基于改进RetinaNet的绝缘子目标检测模型的损失函数；N为预设锚框总数；t

如图3所示，所述基于改进RetinaNet的绝缘子目标检测模型包括依次连接的改进特征提取网络G_ResNet、CBAM注意力机制、特征金字塔网络FPN和预测网络；

所述改进特征提取网络G_ResNet，用于利用Ghost模块进行残差瓶颈结构堆叠，得到堆叠结果，并基于堆叠结果得到待测图像的初始特征图，将所述初始特征图输入至CBAM注意力机制；

所述CBAM注意力机制，用于根据所述初始特征图，生成注意力权重抑制无关目标，得到带注意力权重的特征图，并将所述带注意力权重的特征图输入至特征金字塔网络FPN，所述CBAM注意力机制计算过程表达式为：

其中，F为初始特征图；M

所述特征金字塔网络FPN，用于根据所述带注意力权重的特征图，利用上采样与侧边连接进行多尺度特征融合得到融合后的特征图，并将所述融合后的特征图输入至预测网络；

所述预测网络，用于根据所述融合后的特征图，利用多次卷积得到种类预测结果和锚框位置参数调整结果。

所述改进特征提取网络G_ResNet使用Ghost模块进行残差瓶颈结构堆叠，所述Ghost模块的计算过程表达式为：

其中，X为待测图像；f'为卷积核；Y'为待测图像的本征特征图；y

所述CBAM注意力机制包括依次连接的通道注意力模块和空间注意力模块；

所述通道注意力模块，用于对所述初始特征图赋予通道维度上的注意力权重，得到通道特征图，并将所述通道特征图输入至空间注意力模块；

所述空间注意力模块，用于对所述通道特征图赋予空间维度上的注意力权重，得到带注意力权重的特征图。

所述预测网络包括分类子网络与位置回归子网络；

所述分类子网络，用于利用多次卷积预测融合后的特征图上每个空间位置的目标物体存在概率，得到种类预测结果；

所述位置回归子网络，用于利用多次卷积将融合后的特征图上每个锚框的偏移量回归到附近的真实目标，得到锚框位置参数调整结果。

所述分类子网络包括依次连接的4层256个卷积核的卷积层和1层K×A的卷积层，其中，K为网络检测的接触网绝缘子目标的种类数量，A为该特征层在每个特征点上生成的锚框数量；

所述位置回归子网络包括依次连接的4层256个卷积核的卷积层和1层5×B的卷积层，其中，5为锚框的5个参数调整状态，B为该特征层在每个特征点上生成的先验框数量。

本实施例中，基于改进RetinaNet的绝缘子目标检测模型的损失函数包含位置回归损失与分类损失，位置回归损失通过smooth L1函数进行计算，分类损失通过聚焦损失函数进行计算，基于改进RetinaNet的绝缘子目标检测模型最优权重选择损失曲线收敛较为平稳且最终收敛值最小的权重。

本实施例中，如图3所示，基于改进RetinaNet的绝缘子目标检测模型包括依次连接的改进特征提取网络G_ResNet、CBAM注意力机制、特征金字塔网络FPN和预测网络；在改进特征提取网络G_ResNet中，使用Ghost模块替换简单卷积操作获得相似特征图，并按残差瓶颈结构进行堆叠，在不降低特征提取能力的同时，大幅降低了网络的参数量。

本实施例中，CBAM注意力机制包括依次连接的通道注意力模块与空间注意力模块，初始特征图分别在通道与空间维度上产生注意力权重，得到需要加强或抑制的特征信息。

本实施例中，预测网络结构如图6所示，包括分类子网络与位置回归子网络；分类子网络依次包含4次256通道的卷积和1次K×A的卷积，K指的是网络检测的接触网绝缘子目标的类别数量，A指的是该特征层在每个特征点上生成的锚框数量；位置回归子网络依次包含4次256通道的卷积和1次5×A的卷积，5指的是锚框的5个参数调整状态，A指的是该特征层在每个特征点上生成的先验框数量；W为卷积核的宽度，H为卷积核的高度。

S4、根据所述接触网绝缘子数据集，训练基于改进RetinaNet的绝缘子目标检测模型，得到最优绝缘子检测模型；

S5、根据所述最优绝缘子检测模型，对待测图像进行检测，得到种类预测结果和锚框位置参数调整结果；

所述锚框使用旋转矩形框表示，所述旋转矩形框的表达式为：

B＝(x,y,w,h,θ)

其中，B为旋转矩形框。

本实施例中，将待测图像缩放为640×640大小，再送入最优绝缘子检测模型进行检测，最优绝缘子检测模型预测结果包括绝缘子目标的种类预测结果和锚框位置参数调整结果。

本实施例中，待测图像在改进特征提取网络G_ResNet中，使用Ghost模块(Ghost模块结构如图4所示)通过1×1卷积与简单线性变换(图4中Conv表示卷积过程，Identity表示简单线性变换过程)得到本征特征图与相似特征图，将它们拼接得到与普通卷积操作近似的效果；然后在图像长宽分别被压缩了3次、4次和5次的特征层后输出3个不同尺度的初始特征图C3、C4和C5；而后添加CBAM注意力机制，通过注意力权重抑制无关目标，得到3个带注意力权重的特征图C3'、C4'和C5'；C3'、C4'和C5'的大小分别为80×80，40×40，20×20。将3个带注意力权重的特征图C3'、C4'和C5'送入特征金字塔网络FPN，通过上采样与侧边连接使浅层高分辨特征与深层语义特征结合，完成多尺度特征融合，获得5个有效特征层P3、P4、P5、P6和P7；P3、P4、P5、P6和P7的大小分别为80×80，40×40，20×20，10×10，5×5；P3、P4和P5通过C3'、C4'和C5'结合上采样与侧边连接获得，P6和P7在C5'的基础上上采样获得。

本实施例中，为更精确地契合接触网绝缘子目标，预测网络中引入角度参数，预设锚框与预测框使用旋转矩形框，表示形式为(x,y,w,h,θ)；旋转矩形框使用长边表示法，如图5所示，x,y,w,h,θ各参数分别代表矩形框中心的横纵坐标，矩形框的长边与短边，x轴正方向顺时针旋转到矩形框长边所经过的角度，取值范围为[0,180)。

S6、根据所述种类预测结果和锚框位置参数调整结果，对含有接触网绝缘子目标的预设锚框进行调整，输出带有预测框的接触网绝缘子目标检测结果图像，完成对接触网绝缘子可见光图像的检测。