一种动车组牵引电机及轴间夹挂异物的故障识别方法

摘要

一种动车组牵引电机及轴间夹挂异物的故障识别方法，涉及图像处理技术领域，针对现有技术中针对牵引电机及轴间夹挂的异物进行故障检测存在准确性差的问题，包括以下步骤：步骤一：获取货车2D线阵灰度图像；步骤二：根据货车2D线阵灰度图像截取车轴及牵引电机区域子图；步骤三：对车轴及牵引电机区域子图中的异物进行标记；步骤四：将标记后的图像划分为多个区域块，并将划分后的图像作为训练集训练神经网络；步骤五：将待检测图像输入训练好的神经网络中，得到每个区域块的预测得分；步骤六：根据每个区域块的预测得分判定动车组牵引电机及轴间是否夹挂异物。

说明书

技术领域

本发明涉及图像处理技术领域，具体为一种动车组牵引电机及轴间夹挂异物的故障识别方法。

背景技术

在铁路安全方向，传统的方法为探测设备拍到照片后，通过人工观察找到列车的故障点所在。这种方法可以在车行进中进行故障检测，而无需停靠。但是使用人工观察存在易疲劳、强度大、需要培训等缺点。现阶段越来越多的事情可以由机器来代替人工，机器具有成本低，规则统一，24小时无疲劳的特点，所以使用图像识别技术代替传统的人工检测，具有可行性。

牵引电机及轴间夹挂的异物种类繁多，且大小不一。使用传统的图像算法难一找到一个共同的特点。故使用深度学习神经网络的方法进行故障识别，存在准确性较低误报警较多的情况。

发明内容

本发明的目的是：针对现有技术中针对牵引电机及轴间夹挂的异物进行故障检测存在准确性差的问题，提出一种动车组牵引电机及轴间夹挂异物的故障识别方法。

本发明为了解决上述技术问题采取的技术方案是：

一种动车组牵引电机及轴间夹挂异物的故障识别方法，包括以下步骤：

步骤一：获取货车2D线阵灰度图像；

步骤二：根据货车2D线阵灰度图像截取车轴及牵引电机区域子图；

步骤三：对截取到的车轴及牵引电机区域子图中的异物进行标记；

步骤四：将标记后的车轴及牵引电机区域子图进行特征提取，得到特征图，然后将特征图划分为多个区域块，并将区域块划分后的特征图作为训练集训练神经网络；

步骤五：将待检测图像输入训练好的神经网络中，得到待检测图像对应的每个区域块的预测得分；

步骤六：根据待检测图像对应的每个区域块的预测得分判定待检测图像对应的动车组牵引电机及轴间是否夹挂异物。

进一步的，步骤二中截取车轴及牵引电机区域子图根据先验知识及硬件、框架提供的轴距信息进行车轴及牵引电机区域子图截取。

进一步的，神经网络的核心为Resnet50，Resnet50中layer4输出特征图。

进一步的，步骤四中将特征图划分为多个区域块的具体步骤为：首先将特征图以该特征图的长度方向划分为四个矩形区域，矩形区域间重叠设置，得到四个小区域块，然后将每相邻的两个小区域块划分为一个大区域块，得到三个大区域块。

进一步的，神经网络的训练过程具体为：首先将区域块划分后的特征图进行标签标记，标签表示为[x1，x2]，其中x1表示为区域块中存在异物的概率，x2为区域块中不存在异物的概率，根据所分的7个区域块，若目标完整落在其中的一个区域块中，则标签为[1，0]，若区域块中不包含目标则标签为[0，1]，当区域块中存在目标但不完整时，若该区域块中目标面积占目标总面积的比例大于0.1，则该区域标签为[0.9，0.1]，否者该区域块的标签为[0.1，0.9]，最后根据标签及该标签对应的特征图训练神经网络。

进一步的，神经网络的损失函数为：

上式中label

进一步的，预测得分通过神经网络中的CSSPPL模块得到，CSSPPL模块具体执行如下步骤：

首先对特征进行自适应平均池化、卷积、激活函数、卷积处理，同时对特征进行自适应最大池化、卷积、激活函数、卷积处理，然后将两个处理的结果相加后使用Sigmoid函数进行激活得到结果F1，之后将F1与特征相乘得到特征一，之后对特征一进行卷积、Sigmoid处理得到F2，将F2与特征一相乘得到特征二，然后利用SPP模块将特征二的大小进行调整，然后利用Linear层以及Softmax激活函数对SPP模块处理后的特征二进行处理后得到区域预测得分。

进一步的，SPP模块将特征二的大小调整为[2048，16]。

进一步的，步骤六中根据每个区域块的预测得分判定动车组牵引电机及轴间是否夹挂异物的具体步骤为：

若7个区域块的预测结果中任意一个存在异物的预测概率大于0.85，则判定为夹挂异物；

若7个区域块的预测结果中存在异物的预测概率都小于0.85，则对3个大区域块进行判定，若3个大区域块中任意一个存在异物的预测概率大于0.6时，则查找该大区域块所包含的两个小的区域块中是否存在预测概率大于0.6的区域块，若存在，则判定为夹挂异物；

若以上条件均不满足则判定为正常。

进一步的，步骤三中对截取到的车轴及牵引电机区域子图中的异物进行标记通过labelImg进行。

本发明的有益效果是：

1、利用图像自动识别的方式代替人工检测，可以解决人工检测长时间重复看图的疲劳问题，对于同种故障统一标准，提高检测效率、准确率。

2、设计一种区域分类网络，可以增加分类的准确性。

3、设计一种样本目标截取不全时的label表示方式，减少网络过拟合的情况。

4、设计一种损失函数，使得得到的网络泛化性更强。

附图说明

图1是区域块划分示意图；

图2是CSSPPL模块示意图；

图3是本申请提供的动车组牵引电机及轴间夹挂异物的故障识别方法的整体流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图3具体说明本实施方式，本实施方式的一种动车组牵引电机及轴间夹挂异物的故障识别方法，包括以下步骤：

步骤一：获取货车2D线阵灰度图像；

步骤二：根据货车2D线阵灰度图像截取车轴及牵引电机区域子图；

步骤三：对截取到的车轴及牵引电机区域子图中的异物进行标记；

步骤四：将标记后的车轴及牵引电机区域子图进行特征提取，得到特征图，然后将特征图划分为多个区域块，并将区域块划分后的特征图作为训练集训练神经网络；

步骤五：将待检测图像输入训练好的神经网络中，得到待检测图像对应的每个区域块的预测得分；

步骤六：根据待检测图像对应的每个区域块的预测得分判定待检测图像对应的动车组牵引电机及轴间是否夹挂异物。

原始图像数据采集

在固定的探测站点搭建高速成像设备，获取货车2D高清线阵灰度图像。长时间的图像收集，获取较多的样本数据量，并保证数据图像中存在各种自然干扰如光照、雨水、泥渍等的图像，保证数据的多样性，这样最终模型会有更好的鲁棒性。

样本图像收集

在获得原始图像后，根据先验知识及硬件、框架提供的轴距信息，截取车轴及牵引电机部分图像。根据拍摄图像大小，截取图像尺寸固定竖直方向为832像素，水平方向为256像素，该子图即可包含故障发生区域且图像尺寸为32的倍数下采样时更方便计算。

在实际的过车中正常数据远远大于故障数据，所以需要人工进行故障模拟，采集整车中的真实异物作物数据库，将各种异物PS到牵引电机以及车轴之间，构建数据集图像。

样本标记

在传统的分类网络中，只需要给出目标种类，但本发明的区域分类网络，对于一张训练样本需要知道每个区域的属性，所以需要对异物所在位置进行标注，采用labelImg对数据集进行标注。

将数据集图像及标注数据一一对应做训练样本。

模型的搭建及训练

网络搭建

根据牵引电机及轴间夹挂异物的特点(故障发生位置有限、变化区间小)，若选用目标检测网络进行识别，程序运行时间较慢且故障位置有限无需检测目标位置，所以选择分类网络来进行是否存在异物的识别。但在识别过程中发现准确率较低的现象，经分析发现在牵引电机与轴之间部位不同车型不同车厢，都会有差异，而异物的大小不确定，网络不能很好地找到明确的分类特点。针对这一特点，本发明进行了改进，提出一种区域分类网络，能够更好的重视图中的细节部分，对异物更加敏感，对于不同大小的异物有更好的识别效果，在保证运行速度的前提下提高识别准确率。

为了不进行重复的特征提取过程，本算法在得到特征图的最后一个卷积层时，进行区域划分，得到不同的区域特征。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤二中截取车轴及牵引电机区域子图根据先验知识及硬件、框架提供的轴距信息进行车轴及牵引电机区域子图截取。

具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是神经网络的核心为Resnet50，Resnet50中layer4输出特征图。

本算法采用Resnet50作为backbone，将Resnet50中layer4的输出作为特征图。对该特征图进行区域划分得到区域特征。

具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是步骤四中将特征图划分为多个区域块的具体步骤为：首先将特征图以该特征图的长度方向划分为四个矩形区域，矩形区域间重叠设置，得到四个小区域块，然后将相邻的两个小区域块划分为一个大区域块，得到三个大区域块。

特征图区域划分示意图如图1，通过特征提取后得到[8，26]的特征图，首先如图1左中将特征图划分为4个8*8的block，由于异物的种类很多，瓶子、塑料袋、卫生纸等、其大小形状各不相同，为了避免小异物被拆分成不同block而使得特征不明显，让其中相邻block间存在两行的重叠区域。其中两行的重叠区域，对应回原始图像即为64个像素高的异物，所以小于64像素的异物将会完整的出现在一个或者两个block中，大于64像素高的异物可能会被拆分到不同的block但是其包含足够的特征进行分类。这个划分对于小目标效果更好。

将上诉划分得到的4个block中，相邻block合并得到如图1右所示的3个大Block，该Block可以完整包含更大的异物目标，更有利于大目标的检出。

具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是神经网络的训练过程具体为：首先将区域块划分后的特征图进行label标记，label表示为[x1，x2]，其中x1表示为区域块中存在异物的概率，x2为区域块中不存在异物的概率，根据所分的7个区域块，若目标完整落在其中的一个区域块中，则label为[1，0]，若区域块中不包含一点目标则label为[0，1]，当区域块中存在目标但不完整时，若该区域块中目标面积占目标总面积的比例大于0.1，则该区域label为[0.9，0.1]，否者该区域块的label为[0.1，0.9]，最后根据label及该label对应的特征图训练神经网络。

网络训练

在使用区域分类网络时，将整张图像划分为7个区域，虽然有重叠区域，但对于原本完整的目标还是存在被切分的可能，所以本发明提出一种不完整目标label表示方式，给予完整的异物以及不完整的异物不同的标签，对不完整目标进行惩罚，来训练网络进而减少过拟合的状况。标签label生成方法，使用one-hot形式来表示，如[x1，x2]其中x1表示为block中存在异物的概率，x2为block中不存在异物的概率。根据样本图像所分的7个区域，若目标完整落在其中的一个区域则该区域则label为[1，0]，若区域中不包含一点目标则label为[0，1]，当某个区域中存在目标但不完整，被其他区域共同拥时该区域label为[0.9，0.1]。

具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是神经网络的损失函数为：

上式中label

自定义损失函数，因为样本存在类别不均衡且异物样本种类多样难易程度不同的情况，本发明使用损失函数如下

上式中label

具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是预测得分通过神经网络中的CSSPPL模块得到，CSSPPL模块具体执行如下步骤：

首先对特征进行自适应平均池化、卷积、激活函数、卷积处理，同时对特征进行自适应最大池化、卷积、激活函数、卷积处理，然后将两个处理的结果相加后使用Sigmoid函数进行激活得到结果F1，之后将F1与特征相乘得到特征一，之后对特征一进行卷积、Sigmoid处理得到F2，将F2与特征一相乘得到特征二，然后利用SPP模块将特征二的大小进行调整，然后利用Linear层以及Softmax激活函数对SPP模块处理后的特征二进行处理后得到区域预测得分。

经过区域划分后得到4个小block与3个大的Block，共7个区域块。搭建CSSPPL模块如图2所示，加入注意力机制，使得图像更注重存在异物的区域。分别将7个区域块输入到CSAL模块中，得到最终是否存在异物的预测得分。

整体网络结构：

使用resnet50网络layer4层的输出作为网络提取到的特征图Feature，对该特征进行区域划分、划分为7个区域的子feature。将7个区域分别输入到CSSPPL模块中得到七个区域的得分。CSSPPL模块结构为首先对feature分别进行[AdaptiveAvgPool2d(1)、Conv2d(kernel_size＝3)、Relu、Conv2d(kernel_size＝3)]与[AdapativateMaxPool2d(1)、Conv2d(kernel_size＝3)、Relu、Conv2d(kernel_size＝3)]，对两个结果相加后使用Sigmoid函数进行激活得到的结果为F1，将F1与feature相乘得到feature1，对feature1进行[Conv2d(kernel_size＝7)、Sigmoid]得到F2，将F2与feature1相乘得到feature2，因区域划分后区域块大小不同，加入SPP模块将结果统一变为[batch_size，2048，16]，后接Linear层以及Softmax激活函数得到区域预测得分。

具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是SPP模块将特征二的大小调整为[2048，16]。

具体实施方式九：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是步骤六中根据每个区域块的预测得分判定动车组牵引电机及轴间是否夹挂异物的具体步骤为：

若7个区域块的预测结果中任意一个存在异物的预测概率大于0.85，则判定为夹挂异物；

若7个区域块的预测结果中存在异物的预测概率都小于0.85，则对3个大区域块进行判定，若3个大区域块中任意一个存在异物的预测概率大于0.6时，则查找该大区域块所包含的两个小的区域块中是否存在预测异物概率大于0.6的区域块，若存在，则判定为夹挂异物；

若以上条件均不满足则判定为正常。

动车组牵引电机及轴间夹挂异物故障判别

当动车组通过探测基站时，相机获取线阵图像。通过使用先验知识与硬件数据等，截取车轴及牵引电机部分图像。将图像放入区域分类模型中进行预测，得到区域分类网络预测得分。

若7个预测结果中任意一个预测的异物概率大于0.85则将整个图像区域输出为报警，上传报警至平台；或者当3个大Block中存在预测异物概率大于0.6的时，查找其所包含的两个小的block中是否存在预测异物概率大于0.6的block，若存在则将整个图像区域输出为报警，上传报警至平台。若以上条件均不满足则判定为正常。整体实现流程图如图3所示。

具体实施方式十：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤三中对截取到的车轴及牵引电机区域子图中的异物进行标记通过labelImg进行。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。