基于机器视觉的铁路双轨间微小异物检测方法及系统

摘要

本发明公开了基于机器视觉的铁路双轨间微小异物检测方法及系统，预先采集无异物双轨图像，进行卷积神经网络训练，获取目标模型；通过探测光学设备采集连续帧铁轨图像并进行图像滤波去除噪声；提取图像特征确定双轨位置，将异物检测区域确定为轨道面区域和双轨间区域；通过目标模型对每帧待检测的目标图像双轨间区域进行推演识别，如果存在与目标模型的不符的异常情况，则认为双轨间存在异物；所述推演识别采用分层次的目标识别方法，包括粗层次目标识别和细层次目标识别。本发明基于无异物的轨道模型，进行推演识别，采用分层次的目标识别方法，确保了铁路双轨间的异物检测的可靠性；精准检测出铁路双轨间的微小异物，提高了列车运行的安全。

说明书

技术领域

本发明属于机器视觉技术领域，特别是涉及到一种基于机器视觉的铁路双轨间微小异物检测方法及系统。

背景技术

铁路轨道上异物的存在是对高速列车行车安全的严重威胁，以往的人工巡检并不能保证发现异物的即时性，而由于列车速度快、制动距离长，依靠司机看到异物后的紧急反应动作也很难避免事故的发生，因此需要铁路异物检测系统对铁路异物尤其是微小异物进行即时检测。

目前用于铁路异物综合监测系统主要包括接触式和非接触式两种技术。接触式技术为在铁路上布置电网、电缆、光缆等分布式传感器，具有技术成熟、受环境影响小等优点，但其缺点也很明显，即造价高、施工难度大、维护成本高。非接触式技术主要包括激光雷达检测技术和机器视觉检测技术。其中激光雷达200米以内的在短距离的大体积异物监测具有显著的优点，可以提供异物的距离和位置信息，同时能够获取物体的三维信息，但在长距离、微小目标的监测技术上还有待发展，而现有的应用在铁路轨道的机器视觉检测技术并不完善，铁路异物又分为铁路轨道面的异物和铁路双轨间的异物，对铁路轨道进行异物探测时对这二者需要使用不同的探测方法才能精准高效的识别异物，但现有的机器视觉检测技术并没有进行区别处理，影响检测结果。

发明内容

本发明提出一种基于机器视觉的铁路双轨间微小异物检测方法及系统，能够精准检测出铁路双轨间的微小异物。

为达到上述目的，本发明的技术方案是这样实现的：

基于机器视觉的铁路双轨间微小异物检测方法，包括：

S1、预先采集批量的无异物条件下的双轨图像，进行卷积神经网络训练，获取目标模型；

S2、通过探测光学设备采集连续帧铁轨图像并进行图像滤波去除噪声；

S3、提取图像特征确定双轨位置，将异物检测区域确定为轨道面区域和双轨间区域；

S4、通过目标模型对每帧待检测的目标图像双轨间区域进行推演识别，如果存在与目标模型的不符的异常情况，则认为双轨间存在异物；所述推演识别采用分层次的目标识别方法，包括粗层次目标识别和细层次目标识别。

进一步的，步骤S2的具体方法包括：采用Hough变换提取图像中直线特征，并采用基于迭代分块模板匹配方法对直线特征进行拟合可以获取直道和弯道双侧铁轨轨道面区域，根据轨道面将异物检测区域确定为轨道面区域和双轨间区域。

进一步的，步骤S4所述粗层次目标识别的方法包括：提取有限的图像特征信息，根据经验分类器设定的先验知识、铁轨位置、以及所述有限的图像特征对目标类别进行粗略识别，所述有限的图像特征包括目标面积、移动速度。

进一步的，步骤S4所述细层次目标识别的方法包括：

S401、提取图像中目标形状特征和Hu矩特征；

S402、根据提取的形状特征和Hu矩特征，采用最近邻分类法实现目标分类识别。

本发明还提供了基于机器视觉的铁路双轨间微小异物检测系统，包括：

模型建立模块，先采集批量的无异物条件下的双轨图像，进行卷积神经网络训练，获取目标模型；

采集去噪模块，用于通过探测光学设备采集连续帧铁轨图像并进行图像滤波去除噪声；

区域划分模块，用于提取图像特征将异物检测区域确定为轨道面区域和双轨间区域；

推演识别模块，通过目标模型对每帧待检测的目标图像双轨间区域进行推演识别，如果存在与目标模型的不符的异常情况，则认为双轨间存在异物；所述推演识别采用分层次的目标识别方法，包括粗层次目标识别和细层次目标识别。

进一步的，区域划分模块包括：

直线特征提取单元，采用Hough变换提取图像中直线特征；

拟合单元，采用基于迭代分块模板匹配方法对直线特征进行拟合可以获取直道和弯道双侧铁轨轨道面区域；

区域单元，根据轨道面将异物检测区域确定为轨道面区域和双轨间区域。

进一步的，所述推演识别模块包括粗层次目标识别子模块，所述粗层次目标识别子模块包括：

有限提取单元，用于提取有限的图像特征信息，所述有限的图像特征包括目标面积、移动速度；

经验分类器单元，用于使用经验分类器设定先验知识；

粗略识别单元：根据经验分类器设定的先验知识、铁轨位置、以及所述有限的图像特征对目标类别进行粗略识别。

进一步的，所述推演识别模块包括细层次目标识别子模块，所述括细层次目标识别子模块包括：

提取单元，用于提取图像中目标形状特征和Hu矩特征；

最近邻分类器单元，用于设定最近邻分类算法以及连接目标样本特征库；

精细识别单元，根据提取的形状特征和Hu矩特征，采用最近邻分类法实现目标分类识别。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明基于铁路双轨间的异物在视频图像中的特性，建立无异物的轨道模型，进行推演识别，确保了铁路双轨间的异物检测的可靠性；

(2)本发明采用分层次的目标识别方法，从而能够精准检测出铁路双轨间的微小异物，提高了列车运行的安全。

附图说明

图1是本发明实施例的结构框图；

图2是本发明实施例的结构示意图；

图3是本发明实施例的检测流程图；

图4是本发明实施例的基于序列图像目标检测流程图；

图5是本发明实施例的双轨间目标识别检测图。

其中：

1、探测光学部和照明部；1-1、近景探测器；1-2、远景探测器；

1-3、激光照明光源；1-4、近景探测器视频电缆；1-5、远景探测器视频电缆；

1-6、电源线；2、显示屏；2-1、HDMI高清视频线缆；2-2、显示屏供电线缆；

3、主控部；3-1、远景探测器调焦按键；3-2、近景探测器调焦按键；

3-3、激光照明光源调焦按键；3-4、激光照明开关；3-5、电池供电开关；

3-6、电源开关；3-7、220V电源线；4、声光报警设备；4-1、12V电源线；

4-2、报警指示灯；4-3、报警蜂鸣器；4-4、解除报警按键。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面以完整的铁路轨道异物检测的方案(包括轨道面检测和双轨间检测)作为本发明(双轨间检测)的具体实施例。

本发明实施例中首先提出一种基于机器视觉的铁路上小于15mm的微小异物日夜探测装置，本装置主要由探测光学部和照明部共同构成的探测光学部和照明部1、显示屏2、主控部3，声光报警设备4，本装置的功能框图如图1所示，具体实物的结构示意图如图2所示。

其中在探测光学部和照明部1中包括近景探测器1-1、远景探测器1-2、以及照明设备，近景探测器1-1可采用近景相机，远景探测器1-2可采用远景相机，照明设备采用激光照明光源1-3。

主控部3的具体实物为主控箱，主控箱中包括双路视频采集卡、视频处理单元TX2、电源，所述视频处理单元TX2上安装SD存储卡，对图像进行实时存储。所述近景探测器1-1(近景相机)和远景探测器1-2(远景相机)分别通过SDI接口连接双路视频采集卡，所述双路视频采集卡通过PCIE接口与视频处理单元TX2连接，所述视频处理单元TX2通过HDMI高清视频线缆2-1和显示屏供电线缆2-2连接显示屏2，还通过以太网连接声光报警设备4内部的报警控制板，报警控制板分别连接控制声光报警设备4的报警指示灯4-2，报警蜂鸣器4-3，解除警报按键4-4。

主控部3的电源除了供电给视频处理单元TX2，同时供电给探测光学部和照明部1的景探测器1-1(近景相机)和远景探测器1-2(远景相机)、激光照明光源1-3，还供电给显示屏2和声光报警设备4；所述电源采用双电源供电，主电源采用AC220供电，辅电源采用锂电池供电，双电源设有自动切换模块，当主电源断电时，自动切换至辅电源供电，主电源恢复时，自动切换回主电源供电。另外所述锂电池连接充电器，所述充电器连接主电源，主电源供电时同时给锂电池进行充电，解决了铁路AC220供电时出现的分相间歇断电问题。

在主控箱上还设有若干按键，包括连接远景相机调焦的远景探测器调焦按键3-1、连接近景相机调焦的近景探测器调焦按键3-2、连接激光照明光源1-3的激光照明光源调焦按键3-3。

基于上述具体结构，本发明实施例中，探测光学部和照明部1中的探测光学部实现图像的采集；照明部用于低照度条件下的照明，辅助探测光学部采集图像；主控部3实现电源控制、加载图像识别算法和图像输出；显示屏2显示探测光学部采集后由视频处理单元TX2处理后传输的图像视频；声光报警设备4接收主控部3信息实时报警，当异物消除后报警自动解除。也可通过解除警报按键4-4人工解除报警。各部分功能独立，线缆连接，可进行分布式安装。

探测光学部采集图像采用“远景+近景”结合的方式，远景探测器1-2采用410mm变焦镜头，有效像素1920x1080，负责机车前方200～500m图像的采集，可对500m处，1.5cm微小异物进行探测。近景探测器1-1采用130mm变焦镜头，有效像素1920x1080，负责机车前方200m内图像的采集。两个光学系统形成互补，实现机车前方500m内高清视频采集。

夜晚模式下，采用人眼安全的激光照明光源1-3，在探测视场范围内进行补光，同时探测系统自动切换到夜晚黑白模式，实现了设备全天运行。

本发明实施例中，视频处理单元TX2采用Jetson AGX Xavier平台，具有深度学习加速器DLA和视觉加速器VA，对双路视频采集卡的双路视频分别进行异物识别算法处理，再将识别结果叠加到原始视频，最后将两路视频融合到一个画面进行输出显示；视频处理单元TX2采用无线传输，具体采用以太网转4G方式，可以实现视频实时远距离无线传输。

本发明实施例中，铁轨异物检测算法首先对探测光学系统拍摄的连续帧铁轨图像进行图像滤波去除噪声后，采用Hough变换提取图像中直线特征，并采用基于迭代分块模板匹配方法对直线特征进行拟合可以获取直道和弯道双侧铁轨轨道面区域，根据轨道面将异物检测区域确定为轨道面区域和双轨间区域，对两个区域分别采用不同的异物检测算法。

对轨道面区域和双轨间区域的完整的检测流程如图3所示，轨道面区域采用拉普拉斯变换获取梯度特征，梯度特征聚类拟合，然后判定轨道面是否存在异物；双轨间区域首先通过卷积神经网络训练获取无异物双轨图像的目标模型，根据目标模型和采集的图形进行推演识别，判定双轨间是否存在异物。

下面进行具体说明。

1、轨道面微小异物检测

轨道面成像特征为平整、光滑、颜色均一，当存在异物时会与正常轨道面呈现颜色差异，所以采用计算该区域对比度梯度差的方法，对该区域内图像采用拉普拉斯变换滤波获取梯度图，遍历梯度图检测是否存在梯度显著变换的小区域，如果存在某闭合小区域梯度有明显变化，则可判断轨道面存在异物。包括单帧图像的小目标检测技术和序列图像的小目标检测技术

单帧图像的小目标检测技术是由背景滤波算法可以得到目标的二值图像，可以采用基于区域生长的目标分割算法将目标分割出来，计算出目标的位置，波门大小，质心等信息。基于区域生长的目标分割的基本思想是将具有相似性质的像素集合起来构成区域，具体实现对每个分割的区域找个种子像素作为生长起点，具体说可以将白色点(目标点)作为种子，再将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据事先确定的生长或相似准则来判定)合并到种子像素所在的区域中，进行区域生长。将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素可以被包括进来，这样一个区域就长成了。

上述过程中所述的生长判定条件是按照灰度相似性来判断的，设已分割区域R的灰度均值为

其中，w为非负权值，对于足够小的s，可认为待测像素与已分割区域相似，并入已分割的目标中，否则，不进行合并。同时用y更新均值，N是已生长区域的像素点个数。

序列图像的小目标检测技术是基于序列图像的目标检测，能够克服单帧图像检测中的噪声和虚假目标干扰问题，其基本原理是根据目标运动的连续性和轨迹一致性来检测目标。首先，需要建立图像平面上任意一点(x,y)的图像灰度的梯度变化与该点瞬时速度(u,v)之间的关系表达式作为其运动约束条件。如果考虑图像序列中连续的N帧图像，并假定目标的运动速度在这N帧图像里近似保持不变，则对于真正的运动目标点来说，其在连续的N帧图像里的N条运动约束直线必定在速度平面上近似相交于一点，而对于噪声点来说，由于其出现的随机性，不可能在连续图像中形成连续的运动轨迹，也不可能在速度平面上形成速度聚合点。这样就可以在候选的目标点集合中有效地去除噪声干扰点，检测出真正的运动目标。

算法是根据获得的数据对首帧目标的速度进行估计。如果估计的速度在指定的取值范围内，则生成一条暂时的轨迹，然后对后续帧中目标的位置进行预测，并以预测位置为中心，确定一个关联区域，任何落在关联区域内的点迹将生成一条新的轨迹，继续估计速度值和加速度值，并据此对下一帧中目标位置进行预测并生成关联区域。最后，对所有生成的轨迹用直线或二次曲线进行拟合，当轨迹上的点和拟合曲线的误差在一定范围内，则确认该目标轨迹，否则，删除该轨迹。

具体到本实施例中执行流程如图4所示，对首帧的所有候选目标建立目标模板；对后续帧图像中对应的候选目标与前帧的目标模板进行相关系数计算；直至相关系数大于阈值，则目标计数加1，并更新目标模板，当所有帧计算完毕，对每一个候选目标，如果目标计数大于阈值，则确认目标，对确认的目标建立轨迹。

2、双轨间异物检测

双轨间由于存在枕木，石块等多种不同种类物体，则可通过基于深度学习的目标检测算法进行异物排查。对预先采集的大量无异物条件下的双轨图像，进行卷积神经网络训练，获取目标模型，通过目标模型对每帧待检测的目标图像进行推演识别，如果存在与目标模型的不符的异常情况，则认为双轨间存在异物。

本发明实施例采用分层次的目标识别方案，流程图如图5所示。

(1)粗层次目标识别

当目标距离成像传感器较远时，目标成像面积较小，轮廓不清晰，可利用的图像特征信息十分有限，从有限的特征信息中提取目标面积、移动速度等特征，利用经验分类器预设先验知识，结合先验知识、上述提取的目标特征、以及之前获得的铁轨位置，对目标类别粗略识别。根据目标相对于铁轨的位置，可以判断出目标大致类别。如果目标较大可能是行人或牲畜；若目标较小则可能是微小异物。

(2)细层次目标识别

当目标距离成像传感器较近时，目标成像面积变大，轮廓和纹理都比较清晰时，可以提取目标上更多的特征信息，采用最近邻分类器对目标种类加以识别。

一般常用的目标特征包括形状特征和不变矩特征。形状特征可以反应目标的几何特征。如长宽比特征，即目标区域最小外接矩形的长度与宽度之比。另一种常见的形状特征是定义目标的周长与面积之比的圆形度特征。计算时，先分割出目标，然后利用轮廓计算出目标的链码表，利用链码表得到周长，再把链码表转化成线段表，计算出目标的面积。形状特征提取容易，在某些情况下(如能获取目标的侧视图)可以作为判断目标类别的依据，但是由于视点的变化，同一个目标在平面上投影的形状也不一定相同，这就需要提取目标具有不变性的特征，即这种特征对场景变换以及视点变化具有较强的不变性。比较有代表性的特征是Hu矩特征，该矩特征具有平移不变性、尺度不变性，以及旋转不变性，而且计算复杂度低，在图像处理和识别领域得到广泛应用。

根据Hu矩的定义，从二阶和三阶矩可以导出7个不变矩，这七个不变矩在连续图像条件下对平移，旋转，缩放具有保持不变的性质。

在选取了目标的图像特征后，采用最近邻分类法实现目标分类识别。假设目标类别为N，每一类训练样本数为M

则每一类目标可由其样本平均特征向量

当对一个特征向量为X＝[x

距离函数d(X,A

当X满足

如上所述的最近邻分类计算后，可精细识别异物的目标类别。

本发明实施例所述方案基于铁路轨道面的异物在视频图像中的特性，通过梯度图检测梯度显著变换的小区域，从而能够精准检测出铁路轨道面上的微小异物，同时本发明基于铁路双轨间的异物在视频图像中的特性，建立无异物的轨道模型，进行推演识别，确保了铁路双轨间的异物检测的可靠性；二者相结合，能够实现铁路轨道上长距离、微小目标的精准异物检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。