一种基于新特征参数的磨粒图像机器学习识别方法

摘要

本发明公开了一种基于新特征参数的磨粒图像机器学习识别方法，方法流程如图简要所示,该方法包括以下几个步骤：在小样本磨粒数据集上使用常见数据扩充方法进行磨粒图片的扩充；对扩充后的磨粒图片数据集进行图像处理以去除拍摄过程中产生的噪声；使用闭运算方法对图像进行细节处理，处理后的图片使用Otsu法进行目标磨粒的分割；对于分割磨粒进行常规特征提取和新几何特征提取，新几何特征包括等圆周径宽比和体态圆因子，对特征进行二阶多项式融合；根据融合后的特征进行分类模型训练以完成磨粒图像分类。本发明将提出了磨粒新的几何特征以及基于新特征的特征处理方法，运用最新的机器学习模型，在磨粒图片分类中获得较高的准确率。

说明书

技术领域

本发明涉及本发明涉及磨粒智能识别领域，特别针对传统图像处理技术和机器学习算法在磨粒智能识别中的应用。

背景技术

随着生产技术的逐步发展，人们对机械设备的使用寿命和可靠性以及使用机制提出了更高的要求。据大量的研究资料统计分析表明，在机械使用过程中，造成机械设备的故障和失效的主要因素绝大部分是机械的摩擦和磨损导致的。通常意义上来讲，由于磨损所致，会产生一些磨粒，磨粒便成了判断机械磨损状况的重要依据。随着图像处理技术和人工智能技术的发展，磨粒的智能识别成为目前研究的热点和难点问题。磨粒图像智能识别技术是近些年来国内外相关领域学者十分关注并投入大量精力加以研究的前沿课题。一方面，磨粒的智能识别，可以从根本上消除由于缺乏经验或认识不足所造成的人工磨粒识别的不确定性。一个只具备些许工作经验或初级技术水平的技术操作人员，只需要掌握了磨粒智能识别系统的操作，便可以迅速得到一名相关领域专家花费相对较长的时间才能获得的分析结果。另一方面，只有具备了磨粒智能识别分析的条件，才能充分利用磨粒的特征信息，在磨粒群体(而不是磨粒单体)的特征信息数学统计参量与机器设备的摩擦和磨损状态之间建立起相关关系。随着计算机图像处理技术和人工智能技术的兴起和发展，在磨粒图像识别领域，也逐步发明了众多两项技术相结合的方法，如神经网络，模糊数学，灰色理论，专家系统等，但至今仍未能形成一种较为完整的解决方案。

发明内容

本发明提供了一种基于新特征参数的磨粒图像机器学习识别方法。利用计算机图像处理的方法，对磨粒进行提取基本的相关特征，并通过SVM、LR、LightGBM三种机器学习的方法进行测试。然后通过相应地以三种模型对新特征进行测试对比。

本发明的技术方案如下：

由于磨粒图像的复杂性和随机性等性质对磨粒的颜色特征参数影响较大，再加上外部环境的各种干扰，以致于在对磨粒的颜色特征参数的提取上尚未形成统一的，系统的解决方案，仍处于一个探索的阶段。在图像纹理特征提取上，本身就存在着种种困难，即使在纯图像处理中，有时很难把纹理概念统一定义。所以，磨粒图像纹理特征识别方面的研究进展也是比较缓慢的。

综上原因，即磨粒的颜色特征参数和纹理特征参数自身具有局限性，本发明选择以磨粒的几何形态特征参数作为磨粒识别的特征参数。

为了提高磨粒图像识别的准确率，提出磨粒新特征参数的构思，期望这种新的磨粒特征参数在不会大大增加计算量的情况下，可以提高磨粒图像的分类效果。由于磨粒图像几何形态特征各异，背景又十分复杂，提取几何形态特征比较困难，且为了后续的分类工作，将磨粒图像进行过放缩操作，所以从数字图像中的磨粒面积、周长和长短轴上很难进行区分，因此应该选取形状因子，圆度，体态比，等面积圆直径等具有比值意义等特征参数。

为了扩大不同磨粒类别在相同特征参数之间的差异，将两种或者多种特征参数进行融合，综合成一个新的特征参数。

第一种新特征参数：等圆周径宽比(PDW)：

磨粒的等效周长圆直径是指与该磨粒周长相等的等效圆的直径：

则等圆周径宽比为：

第二种新特征参数：体态圆因子(ARSF)：

ARSF＝A

使用三种机器学习模型训练，以验证特征的可分类性：基于SVM的模型训练、基于对数几率回归(LR)的模型训练、基于轻量级梯度提升树(LightGBM)的模型训练。并结合多项式特征融合，在实际应用场景中，根据数据走势，需要解决的分类问题并不一定就是线性可分的。那么处理这类非线性的问题，就引出其中一种处理方法——多项式特征，多项式特征可以理解为对原始特征的乘积，对于特征a，特征b，特征c，那么经过二次多项式特征处理，就可以得到特征a的平方(a

借由上述方案，本发明至少具有以下优点：

磨粒图像中新提出的特征参数相较于使用常规磨粒特征参数分别在SVM、LR、LightGBM 三个机器学习模型的实验准确率均有所提高。

将所有特征参数使用多项式特征融合，由于模型的效果(准确率)并不是随着多项式特征融合的阶次增高而线性增长，而是呈现先增后减趋势的。所以在实验过程中，通过实验遍历寻找最佳多项式特征融合的阶数。在SVM、LR、LightGBM三个模型的最佳多项式特征融合的阶数分别为：一阶、二阶、三阶。

磨粒图像中新老特征参数相较于仅仅使用原始特征或者新提出的特征参数分别在三个机器学习模型的实验准确率更高。

在三种机器学习模型的综合效果上进行对比：LR>LightGBM>SVM，且效果最好为：将所有特征一起使用，以LR模型2阶多项式特征融合的时候，准确率达89.0736％。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于新特征参数的磨粒图像机器学习识别方法示意图；

图2为新特征与传统特征在最终模型分类准确率上的对比图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了提高适用于在线磨粒检测的处理效率和准确率，本发明提供了一种基于新特征参数的磨粒图像机器学习识别方法。

如图1所示，本发明实施例提供的基于新特征参数的磨粒图像机器学习识别方法，包括：

S1:在小样本磨粒数据集上使用常见数据扩充方法进行磨粒图片的扩充；

在本实施例中，进行特征提取时，提取出了几种用于磨粒图像分类的新特征，再结合机器学习模型，实现磨粒图像分类，识别出疲劳磨粒、滑动磨粒、切削磨粒、纤维五个类别。

机器学习训练模型需要大量的样本进行学习，但是在某些场景下的实际应用过程中，通常无法获得大量带标签的训练数据集，导致最终的训练效果比较差。使用显微镜在铁谱片上获得的磨粒图像数量有限，所以本发明就在小样本上进行数据扩充是使其能够适应机器学习的训练，本发明使用常见的数据扩充方法：包括：裁剪(通过对图像主要特征进行裁剪获得多张图片)，旋转(将磨粒图像按照一定角度进行旋转)，翻转变换(将磨粒图像水平翻转或垂直翻转)，平移变换(将磨粒图像在平面上进行水平或竖直平移，即改变磨粒图像内容的所在位置)，缩放变换(将磨粒图像按照某种比例进行缩小或者放大)，噪声扰动(在磨粒图像上增加噪点)，透视变换(将磨粒图像按一定视角进行倾斜)。错切变换(将磨粒图像向某一侧进行倾斜)。本发明结合这几种常用数据扩增方法，将磨粒图像数据集扩增了10倍，由于扩增方法不涉及颜色以及对目标的严重形变，因此对磨粒图分类结果不会产生太大影响。扩增前后每类磨粒图数量如表1所示。

表1

S2:对扩充后的磨粒图片数据集进行图像处理以去除拍摄过程中产生的噪声；

进一步地，磨粒图像是一种CCD图像，它是通过CCD相机设备拍摄，内部经过一系列转换变为多维图像的信号。这个过程会受到系统内部和外部或多或少的一些因素的干扰，会形成各种各样的噪声和畸变，而这些噪声和畸变也会随着上述的分解和合成，形成在最终的磨粒图像上。所以，这些图像的噪声和畸变可以通过图像预处理技术将其去除，进一步提高磨粒图像识别的准确度，而且使得所获得的数据更加全面和准确，磨粒图像的分析依据也更加科学合理。

本发明在对磨粒图像去噪处理上使用的是3*3领域掩膜的中值滤波法，滤波公式如下：

g(i,j)＝Med{f(i+x,j+y)},x,y＝-1,0,1

其中，g(i,j)为中值滤波后的图像像素点的值，f(i+x,j+y)为原图像像素点的值。

中值滤波的响应是以滤波器包围的3*3图像区域内所有像素点按像素值大小排序的结果为基础，然后使用统计排序结果中的中值，如此可以使周围的像素值更加接近于真实值。中值滤波法在祛除椒盐噪声上的效果要远远优于均值滤波，而且还能较好地保留图像的边缘信息，具有较好的图像恢复效果。

S3:使用闭运算方法对图像进行细节处理，处理后的图片使用Otsu法进行目标磨粒的分割；

磨粒图像在经过去噪之后，磨粒的某些部分边缘和内部有可能也被模糊掉，以致于出现边缘不连续情况和孔洞现象，使用常用的分割算法难以将磨粒的特征参数完整提取并描述，因此还需要通过图像形态学对分割后的结果进行后续细节处理，以使得分割效果更好。本发明采用闭运算的图像形态学方法对其进行了处理。闭运算的理论基础为：在Z

进一步地，将图像表示为灰度直方图并将背景和目标两类之间的方差最大值作为阈值，使用该阈值进行目标和背景的区分(Otsu算法)以获得分割后的磨粒图片。以上操作就可以很好的获得相关的磨粒的分割图片。

S4:对于分割磨粒进行常规特征提取和新集合特征提取，对特征进行二阶多项式融合；

根据分割后的磨粒图像，进行特征提取。在对磨粒特征参数提取的时候，首先主要提取以下传统参数：面积、周长、长轴、短轴、等效面积圆直径、体态比、圆度等。有关特征参数的计算方法如下：

1)磨粒的面积(A)

区域面积表示区域的大小，对于数字图像来说，区域的面积则定义为区域内像素点的数量总和，区域面积受尺寸、缩放和变形的影响，但其具有旋转不变性，所以同样具有一定的统计意义。

式中，D为磨粒在图像中投影区域的面积，即区域内所有像素点的值为1。其余非0的像素点的总数即为磨粒图像的背景为0的区域面积。若机械设备出现故障，一般油液中的磨粒的面积尺寸较大，且数量较多。

2)磨粒的周长(P)

磨粒的周长定义为包络磨粒的边缘轮廓总长度，对于数字图像来说，可以通过计算包络磨粒的边缘轮廓的像素点连线长度，推算出实际周长。但是，在数字图像中，边缘轮廓是由离散的像素点连线构成。

其计算距离长度的方式为欧氏距离，即某一像素点分别与其四邻域像素点间的距离为1，与倾斜45°方向上邻接的像素点距离为

3)磨粒的等效面积圆直径(D)

磨粒的等效面积圆直径是指与该磨粒面积相等的等效圆的直径：

该特征参数可以用来反映形状不规则磨粒的尺寸，若磨粒形状越像圆形，那么其等效面积圆直径就与其主轴长度越接近。在本发明中虽不涉及球形磨粒，但可以将该特征参数作为判断是否为球形磨粒的主要依据。

4)磨粒的长轴(L)和短轴(W)

磨粒的长轴L是指磨粒轮廓边缘上直线距离最远的两点之间的长度；短轴W是指与长轴垂直的直线与包络磨粒边缘轮廓的最小外接矩形相交的距离长度。为了能计算出磨粒的长轴和短轴，需要先计算出磨粒区域的最小外接矩形。而最小外接矩形的计算，需要先将磨粒区域对应的凸包计算出来。凸包即通过格雷厄姆法得到的，即最小外接矩形至少过该凸包的一边。

5)磨粒的体态比(A

体态比是指磨粒的长轴与短轴之比，从某种角度上讲，它是描述边缘轮廓延伸程度的一种量度，该特征参数经常用来判断是否为切削磨粒的主要依据。其表达式为：

6)磨粒的畸形度(J)

磨粒的畸形度是磨粒周长与面积之间的一种关系描述，是为了反映磨粒的形态特征，其表达式为：

磨粒的畸形度越小，则磨粒的边缘轮廓越光滑；反之，磨粒的畸形度越大，磨粒的边缘轮廓越不规则、整体形态越细长。

7)磨粒的圆度(R

磨粒的圆度是为了描述磨粒形状与圆形的相似度而设计的特征参数。其表达式为：

磨粒的边缘延伸对圆度是很敏感的。圆度的取值范围为0≤R

8)磨粒的形状因子(SF)

磨粒的形状因子描述的是磨粒形貌特征，不同学者或者研究机构对它有不同的表述，安德森在磨粒图谱中将形状因子表述为磨粒的长轴与高度之比；萧汉梁将其描述为磨粒的截距与弦宽之比；本发明研究应用的是澳大利亚联邦科学与工业研究组织(Commonwealth Scientific and Industrial Research Organization,CSIROs)的Manufacturing Science and Technology对它的定义，表达式表述为：

磨粒的边缘粗糙度对形状因子是很敏感的。对于圆形来说，形状因子为1，对于其它形状，形状因子小于1，0＜SF＜1。

9)磨粒的边缘不规则度(IR)

磨粒的边缘不规则度是磨粒的圆的形状系数在一定程度上与磨粒的椭圆的形状系数两者之差的一种度量。

圆的形状系数为：

椭圆的形状系数为：

磨粒的边缘不规则度表达式如下：

由于磨粒的几何形态特征参数较之颜色特征参数和纹理特征参数具有相对稳定性，本发明决定选择以几何形态特征参数作为后续磨粒图像识别分类工作的主要依据。

为了提高磨粒图像识别的准确率，提出磨粒新特征参数的构思，期望这种新的磨粒特征参数在不会大大增加计算量的情况下，可以提高磨粒图像的分类效果。由于磨粒图像几何形态特征各异，背景又十分复杂，提取几何形态特征比较困难，且为了后续的分类工作，将磨粒图像进行过放缩操作，所以从数字图像中的磨粒面积、周长和长短轴上很难进行区分，因此应该选取形状因子，圆度，体态比，等面积圆直径等具有比值意义等特征参数。

为了扩大不同磨粒类别在相同特征参数之间的差异，将两种或者多种特征参数进行融合，综合成一个新的特征参数。

第一种新特征参数：等圆周径宽比(PDW)：

磨粒的等效周长圆直径是指与该磨粒周长相等的等效圆的直径：

则等圆周径宽比为：

第二种新特征参数：体态圆因子(ARSF)：

ARSF＝A

多项式特征可以理解为对原始特征的乘积，对于特征a，特征b，特征c，那么经过二次多项式特征处理，就可以得到特征a的平方(a

S5:根据融合后的特征进行LR模型训练以完成磨粒图像分类

进一步地，使用三种机器学习模型训练，以验证特征的可分类性：基于SVM的模型训练、基于对数几率回归(LR)的模型训练、基于轻量级梯度提升树(LightGBM)的模型训练。并结合多项式特征融合，在实际应用场景中，根据数据走势，需要解决的分类问题并不一定就是线性可分的。那么处理这类非线性的问题，就引出其中一种处理方法——多项式特征，它改变了原始特征，进而改变样本的分布状态。最终模型分类准确率对比如图2所示。

本发明技术方案带来的有益效果：

磨粒图像中新提出的特征参数相较于使用常规磨粒特征参数分别在SVM、LR、LightGBM 三个机器学习模型的实验准确率均有所提高。

将所有特征参数使用多项式特征融合，由于模型的效果(准确率)并不是随着多项式特征融合的阶次增高而线性增长，而是呈现先增后减趋势的。所以在实验过程中，通过实验遍历寻找最佳多项式特征融合的阶数。在SVM、LR、LightGBM三个模型的最佳多项式特征融合的阶数分别为：一阶、二阶、三阶。

磨粒图像中新老特征参数相较于仅仅使用原始特征或者新提出的特征参数分别在三个机器学习模型的实验准确率更高。

在三种机器学习模型的综合效果上进行对比：LR>LightGBM>SVM，且效果最好为：将所有特征一起使用，以LR模型2阶多项式特征融合的时候，准确率达89.0736％。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。