一种设备故障诊断的支持向量机模式识别方法

摘要

一种设备故障诊断的支持向量机模式识别方法，具体是利用参数自动选择的约简Tikhonov正则化支持向量机进行设备故障模式识别方法。本发明包括如下步骤：(1)完成Tikhonov正则化支持向量机模型的推导过程；(2)利用剪枝法构建子样本集剔除冗余样本信息，建立约简Tikhonov正则化支持向量机模型；(3)以分类精度作为适应度函数，利用遗传算法对约简Tikhonov正则化支持向量机的高斯核函数宽度参数和平衡参数进行自动选择，建立参数自动选择的约简Tikhonov正则化支持向量机模型；(4)利用电机设备的故障样本对本发明进行验证，以表明本发明提出方法的优越性。

说明书

技术领域

本发明涉及的是一种设备故障诊断领域方法，具体是利用参数自动选择的约简Tikhonov正则化支持向量机进行设备故障模式识别方法。

背景技术

为了避免设备故障诊断过分依赖专业技术人员的问题，很多学者将神经网络、专家系统、聚类算法引入设备故障诊断领域，在实践中取得一定成效，但是，这些技术还存在一些问题，例如，基于人工神经网络的故障诊断方法是基于经验风险最小原理的方法，学习过程中容易陷入局部最小，并出现过学习现象，导致泛化能力下降，从而影响诊断效果，进一步神经网络的结构难以选择也限制了它的应用^[1，2]；单一的专家系统进行故障诊断也有许多困难，如知识经验获取困难，缺乏有效的故障诊断知识的表达，同时使用专家系统的技术人员必须进行专门的培训，这些都限制了专家系统的广泛应用^[3]；聚类分析不需要标准的故障样本，但该方法要求不同故障类别的样本差别尽可能大，而同一故障类别的样本差别尽可能小且收敛速度较慢等，这种特性影响了对早期微弱故障的诊断效果^[4]。

为了解决设备故障诊断领域存在的上述问题，急需寻找新的智能故障诊断方法，部分学者提出利用支持向量机(svm)进行故障诊断，支持向量机是V.Vapnik等人在统计学习基础上构建起来一种机器学习的方法^[5，6]，非常适合于少样本情况下的设备故障模式识别，同时，支持向量机基于结构风险最小化原则，避免了神经网络局部最小现象，并已经在设备故障领域取得一定成果，由于设备故障类型往往多于两类，而基本的支持向量机只能用于两类故障分类，为了将SVM有效的应用到多类故障诊断，需要研究多分类SVM算法，近年来，部分学者尝试通过修改支持向量机目标函数，把多分类支持向量机问题转换为解决单个优化问题，从而建立单优化k分类支持向量机，Tikhonov正则化多分类支持向量机是目前该方向的最新研究成果之一^[7]，由于Tikhonov正则化多分类支持向量机一次性处理所有类别的故障数据，而无须拆分成多组两分类问题，同时该方法将基本SVM的不等式条件转换为等式条件，因此避免了二次型的求解问题，具有软件结构简单，误差小等优点，拥有有广泛的应用前景。但由于一次性将所有的故障样本用于构建核函数矩阵，必然使核函数矩阵和样本矩阵占用更大的内存空间，因此当处理大数据集时，其核函数矩阵维数过大，一方面给内存空间带来极大的负担，另一方面影响运行速度和执行效率；进一步，Tikhonov正则化支持向量机在进行故障模式分类中，其高斯核函数的宽度参数控制了Tikhonov正则化支持向量机的回归和分类能力，而平衡系参数用于平衡训练误差和超平面分隔间隙，两个参数的优化对提高支持向量机故障分类性能取到非常重要的作用，目前，学者在选择Tikhonov正则化支持向量机的平衡参数和核函数参数采用实验适凑法，这种方法非常耗费时间，而且无法获取到最优参数，因此无法获取到最优的分类精度。

发明内容

鉴于Tikhonov正则化支持向量机为统计学习方向一项新型研究成果，目前还不存在采用Tikhonov正则化支持向量机来判断设备故障的方法，因此本发专利将其该方法引入了故障诊断领域。但Tikhonov正则化支持向量机一次性处理所有故障样本，必然使核函数矩阵占用更大的内存空间，因此随着故障类别和训练样本数据集不断增加，导致核函数矩阵维数迅速增大，给内存空间带来极大的负担，同时影响支持向量机运行速度。针对该问题，部分学者直接采用随机法建立样本的约简子集，然而随机获得的约简子集很难具有样本代表性，因此，本专利引入了剪枝法，建立了约简Tikhonov正则化支持向量机；同时为进一步提高约简Tikhonov正则化支持向量机的故障分类精度，本专利引入了遗传算法对参数进行自动选择，最终建立了参数自动选择的约简的Tikhonov正则化支持向量机模型。

本专利使用以下技术方案实现的，包括如下步骤：

完成Tikhonov正则化支持向量机模型推导过程；

利用剪枝法构建子样本集剔除样本冗余信息，建立约简Tikhonov正则化支持向量机模型；

以分类准确率作为适应度函数，利用遗传算法对高斯核函数宽度参数和支持向量机平衡参数进行自动选择，建立参数自动选择的约简Tikhonov正则化支持向量机模型；

利用电机设备的故障样本验证本发明提出方法的优越性。

下面对分三步对本发明做进一步详细说明：

1)Tikhonov正则化支持向量机模型推导过程

设给定k类训练样本x_i∈Rⁿ，将训练样本表示为矩阵$A^{\left(i\right)}\in R^{m_i\times n}$i＝1...k(k≥2classes)，A⁽ⁱ⁾为m_i×n维的矩阵，其中m_i表示第i类样本的数目，n表示样本的维数，同理A^(j)表示第j类样本，表示为m_j×n维的矩阵，针对i类样本，设y^(ij)＝+1，对于j类样本，y^(ij)＝-1，同时设e为单位阵。一般情况下，直接在输入空间寻找线性最优分类超平面面非常困难，因此首先用一非线性映射ψ(·)把样本矩阵A⁽ⁱ⁾从原空间映射到特征空间Ψ(A⁽ⁱ⁾)，在这个高维特征空间中构造最优分类超平面使i类和j类样本满足：

当超平面不能把两类样本完全分开时可以引入一个正的误差松弛变量ξ^(ij)，使两类样本满足：

其中${\tilde{A}}^{\left(\mathrm{ij}\right)}=\left(\begin{array}{c}{A}^{\left(i\right)}\\ A^{\left(j\right)}\end{array}\right).$由于最优分类超平面面必须使两类样本的分类空隙2/‖w‖最大，同时使分类误差最小，鉴于上述原因引入Tikhonov正则化的最小二乘模型^[6]，将最优分类超平面的求解问题转变为求解如下目标函数：

${\tilde{A}}^{\left(\mathrm{ij}\right)}=\left(\begin{array}{c}{A}^{\left(i\right)}\\ A^{\left(j\right)}\end{array}\right)---\left(3\right)$

通过矩阵形式可将以上优化问题改写成如下形式：

ξ＝Yψ(A)w-YEγ-e

$Y_{m\times m}=\left(\begin{array}{ccc}{Y}^{\left(12\right)}& 0& 0\\ 0& Y^{\left(\mathrm{ij}\right)}& 0\\ 0& 0& Y^{(k-1)k}\end{array}\right)$$e_{m\times 1}=\left(\begin{array}{c}{e}^{\left(i\right)}\\ e^{\left(j\right)}\end{array}\right)---\left(4\right)$

$\left(\begin{array}{cc}i<j,m=\underset{i<j}{\overset{k}{\Sigma }}(m_i+m_j)& \bar{n}=k(k-1)/2\end{array}\right)$

进一步将上式w转换为其非线性映射的等价形式w＝Ψ(A^T)Ya，同时将(4)式的约束条件代入目标函数可将式(4)转换为如下无约束优化形式：

设核函数矩阵K_m×m＝K(A，A^T)＝YΨ(A)Ψ(A^T)Y，核函数形式可选择多项式或高斯函数等多种形式，式(5)可进一步转换为非线性Tikhonov正则化支持向量机的标准形式：

$\min J(w,\lambda ,\xi )=\frac{\lambda }{2}{a}^T\mathrm{Ka}+\frac{1}{2}{\left|\right|\mathrm{Ka}-\mathrm{YE\gamma }-e\left|\right|}^2---\left(6\right)$

对上式求偏微分和可求的该支持向量机两个分类参数为：

γ＝[γ^(ij)，...，γ^(k-1)k]^T＝(E^TYYE)^-1(E^TYKa-EYe)

a＝[a^(ij)T，...，a^(k-1)kT]^T＝(λI+K-YE(E^TYYE)^-1E^TYK)^-1(-YE(E^TYYE)^-1E^TYe+e)        (7)

最终超平面分类决策函数可以表示为下式：

为对测试点x进行模式分类，投票策略被应用到该支持向量机的决策函数中，既sign[K(x^T，A^(ij)T)Y^(ij)a^(ij)-γ^(ij)]得出x为i类，则投票i类，否则投票j类，最终x属于票数最多的那类。

2)利用剪枝法建立约简Tikhonov正则化支持向量机模型；

剪枝法主要思想来源于样本的拉格郎日乘子大小决定了该样本在分类过程重要性^[8]。Tikhonov正则化支持向量机训练后，根据|a_k|的大小对样本点进行降序排列，剔除|a_k|值较小的一部分样本点，用其余的样本点构成约简后的训练样本子矩阵以取代原始训练样本矩令：$w=\Psi \left({\hat{A}}^T\right)\hat{Y}\hat{a},$其中具体形式为$\hat{m}=\underset{i<j}{\overset{k}{\Sigma }}{\hat{m}}_i+{\hat{m}}_j,$n＝k(k-1)/2，代入公式(5)，进一步简化可以得到约简Tikhonov正则化支持向量机无约束目标函数如下：

$\min \hat{J}(w,\lambda ,\xi )=\frac{\lambda }{2}{\hat{a}}^T\hat{a}+\frac{1}{2}{\left|\right|Y(\Psi \left(A\right)\Psi \left({\hat{A}}^T\right)\hat{Y}\hat{a}-\mathrm{E\gamma })-e\left|\right|}^2---\left(9\right)$

利用约简样本子集重新设置核函数矩阵${\hat{K}}_{m\times \hat{m}}=\hat{K}(A,{\hat{A}}^T)=\mathrm{Y\Psi }\left(A\right)\Psi \left({\hat{A}}^T\right)\hat{Y},$可获得约简Tikhonov正则化支持向量机的标准形式如下：

$\min \hat{J}(w,\lambda ,\xi )=\frac{\lambda }{2}{\hat{a}}^T\hat{a}+\frac{1}{2}{\left|\right|\hat{K}\hat{a}-\mathrm{YE\gamma }-e\left|\right|}^2---\left(10\right)$

对上式求偏微分和可求的该支持向量机两个分类参数为：

$\gamma ={[{\gamma }^{\left(\mathrm{ij}\right)},...,{\gamma }^{(k-1)k}]}^T={\left(E^T\hat{Y}\hat{Y}E\right)}^{-1}(E^T\hat{Y}\hat{K}\hat{a}-E\hat{Y}e)$

$\hat{a}={[{\hat{a}}^{\left(\mathrm{ij}\right)T},...,{\hat{a}}^{(k-1)\mathrm{kT}}]}^T={(\mathrm{\lambda I}+{\hat{K}}^T\hat{K}-{\hat{K}}^T\hat{Y}E{\left(E^T{\hat{Y}}^T\hat{Y}E\right)}^{-1}{E}^T{\hat{Y}}^T\hat{K})}^{-1}(-{\hat{K}}^T\hat{Y}E{\left(E^T{\hat{Y}}^T\hat{Y}E\right)}^{-1}{E}^T{\hat{Y}}^{T}e+{\hat{K}}^{T}e)---\left(11\right)$

最终超平面分类决策函数可以表示为下式：

具体的剪枝法获取样本子集和约简Tikhonov正则化支持向量机的方法如下：

(1)：输入m个设备故障训练样本，设定拉格朗日乘子的阈值、故障诊断系统的最低精度要求和最大迭代次数；

(2)：将m个训练样本代入说明书所列的公式(6)，应用Tikhonov正则化支持向量机模型进行训练，计算测试样本分类精度；

(3)：|a_k|k＝1，2，...m为求解说明书所列的公式(7)所获得的拉格朗日乘子的绝对值组成的数列，将所有|a_k|<阈值的对应训练样本删除；

(4)：将大于该阈值的拉格朗日乘子所对应的训练样本保留，设其数量为且有$\hat{m}<m;$

(5)：设样本数量回溯到步骤(2)，逐次迭代，当测试样本分类精度低于故障诊断的最低精度要求或满足最大迭代次数时方法停止，最终获得的训练样本即为训练样本约简子集，将其代入说明书所列的公式(10)获得约简Tikhonov正则化支持向量机。

3)利用遗传算法实现约简Tikhonov正则化支持向量机的参数自动选择

Tikhonov正则化支持向量机有2个重要的参数需要选择：参数λ平衡了分类误差的最小化min‖ξ‖²与分类间隔最小化min‖w‖²/2之间的矛盾，高斯核函数中宽度参数控制了支持向量机的回归和分类能力，而目前Tikhonov正则化支持向量机的的参数选择仍然采用实验适凑法，这种方法非常耗费时间，而且很难获取到最优参数，因此本发明提出利用遗传算法对约简Tikhonov正则化支持向量机的平衡参数进行自动选择。遗传算法(GA)是受生物进化学说和遗传学说启发而发展起来的，作为一种全局优化搜索方法，具有简单、通用普适性强，应用范围广等优点^[9]。利用遗传算法进行寻优时，编码、选择、交叉、变异是4个重要步骤。本发明结合遗传算法对约简Tikhonov正则化支持向量机的参数λσ²进行寻优，在遗传算法的寻优过程中，参数λσ²编码采用了二进制方式，同时设置了相应的寻优区间，种群大小和遗传算法的最大迭代次数，交叉概率和变异概率。遗传算法的适应度设为约简Tikhonov正则化支持向量机对故障测试样本的分类的正确率，其表达式为$f(\lambda ,{\sigma }^2)=\frac{\underset{i=1}{\overset{N}{\Sigma }}\mathrm{Inv}\left(\mathrm{abs}(\mathrm{sign}[\hat{K}(x^T,{\hat{A}}^{\left(\mathrm{ij}\right)T}){\hat{Y}}^{\left(\mathrm{ij}\right)}{\hat{a}}^{\left(\mathrm{ij}\right)}-{\gamma }^{\left(\mathrm{ij}\right)}]-y)\right)}{N}.$最优参数λ σ²为适应度取最大值时对应的参数。约简Tikhonov正则化支持向量机的参数自动选择的方法步骤如下：

(1)：设置λ、σ²的寻优空间；

(2)：设置遗传算法适应度函数，交叉变异概率、群体规模和进化代数，生成λ，σ²的初始种群；

(3)：应用训练样本集和参数λ、σ²，对约简Tikhonov正则化支持向量机$\min \hat{J}(w,\lambda ,\xi )=\frac{\lambda }{2}{\hat{a}}^T\hat{a}+\frac{1}{2}{\left|\right|\hat{K}\hat{a}-\mathrm{YE\gamma }-e\left|\right|}^2$进行训练，得出参数λ、σ²对应的拉格郎日α_i数值；

(4)：将α_i代入适应度函数$f(\lambda ,{\sigma }^2)=\frac{\underset{i=1}{\overset{N}{\Sigma }}\mathrm{Inv}\left(\mathrm{abs}(\mathrm{sign}[\hat{K}(x^T,{\hat{A}}^{\left(\mathrm{ij}\right)T}){\hat{Y}}^{\left(\mathrm{ij}\right)}{\hat{a}}^{\left(\mathrm{ij}\right)}-{\gamma }^{\left(\mathrm{ij}\right)}]-y)\right)}{N},$获取不同参数λ、σ²的适应度大小；

(5)：根据适应度函数和交叉、变异概率值对参数λ、σ²的种群进行选择、复制、交叉和变异操作，获取λ，σ²的新种群；

(6)：判断进化代数是否满足，如未满足，继续从步骤(3)重复运行，否则转入下一步；

(7)：获取到参数的优化值，完成约简Tikhonov正则化支持向量机的参数自动选择，最终实现了参数自动选择的约简Tikhonov正则化支持向量机方法。

采用本发明的方法，相对于Tikhonov正则化支持向量机，内存消耗和算法运行时间节约至少30％。可以在提高判断精度的同时节约大量的系统资源。

附图说明

图1为利用剪枝法建立约简Tikhonov正则化支持向量机模型的流程图；

图2为建立参数自动选择的约简Tikhonov正则化支持向量机模型的流程图。

具体实施方式

本部分利用振华港机的自动化码头项目中的电机故障数据对参数自动选择的约简Tikhonov正则化支持向量机(GA_RMTR_SVM)进行验证。在振华港机的自动化码头项目中，电机是该项目最基本的设备组成，而码头由于工作环境的原因导致电机发生故障的机率相对较大，而目前振华港机对电机故障诊断仅采用人工例行检查的手段，无法准确检测电机的工况，因此采用参数自动选择的约简Tikhonov正则化支持向量机(GA_RMTR_SVM)对电机进行安全可靠的的故障诊断具有重要意义。

具体利用电机故障样本对参数自动选择的约简Tikhonov正则化支持向量机(GA_RMTR_SVM)进行验证过程如下：

(1)将离线获取电机故障检测样本分为训练样本和测试样本，在本项目中选取的电机故障样本分定子匝间短路故障、转子断条故障、转子偏心故障、轴承内圈故障和无故障样本；

(2)利用电机故障样本和剪枝法对Tikhonov正则化支持向量机进行训练，获取训练样本约简子集和约简Tikhonov正则化支持向量机模型，具体步骤参考说明书中的利用剪枝法建立约简Tikhonov正则化支持向量机模型的5个步骤；

(3)为进一步提高故障诊断精度，约简Tikhonov正则化支持向量机平衡参数和高斯核函数宽度参数的参数由遗传算法(GA)通过离线方式自动给定，遗传算法的寻优区间为(0，10)，参数的种群大选择为10，最大迭代次数选择为100，交叉概率Pc＝0.9，变异概率选择为Pm＝0.1％，适应度函数设为分类的正确率，训练样本为步骤(2)获得的约简子集，具体步骤参考说明书中的利用遗传算法实现约简Tikhonov正则化支持向量机的参数自动选择的7个步骤，其中遗传算法获取的部分支持向量机平衡参数和高斯核函数宽度参数与分类精度的对应关系。如表(1)所示，至此实现了参数自动选择的约简的Tikhonov正则化支持向量机模型。

(4)利用参数自动选择的约简Tikhonov正则化支持向量机GA_RMTR_SVM对故障训练样本约简子集和测试样本进行诊断；诊断结果如表(2)所示。为了对比效果，表(2)同时列出了基本的Tikhonov正则化支持向量机(MTR_SVM)对电机故障进行诊断的结果。

表1：遗传算法获得的部分λ σ²参数值与其对应约简Tikhonov正则化支持向量机分类精度

 

(λ σ²)分类精度(0.0990，1.8702)48.98％(1.3894，2.6626)51.02％(1.6196，1.6540)55.1％(0.6349，0.8695)61.22％(0.9428，1.0985)69.39％(0.4725，1.0304)71.43％(1.1800，0.1236)81.63％(1.4279，1.2542)89.8％(1.5250，1.0203)91.8％(0.0521，1.3281)93.88％

从表(1)可以看出，最终通过遗传算法获取的平衡参数和高斯核函数的宽度参数为(0.0521，1.3281)，分类精度为93.88％，满足了该公司提出的90％以上的准确率的要求。

表2：电机故障数据集测试结果

从表(2)可以看出，由于基本的Tikhonov正则化支持向量机(MTR_SVM)的故障样本未经过约简，同时平衡参数和高斯核函数的宽度参数未通过遗传算法选取，性能方面不满足该公司提出要求，而参数自动选择的约简Tikhonov正则化支持向量机在分类精度提高的情况下，同时做到内存消耗和训练时间方面相对Tikhonov正则化支持向量机可以节约30％左右，随着设备复杂性增加，故障种类和测试数据不断增大，这种内存空间和训练时间的节约将非常可观。

综上所述，参数自动选择的约简Tikhonov正则化支持向量机一方面利用了基本Tikhonov正则化支持向量机软件结构简单，分类精度高等特点，另一方面解决了Tikhonov正则化支持向量机在内存消耗和训练时间过多的缺点，因此本发明使Tikhonov正则化支持向量成为一种高效的设备故障模式识别方法。

参考文献

[1]王然风.基于支持向量回归技术的大型复杂机电设备故障诊断研究与应用.太原大学博士学位论文，2005.

[2]袁海英，陈光祸，谢永乐，杜天军.基于非线性电路频域核估计和神经网络的故障诊断.控制与决策[J]，2007(4)：473～476.

[3]黄大荣，宋军，胡必锦.基于专家知识库属性重要度的故障诊断方法研究.计算机科学[J]，2007(4)：231～234.

[4]熊浩.基于动态聚类的电力变压器的故障诊断.仪器仪表学报[J]，2007，28(3)，456-459.

[5]V.Vapnik，The Nature of Statistical Learning Theory，Springer，New York，1995.

[6]J.A.K.Suykens，J.Vandewalle，Least Squares Support Vector MachineClassifiers[J]，Neural Processing Letters，1999，9(3)：293～300.

[7]Trafalis，T.B，Oladunni，O，Papavassiliou，D.V.Two-Phase Flow RegimeIdentification with a Multi-Classification SVM Model.Industrial & Engineering.Chemistry Research[J].2005(44)：4414-4426.

[8]Suykens J A K，Lukas L，Vandwealle J.Sparse Least Squares Support VectorMachines Classifiers，European Symposium on Artificial NeuralNetworks[J].Bruges Belgium，2000(4)：37-42.

[9]张跃军，柴乔林，王少娥，王华，刘云璐.利用GA与SVM对NIDS进行关键特征提取.计算机工程与应用[J]，2006，42(34)：119～121