基于支持向量机的多类分类算法研究及在滚动轴承故障识别中的应用

摘要

上世纪九十年代，在统计学习理论的基础上发展出了一种新的机器学习算法——支持向量机。由于其具有良好的理论基础和推广能力，并解决了机器学习领域存在的一些问题，因而受到了人们普遍的重视。然而，支持向量机本身是针对两类分类问题的算法，而实际生活中广泛存在着的是多类别的分类问题，因此，研究如何利用支持向量机实现多类分类，具有十分重要的意义，也成为当前研究的一个热点问题。国内外学者在此领域作了大量的研究工作，提出了多种基于支持向量机的多类分类算法，达到了利用支持向量机实现多类分类的目的，这些算法有着各自的优点，但还存在一定的缺陷，还有很多问题需要得到进一步的解决。总体上看，基于支持向量机的多类分类算法的研究还处于一个不断探索的阶段，有着广阔的发展空间。 本文全部研究工作的着眼点主要集中于以下几个问题：现有的几种支持向量机多类分类器在算法结构和分类机理上彼此有什么共同点，能否将它们归结为几种类型；如何确定多类分类器的算法结构以提高分类器的推广能力；核函数的变化对多类样本经过映射后所有两类间的可分性对比关系究竟有什么影响；能否直接在高维特征空间中对多类样本所有两类的可分性对比关系进行估计；能否提出新的支持向量机多类分类算法，并且使其具有较好的推广能力。针对以上问题，本文主要做了以下几个方面的研究工作，第一，从算法结构和分类机理的角度对“一对一”、“一对多”、基于二叉树结构的支持向量机多类分类算法及DAGSVM进行了分析，并将其分别归结到两种利用支持向量机实现多类分类的算法设计思路之中，为从算法结构和分类机理的角度研究支持向量机多类分类算法提供了一种参考；第二，进行了滚动轴承的故障实验，分别采集了滚动轴承在五种工作状态下的振动信号，并通过小波包变换进行特征提取，得到了对应于滚动轴承五种工作状态的五类样本；第三，对类间可分性的几个相关问题进行了研究，并通过将核函数引入到类间可分性度量算法当中，实现了对高维特征空间中所有两类样本可分性的度量与对比；第四，对不同的核函数及同一种核函数的不同参数对多类样本在高维特征空间中所有两类间的可分性及其对比关系的影响进行了研究和总结；第五，提出了基于类间可分性度量的二叉树结构生成算法，并利用得到的二叉树结构构造支持向量机多类分类器，通过实验证明，利用本文提出的算法所确定的二叉树结构使得到的多类分类器的分类性能有所提高；第六，分别提出了基于两类可分性最大原则的支持向量机多类分类算法和基于类间可分性度量的“一对二”支持向量机多类分类算法，并将它们分别应用于对滚动轴承五种工作状态的识别，取得了较好的效果。 本文通过以上工作，主要对确定支持向量机多类分类算法的结构、发展新的支持向量机多类分类算法、多类样本所有两类间的可分性对比关系及其与核函数的联系等几个方面进行了研究，并将所提出的一些方法应用于对滚动轴承五种状态的识别，取得了较好的效果。总的来讲，基于支持向量机的多类分类算法的研究主要立足于如何用较好的方法构造出性能更为优良的多类分类器，其中许多问题的解决还有待于广大研究者的进一步探索。

目录

文摘

英文文摘

论文说明：符号说明

声明

第一章绪论

1.1课题研究的背景和意义

1.2课题研究的现状和前景

1.3本文的主要工作、创新点及全文结构

1.3.1主要工作及创新点

1.3.2全文结构

第二章统计学习理论与支持向量机

2.1机器学习问题

2.1.1机器学习问题概述

2.1.2学习问题的表述

2.2统计学习理论

2.2.1 VC维

2.2.2推广性的界理论

2.2.3结构风险最小化原则

2.3支持向量机

2.3.1广义最优分类面

2.3.2线性情况下的支持向量机

2.3.3核函数与非线性情况下的支持向量机

2.4本章小结

第三章基于支持向量机的多类分类算法

3.1“一对多”多类分类算法

3.2“一对一”多类分类算法

3.3一次性求解算法

3.4DAGSVM多类分类算法

3.5基于二叉树结构的支持向量机多类分类算法

3.6其它支持向量机多类分类算法

3.6.1层次分类算法

3.6.2纠错输出编码支持向量机(ECOC SVMS)

3.7对多类分类算法的进一步思考

3.7.1“一对多”和“一对一”多类分类算法的比较分析

3.7.2基于二叉树结构的支持向量机多类分类算法和DAGSVM的比较分析

3.8本章小结

第四章滚动轴承故障实验

4.1机械故障诊断技术概述

4.2支持向量机多类分类算法在机械故障识别中的应用

4.3滚动轴承故障实验

4.3.1滚动轴承故障诊断概述

4.3.2滚动轴承故障实验

4.4本章小结

第五章特征提取

5.1特征提取概述

5.2小波分析与小波包变换

5.2.1小波变换的产生背景

5.2.2连续小波变换

5.2.3离散小波变换

5.2.4多分辨率分析

5.2.5小波包变换

5.3基于小波包变换的滚动轴承振动信号特征提取

5.3.1基于小波包变换的特征提取过程

5.3.2滚动轴承振动信号的特征提取

5.4本章小结

第六章类间可分性研究

6.1类间可分性及其判据

6.2 Jb/Jw判据对轴承实验五类样本的可分性判别

6.3基于核函数映射的Jb/Jw判据及对滚动轴承故障样本的可分性判别

6.4本章小结

第七章基于类间可分性度量的支持向量机多类分类算法

7.1基于类间可分性度量的二叉树结构生成和基于两类可分性最大原则的支持向量机多类分类算法

7.1.1引言

7.1.2基于类间可分性度量的二叉树生成

7.1.3基于两类可分性最大原则的支持向量机多类分类算法的提出

7.2基于类间可分性度量的支持向量机多类分类算法在滚动轴承故障识别中的应用

7.2.1二叉树结构的生成

7.2.2基于二叉树结构的支持向量机多类分类算法在滚动轴承故障识别中的应用

7.2.3任意二叉树结构的支持向量机多类分类算法及分类效果的对比

7.2.4基于两类可分性最大原则的支持向量机多类分类算法结构的确定

7.2.5基于两类可分性最大原则的支持向量机多类分类算法在滚动轴承故障识别中的应用

7.3本章小结

第八章基于类间可分性的“一对二”支持向量机多类分类算法及其应用

8.1对基于二叉树结构的支持向量机多类分类算法及DAGSVM的进一步分析

8.2基于类别可分性度量的“一对二”支持向量机多类分类算法的提出

8.2.1“一对二”支持向量机多类分类算法

8.2.2基于类间可分性度量的“一对二”支持向量机多类分类算法

8.3基于类间可分性度量的“一对二”支持向量机多类分类算法在滚动轴承故障识别中的应用

8.4本章小结

第九章总结与展望

9.1全文总结

9.2未来的展望

参考文献

致谢

攻读硕士学位期间发表的学术论文