基于趋同的支持向量回归机多分类方法研究

摘要

模式分类问题已经涉及到各个科学研究领域中，分类算法也已成为解决这些问题的核心技术。近年来，支持向量机(Support Vector Machine,SVM)作为一种新的机器学习算法应运而生，并且广泛地应用于统计分类和回归分析。然而，在实际应用中常常会遇到许多多类别分类问题，SVM在处理这类问题时需要构造多个多值分类模型，将该问题转化成多个二值分类器。随着样本种类的增多，这种变形的SVM方法的效率会明显下降，计算复杂度也会增加。因此，SVM学习算法是一个十分值得我们深入研究的领域，提出一种简单的多类分类方法更是势在必行。
　　在函数回归和密度估计领域中，传统的支持向量回归机(Support Vector RearessionMachine,SVR)常常被用来估计未知的回归函数的。然而，本文提出一种新颖的基于SVR框架的多分类方法，即基于趋同的支持向量回归机(Support Vector Regression Machine withConsistency,SVRC)的多分类方法。本文的主要贡献有以下几点：
　　1)为了更好地解决多分类问题，在SVR框架下，采用L1范数正则化代替最大间隔项；
　　2)我们采用样本的类标签信息构建了一个趋同矩阵，并将它作为惩罚项，使得来自相同类别的训练样本对测试样本的重构具有近似的贡献，从而改善算法的鲁棒性；
　　3)用尽可能少的类别样本来表示测试样本，提高重构测试样本的准确性，本文采用测试样本与训练样本之间相应的局部近邻关系设计了一个选择矩阵，克服了基于分类的稀疏表示(Sparse Representation basedClassification,SRC)寻找全局稀疏表示的缺陷。实验仿真结果表明本文提出的方法是一种比较新颖的多分类方法，与现有的一些多分类方法相比，具有良好的分类性能。

目录

封面

声明

中文摘要

英文摘要

目录

1 前言

1.1研究背景及意义

1.2 国内外研究进展

1.3 论文的主要工作

1.4 本文的组织结构

2传统 SVM算法介绍及其应用

2.1支持向量分类机

2.2 支持向量回归机

2.3支持向量机的应用

2.4 本章小结

3 稀疏表示与SRC方法

3.1 信号的稀疏表示

3.2 稀疏表示算法

3.3 SRC方法

3.4 本章小结

4 优化理论与基础方法

4.1 Wolf对偶理论介绍

4.2 二阶锥规划方法

4.3 本章小结

5基于趋同的支持向量回归机的多分类方法

5.1 线性SVR模型

5.2 引入l1范数代替最大间隔项

5.3 趋同矩阵的构造

5.4 选择矩阵的设计

5.5新的方法描述与优化

5.6 本章小结

6 仿真及实验结果

6.1在手写体数字库上的分类识别

6.2在Wine数据库上的分类识别

6.3在COIL-20数据库上的分类识别

6.4 本章小结

7 总结与展望

7.1 全文总结

7.2 未来工作展望

致谢

参考文献

在研究生学习期间完成的论文、专利、获奖