支持向量机的调节熵函数法研究

摘要

在统计学基础上提出的机器学习方法SVM(Support VectorMachine)[1]在训练学习机器时，其学习方式是SRM(Structural RiskMinimization)准则，因此，学习机器不光具有简洁的数学形式，还使得其几何解释直观，易泛化。除此之外，它还将一般的学习问题与凸二次规划问题建立关联，凸二次规划问题的解即为原问题的解，从而保证所得解并非局部极值，而是全局最优解。
　　 SVM是一种集多种标准的机器学习技术于一身的新技术，它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等技巧。在解决各种挑战性的实际问题中都有它成功的应用，譬如它可以用来预测、分类和线性与非线性回归。
　　 在对SVM研究中，学者们提出了各种各样的算法[2]，这些算法要么有某一方面的优势，要么有一定的应用范围，且都是采用二次规划或线性方程组来求解相应的最优化问题。在模式识别中，SVM利用二次规划对偶技巧把优化问题转化为高维特征空间中一个简单约束的二次规划问题。虽然，通过分解训练样本集或序贯输入样本的方式能够处理这种高维的对偶规划，由此产生的算法既节省了存储空间，又提高了计算效率。但是，这些算法的设计和实现都比较复杂。
　　 极大熵方法[3]是近几年提出的新算法，对于多约束非线性规划、极大极小等问题，通过该方法都能快速处理，与已有方法相比，其特点是:更易实现、更稳定、收敛更快[5，85]。除此之外，极大熵方法在求解不可微和大型多约束等问题时也是有效的[5，85]，因此，该方法有很高的应用价值。但其不足之处是对问题的精确解只有在参数p→∞时才能得到，当p取较大值时，又容易产生数值的溢出现象。
　　 针对这种弊端，本文在对SVM的理论基础----统计学理论和最优化理论，以及SVM本身的分类思想、方法和回归原理做了较为详细的研究和阐述后，根据SVC的分类方法和SVR的回归原理，提出了一种新的求解SVM优化问题的带调节因子的熵函数法。它克服了现有熵函数法只有参数p取得很大才能逼近问题的精确解的不足。将它应用在SVM的模式分类和回归问题中，能在低存储需求条件下有效地提高SVC的分类精度和SVR的回归性能。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 支持向量机研究现状

1．3 本论文的主要研究内容

1．4 本文的章节安排

第2章 统计学习理论

2．1 机器学习问题

2．2 统计学习理论

2．3 本章小节

第3章 最优化理论

3．1 KKT条件

3．2 Lagrange对偶

3．3 Wolfe对偶

3．4 本章小节

第4章 支持向量机分类机

4．1 最优分类超平面

4．2 线性支持向量分类机

4．3 非线性支持向量分类机

4．4 本章小结

第5章 支持向量机回归机

5．1 损失函数

5．2 支持向量回归机

5．3 本章小结

第6章 支持向量机的调节熵函数法

6．1 支持向量分类机的调节熵函数法

6．2 支持向量回归机的调节熵函数法

6．3 本章小结

总结与展望

致谢

参考文献