竞争学习向量量化和支持向量机的关键技术研究

摘要

基于数据的机器学习问题是现代化智能技术中十分重要的一个方面，主要研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律，利用这些规律去分析客观对象，对未来数据或无法观测的数据进行预测。而学习方法基本上可以分为监督学习和非监督学习两种方法。 本文研究内容也分为两部分，第一部分主要对非监督学习中基于竞争网络的学习量化，特别是广义学习量化算法进行的研究，在论文的第二章叙述。第二部分主要对基于统计学习理论的支持向量机的一些关键问题进行的深入研究：包括算法、核函数和模型选择研究，主要在论文的第三、四、五、六、七、八章介绍。本文所有研究工作可以分为以下6个方面： 1.对非监督学习中基于竞争网络的学习量化的研究，特别是广义学习量化算法的研究。分析了已有算法的性质和存在的问题，提出一种修正的广义学习向量量化算法，该算法不但简单，而且改进了已有算法的一些缺陷：克服了一些算法对数据的“Scale”问题，并且对初始点和初始学习率都不敏感。进一步引入激励因子，利用模拟退火思想，给出提高一般学习向量量化算法的措施。 2.对标准支持向量机的算法研究。这部分给出了三个算法：1)针对线性分类问题，将原二次规划转化为低维无约束非光滑规划，采用合适的光滑函数给出求解该问题的低维Newton算法；2)对一般分类问题，通过分析二次规划的ε-扰动规划的最优解和二次规划的无约束Lagrange对偶问题的光滑熵函数的极小点的关系，提出求ε-支持向量的极大熵算法；3)对一般分类问题，同样讨论了其无约束、非光滑Lagrange对偶问题，而采用Huber鲁棒回归函数将其近似为可微光滑分片二次函数，采用快速收敛的精确Newton型算法求解，给出训练支持向量机的Huber近似算法，由于目标函数的梯度是分片线性函数，所有过程可以快速完成。 3.对变形SVM问题的研究(1)。针对O.L.Mangasarian及其学生、合作者提出的一种简化变形SVM，利用Lagrange对偶技术，将高维二次规划转化极小化低维的可微分片二次函数。注意到该目标函数的梯度连续但二阶导数在一些区域不存在，采用精确线搜索的无约束共轭梯度算法求解，提出共轭梯度支持向量机，其中处理非线性问题时需要对核矩阵进行Cholesky分解或非完全Cholesky分解。 4.对变形SVM问题的研究(2)。同样对O.L.Mangasarian及其学生、合作者提出的简化变形SVM，将其转化为极小化低维的分片二次函数后，引入半光滑方法，指出极小化该函数相当于求解一个半光滑方程组。结合分片二次函数性质的研究，提出精确半光滑Newton算法求解该半光滑方程组，得到精确半光滑NewtonSVM。由于有高效的精确线搜索方法、快速的Newton矩阵更新和二次收敛性等好的特点，该算法和其他同类算法相比，具有相当的优势。 5.对SVM几何算法的研究。基于SVM的几何特性和已有的几何算法研究，如最近点算法、S-K算法等，提出一种新的可行方向算法。充分利用到在寻求最近点过程中得到的所有有用信息，构造了一个下降性更强的可行下降方向，和同类算法如S-K算法相比减少了算法的迭代次数，提高了训练效率。同时利用v-SVM的几何解释和提出的ε-不可分的概念，将算法推广处理不可分问题。 6.关于核函数和模型选择的研究。给出核函数的变换伸缩率的概念，利用它分析常用的高斯核函数的性质，进一步提出一种新的核函数，它具有很好的性质：它将数据映射到特征空间后不会放大包含所有样本的最小超球半径、同时在局部范围放大了任意两个样本间的距离、基于该核函数的SVM对参数C不敏感等。最后给出确定核函数参数的一般方法，提出两个准则：基于总体距离的准则和基于核矩阵夹角的准则，二者的组合可以进一步改进方法的效果。

目录

文摘

英文文摘

创新性(或独创性)声明和关于论文使用授权的说明

第一章绪论

1.1引言

1.2竞争学习网络及其向量量化的研究背景及现状

1.2.1竞争学习

1.2.2学习向量量化

1.3统计学习理论及其SVM研究背景及现状

1.3.1统计学习理论的发展

1.3.2 SVM的算法研究

1.3.3 SVM的应用研究

1.3.4 SVM的核函数和模型选择研究

1.4本文工作及安排

第二章竞争学习网络及广义学习向量量化

2.1学习理论及自组织系统

2.1.1通用学习方程

2.1.2自组织学习

2.1.3竞争学习

2.1.4自组织特征映射(Self-Organizing Feature Map，SOFM)

2.2向量量化及广义学习向量量化

2.2.1学习向量量化(Learning VQ，LVQ)

2.2.2广义向量量化

2.2.3模糊学习量化算法

2.3一个新的竞争网络学习算法

2.3.1修正的广义学习向量量化算法

2.3.2模糊修正广义学习量化

2.3.3实验比较

2.4一种提高学习向量量化算法的新方法

2.4.1引言

2.4.2提高竞争网络性能的新措施

2.4.3实验仿真

2.5小结与讨论

第三章支持向量机的基本理论和几何特性研究

3.1监督学习和统计学习理论

3.1.1监督机器学习问题[31，32，41，42]

3.1.2统计学习理论

3.2 SVM的基本理论

3.2.1学习过程一致性的条件

3.2.2学习过程收敛率的界

3.2.3结构风险最小化

3.3支持向量机模型

3.3.1Δ-间隔分类超平面

3.3.2确定最优分类超平面

3.3.3推广到线性不可分情形

3.3.4核函数和非线性问题

3.3.5常用核函数举例

3.4一种推导SVM的直观方法——Fisher投影方法

3.4.1 Fisher线性判别法

3.4.2利用Fisher投影构造最优分类超平面

3.4.3模拟实验

3.4.4小结

3.5结束语

第四章标准支持向量机算法研究

4.1标准支持向量机问题简介

4.1.1标准SVM问题

4.1.2经典求解算法

4.2低维Newton算法[173]

4.2.1算法与分析

4.2.2数值模拟实验

4.2.3结论

4.3训练支持向量机的极大熵方法[179]

4.3.1 SVM的无约束对偶问题及其熵近似函数的性质

4.3.2 SVM的ε-最优解

4.3.3算法及分析

4.3.4数值模拟实验

4.3.5结论

4.4训练支持向量机的Huber近似算法[181]

4.4.1引言

4.4.2二次规划的无约束对偶问题

4.4.3对偶问题的Huber近似及其性质

4.4.4算法提出

4.4.5算法分析

4.4.6数值模拟实验

4.4.7结论

4.5结束语

第五章变形支持向量机算法研究(1)—CGSVM

5.1变形SVM模型

5.1.1引言

5.1.2二次损失函数支持向量机

5.1.3最小二乘支持向量机LS-SVM

5.1.4 Mangasarian等的变形问题

5.1.5广义支持向量机GSVM

5 2已有变形算法介绍

5.2.1连续超松弛算法SOR[58]

5.2.2光滑支持向量机SSVM[61]

5.2.3 Lagrange支持向量机LSVM[63]

5.3共轭梯度型支持向量机(CGSVM)[202]

5.3.1线性变形SVM的无约束Lagrangian对偶

5.3.2非线性问题无约束Lagrangian对偶

5.3.3 CGSVM算法

5.3.4精确线搜索

5.4算法实现与实验

5.4.1线性分类实验

5.4.2非线性分类实验

5.4.3复杂度分析

5.5结束语

第六章变形支持向量机算法研究(2)—ESNSVM

6.1 SVM及其变形问题介绍

6.1.1引言

6.1.2二次损失函数变形及其Mangasarian的变形

6.2半光滑方法

6.2.1半光滑(Semi-smooth)方法介绍

6.2.2半光滑SVM[84]

6.3精确半光滑SVM[222]

6.3.1变形SVM的无约束Lagrange对偶问题

6.3.2算法提出

6.3.3算法收敛性

6.3.4广义Jacobian矩阵Bk的计算和迭代更新

6.3.5基于“二分查找”的精确线搜索

6.5实验仿真

6.5.1与算法LSVM的实验比较

6.5.2 ESNSVM与半光滑算法Semismooth-SVM的比较分析

6.6结束语

第七章支持向量机的几何算法研究——新的可行方向算法

7.1 SVM的几何解释

7.1.1 SVM介绍

7.1.2 C-SVM的几何解释

7.1.3 ν-SVM的几何解释

7.2几何算法介绍

7.2.1 Keerthi等[90]的最近点(Nearest Point)算法

7.2.2 Franc和Hlavá(c)[91,92]的S-K算法

7.3一个新的可行方向算法[231]

7.3.1 S-K算法分析

7.3.2新的可行方向算法

7.3.3收敛性分析

7.3.4停止条件

7.3.5推广处理不可分问题

7.4试验与分析

7.5结束语

第八章支持向量机的核函数和模型选择研究

8.1引言

8.2一类新的核函数

8.2.1高斯核函数的性能分析

8.2.2一个新的核函数及其性能分析

8.3核参数选择分析

8.3.1距离判别准则

8.3.2夹角判别准则

8.3.3混合策略

8.4实验仿真

8.5结论

第九章总结与展望

参考文献

致谢

读博士期间的研究论文和参加的科研项目

一、学术论文

二、参加的科研项目