两类具有非平行超平面的学习机及其快速求解算法研究

摘要

作为一种具有非平行超平面的统计机器学习方法，双支持向量机及其拓展已经在处理二分类问题中取得了丰硕的研究成果.然而，将其推广到多类分类和回归问题时面临着模型选择和快速求解等难题.本文针对上述问题，研究了两类非平行超平面学习机并发展了其快速求解算法.本文的主要创新点如下:
　　针对采用“1对1对其它”策略的多类分类双支持向量机的模型选择问题，基于模型转化及数据划分，证明了两个子最优化问题的解关于正则化参数是分段线性的，并据此发展了完全正则化解路算法.线性方程组和分块矩阵理论被应用于证明分段线性解路，六类事件被定义来寻求首发事件进而设计解路算法.此外，给出了解路初始化条件，证明了当正则化参数λ((λ))趋于无穷大时，拉格朗日乘子αi(α*i)及βk（β*k）为1.基于UCI数据集的仿真结果表明所提方法能取得满意的多类分类性能.
　　针对含噪声的回归问题，通过利用样本响应的信息，一种新的加权机制及加权最小二乘双支持向量回归被提出，并发展了离线和在线求解算法，降低了噪声对预测精度的影响.含噪声的人造数据集和基准数据集的仿真结果表明所提方法在测试集的平均平方误差、误差平方和与偏差平方和之比、可解释的偏差平方和与真实的偏差平方和上优于最小二乘双支持向量回归.

目录

摘要

第一章 绪论

§1．1 多类分类支持向量机研究现状

§1．2 双支持向量回归研究现状

§1．3 正则化参数解路算法

§1．4 研究内容

第二章 多类分类双支持向量机的完全正则化解路算法

§2．1 问题描述

§2．2 模型转化及数据集划分

§2．2．1 第一个子优化模型转化及数据集划分

§2．2．2 第二个子优化模型转化及数据集划分

§2．3 多类分类双支持向量机的分段线性理论

§2．3．1 第一个子优化模型的分段线性理论

§2．3．2 第二个子优化模型的分段线性理论

§2．4 初始化

§2．5 多类分类双支持向量机的解路算法设计

§2．5．2 确定第二个子优化模型的第l+1步参数

§2．5．3 多类分类双支持向量机的正则化参数λ和(λ)解路算法设计

§2．6 仿真实验

§2．6．1 数据集及参数选取

§2．6．2 仿真实验的结果比较与讨论

§2．7 小结

第三章 加权最小二乘双支持向量回归及其在线学习算法

§3．1 问题描述

§3．2 新型加权最小二乘双支持向量回归

§3．2．1 模型及离线学习算法

§3．2．2 线性加权最小二乘双支持向量回归的在线算法

§3．2．3 非线性加权最小二乘双支持向量回归的在线算法

§3．2．4 求解算法

§3．3 仿真实验

§3．3．1 人造数据集

§3．3．2 基准数据集

§3．4 小结

第四章 结论与展望

§4．2 工作展望

参考文献

致谢

攻读学位期间的科研成果

声明