基于回归型支持向量机的数据建模方法研究

摘要

支持向量机(SVM)是一种新的数掘建模方法。它以统计学习理论为基础，采用结构风险最小化准则，在最小化样本拟合误差的同时控制学习函数的复杂度，从而提高模型的推广能力。本文针对回归型支持向量机(SVR)算法，从训练速度和推广能力两方面对其展开探讨。 在详细分析SVR算法及其属性的基础上，利用SVR具有稀疏性的性质，提出了一种基于核相似度数据约简的SVR启发式算法(KR-SVR)。该算法利用非线性映射和核技巧将原始空间样本映射到高维特征空间，使样本特征空间更为鲜明，然后根据核相似度对样本进行取舍，在保证推广能力不受太大影响的同时缩小SVR求解规模，从而提高学习速度。多个数值函数仿真结果验证了KR-SVR算法的可行性。 为进一步提高SVR训练速度，本文还利用数学规划中的光滑函数提出了一种基于logistic损失函数的ε不敏感光滑SVR算法(Lε-SSVR)。它将原始SVR中的带约束二次规划问题改造成不带约束的最小化问题，并用拟牛顿法实现求解，减少了求解变量个数，并且简化了传统二次规划中Hessian矩阵的运算，节省了求解时间。数值函数和实际应用例子的仿真结果同样表明Lε-SSVR算法可行。 针对SVR参数(核参数、惩罚因了以及ε不敏感系数)对模型推广能力影响较大，而目前又无解析方法指导SVR参数选取的问题，本文提出了一种基于粒子群优化(PSO)算法的SVR参数选择方法。该方法将SVR参数集当作粒子群，以最小化5-fold交叉验证误差作为适应目标，利用PSO强劲的全局搜索能力实现了参数优选。数值函数和实际应用例子表明该方法对模型推广能力的提高具有很大的作用。 本文最后针对现有模型选择标准无法对模型选择过程给出明确几何意义的问题，探讨了一种基于信息几何的SVR模型选择标准。它将模型空间看作是一个流形，将模型复杂度等价于其所能覆盖的概率分布个数，模型拟合度则视为样本真实分布同模型分布的分散度，由此，直观地解释了SVR求解过程，并明确了模型选择的几何意义。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第1章绪论

第2章标准支持向量回归(SVR)算法介绍及属性分析

第3章基于核相似度数据约简的SVR启发式算法

第4章基于logistic损失函数的光滑SVR算法

第5章基于粒子群优化算法(PSO)的SVR参数选择

第6章基于信息几何的SVR模型选择标准

第7章总结与展望

参考文献

攻读硕士学位期间发表的论文

致谢

附录