混合核支持向量机参数优化及其应用研究

摘要

支持向量机SVM(Support Vector Machine)是一种典型的核机器学习方法,核函数及其参数的选择直接影响着SVM分类器的性能。SVM的全局性核函数泛化性能强、学习能力弱,而局部性核函数学习能力强、泛化性能弱。将两类核函数混合是目前较常见的一种SVM核函数构造方法。引入混合核函数后的SVM多了一个新的可调参数,即权系数。有关混合核SVM的参数寻优一般只针对惩罚因子和核参数,以及对混合核中的权系数通常取经验值,这种参数选取无法达到全局最优。因此,本文对混合核SVM中所有参数进行综合寻优研究。本文所做的工作如下:
　　 (1)采用动量粒子群算法对混合核SVM参数进行优化。针对基本粒子群算法存在进化后期收敛速度缓慢,易产生振荡的缺陷,引入动量项,构造动量粒子群算法,以有效提高算法的收敛速度及部分避免其后期振荡的发生。将其用于混合核SVM参数优化中,通过对UCI中的数据集分类,得出该算法能有效提取最佳参数组合,使所得SVM泛化能力有所提高,进化速度快于基本粒子群算法,测试所得分类准确率优于其他常见的分类算法。
　　 (2)采用改进的遗传算法对混合核SVM参数进行优化。该算法利用混沌初始化种群,以在初始种群中产生更多有效基因型,保证种群多样性,有效缓解其陷入局部最优现象的发生;进行遗传操作时,采用一种自适应的交叉、变异算子不仅能较好保证群体多样性,而且能有效提高算法收敛速度。将其用于混合核SVM参数寻优中,通过Matlab编程,实现UCI数据集分类和车辆前方障碍物识别。最后与其他算法对比,验证该算法能较好提取最佳参数组合,在应用于分类识别问题时得到了较高的分类识别精度。

目录

文摘

英文文摘

第一章 绪论

1.1 研究的背景和意义

1.2 国内外研究现状

1.3 本文所做的工作

1.4 本文的内容组织

第二章 支持向量机理论

2.1 统计模式识别问题

2.1.1 机器学习原理

2.1.2 VC维

2.1.3 推广性的界与结构风险最小

2.2 支持向量机原理

2.2.1 线性与广义线性判别函数

2.2.2 最优分类面与广义最优分类面

2.2.3 高维空间的最优分类面

2.2.4 支持向量机

2.3 支持向量机核函数

2.3.1 常用核函数

2.3.2 混合核函数

2.4 混合核支持向量机参数分析

2.5 本章小结

第三章 基于动量粒子群的混合核SVM参数优化

3.1 基本粒子群算法

3.1.1 基本原理

3.1.2 算法描述

3.1.3 算法流程

3.2 动量粒子群算法

3.2.1 粒子群算法的优缺点分析

3.2.2 动量粒子群算法描述

3.3 混合核SVM参数优化

3.3.1 SVM性能指标的选取

3.3.2 算法流程

3.3.3 仿真实验及结果分析

3.4 本章小结

第四章 改进的遗传算法优化混合核SVM参数

4.1 基本遗传算法

4.1.1 基本思想

4.1.2 基本操作

4.1.3 算法流程

4.2 改进的遗传算法

4.2.1 遗传算法的优缺点分析

4.2.2 混沌理论

4.2.3 改进的遗传算法描述

4.3 混合核SVM参数优化

4.3.1 SVM性能指标的选取

4.3.2 混沌初始化算法

4.3.3 算法流程

4.4 仿真实验与结果分析

4.4.1 UCI数据集分类

4.4.2 车辆前方障碍物识别

4.5 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

参考文献

致谢

附录(攻读硕士学位期间发表录用论文)