多目标算法在多分类SVM优化中的应用

摘要

基于Pareto最优概念的多目标遗传算法是处理多目标优化问题的一个重要算法。遗传算法的机理很适合多目标优化，因为遗传算法可以在一代模拟过程中找到多个Pareto最优解，通过适应度算法使种群收敛于Pareto前沿。但是由于遗传算法在迭代过程中新个体产生过程的随机性以及迭代过程中不接受局部劣解导致了搜索过程中丢失部分全局最优解，使得多目标遗传算法在搜索效率上和精度上存在不足。 与遗传算法相比，禁忌算法中在局部最优解获取上性能更佳。禁忌算法利用禁忌表保存搜索过程中的局部最优解，禁忌表可以控制搜索路径的选择，使得搜索的范围更大，同时禁忌某些个体被选择，以避免陷入某个局部空间，禁忌表的使用增强了搜索算法获取全局最优解的能力。禁忌算法中在利用禁忌表控制搜索路径的同时，采用“策略摆动”的策略利用惩罚因子来控制劣解的选择，使得禁忌算法在选择过程中可以选择较差局部最优解，该较差局部最优解再后经过若干代演化后，能够演化为全局最优解。禁忌算法的这些特点可以弥补GA算法在局部搜索中的缺点。本文根据遗传算法和禁忌的特点将遗传算法和禁忌算法结合，提出了名为多目标遗传禁忌算法MOTSGA的多目标优化算法。 为验证改进的多目标遗传禁忌算法的性能，本文将多目标优化算法应用到多类SVM求最优参数的优化问题上。对于多分类SVM参数优化问题，求解多类SVM分类问题的方法是将其转换为多个二分类SVM问题，通过求解二分类SVM来求解多分类SVM。求解分解后的多个二分类最优问题是多目标优化问题。将本文提出的MOTSGA算法和传统的MOGA算法分别应用到多类SVM分类问题，通过实验结果的对比，验证本文提出的方法与传统的多目标遗传算法相比具有局部搜索能力强，不易陷入局部最优解的优点。

目录

文摘

英文文摘

声明

第一章绪论

1.1本课题的研究背景和意义

1.2多目标优化算法的研究现状

1.3本文的主要工作

1.4本文的结构安排

第二章多目标优化算法

2.1多目标优化问题的数学描述

2.2传统的多目标优化方法及其局限性

2.2.1加权法

2.2.2约束法

2.2.3传统多目标方法的分析

2.3多目标进化算法

2.3.1多目标进化算法及分类

2.4多目标遗传算法应用

2.4.1遗传算法

2.4.2多目标进化算法

2.5多目标遗传算法的分析

2.6本章小结

第三章多目标遗传禁忌算法

3.1基本禁忌算法

3.2基本禁忌算法的特点

3.3遗传算法与禁忌算法结合

3.4多目标遗传禁忌算法MOTSGA

3.5小结

第四章多目标进化算法在RBF核函数下多类SVM参数优化中的应用

4.1 SVM基本原理

4.2核函数的选择

4.3二分类SVM向多分类SVM的扩展

4.4基于RBF核函数支持向量机解决多类分类问题的基本步骤

4.5多类SVM最优化参数选择问题

4.6多目标遗传禁忌算法(MOTSGA)应用于多类SVM参数优化

4.6.1禁忌空间邻域的确定

4.6.2遗传算法的应用

4.6.3邻域空间的确定

4.6.4禁忌准则的确定

4.7 小结

第五章实验结果与分析

5.1实验相关参数选择

5.2实验结果分析与评价

5.3本章小结

第六章总结和展望

6.1相关工作

6.2展望

参考文献

致 谢

附录A 攻读学位其间发表的论文