基于类电磁机制算法的SVM决策树多分类策略研究

摘要

近年来,多类别的分类问题是支持向量机研究的热点之一。目前已提出的算法中1-a-r算法和1-a-1算法在类别数目较多时,其训练和分类效率都比较差,且存在“无法辨识区”。DAG-SVM算法在类别数较多时,训练速度较慢,且根节点的选择会直接影响分类的最终结果。DT-SVM算法具有较高的训练速度和分类速度,也不存在“无法辨识区”,但是由于其采用的树结构固定,而且各个决策节点的选择具有随机性,因而很容易产生“误差积累”问题,因此,分类性能常常不够稳定,往往达不到最优。GADT-SVM算法利用遗传算法对树结构进行优化,使得决策树的结构具有了自适应性,但是分类精度还不够高。
　　为了进一步提高SVM多分类策略的总体性能,本文提出了一种基于类电磁机制算法的SVM决策树多分类算法,即在树的各个决策节点运用类电磁机制算法优化两分类决策,从而自动生成最优或近优的决策树。首先,基于分类问题的特点,对类电磁机制算法进行了改进:通过对多分类问题以及各种编码方案进行分析,采用实值编码策略对粒子进行编码;根据粒子的受力情况以及多分类问题的特点,提出了一种新的适合多分类问题的粒子移动方法;并设计了基于最大分类间隔的目标函数。然后,利用改进后的类电磁机制算法,设计了最优决策树生成算法,用以解决SVM多分类问题。最后,对本文提出的EMDT-SVM算法进行了理论分析和仿真。
　　实验结果表明,改进后的算法能够构造出最优或近优的决策树,成功地应用于多分类问题,并且比传统的1-a-r、1-a-1、DAG-SVM、DT-SVM和GADT-SVM算法有更优的总体性能。
　　在后续的研究工作中,将继续加强对类电磁机制算法在离散优化方面的研究,并以此为基础,运用改进后的算法去求解更多的实际工程问题。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景

1.2 研究现状

1.3 本文工作

1.4 内容安排

第二章 类电磁机制算法及支持向量机概述

2.1 类电磁机制算法思想

2.2 类电磁机制算法原理

2.3 类电磁机制算法流程

2.4 支持向量机概述

2.5 小结

第三章 EMDT-SVM算法设计

3.1 SVM多分类策略

3.2 类电磁机制算法的改进

3.3 基于EM机制的最优决策树生成算法

3.4EMDT-SVM算法分析

3.5 小结

第四章 算法的对比分析与仿真

4.1算法分析

4.2算法仿真

4.3 小结

第五章 结束语

5.1 总结

5.2 展望

致谢

参考文献

研究成果