一种新的基于序贯最小化的并行化支持向量化机

摘要

并行化支持向量机是为了适应在海量数据中进行大规模数据挖掘的需求而产生的数据挖掘技术。在海量数据中进行数据挖掘,目前只有两种相对独立而且有效的方法:在线学习(Online Learning)和并行计算(Parallel Computation)。当前许多在线的算法能不断地对模型进行更新,由于其算法复杂度低而被采用,但是这些方法很容易随着数据分布的变化产生概念偏移,也就是说最近一段数据的重复出现可以改变由历史积累下来的信息甚至颠覆历史,所以并行的方法在解决这个问题上更具优势,它将整个大的数据集作为一个由某个分布抽取得到的整体,不会产生概念偏移。并行计算作为一种分布式计算,它充分利用不同处理单元的计算资源,在同一个时间段内进行单个计算节点所不能处理的海量计算,值得深入研究。
　　 本文在介绍几种并行化的支持向量机的基础上提出一种基于序贯最小化(SequentialMinimal Optimization)的并行化算法。序贯最小化是目前实现支持向量方法的一种快速算法,也是一种标准算法,它的核心部分可以用来解决分类、回归和一类问题。在充分利用序贯最小化SMO的计算效率的基础上,并行化的SMO(NPSMO)利用多个处理单元解决单个处理单元难以完成的大规模数据训练工作。

目录

文摘

英文文摘

第1章 引言

1.1 背景和意义

1.2 国内外研究现状

1.3 论文的研究内容和意义

1.4 论文的主要安排

第2章 相关算法综述

2.1 序贯最小化算法

2.2 并行SVM学习算法

2.3 本章小结

第3章 一种新的SMO并行策略(NPSMO)

3.1 标准SMO框架

3.2 并行SMO框架

3.3 并行SMO 收敛性分析

3.4 并行SMO 收敛性证明

3.5 并行SMO的停机条件

3.6 本章小结

第4章 并行化SMO实验及分析

4.1 与标准SMO与实验比较

4.2 与基于GPU的并行SMO实验比较

4.3 与层叠支持向量机(The Cascade SVM)实验比较

4.4 并行SMO总体调整实验

4.5 迭代次数限制实验比较

4.6 参数设置

4.7 本章小结

第5章 总结与展望

5.1 本文总结

5.2 研究展望

参考文献

致谢