通用GPU计算在分类算法中的研究与应用

摘要

人们对计算能力的需求是永无止境的。在传统的单核CPU发展遇到瓶颈而朝着多核方向发展的同时,图形处理器以其强大的运算能力,逐渐进入了人们的视野。通用GPU计算成为一个热点的研究方向。然而当前的通用GPU计算所应用的领域,仍以图形图像处理和三维场景模拟为主。
　　 本文关注于将GPU应用在数据挖掘和机器学习领域的分类算法中。在对GPU的体系结构和性能特点进行研究的基础上,提出基于GPU的算法设计原则,并以部分典型算法为例,进行了实现和检验。具体工作包括以下几方面:
　　 首先,探讨将通用GPU计算应用于分类算法的可行性。经分析论证,在大规模和高维度数据集的分类上,应用基于CUDA的GPU运算,如能满足相应的设计约束,则能取到较好效果。
　　 其次,提出了一种基于GPU的K最近邻分类算法(GSNN算法)。该算法在距离计算阶段提出了一种分块策略,在最近邻选择阶段采用了一种评估选择的方法。这两个方法都充分利用了GPU的结构特点,发挥了其运算能力,得到很高的加速比。
　　 第三,针对支持向量机算法复杂度较高,难以应用于大样本分类的问题,提出了GMP-CSVC算法。算法基于序贯最小优化方法,在运算过程中,发挥了GPU的优势,并尽量减少程序分支,取得了较好的效果。
　　 最后,针对SVM分类器的参数寻优过程,提出了基于GPU的GMP-nuSVC算法。算法在参数寻优的训练阶段采用了基于v-SVM的改进算法、核矩阵缓存调度方案,在标号判定阶段采用了分块计算方法,从而实现对原始SVM分类算法改进的基础上,大幅度提升了性能。
　　 本文成功地将图形处理器应用于数据挖掘和机器学习领域的分类算法上,扩大了算法的可计算边界,大幅度减少了训练时间,对分类算法的应用和通用GPU计算的算法研究,都有一定的参考价值。