基于Spark的一对多支持向量机框架及其并行化方法

摘要

本发明属于计算机网络通信技术领域，具体涉及基于Spark的一对多支持向量机框架，包括数据上传模块、数据转化模块、数据划分模块、特征训练模块、数据应用模块这五个部分组成；整系统架构建立在Spark的基础上，数据上传模块将训练数据集输入到HDFS分布式文件系统，数据转化模块读取数据，生成RDD数据集，数据划分模块将RDD数据集切分成小块，在内存中进行计算，特征训练模块训练数据特征，数据应用模块将数据特征用于测试数据的分类处理。本发明还提供了基于Spark框架的参数优化框架的并行化方法，提出了基于Spark框架的参数优化框架，以优化支持向量机超参数和特征权重，提高优化效率和模型性能，使其能够提高性能并减少面对海量数据的运行时间。