Spark云服务环境下面向大数据的随机森林并行机器学习方法

摘要

本发明公开了一种Spark云服务环境下面向大数据的随机森林并行机器学习方法，通过特征向量重要性分析对高维大数据降维处理，并采用加权投票方式进行预测；利用分布式内存管理机制、云计算平台，对随机森林训练过程模型构建、单棵决策树分裂过程以及预测投票等三层并行化进行改进。本发明通过特征向量重要性分析对高维大数据降维处理和采用加权投票方式进行预测，实现了随机森林的方法优化，提高了随机森林机器学习方法对复杂大数据的挖掘效果；在此基础上进行基于Spark云平台的随机森林并行化方法，提高了随机森林机器学习方法的运行效率。