基于Spark的大数据三枝决策分类方法

摘要

针对大规模的数据,借助Spark平台的分布式快速处理能力,提出了基于Spark的大数据三枝决策分类方法。该方法基于三枝决策理论,使用Spark对数据进行并行化处理。由经验数据获得数据的决策边界后,通过并行的方式进行正例和反例的判断,从而提高了在大数据集上的决策效率。采用多轮的分步决策方法提高了决策的效率与准确率。通过在UCI公开数据集mushroom和connect-4上的试验结果表明,新方法适用于大数据情况下的决策问题,大大提高了三枝决策分类算法的效率。