Hadoop环境下基于敏感度的随机森林分类算法研究

摘要

针对当前大数据环境下随机森林分类算法在处理不平衡数据集分类任务时存在的小类样本被忽视及效率低的问题,提出了一种Hadoop环境下基于敏感度的随机森林分类算法.该算法引入了文本分类特征选择技术中的相关方法,采用MapReduce编程模型,在Hadoop云计算平台上实现了算法的并行化.通过实验对比分析了该算法与传统随机森林分类算法对不平衡数据的分类效果.结果表明,该算法显著提高了传统随机森林分类算法的性能,且具有高效性和易扩展性.