MapReduce环境下处理多类别不平衡数据的改进随机森林算法

摘要

针对传统MapReduce环境下的随机森林算法在处理多类别不平衡数据问题时仍然以全局最优点作为划分点,忽略了少数类对分类准确率的影响,文本提出了一种MapReduce环境下处理多类别不平衡数据的改进随机森林算法(MR-RF-SHDSE).该算法利用分层采样方法在各个类别中进行样本抽样,并以HDDT决策树作为基学习器以弱化数据偏置给分类准确率带来的影响,最后计算决策树的GMean值和不合度值,利用调和平均值作为衡量标准对决策树进行选择集成.通过实验证明,相比其他算法,MR-RF-SHDSE能够有效提高了对多类别不平衡数据集的分类准确率.