基于随机森林的文本分类并行化

摘要

文本分类是信息检索的核心技术.传统的文本分类系统由于单机的计算与存储能力有限,已经不适用于大数据时代.在Spark大数据平台上并行地运行算法对文本进行分类,以数据和任务的并行化来提高算法的效率具有现实性和紧迫性.文中提出了改进的不平衡数据随机森林算法,通过对训练样本的多数类进行欠取样且对少数类进行有放回取样从而形成新训练样本的方法来减少不平衡数据对随机森林的影响.实验结果表明,新算法在处理不平衡数据集上的少数类时提高了分类的正确率.