基于Spark大数据平台的三支决策不平衡数据过采样方法

摘要

本发明请求保护一种基于Spark大数据平台的三支决策不平衡数据过采样方法，涉及数据挖掘邻域，Spark大数据技术。首先使用Spark的RDD进行数据变换，得到归一化的LabeledPoint格式的样本集，并分成训练集和测试集；其次采用Spark的RDD进行数据变化，求样本间的距离，确定领域半径，根据邻域三支决策模型将整个训练集中的样本划分成正域样本，边界域样本和负域样本；然后分别对边界域样本，负域样本进行过采样；最后调用Spark Mllib机器学习算法，验证采样效果。本发明有效解决大规模不平衡数据集在机器学习和模式识别领域中的分类问题。