基于Spark内存计算大数据平台的CLR多标签数据分类方法

摘要

本发明提供一种基于Spark大数据平台的CLR多标签分类方法，涉及数据挖掘技术。本发明通过特征与标签的关系将每个数据集划分成一个区；将训练集中的数据集随机抽取一部分当作测试集，剩余的数据集当训练集建立基分类器，再将测试集用来测试分类器并修改其基分类器的参数，从而在训练的多个基分类器中选取最好的一个基分类器作为本数据集的基分类器。利用最终的多个基分类器对预测集进行预测。本发明结合了CLR多标签学习算法和Spark基于内存的高效计算理论，充分利用了CLR算法中标签转化后的无相关性，降低了不同的基分类器之间的干扰性，再充分利用Spark的计算框架的运行速度，能有效的对数据进行挖掘。