基于特征加权的分布式大数据相关性挖掘方法

摘要

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法.对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值.设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选.根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点.利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘.实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值.