基于Spark的分布式大数据并行化聚类方法研究

摘要

为提高异构复合存储数据库中分布式大数据的检索识别能力,提出一种基于Spark融合聚类的异构复合存储数据库中的分布式大数据并行化聚类方法,构建异构复合存储数据库存储结构模型,提取数据库中的分布式大数据的统计序列特征量,采用相空间结构重组方法进行分布式大数据的信息特征挖掘,在高维相空间中实现分布式大数据关联信息检测和特征挖掘。对提取的特征量采用Spark融合聚类方法实现并行聚类,结合自适应的学习算法实现数据聚类中心的自动搜索,提高聚类的收敛性。仿真结果表明,采用该方法进行异构复合存储数据库中分布式大数据聚类的自适应性能较好,聚类准确度较高,误分率较低,具有很好的数据库检索和特征识别能力。