基于Spark内存计算大数据平台的OPTICS点排序聚类方法

摘要

本发明提供一种基于Spark大数据平台的OPTICS聚类算法，涉及计算机信息获取和处理技术。本发明通过对并行数据结构划分，得到最优数据集划分并生成对应的RDD，并行计算邻居样本数量和核心距离，对每个分区并行执行OPTICS算法得到每个分区的簇排序并持久化存储，通过簇排序给每个分区赋予簇后，通过合并分区，每个样本能够得到全局的簇号。利用Spark分布式并行技术，找到最优的划分结构，并行计算得到每个分区的簇排序。通过OPTICS的簇排序，用户可以从不同层次结构进行观察数据集的内在聚类结构。该方法可以处理串行算法不能处理的大规模的数据集，并大幅度提高得到聚类结果的时间。