加速大规模数据集的离群点检测

摘要

针对现有基于距离的离群点检测算法在处理大规模数据时效率低的问题,提出一种基于聚类和索引的分布式离群点检测(DODCI)算法.首先利用聚类方法将大数据集划分成簇；然后在分布式环境中的各节点处并行创建各个簇的索引；最后使用两个优化策略和两条剪枝规则以循环的方式在各节点处进行离群点检测.在合成数据集和整理后的KDD CUP数据集上的实验结果显示,在数据量较大时该算法比Orca和iDOoR算法快近一个数量级.理论和实验分析表明,该算法可以有效提高大规模数据中离群点的检测效率.