基于MapReduce的分布式贪心EM算法

摘要

针对一种贪心EM算法在处理大规模数据集时收敛速度急剧减慢的问题,提出了一种基于MapReduce的贪心EM算法。该算法首先通过Map(映射)实现数据分发,对每个节点进行处理并生成相应的键值对,然后利用Reduce(归约)将生成的键值对进行整合,最终通过获取最优的高斯混合模型,进而得到模型成分数。通过与传统EM算法、贪心EM算法的运算结果进行比较,实验结果证明该算法在保证准确获取高斯混合模型的模型成分数的前提下,明显地提高了收敛速度。