大数据环境下的高效分布式增量序列挖掘

摘要

本文提出一种基于MapReduce架构的高效分布式增量序列模式挖掘算法(Incremental Sequential Pattern Mining,IncSPM),用于解决大数据环境中每当数据增加时就更新序列模式的问题.该算法利用后向挖掘算法来有效利用先前挖掘生成的序列模式,同时设计同现反转映射(Co-occurrence Reverse Map,CRMAP)数据结构来处理候选序列的组合爆炸问题,最后设计了新的候选生成和早期修剪机制以加快挖掘过程.用两种真实数据集对本文提出的算法进行了评估,实验表明与其他方法相比,本文算法在执行时间、内存消耗和扩展性方面均有实质性的提高.