一种基于Spark框架的增量式频繁项集挖掘方法

摘要

本发明公开了一种基于Spark框架的增量式频繁项集挖掘方法，首先实现一种基于Spark的自适应并行Apriori算法，使用自适应算法来寻找具有更高精度和效率的频繁模式，可以有效解决传统Apriori算法在面对大规模数据时处理能力不足的问题。接着，在并行Apriori算法的基础上实现增量式Apriori算法，能够增量处理动态数据集，大幅减少参与计算的数据量，有效解决Apriori频繁项集挖掘方法的时效性问题。