一种基于Flink平台和并行Apriori算法的数据挖掘方法

摘要

本发明公开了一种基于Flink平台和并行Apriori算法的数据挖掘方法，包括如下步骤：S1、频繁1项集的生成；S2、连接操作：利用所述频繁1项集作为输入数据，经过连接操作生成候选项集；S3、映射操作：利用哈希索引树查询所述候选项集是否在所述事务数据中，若在事务数据中，则进行映射操作并输出映射操作结果；S4、归约操作，得到频繁2项集；S5、迭代：重复步骤S2至S4进入下一次迭代，直到没有输入数据后，得到的频繁k+1项集作为最终结果进行输出。本发明的方法避免了I/O消耗过大和迭代延迟的问题，使得在迭代次数较多和迭代输出结果较大的情况下，数据的挖掘速度得到较大的提高，同时节约计算的时间。