一种基于Spark平台的频繁项集挖掘方法

摘要

本发明涉及一种基于Spark平台的频繁项集挖掘方法，属于数据挖掘技术领域。本发明基于Spark大数据处理框架，提出了一种新颖的BitMapFIM‑Miner算法，并行化处理数据集，且不需要对数据集进行多次扫描，基于分治的思想，对事务长度大于一定阈值的事务进行分割，然后使用位操作的方法分别计算生成频繁项集，最后将各部分得到的频繁项集进行汇总合并。使用位操作的方法加速了频繁项集的挖掘速度，大大提高了算法的执行效率；通过理论分析和实验验证发现对过长的事务进行分割，在保证结果准确的同时可以高效地得到频繁项集，为频繁项集挖掘方法提供了一种新的思路。