海量数据上挖掘关联规则的并行算法

摘要

针对目前关联规则挖掘算法中数据库规模很大时算法执行时间太长的问题.指出了并行计算是解决该问题的一个有效方法.利用新提出的可以忽略仅仅在少于1/4的结点机上的局部频繁项集,给出了一种新的并行随机抽样方法,并利用机群并行计算机的自治能力和I/O高度并行的特点,提高了抽样算法对海量数据的处理能力和效率.理论分析和实验数据显示,该算法的加速比接近于处理机的个数p,通信复杂性为处理机的个数p的对数,具有良好的扩展性和海量处理能力,且精确度较高.