基于Hadoop平台的改进关联规则挖掘算法

摘要

数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制.针对该问题,对传统挖掘算法进行改进.借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取.实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性.