基于二阶分段式的Apriori算法优化

摘要

针对数据的复杂多样性以及Apriori算法的低效问题,提出依托Spark计算框架的二阶分段式算法优化模型.基于K-Means方法设计并行聚类分析算法,采用该算法对多维多属性值数据类型进行聚类分析,提高数据差异性,降低数据规模.通过"字典表"化存储模式压缩数据量,采用"与"操作降低I/O和去候选频繁项集优化Apriori算法,利用优化后的Apriori算法挖掘聚类后数据的关联规则.通过算法分析及实验验证,当数据量达到"拐点"时优化后的算法模型相对于原Apriori算法执行效率提高47％以上,且不受数据复杂度和噪声影响,提高了规则的形成效率和鲁棒性.