基于MapReduce的隐私保护的关联规则挖掘算法的研究

摘要

主要针对关联规则中的Apriori算法在执行过程中产生大量候选集和重复扫描数据库会使串行算法的时间复杂度高和执行率低的缺点,提出了一种基于MapReduce的并行关联规则挖掘算法,对传统的关联规则算法进行并行优化.在Hadoop平台上进行了单机测试和集群测试.分析得出基于MapReduce的关联规则算法克服了串行算法产生大量候选集和重复扫描数据库的两大缺点,从而提高了执行效率.此外,针对目前数据隐私泄露的严重现象,在进行并行优化的数据挖掘之前,使用加随机数的方法来保护数据的隐私,并验证了保护数据在关联规则挖掘中保留了高可用性.