基于Hadoop的Apriori算法改进与移植的研究

摘要

目的：
　　随着计算机技术和互联网的飞速发展,Web2.0的成熟与广泛应用,数据呈现爆炸式增长,传统的数据挖掘算法在处理海量数据时效率低下,云计算的出现为其改进带来了新的方式。云计算通过集群威力,实现了对海量数据的可靠存储和高速计算。Hadoop作为一款比较成熟的开源云计算框架,以其高效、可扩展、低成本等优点在数据挖掘的相关领域得到了广泛应用。基于此,本文将Hadoop与典型的数据挖掘系统进行整合,并选择了新的数据挖掘系统的算法模块部分中应用较为广泛的Apriori算法进行改进,以提高其在处理海量数据时的效率。
　　方法：
　　本文采用的研究方法包括:文献研究法,结构化方法,实例分析法和对比分析法。文献研究法可以了解相关研究的现状,还为本文的研究提供理论参考;结构化方法是系统分析常用的方法,对基于Hadoop的云数据挖掘系统架构的分析具有指导意义;通过实例分析法阐述了传统Apriori算法的执行流程并论证了改进算法的可行性;通过对比分析法,分析了改进算法的优势。
　　结果：
　　(1)结合典型的数据挖掘系统架构,将其与Hadoop进行整合,提出了基于Hadoop的数据挖掘系统架构,并对各个功能模块进行了简要阐述。
　　(2)在对Apriori算法进行了详细阐述的基础上,针对其在处理海量数据时存在的瓶颈,利用MapReduce编程模式,本文提出了基于数据库划分的并行化改进的思想。通过对改进算法的详细阐述和设计,结合实例论证了改进算法的可行性,并对改进算法进行了分析。
　　(3)通过实例分析,得到改进算法具有更高的效率,降低了时间复杂度和空间复杂度。
　　结论：
　　(1)云计算给数据挖掘算法的改进带来了新的方式,云数据挖掘将成为未来的研究趋势。
　　(2)本文的研究具有一定的意义,它为数据挖掘其它算法的改进提供了参考。越来越多的算法将被并行化移植到Hadoop云数据挖掘平台。

目录

封面

声明

目录

中文摘要

英文摘要

1.绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.3 本文主要工作

1.4 本文组织结构

2.Hadoop核心架构研究

2.1 Hadoop概述

2.2 Hadoop MapReduce编程模型

2.3 Hadoop分布式文件系统HDFS

2.4 本章小结

3.基于Hadoop的数据挖掘系统分析

3.1 数据挖掘概述

3.2 典型的数据挖掘系统结构[32]

3.3 基于Hadoop的数据挖掘系统的分析与设计

3.4 本章小结

4.Apriori算法相关理论

4.1 Apriori算法简介

4.2 Apriori算法涉及的概念

4.3 Apriori算法描述

4.4 Apriori算法的应用

4.5 本章小结

5.Apriori算法的改进与移植

5.1 改进思想

5.2 Apriori移植

5.3 算法设计

5.4 算法分析

5.5 本章小结

6.总结与展望

6.1 总结

6.2 展望

致谢

参考文献

文献综述

附录（攻读硕士学位期间发表的论文）