基于Hadoop的大数据关联规则挖掘算法与应用研究

目录

声明

第1章 绪论

1.1 课题来源

1.2 课题研究背景、目的及意义

1.3 相关领域国内外研究现状

1.3.1 关联规则挖掘

1.3.2 并行关联规则挖掘

1.3.3 关联规则挖掘的应用

1.4 论文主要研究内容及目标

1.5 论文组织结构

第2章 关联规则挖掘算法分析

2.1 基本概念

2.1.1 购物篮分析

2.1.2 频繁项集和关联规则

2.2 经典挖掘算法分析

2.2.1 Apriori算法

2.2.2 FP-Growth算法

2.3 PrePost算法分析

2.3.1 数据结构

2.3.2 N-list交叉运算

2.3.3 单路径属性剪枝

2.3.4 挖掘频繁项集

2.3.5 PrePost算法的优缺点

2.4 模式评估方法分析

2.4.1 强规则的误导性

2.4.2 提升度

2.5 分布式平台Hadoop分析

2.5.1 Hadoop概述

2.5.2 并行计算模型MapReduce

2.5.3 分布式文件系统HDFS

2.6 本章小结

第3章 PrePost算法的改进

3.1 Prune-PrePost算法概述

3.2 Prune-PrePost算法原理

3.3 Prune-PrePost算法流程

3.3.1 挖掘频繁2-项集

3.3.2 挖掘频繁k (＞2)-项集

3.4 实验评估

3.4.1 实验设置

3.4.2 Prune-PrePost和PrePost的剪枝策略对比

3.4.3 运行时间对比

3.4.4 内存消耗对比

3.5 本章下结

第4章 基于Hadoop的MRPrune-PrePost算法

4.1 MRPrune-PrePost算法概述

4.2 MRPrune-PrePost算法流程

4.2.1 并行计数过程

4.2.2 并行Prune-PrePost过程

4.2.3 汇总过程

4.3 集群的负载均衡策略研究

4.4 实验评估

4.4.1 实验设置

4.4.2 运行时间对比

4.4.3 内存消耗对比

4.4.4 负载均衡分组策略对比

4.5 本章小结

第5章 滑坡变形规律挖掘应用研究

5.1 研究背景

5.2 滑坡概况及变形特征分析

5.2.1 滑坡概况

5.2.2 滑坡变形特征分析

5.3 滑坡变形诱发因素分析

5.3.1 降雨

5.3.2 库水位

5.4 滑坡监测数据定性化处理

5.4.1 滑坡变形阶段划分

5.4.2 降雨等级划分

5.4.3 库水位等级划分

5.5 基于MRPrune-PrePost模型的滑坡变形规律挖掘

5.5.1 滑坡变形规律挖掘

5.5.2 滑坡变形规律分析

5.6 本章小结

第6章 总结与展望

6.1 研究工作总结

6.2 研究工作展望

致谢

参考文献

攻读硕士学位期间取得的研究成果