模糊关联规则挖掘算法的应用研究与实现

摘要

近年来，大气环境实时动态监测系统采集了大量的数据，这些海量数据背后隐藏着大量的有用知识，研究者们希望通过对所采集的大气环境监测值的深层次分析，挖掘出其中潜在的有价值的信息。关联规则作为数据挖掘最重要的任务之一，其目标是发现数据库中各语义项间的关联关系，为大气环境的质量分析和预测提供了一种有效的解决方法。
　　大气环境监测数据集通常都是些数量型数据集，传统解决方法是通过数量属性的离散化将数量型关联规则挖掘问题转化为布尔型关联规则，然而这类方法得到的用区间表示的关联规则难以被理解。所以文中采用了模糊关联规则挖掘方法，这种方法能够保证挖掘所得的各模糊语义项间的逻辑语义，但同时也产生了几个问题:如何实现数量型数据集到模糊型数据集的转换，如何挖掘出具有模糊逻辑语义的关联规则，如何解决大规模环境监测数据集中模糊关联规则挖掘问题。本文围绕这些问题，展开了论文的相关研究工作。
　　[1]采用基于CHC遗传模型的模糊划分方法实现了大气环境监测数据值到模糊型数据值的转换。
　　[2]采用了一种改进的FP-Growth算法对本文实验数据集中的模糊关联规则进行挖掘。改进的算法通过在ffp-tree树头表中添加一个tail域，使得新插入的ffp-tree树结点在进行插入操作时不在需要遍历整个side_link域，提高了挖掘效率。
　　[3]针对大气环境监测数据集“大”的特点，实现了基于MapReduce的FP-Growth模糊关联规则挖掘算法。
　　实验证明，通过上述方法挖掘所得到的模糊关联规则能准确表达规则前后件的确定性和渐进性逻辑语义，为大气环境质量分析和预测能够提供有效的参考价值。

目录

声明

摘要

第一章 绪论

第一节 研究背景和意义

第二节 国内外研究现状

1．2．1 数据挖掘技术在环境监测领域的研究现状

1．2．2 模糊关联规则挖掘的研究现状

第三节 本文组织结构

第二章 数量型属性的模糊划分

第一节 问题引入

第二节 基于CHC遗传模型的模糊划分方法

2．2．1 CHC遗传模型设计思路

2．2．2 编码方式及编码规则

2．2．3 种群初始化设计

2．2．4 适应度求值函数的选定

2．2．5 PNX交叉算子的设计

第三节 大气环境监测值的模糊化

第四节 实验分析

第三章 基于ffp-tree树头表改进的FP-Growth算法

第一节 TD-FP-Growth算法分析

第二节 问题的提出

第三节 ffp-tree树头表和结点数据结构的改进

3．3．1 ffp-tree头表单元的改进

3．3．2 ffp-tree树结点结构的优化

3．3．3 实例分析

第四节 算法分析

3．4．1 改进的FP-Growth算法同TD-FP-Growth算法的比较

3．4．2 改进的FP-Growth算法与Apriori算法比较

第五节 本章小结

第四章 基于MapReduce实现FP-Growth算法

第一节 FP-Growth算法中的可并行化点

第二节 FP-Growth算法的MapReduce化

4．2．1 拆分记录项

4．2．2 基于数组索引排序的频繁项集生成方法

4．2．3 构造ffp-tree的MapReduce设计

4．2．4 生成频繁项集的MapReduce设计

第三节 算法性能分析

4．3．1 改进的FP-Growth与MapRecuce化后的FP-Growth的比较

4．3．2 挖掘效率随数据量的变化情况

4．3．3 挖掘效率随Hadoop集群节点数变化

第四节 本章小结

第五章 总结与展望

参考文献

致谢

个人简历