基于模糊集的数量型关联规则算法研究

摘要

在信息爆炸的时代，信息过量已经成为大家面对的一个新的问题。人们迫切需要一些新的强有力的数据分析方法及工具来自动化、智能化地将海量的数据转化为有用的信息和知识。数据挖掘正是这样一种技术。其中，关联规则发现是数据挖掘中最重要的任务之一，它的目标是发现数据集中所有的频繁模式和强关联规则。目前，对于布尔型属性关联规则挖掘的研究相对比较成熟，但是对于数量型属性关联规则挖掘问题还需要进行广泛地研究。 解决数量型关联规则挖掘问题的一个非常重要的方法就是将其转换为布尔型关联规则挖掘的问题。对于数量型属性当属性全部取值是有限个数时，只需将每个属性值映射为一个布尔型属性即可，当属性的取值范围很宽时，则需将其划分成为若干个区间，然后将每个区间映射为一个布尔型属性。然而在划分区间时往往容易出现一些问题，例如：若区间划分过小，即区间的划分个数过多时，会造成每一个单个区间的支持度都很低；将值划分成区间时，可能会造成一些信息丢失；在处理高偏度的数据时，连续属性离散化很难有效地体现出数据的实际分布情况；存在划分边界过硬的弱点等等。因此，对数量型关联规则挖掘算法的研究就转化为如何对数量型属性定义域的合理划分问题。虽然已经有人提出使用模糊集理论来解决这些问题，但是对于算法的具体实现的研究仍值得不断探索和深入。 本文先阐述了有关数据挖掘的一些主要技术以及与关联规则相关的问题，接着讨论了模糊集合、模糊相似矩阵、模糊等价矩阵等模糊集理论的原理及特性，以基于模糊等价矩阵的模糊聚类方法为基础提出了分类数不确定的FEM-TC算法，描述了该算法实现的一般步骤；通过典型数据直接观察法对算法的正确性与有效性进行了验证；在确定了F统计量作为评判分类效果优劣的标准之后又对其中的关键步骤，即数据规格化和构造模糊相似矩阵，各自采用不同方法的分类结果进行了多方面的对比分析，确定了最佳的模型。然后，以基于目标函数的模糊ISODATA聚类方法为基础提出了分类数确定的FMI算法以及检验该算法分类效果的指标，描述了算法的具体实现，同样也使用一些典型的数据对FMI算法的正确性及有效性进行了验证与分析，明确了初始模糊划分矩阵的一些特点。 在研究了对数量型属性进行分类或者区间划分的两种算法之后，本文又对经典的Apriori算法进行剖析，并在如何发现频繁项集和生成关联规则等方面对经典的Apriori算法进行了改进，即利用去尾法求子集再交叉关联，只需一次扫描数据库即可得到满足要求的关联规则。之后，本文又探讨了在计算支持度和置信度时如何合理使用模糊分类过程中产生的隶属度的值，提出了一些新的基于模糊隶属度的支持度与置信度的计算方法。最后，对某地区源头式煤税监控系统中的数据进行了挖掘分析应用，在一定程度上再次验证了本文所提出的几个算法的有效性和可用性，并展望了以后的研究方向。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究的背景

1.2选题的意义

1.3本文的研究内容与研究方法

1.4本文的组织结构

第2章关联数据挖掘与模糊集理论

2.1数据挖掘概述

2.2关联规则挖掘

2.3模糊集理论

第3章模糊分类算法

3.1模糊关系

3.2 FEM-TC算法

3.3 FMI算法

3.4小结

第4章模糊关联规则挖掘

4.1改进的Apriori算法

4.2数量型属性关联挖掘

4.3模糊关联规则

4.4小结

第5章应用与验证

5.1应用系统简介

5.2模糊关联挖掘的过程及结果分析

5.3小结

第6章总结与展望

6.1总结

6.2展望

参考文献

致谢