基于频繁模式的数据挖掘算法分析与改进

摘要

在面临数据爆炸的年代，数据挖掘已经体现出它越来越重要的作用。近年来涌现出很多数据流的应用，比如网络日志、传感器网络等，流数据挖掘是数据挖掘的一个新的研究方向，已逐渐成为许多领域的有用工具。由于这些数据的数据量大，数据分布变化更新快，结构类型较多等特点使得传统的数据挖掘方法很难有效的处理新的模式。 发现最大频繁项目集是多种数据挖掘应用中的重要问题，是许多挖掘方法的基础。在应用中用户需要调整最小支持度，以发现更有用的最大频繁项目集。 频繁模式的挖掘已有很多成熟的算法，其中Apriori算法和FP TREE算法就是其代表。Apriori算法的特点就是在于其对于频繁模式的挖掘从单项开始，每次剪裁一点，利用Apriori性质，有效避免了对很多不可能的项的搜索过程。而Apriori算法的一个有问题的方面是其候选项集的生成，而另一种算法FP tree则使用分而治之的策略，将数据中的信息压缩成一个描述频繁项相关信息的频繁模式树，递归地增长频繁模式借助模式和数据库划分。这里在FP tree算法的基础上提出一些改进，并与其他算法进行比较分析。此算法通过数据流中的频繁模式进行分类，在压缩数据的同时保存了数据中的分类信息。实验证明，这种算法比其他算法在进行模式分析时有更高的准确性．并且可以很好地处理训练集包含大量缺失取值的应用。 综上，改进的FP tree算法在面对大数据量的流数据挖掘中，应用频繁模式的数据挖掘技术可以很好的解决大数据量的流入，融合问题。而且由于窗口机制的引入，数据归类无论是准确性还是运行时间都有了较大的提高，而窗口的大小也有一个很好的控制。

目录

文摘

英文文摘

声明

第一章绪论

1.1数据挖掘产生和发展状况

1.2数据流挖掘内容与意义

1.3论文的结构

第二章数据挖掘

2.1数据挖掘的术语

2.2数据挖掘的基本方法

2.2.1数据挖掘介绍

2.2.2数据挖掘的系统框架和基本处理过程

2.2.3数据挖掘的数据准备

2.2.4数据挖掘的方法和相关模型

2.3数据挖掘现状及面临问题

2.3.1数据挖掘的研究现状

2.3.2数据挖掘面临的问题

2.3.3进行数据挖掘应该注意的问题

2.4本章小节

第三章流数据挖掘

3.1流数据挖掘介绍

3.1.1什么是流数据

3.1.2流数据挖掘的特点

3.1.3流数据挖掘的难点

3.2流数据挖掘的研究现状

3.2.1聚类(CLUSTERING)算法

3.2.2分类(CLASSIFICATION)算法

3.2.3频率计数(FREQUENCY COUNTING)算法

3.3流数据挖掘的应用

3.3.1卫星图片流

3.3.2电话数据流

3.4对流数据挖掘的展望

3.5本章小结

第四章：频繁模式算法分析与改进

4.1频繁模式概述

4.2频繁模式基本概念

4.3 常用的对频集算法的几种优化方法

4.4频繁模式的APRIORI算法

4.4.1APRIORI算法：使用侯选项集找频繁项集

4.4.2由频繁项集产生关联规则

4.4.3 APRIORI核心算法分析

4.4.4其核心部分代码简要描述如下

4.5常见的APRIORI算法的优化

4.5.1散列

4.5.2事务压缩

4.5.3杂凑

4.5.4划分

4.5.5选样

4.5.6动态项集计数

4.6频繁模式挖掘改进：FP-TREE频集算法

4.7在FP-tree算法基础上的改进

4.8分类算法

4.9算法速度比较

4.10本章小结

第五章频繁模式挖掘在煤矿安全监测中的应用

5.1应用背景

5.2使用FP-TREE算法的优势

5.3煤矿监测数据分析过程

5.4煤矿监测数据

5.5数据处理

5.6实验结果及分析

5.7总结

参考文献

致谢

在学期间发表的学术论文和参加科研情况