一种基于全局频繁模式的数据挖掘算法及系统实现

摘要

在国际一体化大背景下，行业内及行业间的事务往来空前频繁，信息交流频率呈爆炸式增长。信息源由以往的单一环境、较小数据量、静态存储方式向分布式环境、流数据形式、动态处理逐渐转换。如何利用有限的硬软件资源从源源不断的数据流中提取出有价值的信息是目前IT行业炙手可热的研究课题。
　　 分布式环境赋予数据流频繁模式挖掘新的特性。单主机参与数据频繁项挖掘已经不适合目前海量数据实时产生的特征。传统的分布式数据流全局频繁模式挖掘保留的候选项过多，导致内存占用较大、计算资源浪费过多，进而造成网络通信代价较高，使得资源的合理利用率大打折扣。基于改进后的频繁模式挖掘模型能将候选项的规模控制在一定范围内，从而提高模式挖掘效率。由于采取了比较合适的保留候选项的条件，模式挖掘的正确性也可以得到保障。
　　 在分布式环境下，针对多源数据流全局频繁模式挖掘利用多站点的计算能力，将异信息源数据分别在本地挖掘。通过改进频繁模式树（FP-树）结构，减小数据项存储空间。利用网络通信技术将一次挖掘后的数据互通融合，实现了前端处理引擎向后端发送较小的约束模式信息。同时，通过前后处理引擎的信息交互，实现了动态控制约束模式信息的量级，从而大大缓解了模式信息频繁更新的通信压力。

目录

文摘

英文文摘

声明

1 绪论

2 一种频繁模式挖掘方法

3 基于全局频繁模式的数据挖掘原型系统的设计与实现

4 性能分析与评估

5 总结与展望

致 谢

参考文献

附录 攻读学位期间参与的科研项目