基于SOM神经网络和模糊聚类的Web日志增量挖掘研究

摘要

随着信息爆炸时代的来临,数据动态更新的速度加快,网民面对海量的数据信息往往显得无从下手,出现了所谓的“信息过载”现象。为了在大量的数据中提取出人们感兴趣的知识,一种根据用户浏览Web站点时留下的一系列点击动作的记录,推测用户的需求和偏好,为用户提供个性化推荐技术的研究就逐渐成为当前一个重要的课题。
　　首先,本文综合考虑了经典的SOM神经网络和模糊聚类算法的特点,提出了一种基于SOM神经网络和模糊聚类的挖掘算法。通过预设一个较大的输出神经元个数,利用SOM神经网络对数据集进行粗聚类,得到粗聚类中心集。接着将粗聚类中心集作为模糊聚类算法的输入参数,对原始数据集进行细聚类,并输出聚类中心集。最后通过类合并算法判断聚类是否需要合并,并输出最后的聚类集合。由于改进的算法采用了SOM粗聚类输出的聚类中心作为模糊聚类算法的初始聚类中心,解决了模糊聚类算法的多个随机初始聚类中心可能出现在同一个聚类中,导致最终聚类效果不理想的问题。算法中采用了类合并算法,使得模糊聚类算法并不需要人为指定聚类的个数,降低了模糊聚类算法对初始聚类中心的个数过于依赖的问题,并能够发现不同形状的簇。
　　其次,本文在基于SOM神经网络和模糊聚类的挖掘算法基础上设计了一种Web日志增量挖掘算法。该算法对噪音不敏感,充分利用了上次的挖掘结果,能够快速地进行增量更新,适用于对数据更新频繁的数据库进行增量挖掘。特别是对Web日志这类数据量相对比较大,更新频繁的动态数据库,该算法有比较明显的优势。
　　最后,本文设计并实现了Web日志增量挖掘模型,通过对预处理过的Web日志数据进行了多次实验分析,对本文提出的算法的性能进行了评估。实验结果表明本文提出的算法相对于传统的聚类算法具有更好的稳定性和适应性,能够处理动态数据库增量更新问题。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 引言

1.1 研究背景和选题意义

1.2 国内外研究现状

1.3 论文的主要内容

1.4 本文的组织结构

第2章 Web日志挖掘的原理与相关技术

2.1 Web挖掘

2.2 Web日志挖掘

2.3 Web日志预处理

2.4 SOM神经网络理论

2.5 模糊聚类理论

2.6 小结

第3章 基于SOM神经网络和模糊聚类的挖掘模型设计

3.1 改进算法思想

3.2 模糊聚类初始中心集的选取

3.3 类合并算法

3.4 改进的挖掘算法

3.5 小结

第4章 基于改进算法的Web日志增量式挖掘模型

4.1 基本概念和理论

4.2 增量问题分析

4.3 类分裂算法

4.4 基于改进算法的Web日志增量式挖掘模型

4.5 小结

第5章 实验验证及分析

5.1 实验目的

5.2 实验开发平台环境

5.3 聚类评估系数

5.4 实验数据准备

5.5 Web日志增量式挖掘模型实现

5.6 实验结果与分析

5.7 小结

第6章 总结与展望

6.1 论文的总结

6.2 展望

致谢

参考文献

攻读学位期间的研究成果