基于关联规则的Web日志挖掘研究及在电子政务中的应用

摘要

Web日志记录了用户对Web站点访问信息,保存有大量的路径信息,对这类信息的分析有利于网站设计人员掌握用户的喜好和访问习惯,并可以为网站的结构优化和页面重组提供帮助。日志数据的分析可以通过统计数据的形式,比如统计经常被访问的页面集、统计经常需要分析的重要表格数据、分析网站找出一般的访问路径模式等。Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,从而解决上面提出的各种问题。 本文首先对Web数据挖掘和web日志挖掘进行了研究,指出了其具体内容和二者的关系,同时对Web日志的预处理进行了分析研究,描述了面向电子政务的点击流数据预处理方法,设计了相关的数据库表和实施预处理的流程算法。通过对经典FP-growth算法进行分析,提出了FP-growth关联规则挖掘的改进算法,通过性能比较,指出改进算法的性能在时间上得到了提高。论文进一步讨论了在原有先锋电子政务系统的基础上,将数据挖掘中关联规则FP-growth的改进挖掘算法应用到电子政务Web日志挖掘系统中。经过对关联规则算法的研究和改进,采用了改进的FP-growth算法对经过数据预处理的点击流数据进行了挖掘,并分析挖掘结果,指出网站结构的不足,从而对网站结构建设及政务系统的改进提出意见。 在论文总结展望部分,讨论了目前研究工作中需要进一步完善的问题,指出了今后的研究方向。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景和意义

1.1.1研究背景

1.1.2理论及实际意义

1.2 web日志挖掘的现状

1.3本文研究的主要内容

1.4本文的章节结构

第2章点击流综述

2.1什么是点击流

2.2 Web服务器日志

2.3本章小结

第3章Web数据挖掘与Web日志挖掘

3.1数据挖掘概述

3.2 Web数据挖掘

3.2.1 Web数据挖掘的定义

3.2.2 Web数据挖掘的分类

3.2.3 Web数据挖掘的对象

3.2.4 Web数据的特点

3.3 Web日志挖掘

3.3.1 Web日志挖掘的定义

3.3.2 Web日志挖掘的应用领域

3.3.3 Web日志挖掘的过程

3.4本章小结

第4章点击流数据的预处理

4.1点击流数据预处理概述

4.1.1点击流分析中的相关名词术语

4.1.2数据预处理的必要性

4.1.3点击流数据预处理的一般过程

4.2面向电子政务的预处理方法设计

4.2.1数据库设计

4.2.2实时预处理的流程算法

4.3政府网站日志预处理方法

4.4本章小结

第5章FP-growth关联规则算法及改进

5.1关联规则的概念

5.1.1基本概念及问题描述

5.1.2 Apriori算法及分析

5.2 FP-Growth挖掘算法及其相关性质

5.2.1 FP-Growth算法的提出

5.2.2 FP-growth算法描述及示例

5.3 FP-growth改进算法的提出

5.3.1 FP-tree算法的优点

5.3.2 FP-growth算法的缺点

5.4 FP-growth改进算法的设计与实现

5.5 FP-growth改进算法应用实例

5.6 FP-growth改进算法与原算法性能比较

5.6.1实验的环境及数据

5.6.2实验结果

5.7本章小结

第6章Web日志挖掘在电子政务中的应用

6.1电子政务平台简介

6.2本人在平台上的工作

6.3日志挖掘系统的体系结构

6.4用户功能模块设计及分析

6.4.1预处理模块

6.4.2基本分析模块

6.4.3智能分析模块

6.5用改进算法对网站日志进行挖掘

6.5.1挖掘结果的表达和分析

6.6发现的问题和网站结构建议

6.7本章小结

第7章总结与展望

参考文献

攻读学位期间的科研成果

致谢