Web日志挖掘中数据预处理算法的研究及实现

摘要

Internet的迅猛发展，尤其是Web的全球普及，使得Web上信息量无比丰富。通过对Web的挖掘，可从Web页面中提取所需的知识：对总的用户访问行为、频度、内容的分析，可得到关于群体用户访问行为和方式的普遍知识，用以改进Web服务设计。更重用的是，通过对这些用户特征的理解和分析，有助于开展有针对性的电子商务活动。 随着数据挖掘和万维网技术的结合，使得从收集到的访问Internet网页的网站日志记录中进行数据挖掘成为可能。将数据挖掘技术应用于Web日志记录，来发现用户访问Web页面的模式，便形成了Web访问模式挖掘。它对于优化站点结构、为不同类别的用户提供个性化服务，有效地实现信息获取和信息推送是非常必要的。Web访问模式挖掘是目前数据挖掘领域的热点课题之一，也是Web日志挖掘的主要目标之一，本文的研究目的是发现更多有意义的序列模式。 本文系统地阐述了从数据挖掘、Web数据挖掘到Web日志挖掘整个过程。通过对基于Web日志的数据挖掘的讨论，说明如何进行Web日志挖掘以及在Web日志挖掘中应采取的数据挖掘技术。针对多页面结构的站点会降低挖掘结果的兴趣性，本文提出了Web日志数据预处理的改进算法-Frame页面过滤算法，实验结果表明，通过过滤用户会话文件中非用户点击产生的subframe页面请求，可以提高日志挖掘结果的兴趣性。

目录

文摘

英文文摘

声明

第一章前 言

1.1研究背景

1.2研究目的和意义

1.3国内外研究现状

1.4本文的工作

第二章Web日志挖掘

2.1数据挖掘

2.1.1数据挖掘的背景

2.1.2数据挖掘的定义

2.1.3国内外数据挖掘的研究现状

2.2 Web数据挖掘

2.2.1 Web技术的历史与发展

2.2.2 Web数据挖掘提出的背景

2.2.3 Web数据挖掘的定义

2.2.4 Web数据挖掘研究分类

2.2.5 Web挖掘特点与难点

2.3 Web日志挖掘研究

2.3.1 Web日志挖掘的定义

2.3.2 Web日志的内容

2.3.3 Web使用记录挖掘的基本流程

2.3.4 Web日志挖掘的难点

第三章Web日志挖掘中的数据预处理

3.1数据预处理

3.1.1预处理数据的重要性

3.1.2数据预处理技术

3.2 Web日志基础知识

3.2.1用户Web访问过程

3.2.2术语解释

3.2.3 Web服务器日志格式

3.3 Web日志预处理过程

3.3.1数据清理

3.3.2用户识别

3.3.3会话识别

3.3.4路径补充

3.3.5事务识别

3.小结

第四章Web日志挖掘中的数据预处理算法的改进

3.I Web日志挖掘中的数据预处理概论

3.1.1 Web日志挖掘的体系结构

3.1.2 Web日志挖掘系统的预处理过程

3.2 Web日志挖掘中的事务识别

3.3改进的Frame页面过滤算法

3.3.1改进的数据预处理过程

3.3.2 Frame页面过滤算法实现

3.3.3改进的Frame页面过滤算法

3.3.4算法实施的试验结果比较

第五章结束语

致谢

主要参考文献

八、附录 发表文章