Web日志挖掘中数据预处理算法的研究

摘要

Internet的迅猛发展，尤其是Web的全球普及，使得Web上信息量无比丰富。通过对Web的挖掘，可从Web页面中提取所需的知识：对总的用户访问行为、频度、内容的分析，可得到关于群体用户访问行为和方式的普遍知识，用以改进Web服务设计。更重用的是，通过对这些用户特征的理解和分析，有助于开展有针对性的电子商务活动。
　　 Web日志挖掘利用数据挖掘技术分析和挖掘网络日志，获取网站使用情况的有价值模式，应用于个性化服务、网站设计和商业决策等方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用，其中用户识别和会话识别是主要坏节，也是整个过程的基础和关键步骤。本文将对提高用户识别和会话识别算法进行研究。
　　 本文系统地阐述了从数据挖掘、Web数据挖掘到Web日志挖掘整个过程，重点研究了Web日志挖掘技术及其步骤，研究了数据预处理的过程和方法，包括用户识别技术和会话识别技术等。本文的主要工作是，首先提出了一种以活动用户为基础的用户识别算法，它使用IP地址和用户访问截止时间去识别日志中的不同用户，实验结果表明，该算法比基本用户识别算法有着更好的性能，甚至对于小型日志文件系统也适用。其次，给出了会话识别的定义，并对传统的预先设定时间间隔方法进行了优化，在给出算法数据结构的基础上具体描述了算法，实验证明会话质量得到了提高。

目录

文摘

英文文摘

声明

绪论

一 课题的研究背景

二 课题的研究意义

三 课题的研究现状

四 Web日志挖掘的应用现状

五 论文的主要工作和组织结构

第一章 Web数据挖掘

1.1数据挖掘

1.1.1数据挖掘背景

1.1.2数据挖掘的定义

1.1.3国内外数据挖掘的研究现状

1.2 Web数据挖掘

1.2.1 Web技术的历史与发展

1.2.2 Web数据挖掘提出的背景

1.2.3 Web数据挖掘的定义

1.2.4 Web数据挖掘的分类

1.3模式发现

1.4模式分析

1.5 Web挖掘的特点与难点

1.5.1 Web挖掘的特点

1.5.2 Web挖掘难点

1.6本章小结

第二章 基于Web的日志挖掘技术

2.1 Web日志挖掘的提出

2.2 Web日志挖掘的应用

2.3 Web日志挖掘的研究现状

2.4 Web日志挖掘所要解决的问题

2.5 Web日志挖掘的过程

2.6本章小结

第三章 Web日志挖掘系统的数据预处理

3.1 Web日志基础知识

3.1.1用户Web访问过程

3.1.2术语解释

3.1.3 Web服务器日志格式

3.2 Web日志预处理过程

3.2.1数据清理

3.2.2用户识别

3.2.3会话识别

3.2.4路径补充

3.2.5事物识别

3.3本章小结

第四章 Web日志挖掘中数据预处理算法的改进

4.1 Web数据预处理过程

4.2用户识别算法优化

4.2.1基本概念

4.2.2基本用户识别算法

4.2.3基于活动用户的用户识别算法

4.2.4实验结果分析

4.3会话识别算法优化

4.3.1用户会话概念

4.3.2用户会话识别算法的优化

4.3.3会话识别算法描述

4.3.4实验结果分析

4.4本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

致谢