面向网络用户行为模式发现的数据挖掘技术探索

摘要

自20世纪90年代以来,随着信息技术的高速发展,互联网在人们日常生活和工作中的地位越来越重要。广阔的互联网给人们带来丰富信息资源的同时,也带来了巨大的商机。各种互联网服务和电子商务活动都取得了巨大的进展。用户的需求就是商机,如何从用户在Web服务器上留下的访问信息中找出用户访问行为的规律和模式,成为电子商务服务提供者和数据挖掘研究者关注的焦点,由此产生了对Web日志挖掘技术的研究工作。
　　 本文主要的研究内容是Web日志挖掘中关键步骤的理论和算法改进问题,并针对实例数据对改进的方法进行验证。Web日志挖掘过程中数据预处理工作和模式挖掘工作是两个最主要的阶段。本文首先详细的就数据预处理阶段的各个处理环节进行研究分析,对每个环节的处理原则进行了总结,提出了相应的处理机制和算法实现。重点就用户会话识别方法深入研究,针对目前常见的基于统一固定时间阈值的会话识别方法存在的无法适应页面访问多样性的问题,提出了创新的个性化时间阈值构成方法,并将其和页面引用方法相结合,给出了新的用户会话识别算法,然后通过实验对方法进行了验证。针对模式挖掘过程,本文主要研究从频繁序列模式挖掘的角度进行用户行为模式发现的方法。论文对频繁序列发现的过程进行了分析,从关联规则挖掘算法Apriori出发,重点研究了对该算法进行修改从而应用到频繁序列模式挖掘过程的改进算法。在研究分析该算法执行过程和性能特点的基础上指出了算法存在的缺陷和不足。针对挖掘结果过于冗余的问题,提出了新的改进思路,即引入多重因子约束的方法对挖掘过程进行修正,过滤低价值的访问路径。文章研究并提出了相关因子的构造方法,给出了改进方法的算法实现,并通过实验对比,对算法的优化改进效果进行了验证。

目录

文摘

英文文摘

第一章 绪论

1.1 课题背景与研究意义

1.2 国内外研究发展现状

1.2.1 国外研究发展现状

1.2.2 国内研究发展现状

1.3 本文的主要内容和结构安排

第二章 数据挖掘与Web日志挖掘基本理论

2.1 数据挖掘

2.1.1 数据挖掘的含义

2.1.2 数据挖掘的主要过程

2.1.3 数据挖掘的主要方法

2.2 Web挖掘基本理论

2.2.1 Web挖掘的定义

2.2.2 Web挖掘的一般过程

2.2.3 Web挖掘的分类

2.3 Web日志挖掘基本理论

2.3.1 Web日志挖掘的过程

2.3.2 Web日志挖掘的主要分析方法

2.3.3 Web日志挖掘的应用

2.4 本章小结

第三章 Web日志挖掘的数据预处理研究

3.1 Web日志挖掘的数据来源

3.2 数据预处理的意义

3.3 Web服务器日志文件

3.4 数据清洗

3.4.1 数据清洗的原则

3.4.2 数据清洗的算法研究

3.5 用户识别

3.5.1 用户识别的难点

3.5.2 用户识别的方法研究

3.6 用户会话识别与路径补充

3.7 本章小结

第四章 基于个性化时间阈值的用户会话识别方法

4.1 会话识别的基本概念

4.2 基于时间戳的会话识别方法

4.3 基于时间戳的用户会话识别算法的不足

4.4 基于个性化时间阈值的用户会话识别算法

4.5 实验结果及分析

4.6 路径补充

4.7 本章小结

第五章 用户行为模式发现

5.1 序列模式挖掘的基本概念

5.2 事务识别与MFR算法

5.3 基于关联规则的用户频繁序列模式发现

5.3.1 关联规则与Apriori算法

5.3.2 基于类Apriori算法的用户频繁序列模式发现

5.4 本章小结

第六章 基于多重因子约束的序列模式发现算法

6.1 传统类Apriori算法的不足

6.2 基于多重因子约束的算法改进

6.2.1 页面兴趣度因子

6.2.2 页面重要性因子

6.2.3 基于多重因子约束的算法改进

6.3 实验结果及分析

6.4 本章小结

第七章 总结

7.1 论文工作总结

7.2 存在问题和对未来的展望

致谢

参考文献

修改提纲