基于浏览行为量化计算的用户兴趣网页分析

摘要

Web已成为人们获取信息的一个重要途径，随着Web信息的日益增长，人们不得不花费大量的时间去搜索自己需要的信息。目前，搜索引擎已成为人们最普遍使用的信息检索的工具。然而，目前大多数的搜索引擎提供的服务还不能令用户完全满意，尤其是针对某个具体用户的个性化服务。如何准确地收集用户兴趣网页，是各种个性化服务技术或系统研发的重要基础，也是个性化服务的关键环节，并决定了系统提供个性化服务的质量。本文以一个完整的个性化搜索引擎服务的推荐系统实现为背景，完成了以下几个方面的研究工作：
　　 ①从用户兴趣角度对各种浏览行为的重要性进行了细致分析。用户在浏览网页时的行为能从某种程度反映用户的浏览兴趣，将这些运用于个性化服务领域我们可以发现用户的浏览行为和用户对网页的兴趣度之间存在某种关系。本文对影响用户兴趣的浏览行为进行了分析，并针对现阶段用户行为分析中的不足之处，提出了在行为分析中考虑用户平均行为的方法。
　　 ②提出了针对不同浏览行为的网页兴趣量化计算方法，并且设计了一种参数自适应的兴趣网页提取技术。提出了以自动提取为主，手工提取为辅的兴趣网页提取方法。采用参数自适应和非正常网页自动剔除技术，充分利用在提取过程获得的兴趣网页集与非兴趣网页集逐步修正提取参数，达到准确捕获用户兴趣网页的目的，为后面的WEB挖掘提供了可靠、高质量的数据。
　　 ③进而，提出了利用用户搜索词判断边界兴趣网页的方法。针对常用的搜索引擎提出一种搜索词的捕获方法，并利用搜索词建立搜索词典，采用搜索词与用户浏览内容相结合的方法修正了兴趣计算公式，提高了自动提取方式中提取临界点附近兴趣网页的识别精度。
　　 ④针对上面提出的几种方法，在参与开发的个性化搜索原型系统基础上进行了实验分析，验证了方法的有效性。初步实验表明兴趣网页提取的精确率和召回率都比较高，达到了预期目的，可以提高个性化搜索的服务质量。
　　 如今，个性化服务不管是在学术研究中还是在商业应用中都逐渐成为一个热点。本文研究提出的兴趣网页提取模型以及搜索引擎的扩展方法，可以应用于用户个性化信息服务领域、搜索引擎扩展、客户信息管理、电子商务、以及数据挖掘领域等不同领域。

目录

文摘

英文文摘

声明

1绪论

1.1研究现状

1.1.1个性化服务研究现状

1.1.2捕获技术的研究现状

1.2研究方向及意义

1.3论文组织结构

1.4本章小结

2基于浏览行为的网页捕获

2.1用户浏览行为分析

2.1.1浏览行为的特征

2.1.2浏览行为的分类

2.1.3用户浏览行为的选取

2.2用户浏览数据的采集

2.2.1浏览数据的获取途径

2.2.2浏览数据采取手段的选择

2.2.3隐私与保护

2.3实现方法

2.3.1 BHO技术

2.3.2钩子技术

2.3.3自定义IE按钮

2.3.4捕获过程

2.4本章小结

3基于量化计算的兴趣网页发现

3.1基于行为分析的网页兴趣度量化计算

3.1.1浏览行为的计算

3.1.2浏览行为的数据结构

3.1.3网页兴趣度的量化计算

3.2兴趣网页的发现

3.2.1异常网页处理

3.2.2特殊网页的处理

3.3用户行为参数的自适应

3.4本章小结

4基于搜索词的网页兴趣度调整

4.1搜索词的捕获

4.1.1 URL分析

4.1.2捕获搜索词

4.2字符编码转换

4.2.1 Unicode编码

4.2.2 GBK编码

4.2.3 UTF-8编码

4.2.4编码转换

4.3基于搜索词的兴趣度调整

4.3.1搜索词的分词

4.3.2搜索词典的建立

4.3.3基于搜索词的兴趣度调整

4.4本章小结

5实验结果与分析

5.1个性化搜索原型系统介绍

5.1.1个性化搜索原型系统组成

5.1.2兴趣网页提取效果的评价方法

5.2兴趣网页自动提取效果实验分析

5.2.1实验内容和流程

5.2.2实验结果分析

5.3搜索词对边界兴趣网页判定的作用

5.4对兴趣聚类数目的影响

5.5本章小结

6总结与展望

致 谢

参考文献

附录：作者在攻读学位期间发表的论文目录