基于社会网络分析的Web数据挖掘研究

摘要

随着互联网的快速发展，网络上的网页数量呈现爆炸式的增长。搜索引擎虽然能够在一定程度上给出相关主题的网页搜索结果，但大部分搜索引擎搜索范围小，搜索结果很大一部分与用户搜索要求无关。如何从数以万亿的网页中准确的寻找到需要的网页，成为一个亟需解决的问题。Web上存在一类权威网页，它们具有较高的可信度，被大部分相关主题的网页所链接。如果搜索引擎在给出搜索结果时，给出的是权威网页，那么就可以大大提高搜索质量与搜索效率。
　　社会网络分析最初是用于分析人类群体关系，寻找群体核心成员的。Web上的网页链接关系如同现实社会中人与人的关系。本文将社会网络分析应用于网页挖掘，研究了社会网络分析法在Web数据挖掘的应用。
　　文中首先对Web数据挖掘进行了相关阐述，然后对社会网络分析方法进行了详细介绍，并对各类社会网络分析软件进行了对比，选取了UCINET作为实验的分析软件。同时详细介绍并开发了实验所用到的网络爬虫。
　　本文提出了基于社会网络分析的Web数据挖掘方法，并详细介绍了方法的工作原理。通过给定关键字，利用基于PageRank算法的Google搜索引擎获取种子URL，并通过自己开发的网络爬虫对种子URL进行给定深度的爬取，获取实验URL集。类似于利用社会网络分析挖掘核心人物一样，对获取到的URL集进行中心性分析、凝聚子群分析，从而挖掘出给定关键字的权威网页。实验结果表明，基于社会网络分析的Web数据挖掘可以有效地对权威网页进行挖掘。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景

1.2 国内外研究现状

1.3论文主要内容与组织结构

1.4 本章小结

第二章 Web数据挖掘与社会网络分析方法介绍

2.1 Web数据挖掘

2.2 社会网络

2.3 社会网络分析方法

2.4 权威与PageRank算法

2.5 本章小结

第三章 网络爬虫设计与社会网络分析软件选取

3.1 网络爬虫的设计

3.2 社会网络分析软件选取

3.3 本章小结

第四章 方案设计与数据处理

4.1 方案设计

4.2 实验数据收集与处理

4.3 本章小结

第五章 实验与结果分析

5.1 实验过程

5.2 实验结果分析

5.3本章小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

攻读硕士学位期间公开发表的论文及科研情况