Web教学资源采集中超链接可采集度评价研究

摘要

随着现代信息技术的高速发展，网络已经成为知识获取与利用的重要途径。网络中的资源异常丰富，然而分布也十分广泛，组织性很差。面对海量的网络资源，如何快速、有效地获取人们感兴趣的主题资源成为知识获取的一个重要问题。主题资源的自动获取主要通过对网络超链接的采集来实现，而主题资源获取的关键问题之一就是对网络中超链接是否采集的评价方法。
　　 本文设计了一个基于贝叶斯网络的主题超链接评价系统，主要实现了在web教学资源获取的过程中对超链接是否采集进行评价，以指导网络爬虫进行有方向地爬行和采集。
　　 首先，本文介绍了web主题资源获取的概念和意义，对主题资源采集的相关理论与技术进行了阐述和比较，对网络主题资源的分布形态进行了探究，并重点分析了影响网络超链接建立的影响因子。
　　 接着，本文介绍了贝叶斯网络的基本概念、应用领域以及相关的理论与技术，并提出了基于贝叶斯网络的web超链接评价方案。首先将网络超链接的影响因子抽象化为贝叶斯网络中的变量;然后经过网络结构的学习、参数学习，建立起关于超链接可采集度评价的贝叶斯网络;最后利用该网络对新的超链接是否采集进行评价和预测。
　　 然后，针对Web主题资源采集中超链接的评价问题，根据实际情况选择并改进了贝叶斯网络构建过程中的方法与技术，通过将先验知识与测试数据相结合，将二者的优势融合在一起，减少了计算量，提高了算法效率。
　　 最后，实现了基于贝叶斯网络的超链接可采集度评价系统。从多个站点下载了5000多个超链接用于效果测试。实验结果表明，贝叶斯网络可用于超链接可采集度的评价，并能取得良好的效果。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究现状

1．3 本文的主要工作和结构安排

1．3．1 主要研究内容

1．3．2 主要技术与研究方法

1．3．3 论文结构

第2章 相关技术研究

2．1 主题资源自动采集技术

2．1．1 主题爬虫技术

2．1．2 主题爬行与超链接评价算法

2．2 贝叶斯网络技术

2．2．1 贝叶斯网络定义

2．2．2 贝叶斯网络学习

2．2．3 贝叶斯网络推理

第3章 web教学资源采集中超链接评价算法设计

3．1 web教学资源的网络分布形态研究

3．1．1 web教学资源概念界定

3．1．2 web主题信息资源分布形态

3．1．3 超链接主题特性的影响因子

3．2 算法设计概述

3．2．1 web主题资源自动采集过程

3．2．2 贝叶斯网络在超链接评价中的应用

3．3 贝叶斯网络节点

3．3．1 贝叶斯网络节点定义

3．3．2 节点变量的取值范围

3．4 贝叶斯网络学习

3．4．1 贝叶斯网络结构学习

3．4．2 贝叶斯网络参数学习

3．5 贝叶斯网络推理

第4章 超链接评价系统原型实现与结果分析

4．1 关键模块设计与算法实现

4．1．1 贝叶斯网络结构学习模块

4．1．2 贝叶斯网络参数学习模块

4．1．3 超链接评价模块

4．2 实验数据与结果分析

4．2．1 评价指标

4．2．2 实验数据准备

4．2．3 实验结果分析

第5章 总结与展望

5．1 本文研究工作总结

5．2 工作展望

参考文献

致谢