基于本体的主题式网络爬虫系统构建方法

摘要

本发明公开了一种基于本体的主题式网络爬虫系统构建方法，该方法包括以下步骤：(1)解析Web页面；(2)预处理当前页面的文本信息得到单词层信息；(3)把单词层信息转化为本体信息；(4)计算页面的主题相关度；(5)主题相关度大于设定值则提取当前所有出链接所指向的URL，否则转至步骤(7)；(6)如果所指向URL已被访问过，则提取下一链接；否则按照该链接所在页面的主题相关度大小插入优先等待访问队列；(7)从优先等待访问队列中选取第一个URL，也就是优先级最高的进行访问；(8)重复执行步骤(1)至(7)，直到出现没有满足条件的新URL。本发明的优点是结果准确率高且计算以及存储开销较小。