基于本体学习的智能主题式网络爬虫系统构建方法

摘要

本发明公开了一种基于本体的智能主题式网络爬虫系统构建方法，该方法包括以下步骤：(1)对当前Web页面进行解析；(2)处理得到单词层信息；(3)转化为本体信息；(4)计算页面的主题相关度；(5)页面主题相关度高于设定值高限，则更新页面内容信息集；否则执行(9)；(6)更新各本体兴趣率；(7)进行学习，修改本体类的权值；(8)对本体算法进行优化；(9)顺序提取当前Web页面中的URL；否则转而执行步骤(11)；(10)如果该链接所指向URL已被访问过，则提取下一链接；否则按照该链接所在页面的主题相关度大小插入优先等待访问队列；(11)选取第一个URL；(12)重复执行步骤(1)至(11)。本发明的优点是结果准确率高，计算以及存储开销较小且系统具有较高鲁棒性。