一种基于变异思想改进粒子群算法的主题爬虫系统及方法

摘要

本发明公开了一种基于变异思想改进粒子群算法的主题爬虫系统及方法，涉及种子集选取、页面初始权值计算与算法改进三个部分。种子集选取模块主要是基于主题相关页面的点击率获取3种不同类型的种子页面，其中包括人工去重操作；页面初始权值计算模块包括网页文本预处理、关键词选择及权值计算三个步骤；算法改进模块是基于变异思想改进粒子群算法。本爬虫系统对主题爬虫寻优精度不高的问题提供了思路。