一种基于文本分类的主题网络爬虫方法和系统

摘要

本发明提出一种基于文本分类的主题网络爬虫方法，包括：S1、接收主题，初始化URL任务队列；S2、从URL任务队列取出一个爬虫任务，获取网络文档内容；S3、获取所述网络文档内容的分类；S4、判断所述分类与主题是否相同；如果相同，则提取所述网络文档中的URL，并将其加入URL任务队列；如果不相同，且URL任务队列中还有任务，则执行步骤S2；S5、循环执行步骤S2‑S4，直至URL任务队列中没有任务。通过本发明，使得分类模型能够学习到网络文本的特征，可以有效提升分类任务的分类准确度。