基于校园BBS的舆情系统爬虫应用研究

摘要

在校园BBS的基础上研究了网络爬虫程序的4个关键模块:页面抓取、页面解析、任务调度和去重模块。探讨了HTMLParser和正则表达式在解析页面时的运用方法。在处理爬取数据时,改进了任务调度算法,提高了爬取速度,并针对校园论坛BBS经关键词搜索的页面进行了爬取。