论坛目录页内容爬取方法和装置

摘要

本申请公开了一种论坛目录页内容爬取方法和装置。其中，该方法包括：爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，论坛目录页中的文章按照发表时间排序；从爬取结果中获取第一爬取页面中的最后一篇文章的发表时间；判断发表时间是否晚于预设时间；在判断出发表时间晚于预设时间时，跳转至论坛目录页的第二爬取页面，并爬取第二爬取页面中的文章，其中，第二爬取页面位于第一爬取页面之后；以及在判断出发表时间不晚于预设时间时，停止爬取论坛目录页中的文章。本申请解决了相关技术中通过翻页爬取论坛目录页面内容时，在发帖量较大时最大翻页数不够造成数据丢失，在发帖量较少时爬取最大翻页数的页面浪费网络资源的技术问题。