微信文章以及公众号的获取方法及获取系统

摘要

本发明提供了一种微信文章以及公众号的获取方法以及获取系统，本发明在爬虫正常爬取的基础上，接入第三方平台来识别验证码，解决了搜狗搜索时出现的验证码问题，保证爬虫稳定地爬取；另外爬虫利用文章ID以及公众微信号做布隆过滤，保证了微信爬虫不会由于搜狗搜索平台URL的变化而无法正常运行，同时通过增量列表记录了上次爬虫更新的状态，保证了爬虫的增量式爬取，提高了爬虫的效率，本发明能够高效、稳定、全面地爬取微信公众号和文章，具有很好的可用性。