一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法

摘要

本发明公开了一种爬取斗鱼直播网站主播房间里弹幕的网络爬虫方法，该方法的基本思想为：首先从服务器端获取直播网站某一直播领域的网页URL，根据该URL链接网页获取网页源代码，解析后获取主播的房间号和人气值以及服务器地址的列表，筛选出某个主播或人气高于一定值的多个主播，建立一个或多个爬虫线程分别爬取实时弹幕并保存在数据库中，之后对存储的数据进行数据分析并形成直观图。本发明能够实时爬取直播网站中某一位或多位高人气主播的弹幕信息，然后将爬取到的弹幕存入数据库中，并能够通过数据分析后生成的直观图，查看所爬取的主播和观众的互动度。此外，由于本发明采用定期发送心跳包的方式，因而能够实现对直播网站实时、持久的弹幕爬取。