基于浏览器测试组件的社交网络数据获取技术

摘要

社交网络数据获取是社交网络分析重要的前提条件.当前各大社交网络平台对于第三方爬虫的屏蔽措施日益复杂,页面也通常日益复杂、动态生成,传统的数据获取手段受到严峻的挑战.本文提出了一种基于浏览器测试组件的社交网络数据获取技术,通过模拟正常用户的行为以规避社交网络对于传统网络爬虫的限制,实现目标数据的高效获取.以web端QQ群信息获取为例验证了此技术的可行性和有效性.