一种基于Chrome扩展程序的网络数据采集方法

摘要

采集大量的网络数据可以为相关的科学研究提供重要的数据基础.针对科研工作者无法方便灵活地采集针对性网络数据的现状,提出基于Chrome扩展程序的网络数据采集方法,从网页中析取数据,或通过Ajax技术从网页服务器端直接读取结构化的数据,并对采集到的数据进行集中处理和存储.最终的执行效果表明,该方法可以突破动态网页技术的限制,无需处理复杂的用户登录逻辑,并可支持多用户场景下的分布式网络数据采集.