自适应网络资源收集系统的构建及网络资源收集方法

摘要

本发明涉及一种自适应网络资源收集系统的构建及网络资源收集方法，尤其是涉及通用的开源软件项目相关的网络资源收集系统的构建及网络资源的收集方法。包括：网络资源收集模块和爬虫依赖模块；网络资源收集模块能够通过爬虫依赖模块建立的网络资源收集模块与目标网络资源之间的依赖关系配置相应爬虫执行单元执行资源收集。因此，本发明具有如下优点：1.能够自适应不同数据类型的目标网络资源，通用性强。2.解耦了具体数据源对某个单一目的的爬虫程序的依赖，具有较高的可扩展性。