面向软件项目的多源异构数据自动收集方法及系统

摘要

本发明提供面向软件项目的多源异构数据自动收集方法及系统，该系统包括：多任务多线程爬取模块，用于对多个数据爬取任务进行统一的调度，并对不同类型的数据实现不同的爬取方法，以根据不同数据类型的数据入口地址自动调用不同的爬取方法对不同类型的数据爬取任务进行数据爬取；多源异构软件项目数据自动收集模块，用于根据用户输入的软件项目名称及URL自动化探测该软件项目数据的数据类型及其对应的数据入口地址，并根据已知的不同数据类型的数据入口地址创建其对应的数据爬取任务，在所述多任务多线程爬取模块中调用不同的爬取方法对数据进行收集；数据解析存储模块，用于对上述收集的数据进行解析并存储到数据库中。