一种按优先次序分块采集互联网数据的方法和系统

摘要

本发明公开了一种按优先次序分块采集互联网数据的方法和系统，属于大数据应用与分析领域，该方法根据网站特性及采集主题对采集方式进行特性化调整，对分析采集主题进行归纳总结，再依据采集主题，对欲采集数据与采集主题的相关性和/或有效数据的优先性进行先行判断，以合理的维度对数据进行划分，以一定次序依次分块进行采集；所述合理的维度包括优先性维度和相关性维度。一种按优先次序分块采集互联网数据的系统，包括数据分析模块、采集层级划分模块、采集结果判定模块和数据检验模块。本发明能够避免采集数据的冗余，高效的获取、分析网站数据，有利于降低研发成本，并为数据的存储和数据分析降低成本。