一种基于循环策略的深层网页数据获取方法

摘要

本发明公开了一种基于循环策略的深层网页数据获取方法。本发明提出使用循环策略分多次完成对所有数据源的数据获取，当获取某一数据源的效率下降到某一阈值时，停止当前数据源的数据获取，爬虫开始获取下一个数据源的数据，依次类推直到把所有待集成数据源都获取一遍；然后再重复上述过程，直到所有待集成数据源都已达到结束条件。本发明使一部分应该从一些数据源数据获取后期获得的数据，从另一些数据源数据获取的前期或中期获得。与传统一次性穷尽数据获取方法相比，本发明能减少数据源后期的数据获取，降低了数据获取的代价，同时也能减少重复数据的获取，降低数据集成的代价。