一种互联网信息发掘方法

摘要

本发明公开了一种互联网信息发掘方法，包括：针对互联网站点，归纳其发布网页的规律；针对存在网页发布规律、且发布规律可预测的站点，生成相应的发掘算法，计算当前时刻网页URL生成规则中动态部分的最新值，并输出待采集的URL集合；发布网页URL生成规则，规则包含静态部分与动态部分；发掘行为逻辑，通过网页URL生成规则输出有效的网页URL；采集已生成发掘算法的站点数据，以发掘算法计算生成对应站点的新发布网页URL；网页信息采集程序以发掘算法生成的新发布网页URL为输入进行数据采集。本发明通过一种全新的算法来弥补广度优先搜索算法的缺点，提高互联网采集数据的及时性、完整性和经济性。