一种智能网页数据采集系统设计

摘要

设计了一种网页数据采集系统。采集的数据统一保存到系统数据库，系统辅助用户完成常规采集参数的设置，包括访问间隔时间及数据存储方式等。用户对需要采集的数据进行描述，多次训练系统进行数据采集，生成数据识别模型。在目标网页发生变化时，在一定的范围内根据识别模型自动进行修正以适应新的网页结构，减少采集工作的人工干预工作量。