BP网络在Web Crawler中的应用

摘要

本文介绍了Web Crawler和BP网络的基本原理,在此基础上,应用BP网络对网页变化的时间间隔进行建模,通过BP算法训练得到一个预测模型,预测出各网页的变化时间间隔,通过与实际采集的时间间隔相比较判断网页是否发生变化.实验证明,BP网络能够有效预测网页变化的时间间隔,指导增量更新.