通用网页信息采集系统的研究与设计

摘要

随着Web上信息的迅速扩展,Web信息采集技术的发展正如火如荼.然而,随着人们对提供的各项信息服务要求越来越高,传统的Web信息采集显得越来越力不从心.而在不同的服务中,重新开发一套Web信息采集系统是耗资巨大的.为此,有必要开发通用性更强的Web信息采集系统.本文介绍的Web信息采集系统,采用信息采集器、采集控制服务器和信息发布服务器三端结构.信息采集器是一个网上信息资源采集工具.采集控制服务器维护采集系统配置和站点设置信息.信息发布服务器的主要功能是在信息被采集到本地之后,提供统一的信息的再加工、维护和发布服务.实践证明,本Web信息采集系统能够方便灵活地支撑多种实际应用,具有良好的通用性.