网络信息搜集的多主体模型及实现

摘要

网络信息搜集是网络时代获取信息的主要手段,也是搜索引擎、信息服务、Web数据挖掘等网络应用的重要组成部分.基于主体的理论和技术,在多主体环境MAGE的基础上,提出了一种新的网络信息搜集的多主体模型.这种模型是基于知识的,模块化的,结构灵活,可配置,扩展和升级容易,可以方便地构建并行和分布式的系统.文中给出了MAGE的基本框架、网络信息搜集的多主体模型、主体实例模型、内部运行机制、模型特点以及优化技术等.最后在MAGE下实现了WebSpider系统,并进行了实验分析和相关工作比较.实验说明采用这种多主体模型构建的系统具有很好的性能和效率.