网络中间件数据采集系统的研究与实现

摘要

20世纪以计算机为代表的信息产业，标志着人类社会进入了信息时代，网络技术的飞速发展成为这个时代的重要特征，各种信息网络被广泛使用。对于局域网网络用户来说，同样需要从Internet上获取海量信息，为组织和决策提供支持。但国家保密局要求，涉及国家秘密的计算机信息系统，不得直接与Internet或其他公共信息网络相连接，必须进行中间设备转换。由此，我们提出了基于中间设备的信息采集系统设计方案，通过一个或多个中间服务器建立Internet和局域网的间接连接，保证任何时刻局域网与Internet都要转换。同时，我们针对原信息采集系统工作效率低的情况，重写了时下比较流行的Wget下载引擎算法，建立了任务队列管理、采集器队列管理、调度协调管理、内部服务器管理等模块，实现了信息采集、信息传输、建立虚拟网站的操作。系统研制结束后我们在所属单位作了推广使用，反映较好。为局域网采集互联网信息提供借鉴。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2国内外发展趋势

1.3论文安排

第二章 系统关键技术介绍

2.1 主要技术概述

2.2信息采集关键技术

2.3 本章小结

第三章 系统概要设计

3.1系统需求分析

3.2系统概要设计

3.3 系统功能模块设计

3.4 系统的难点和特色

3.5本章小结

第四章 系统功能与实现

4.1 系统运行环境

4.2 系统总体结构

4.3 任务队列模块的设计与实现

4.4 采集器队列管理模块的设计与实现

4.5 调度协调管理模块的设计与实现

4.6 网络配置与系统安全管理模块

4.7 后台整理模块的设计与实现

4.8本章小结

第五章 系统运行与测试

5.1 系统功能

5.2 主要问题

5.3 主要原因分析

5.4 主要解决措施

5.5 本章小结

第六章 结论与展望

6.1 系统的创新点

6.2 系统的主要特点

6.3 下一步需要完善的地方

致谢

参考文献