综合网管集中分析平台系统数据抽取的设计与实现

摘要

在综合网管系统集中分析平台系统中，数据抽取工作是该系统的基础性功能。本文介绍了从分布式网管、业务系统的不同类型数据源中进行数据抽取的原理及流程，提出采用自行开发方式来实现分析平台系统中数据抽取的功能，结合业务平台数据特点详细论述了数据抽取工具软件的设计及实现方式，主要涉及：ETL工具实现总体方案、ETL工具软件概要设计、ETL工具软件详细设计以及ETL工具开发成果应用等方面内容。 根据上述情况，在对实际工作进行了仔细的需求分析后，按照需求的特点设计采用client/server结构作为系统的软件架构，并且在此基础之上，设计了安全稳定的系统硬件支撑架构来弥补client/server结构的不足。在合理的设计了系统数据结构后为了简化前端应用程序对数据库的调用，还承担了部分后台数据库存储进程和触发器的编写工作。对建立一个企业业务发展的支撑系统起到了很好的辅助工作，使得此课题具有非常实用的市场价值和商业价值。

目录

文摘

英文文摘

声明

第1章绪论

1.1课题研究的意义及现状

1.2课题研究的范围和要解决的实际问题

1.3课题研究的目标

1.3.1总体目标

1.3.2数据抽取目标

1.3.3数据转换目标

1.3.4数据加载目标

1.4 ETL国内外发展情况

1.4.1国外发展情况

1.4.2国内发展情况

1.5本章小结

第2章需求分析和解决方案

2.1需求分析概述

2.2接口描述

2.3对数据抽取过程的需求分析和解决方案

2.4对数据转换过程的需求分析和解决方案

2.4数据加载方案

2.5本章小结

第3章ETL工具客户端程序设计方案

3.1 ETL客户端工具功能简述

3.2客户端通信模块

3.3任务管理模块

3.4帐号管理模块

3.5故障管理模块

3.6实用工具模块

3.7本章小结

第4章ETL工具服务器端程序设计方案

4.1 ETL服务器端工具功能简述

4.2服务器端通信模块

4.3工作区操作模块

4.4任务操作模块

4.5任务调度模块

4.6帐号管理模块

4.7故障管理模块

4.8实用工具模块

4.9 ETL工作进程

4.9.1数据库类数据源的抽取任务

4.9.2文件类数据源的抽取任务

4.9.3数据转换和数据加载流程

4.10本章小结

结论

参考文献

致谢