电信统计分析平台ETL工具的设计与实现

摘要

增值电信服务已经成为电信运营商的重要收入来源。在当前一切以用户需求为驱动的市场环境下，分析用户需求，把握用户特点是开发新业务的重点，电信统计分析平台应此需求而生。 彩铃统计平台(CSP，Colorful Ringback Tone Statistic Platform)是独立于彩铃业务的统计平台。它采集彩铃业务的运行数据，对用户特征进行深度挖掘，为运营商提供运营策略依据。 业务分析平台(SAP，Service．Analysis Platform)采集智能网(IN，Intelligent Network)业务运行数据，对业务运行状况进行全面的分析和评价，为智能网运维人员提供自动化辅助工具。 SAP和CSP都是典型的电信统计分析平台，其核心是格式多样，数量巨大的数据。为了将这些数据集成到统计分析系统中，需要专用的工具来完成这一任务，这就是ETL(Data Extract，Data Transform，Data Lad，数据抽取，数据转换，数据加载)工具。ETL工具从不同环境和应用中抽取数据，对数据进行清洗和转化，形成清洁和统一的数据，最终加载到目标数据库中。在此基础上，上层业务才能进行有效的统计分析工作。 电信统计分析平台对于ETL过程具有若干特殊要求——数据类型繁多、数据量巨大、需要控制采集端的性能、ETL应该对频繁变化的元数据进行自适应、应当具备采集实时数据的能力。这些特性在CSP和SAP系统中有突出表现。为了满足这些特殊需求，需要进行深入的需求分析，才能给出相应的解决思路。 在需求分析和系统的设计实现过程中，可以积累大量实践经验，进而总结出电信统计分析平台ETL工具的若干特点，及其设计指导原则。将这些经验和设计原则总结起来，就形成了一个适用于电信统计分析平台ETL工具的通用框架。这个框架结构灵活，效率理想。不但可以满足已有需求，同时也具有良好的扩展性，可以与电信统计分析平台一起演进，形成新一代ETL工具。 本文围绕电信统计分析平台ETL工具的设计展开论述：首先描述了CSP和SAP这两个应用了ETL技术的系统，然后对相关背景知识——数据仓库和联机分析处理(OLAP，Online Analysis Process)，进行了简单介绍。第二章分析了ETL建设过程中需要应对的关键需求，并针对各个需求提出了相应解决思路。在此基础上，总结出了电信统计分析平台ETL工具的若干特点，指出了电信统计分析平台通用ETL框架应当具备的基本特征。第三章，根据第二章的结论，设计并实现了电信统计分析平台通用ETL框架：首先简要介绍了ETL框架的各个组成模块，说明了各模块之间的关系；然后对每个模块的设计实现进行了详细的描述。电信统计分析平台通用ETL框架，是本文的核心创新点。最后一章，分析了电信统计分析平台的发展方向，以及通用ETL框架在电信统计分析平台中的应用前景。

目录

文摘

英文文摘

声明

引言

第一章背景介绍

1.1.电信统计分析平台介绍

1.1.1 CSP系统简介

1.1.2 SAP系统简介

1.2.背景知识介绍

1.2.1 数据仓库

1.2.2联机分析处理

1.2.3 ETL

1.2.4 SAP、CSP与数据仓库、联机分析处理以及ETL

1.3.本章小结

第二章 电信统计分析平台ETL特点分析及设计思路

2.1.数据类型多

2.2.数据量大

2.2.1 数据加载接口的优选

2.2.2任务流程优化

2.2.3数据增量采集

2.3.性能限制

2.4.元数据变化频繁

2.5.数据转换的特殊要求

2.6.数据实时性要求

2.7.本章小结

第五章 通用ETL框架的设计与实现

3.1.系统总体设计

3.1.1.系统结构设计

3.1.2.工作流程设计

3.1.3.各模块设计

3.2.任务管理模块的设计

3.3.数据采集模块的设计

3.3.1.总体结构设计

3.3.2.性能监测模块

3.3.3.数据抽取模块

3.3.4.数据采集消息收发模块

3.3.5.数据采集消息流程

3.4.数据转换模块设计

3.4.1.数据库数据转换模块

3.4.2.日志转换模块

3.4.3.接口文件的转换

3.5.数据加载模块设计

3.6.本章小结

第六章 通用ETL框架展望

4.1电信经营分析系统现状

4.2 BI与ETL

4.3通用ETL框架应用前景分析

参考文献

致谢