面向电信网数据的ETL系统的设计与实现

摘要

电信网数据常分布在若干个独立的信息系统中,具有数据量大、数据结构差异大等特点,数据如何从各个数据源汇聚到目的仓库中成为数据分析的基础,需要数据处理工具ETL(Ex-tract-Transform-Load).传统的ETL工具难以满足电信数据的分析要求,为此结合Hadoop生态圈设计一种基于Spark的分布式ETL系统,通过设计批处理层和流处理层可以对电信网中的历史数据和流数据分别进行数据转换.测试结果表明,该系统在处理电信网大数据时具有较好的性能,同时可以动态地监控管理ETL任务.