电信经营分析系统中的数据质量管理

摘要

电信经营分析系统是一个架构于企业各个生产系统之上，通过整合丰富的生产数据资源来为企业经营服务的决策支持系统，满足了电信运营商对于进一步拓展自身业务、提高业务系统生产效率的迫切需求。 为适应中国电信市场越来越激烈的竞争，电信运营商必须逐渐摆脱从前的经验型管理的模式，向分析型管理转变。此时，建设一个高效的经营分析系统势在必行，也是未来几年电信企业信息化建设的重点工作。 由于电信企业具有业务复杂，数据量大的特点，基于数据仓库技术建设电信企业的经营分析系统成为首要选择。但是由于经营分析系统的数据来自多个业务系统，数据源质量参差不齐，且业务逻辑繁杂，因此在建设过程中不可避免的会产生数据质量问题。有些经营分析项目更是因为数据质量太差，导致用户对系统的可用性产生怀疑。因此，做好数据质量管理是电信经营分析系统建设过程中的一个比较迫切的问题。 本文的主要贡献有： 1．分析了电信经营分析系统中造成数据质量问题的主要环节和原因，总结了在数据仓库中进行数据质量检查的方法。 2．提出了适合电信行业特点的ETL流程改进策略，通过增强数据仓库性能达到提高数据质量的目的。 3．设计了辅助数据质量检查的报表数据流查询模块和ETI。执行状态监控模块，并提出了一种确保维表数据正确性的同步方法。 某运营商经营分析系统自上线日起，运行正常，未出现严重数据质量问题，验证了本文理论的正确性。

目录

声明

摘要

第一章绪论

1.1电信经营分析系统的建设背景

1.2国内外建设情况对比

1.3什么是数据质量管理

1.4电信经营分析系统中的数据质量现状分析

1.5使用ETL技术加强数据质量管理的意义

第二章系统分析

2.1电信经营分析系统概述

2.1.1系统介绍

2.1.2使用数据仓库的必然性

2.2电信经营分析系统分析

2.2.1系统架构

2.2.2数据仓库子系统

2.2.3应用子系统

2.2.4系统管理子系统

2.3电信经营分析系统中的数据质量问题

2.3.1产生数据质量事件的原因

2.3.2数据质量事件的状态

2.3.3数据质量事件的级别

2.4采用ETL技术加强质量管理

2.4.1 ETL技术介绍

2.4.2电信数据仓库中ETL特点

2.4.3 ETL元数据管理

第三章数据质量管理子系统设计

3.1系统设计原则

3.2结构分层

3.2.1数据存储层设计

3.2.2应用集市层设计

3.2.3元数据与螺旋法

3.3数据预处理

3.3.1抽取策略

3.3.2编码转换

3.3.3数据清洗

3.3.4集成加载

3.4经营分析系统数据质量检查

3.4.1数据质量标准

3.4.2数据稽查流程

3.4.3数据核查流程

3.4.4汇总过程中的数据质量检查

3.4.5集市数据质量检查

3.4.6稽核过程中常用的数据分析公式总结

3.5功能模块设计

3.5.1 ETL执行状态监控模块设计

3.5.2报表数据流查询模块设计

3.6维表同步模块设计

第四章系统实现

4.1数据库建模

4.1.1建模过程

4.1.2建模的几个关键问题

4.2主要功能模块

4.2.1报表模块的实现

4.2.2多维分析模块的实现

4.2.3关键业绩指标模块的实现

4.3数据质量管理方案的实施

4.3.1成立数据质量管理小组

4.3.2制定数据质量管理目标

4.3.3实施数据质量管理方案

4.4.4数据质量管理的维护

第五章总结

参考文献

致谢