适用轨道交通AFC系统数据仓库技术的研究及应用

摘要

数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，旨在支持管理者决策。数据仓库技术在国外已经取得广泛的应用，而在我国的应用属起步阶段。轨道交通AFC(自动售检票)系统随着我国城市轨道交通事业的发展，得到了相当大的发展，并且已经建立了较完善的联机事务处理系统。多年的应用也使得轨道交通运营公司积累了大量的数据，其中隐含着大量有价值的信息。如何利用这些数据，深层次地挖掘信息，为运营决策服务，己成为轨道交通运营公司的当务之急。 作者通过查阅资料了解了国内轨道交通行业在数据仓库技术和数据挖掘分析应用方面的现状，发现该行业信息化基础建设已经做得比较好，AFC系统也正在广泛应用，其数据库中存储了大量的数据。但由于各种原因，在数据仓库技术应用和数据分析方面一直处在观望状态，没有真正开展起来。 本文分析了这种现状，针对应用上的问题，较为详细介绍了数据仓库方面的知识，如数据仓库的定义、结构，ETL(抽取、转换和装载)的定义、工具和应用过程，以北京和南京轨道交通AFC系统为基础，研究分析在该业务系统上建立数据仓库的一些过程和技术。 本文介绍了数据仓库技术的发展现状和基本原理以及构建数据仓库的相关技术。根据AFC的特殊情况解决了建立数据仓库系统的基本问题，设计建立了符合DSS(DecisionSupportSystem)分析需求的数据仓库模型，重点提出并完成了两种针对AFC系统的ETL程序，实现了在数据仓库多维模型上的在线分析和数据分析报表展现，为数据仓库在轨道交通运营公司的应用提供了基本理论依据和解决方案。 最后对系统进行了测试，系统运行平稳，性能良好，表明设计的ETL工具可较好的完成数据仓库的ETL需求，且具有易于使用，灵活性强的特点。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2数据仓库技术及其应用

1.3数据分析技术在AFC系统的应用现状

1.4主要研究内容

1.5本文组织结构

第二章 三层构架模式设计

2.1三层构架模式

2.1.1表示层

2.1.2计算层

2.1.3数据层

2.1.4 OLAP的参考模型视图

2.1.5 DSS应用部署

2.2数据仓库的关键技术

2.2.1数据仓库的目标数据库

2.2.2数据抽取和转换

2.2.3前端数据访问和分析工具

2.3小结

第三章 相关技术介绍

3.1算法介绍

3.1.1时间序列算法

3.1.2聚类算法

3.2基于数据仓库的决策支持系统

3.2.1传统决策支持系统

3.2.2传统决策支持系统存在的不足

3.2.3基于数据仓库的决策支持系统

3.3 MDX语言

3.3.1 MDX的基本元素

3.3.2 MDX语句的基本结构

3.4小结

第四章 数据仓库主要技术研究与实现

4.1轨道交通数据源分析

4.2数据仓库应用参考模型

4.3粒度设计

4.3.1粒度对数据分析的影响

4.3.2粒度设计技巧

4.4维度表和事实表设计

4.4.1多维模型

4.4.2设计事实数据表

4.4.2维度表

4.5 ETL介绍

4.5.1 ETL的相关概念

4.5.2 ETL的必要性

4.5.3 ETL在数据仓库中的重要位置

4.6基于Linux/Oracle的ETL

4.6.1抽取策略

4.6.2抽取分析

4.6.3抽取优化

4.6.4时间戳

4.6.5字段描述映射

4.6.6数据清洗、转换

4.6.7抽取器的系统结构

4.6.8异构数据源集成及增量更新

4.6.9抽取器编程实现

4.7基于Windows2003/SQL Server 2005的ETL

4.7.1数据抽取

4.7.2数据集成、转换、清洗

4.7.3数据装载

4.7.4更新策略

4.7.5性能分析

4.8数据聚合

4.9前端展现

4.10小结

第五章 系统管理设计

5.1系统自动调度管理

5.2错误处理

5.3事务机制

5.4 小结

第六章 测试及总体性能分析

6.1测试

6.2 ETL性能测试

6.3系统设计中的关键点与难点

6.3.1模型设计中的难点

6.3.2系统技术实现中难点

6.4创新分析

6.5小结

第七章总结与展望

7.1总结

7.2展望

参考文献

读研期间已发表论文

致谢