电信ODS系统中的Oracle数据库优化研究

摘要

随着市场的变化，中国电信集团营销思路从以“产品”为中心转向了以“客户”为中心。以前集团内部已经建立了诸多的支撑系统（如计费、CRM、渠道等），但是这些系统各自独立或重叠，为有效地解决目前各系统存在的数据孤岛、数据表现形式各异和系统接口繁杂等问题，各省公司开始建立运营数据仓储ODS(Operational Data Store)系统。ODS系统以业务系统数据以及其他相关数据作为基础数据源，凭借强大的Oracle数据库，采用科学的数据抽取、整理、存储等方法，实现跨平台的数据共享。然而，在系统开发过程中，缺乏对系统性能问题的全面考虑;数据库投入运营后，随着数据量的不断增加，数据存储分布会产生较大的变化。这些都会造成潜在的数据库性能问题。如何对数据库性能进行调整和优化已成为数据库研究领域的一个重要课题。
　　本文首先通过对Oracle数据库体系结构进行理论研究，研究了物理存储结构、逻辑结构和实例（INSTANCE）架构，其中对数据库的核心部分INSTANCE中的共享池、数据缓冲区和日志缓冲区展开了细致的研究，然后针对CPU、系统I/O、内存、SQL语句和表分区提出了优化思路和策略。
　　针对CPU，利用v$osstat视图和Oracle资源管理器，结合系统实时工作荷载，提出控制session占用资源等方法解决CPU过载;针对系统I/O，通过分析I/O形成原因，提出减少磁盘竞争、减少链接行和避免动态扩大回滚段三个方法解决I/O瓶颈;针对内存，通过合理配置SGA和PGA参数，提高系统各个命中率;针对SQL语句，通过分析SQL语句执行过程和表的访问顺序，提出合理选择关键字和安排表顺序的方法用于提高SQL语句的查询速度;针对大型表，利用范围分区、散列分区、列表分区和复合分区对其进行拆分，提高数据的可用性和查询效率，减轻管理负担。
　　本文通过对电信ODS系统中的数据库实际优化试验，解决了系统中的全局热块冲突、内存异常、查询排序异常、ORA-60报错和大型SQL语句执行效率低下问题，改善和提高了数据库的响应时间和系统命中率，证明了论文中设计的各优化方案的合理性和正确性，具有一定的实践意义。本文提出的数据库优化方法不仅仅只适用于电信ODS系统，对于其他系统数据库的优化同样适用，可以给数据库管理员(DBA)在实际工作中提供参考和借鉴。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 国内外研究现状

1．3 研究目的和主要研究内容

第2章 Oracle数据库体系结构

2．1 数据库的物理存储结构

2．2 实例(Instance)的整体架构

2．2．1 共享池

2．2．2 数据缓冲区

2．2．3 日志缓冲区

2．3 数据库的逻辑结构

2．4 数据库性能指标

2．4．1 响应时间

2．4．2 数据库命中率

2．4．3 I／O量

2．5 电信ODS概述

2．5．1 电信ODS功能

2．5．2 ODS数据存储架构

第3章 数据库性能优化技术

3．1 CPU优化

3．1．1 工作荷载

3．1．2 进程监控及调整

3．2 I／O调整

3．2．1 磁盘I／O形成

3．2．2 减少磁盘竞争

3．2．3 减少链接行

3．2．4 避免动态扩大回退段

3．3 内存优化

3．3．1 SGA优化

3．3．2 PGA优化

3．4 SQL语句优化

3．4．1 SQL语句的执行过程

3．4．2 表的访问方式及选择顺序

3．4．3 关键字的选择

3．5 表分区

3．5．1 范围分区

3．5．2 散列分区

3．5．3 列表分区

3．5．4 复合分区

第4章 电信ODS系统数据库性能优化

4．1 全局热块冲突

4．2 大型SQL拆分

4．3 B树索引代替位图索引

4．4 内存泄漏

4．5 查询排序异常

4．5．1 发现异常

4．5．2 问题分析与SQL优化

4．5．3 优化后性能比较

4．6 优化总结

结论

致谢

参考文献

攻读学位期间取得学术成果

附录A