基于Oracle9i的数据迁移方案设计及性能优化

摘要

在一个公司的新系统的设计开发过程中我们会面临一个问题：在旧系统中收集、存储的数据必须被迁移到新系统中去，这就是数据迁移。比如像银行、保险、电信、咨询公司等等。据有关部门统计，一个企业的管理系统平均10年就要更新一次，因此研究数据迁移技术具有现实意义。 与数据迁移相关的技术非常多，本文主要从以下3个方面进行研究：1、数据迁移的整体解决方案。2、数据迁移的ETL（Extract Transform Load）工具也就是数据的抽取、转换、装载工具的选择。3、提高ETL程序执行效率的方法。本文提出的数据迁移解决方案是：对客户提供的SAM文件形式的被迁移数据先载入输入数据库，输入数据库是一个临时数据库，起一个中转作用，然后再对输入数据库中的数据进行ETL处理并装载入新系统的数据库中。ETL工具的选择采用专业工具和自主开发ETL程序相结合的方式进行，变换简单的部分采用专业厂商生产的ETL工具，变换复杂的部分采用自主开发的ETL程序进行数据迁移。数据迁移项目中免不了用ETL程序进行数据迁移，并且要求达到较高的处理速度。本文以Oracle数据库和PL/SQL语言为背景从优化索引和SQL语句、调整共享池、调整缓冲区高速缓冲存储器三方面详细阐述了提高ETL程序执行效率的方法。 在从事数据迁移项目一年的时间里，经历了最初的数据验证、迁移方案的遴选、以及最后迁移程序的编写、测试等全过程，经过客户使用实际数据进行试迁移，装载入新系统的数据能保证新系统的正常运行。

目录

文摘

英文文摘

声明

第一章绪论

1.1数据迁移概述

1.1.1数据迁移的必要性、实际意义及特点

1.1.2数据迁移的实现

1.2论文工作

1.3论文章节安排

第二章Oracle9i服务器概述以及处理SQL语句的方法

2.1 Oracle9i服务器概述和体系结构

2.1.1逻辑存储结构

2.1.2物理存储结构

2.1.3 Oracle存储器结构

2.1.4 Oracle后台进程

2.1.5连接Oracle实例

2.2 Oracle处理SQL语句的方法

2.3 SQL语句性能测试的方法

第三章数据迁移方案及ETL工具选择

3.1数据迁移的前期准备

3.1.1数据迁移内容的调查

3.1.2对被迁移数据的检查

3.1.3编制新旧对应表

3.1.4建立调度控制表和调度控制程序

3.2数据迁移方案的设计

3.2.1数据迁移的方法

3.2.2数据迁移的策略

3.2.3A企业的数据迁移方案

3.2.4 A企业数据迁移项目的工作流程

3.3 ETL工具的选择

3.3.1专业厂商提供的ETL工具

3.3.2 A公司项目中所用的专业ETL工具

3.3.3 A公司项目中自主开发的ETL工具

3.3.4改进Oracle性能提高ETL程序执行效率

3.3.5系统调优的测试结果

第四章优化索引及SQL语句提高查询速度

4.1索引的基本概念

4.1.1索引基本技术简介

4.2索引的类型及使用策略

4.2.1稀疏索引和稠密索引

4.2.2聚簇和非聚簇索引

4.2.3聚簇索引的使用策略

4.2.4非聚簇索引的使用策略

4.2.5组合索引

4.2.6表的连接策略

4.2.7避免在小表上建立索引

第五章调整共享池提高查询效率

5.1了解共享池

5.1.1语句高速缓存的好处

5.1.2共享池的组件

5.2测量共享池的性能

5.2.1测量库高速缓存区的性能

5.2.2测量Dictionary Cache性能

5.3改进共享池的性能

5.3.1使之更大

5.3.2为大型PL／SQL语句腾出空间

5.3.3鼓励代码重用

5.3.4调整LJbrary Cache—具体initora参数

第六章调整缓冲区高速缓冲存储器

6.1了解数据库缓冲区高速缓冲存储器

6.1.1LRU列表

6.1.2用户服务器进程

6.1.3数据库写入程序(DBWO)

6.2测量Database Buffer Cache的性能

6.2.1使用V$SYSSTAT视图监视Buffer Cache

6.2.2非命中率性能测量

6.3改进Buffer Cache性能

6.3.1使Database Buffer Cache更大

6.3.2使用多个缓冲区池

6.3.3在内存中缓存表

6.3.4正确的使用索引

第七章结束语

7.1论文已完成工作

7.2工作中的不足和今后的展望

致谢

参考文献