JTangSpider：一种高性能Oracle数据库同步平台设计与实现

摘要

近年来，越来越多的企业将服务接入互联网，服务模式呈现出跨地域、跨领域和规模化的跨界特征。如此一来，分布式数据库系统便成了企业提供优质跨界服务的基础，那么企业就将面临着整合异地数据库、集成异构数据库、同步实时数据等挑战。论文针对这一产业需求，提出了一种针对Oracle的高性能数据库同步平台架构模型，该模型包括增量数据提取、数据缓存与处理、同步映射与消息路由和多租户控制台四部分，其具有跨Oracle版本、高稳定性、高扩展性等特征。
　　针对传统数据库同步中间件不能兼容多种Oracle版本的问题，论文实现了跨版本增量数据检测功能，该功能支持触发器监控、LogMiner日志解析、CDC(Change Data Capture)本地监控和CDC远程日志解析四种方式，监控模块能够根据数据库版本和同步场景自动适配最合适的监控方法。
　　针对传统数据库同步中间件错误恢复能力较差、数据处理逻辑不能定制化和数据处理能力不能扩展的问题，论文提出了数据二级缓存模式和数据处理器责任链模式，设计了自适应调节系统和数据恢复系统。
　　针对数据库同步映射模式多样化，网络环境不确定的问题，论文设计了同步映射管理器和消息路由。同步映射管理器将同步映射分为一对一、一对多和多对一这三种模式，极大地降低了同步映射管理难度;消息路由为用户提供性能可扩展的数据路由服务。
　　针对多租户数据存储中数据共享和数据隔离矛盾，数据安全难以保证，服务节点负载不均衡的问题，论文以数据访问为中心，提出了角色分级管理机制和多租户数据分类存储机制，设计和实现了服务节点负载衡量模型和负载调节算法。
　　论文基于Java开发了JTangSpider Oracle数据库同步平台原型系统，测试了数据监控引擎和数据处理引擎的性能，实验表明原型系统支持insert、update和delete三种DML操作同步，数据处理能力具有良好的扩展性。

目录

声明

摘要

第1章 绪论

1．1 课题背景

1．2 技术挑战

1．3 研究内容

1．3．1 增量数据提取

1．3．2 数据缓存与处理

1．3．3 多租户管理

1．4 研究现状

1．5 论文结构

1．6 本章小结

第2章 高性能Oracle数据库同步平台架构设计

2．1 架构设计

2．1．1 架构设计关键问题

2．1．2 架构设计模型

2．2 增量数据提取模块

2．2．1 本地增量数据提取

2．2．2 远程增量数据提取

2．3 数据缓存与处理模块

2．3．1 数据缓存

2．3．2 数据处理

2．4 同步映射与消息路由模块

2．4．1 同步映射

2．4．2 消息路由

2．5 多租户控制台模块

2．6 Oracle数据库同步平台架构设计对比

2．7 本章小结

第3章 Oracle增量数据提取的关键技术

3．1 基于触发器提取增量数据

3．1．1 相关技术

3．1．2 配置内容

3．1．3 触发器增量日志提取流程

3．2 基于LogMiner提取增量数据

3．2．1 相关技术

3．2．2 LogMiner

3．2．3 基于LogMiner提取增量数据的流程

3．3 基于CDC提取增量数据

3．3．1 CDC技术

3．3．2 同步CDC提取增量数据的流程

3．3．3 分布式CDC提取增量数据的流程

3．4 增量数据提取方法对比

3．5 本章小结

第4章 数据缓存与处理

4．1 数据缓存

4．1．1 二级缓存模式

4．1．2 基于内存的缓存

4．1．3 基于数据库的缓存

4．1．4 缓存算法

4．2 数据处理

4．2．1 数据处理器责任链模式

4．2．2 定制数据处理器

4．2．3 数据处理器责任链的配置与扩展

4．3 同步流程恢复

4．3．1 持久化信息

4．3．2 恢复流程

4．4 自适应调节

4．4．1 统计信息

4．4．2 调节流程

4．5 本章小结

第5章 同步映射与消息路由

5．1 相关概念与技术

5．1．1 同步映射模式

5．1．2 Netty框架

5．2 同步映射管理

5．2．1 同步映射信息管理

5．2．2 同步映射操作管理

5．3 消息路由

5．3．1 消息发送路由

5．3．2 消息接收路由

5．4 本章小结

第6章 多租户管理

6．1 多租户权限角色的分级管理

6．1．1 角色分级

6．1．2 角色权限

6．1．3 角色服务节点共享方式

6．2 多租户数据管理

6．2．1 通用多租户数据存储框架

6．2．2 数据库同步平台数据存储分层框架

6．3 多租户服务节点负载管理

6．3．1 日志解析节点负载管理

6．3．2 数据处理节点负载管理

6．3．3 消息路由节点负载管理

6．4 本章小结

第7章 原型系统实现与测试

7．1 同步节点实现

7．1．1 增量数据监控

7．1．2 处理器责任链

7．1．3 同步映射

7．2 控制台实现

7．3 原型系统测试

7．3．1 测试环境

7．3．2 功能测试

7．3．3 性能测试

7．4 本章小结

第8章 总结

8．1 全文总结

8．2 本文的创新总结

8．3 展望

参考文献

攻读硕士学位期间主要的研究成果

致谢