基于RDMA的分布式数据库内存存储系统

目录

声明

第一章 绪论

1.1研究工作的背景与意义

1.2国内外研究历史及现状

1.3本文的主要贡献与创新

1.4本论文的结构安排

第二章 相关技术及理论基础

2.1分布式内存数据库概述

2.2 RDMA技术

2.2.2RDMA的工作过程

2.3列式存储中关键数据结构

2.3.2跳跃表

2.3.3Groupkey Index

2.4 GPU计算概述

2.5 数据分片策略

2.5.1哈希分片策略

2.5.2范围分片策略

2.6现有分布式数据库系统

2.6.1Hive

2.6.2SAP HANA

2.6.3PolarDB

2.7本章小结

第三章 系统分析及总体设计

3.1系统概述及需求分析

3.2系统整体架构设计

3.3各模块内部设计

3.3.2数据存储节点CS

3.4分布式内存存储系统关键技术

3.4.1基于RDMA的高性能网络框架

3.4.2内存存储引擎数据存储策略

3.4.3GPU加速方法

3.4.4动态负载均衡算法

3.4.5元数据与索引信息

3.5内存存储系统中的主要流程

3.5.1存储系统启动流程

3.5.2数据导入流程

3.5.3增量任务流程

3.5.4数据查询流程

3.5.5新增节点流程

3.6本章小结

第四章 系统详细设计与实现

4.1基础工具的实现

4.1.1网络通信框架的设计与实现

4.1.2定时器的实现

4.1.3线程池的实现

4.2中心元数据管理节点的实现

4.2.2节点管理与负载均衡

4.2.3任务管理

4.3数据存储节点的设计与实现

4.3.1外部服务层

4.3.2任务执行层

4.3.3数据存储层

4.3.4元数据与索引管理

4.4本章小结

第五章 系统测试及性能分析

5.1测试环境

5.1.2系统部署

5.2内存存储引擎功能测试

5.2.1数据导入功能测试

5.2.2数据查询功能测试

5.2.3动态负载均衡测试

5.3性能测试及数据分析

5.3.2数据查询性能测试

5.4本章小结

第六章 总结与展望

6.1工作总结

6.2研究展望

致谢

参考文献

攻读硕士学位期间取得的成果