分布式结构化存储系统元数据管理模块设计与实现

摘要

在大数据时代,数据存储提出了许多新的需求,传统的基于关系的数据库存储系统已经不能满足这些需求。本文在研究和分析了现有的典型结构化存储系统的基础上,设计并实现了一个面向 POI的,具有高可靠性的分布式结构化存储系统CBase。在CBase存储系统中,POI信息被分布式存储在不同的存储节点上,元数据信息指的是 POI信息到存储节点的映射关系。元数据管理模块是 CBase存储系统中的一个模块,主要功能是管理 CBase存储系统的元数据信息,是本人在项目中的主要负责的模块。元数据管理模块的主要工作和特色如下:
　　1.元数据管理的优化。设计并实现了一个基于R-tree的元数据管理模块,采用写入操作日志的方式,把对元数据操作时可能产生的大量随机 I/O转化为顺序I/O,提高系统的吞吐率;
　　2.元数据的容错性设计。为了保证元数据的可靠性,实现了一个基于 Paxos算法的一致性协议,对元数据副本进行同步,并针对基本Paxos算法的缺点,设计了Leader租约机制,大量减少了数据同步过程中产生的网络通信。
　　3.快速的故障恢复。系统通过将元数据的操作写入日志文件中,并周期性对元数据进行快照的机制,在系统宕机后,能够使用快照和操作日志快速地恢复系统的元数据。
　　4.海量并发的支持。利用Linux下提供的epoll机制,设计并实现一个高性能的网络编程框架,该框架可以支持海量的并发访问,为IS的各个业务流程提供编程支持。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1研究背景

1.2主要工作

1.3论文内容组织

1.4本章小结

第二章 研究现状与相关工作

2.1 POI概述

2.2结构化存储系统简介

2.3元数据组织方式

2.4容错机制

2.5本章小结

第三章 系统分析与总体设计

3.1系统需求分析

3.2元数据管理模块技术要点

3.3元数据管理模块架构设计

3.4元数据管理模块基本流程设计

3.5本章小结

第四章 系统详细设计与实现

4.1网络通信子模块设计与实现

4.2业务无关线程池子模块设计与实现

4.3通用定时器子模块设计与实现

4.4日志管理子模块设计与实现

4.5元数据核心管理子模块设计与实现

4.6本章小结

第五章 系统测试

5.1测试环境与方法

5.2系统功能测试

5.3系统性能测试

5.4本章小结

第六章 总结与展望

致谢

参考文献

硕士期间科研成果