多数据中心非结构化数据复制方法研究

摘要

Web2.0时代改变了互联网，互联网用户的交互行为产生了越来越多的非结构化数据，存储于分布在世界各地的数据中心中。每个数据中心拥有数量庞大的服务器，基于备份和读取性能的原因，在这些不同地理位置的数据中心之间进行数据复制十分必要。
　　论文研究了非结构化列族数据库(Hbase)复制时的数据筛选和存储方式；讨论了针对Hbase数据中心的数据复制方式及其域间复制网络，研究了区域中拥有多核心和共享核心对域间复制网络可扩展性的影响，在域间网络路由熵的可扩展性理论基础上进行了比较；最后根据最早截止时间优先调度算法(earliest deadline first：EDF)的理论，研究了基于优先级增长概率的优先级复制任务队列。
　　论文的主要工作如下：
　　基于HBase按列族存储的特点，在复制时直接对列族进行筛选和存储。并且讨论了一种二维哈希寻址方案，根据表和列族进行相对集中的存储和寻址，加大了读取的效率，减少了并发连接；在此基础上改进了在目标数据中心中随机选取一组复制节点的方法。
　　改进了构建复制网络和通过网边直接进行复制的数据复制方法；在此基础上提出了共享核心域间网络的源-核心复制树生成算法，并用路由熵的理论对域间复制网络的可扩展性进行了评估，其可扩展性好于传统域间网络。
　　建立了基于优先级增长概率的动态优先级复制任务队列，研究了这种概率序列的生成和修正方法，编程测试结果表明其表现符合实际要求。同时探讨了复制任务的合并及其优先级增长概率与合并任务数的关系。