基于DHT的key-value分布式存储系统

摘要

随着P2P(peer to peer)模式的兴起、网络带宽的大幅增加和Internet端系统计算能力的迅速增强，原来一直被忽视的终端成为了宝贵的资源。如何充分利用这些终端资源，在高动态的网络环境中构建大规模、高可扩展性、高可靠性、高性能的存储系统，成为近年来的研究热点之一。
　　本文中，首先介绍了P2P的基础知识并讨论和总结了分布式存储的相关技术，并在对P2P存储相关技术的研究现状进行了系统、全面分析和总结的基础上，实现了一种基于DHT(Distributed Hash Table)的key-value分布式存储系统AnyStorage，该系统不但吸取了结构化网络的优点，同时也利用了混合非集中式的优点来避免结构化网络的缺点。
　　AnyStorage是一种基于DHT的key-value分布式存储系统，它旨在基于普通的PC架构上，为用户提供高可靠性，高扩展性的存储性能。AnyStorage主要由2部分构成，一部分是普通的AnyStorage节点，另一部分则是超级管理维护节点SMP(Super Maintenance Peer)。所有的AnyStorage节点在逻辑上构成一个DHT环，类似于Chord，而逻辑上又可分为一个全局环和多个本地环，节点以地域划分，节点间没有特殊需求，但SMP之间需要保证全连接互通。AnyStorage节点主要负责存储用户数据，并响应用户读取数据请求，而SMP则主要负责维护一跳路由表的更新。为了维护存储数据的一致性，系统会定时对全网数据进行检测，找出不匹配的数据，然后进行匹配搬迁，以保证所有数据都存储在正确的节点上。AnyStorage对内对外提供三个接口：存储、读取、删除操作接口。
　　通过在局域网上的测试，验证了该系统的性能总体上达到了设计目标要求。

目录

基于DHT的key-value分布式存储系统

DHT BASED KEY-VALUE DISTRIBUTED STORAGE SYSTEM

摘 要

Abstract

第1章 绪 论

1.1 研究背景及研究意义

1.1.1 Internet的历史及其在中国的发展情况

1.1.2 网络存储技术面临的挑战

1.1.3 本文研究目的及意义

1.2 国内外研究现状

1.3 课题来源与论文内容

第2章 P2P基础理论与分布式存储

2.1 P2P技术介绍

2.1.1 P2P模式

2.1.2 P2P网络

2.1.3 P2P潜在的信息安全问题

2.1.4 P2P网络中的拓扑研究

2.2 分布式存储介绍

2.2.1 网络存储技术

2.2.2 集群存储技术

2.2.3 P2P存储技术

2.3 本章小结

第3章 P2P存储相关技术分析

3.1 分布式散列表（DHT）

3.2 Chord算法

3.2.1 Chord原理

3.2.2 Chord的路由

3.2.3 节点的加入和退出

3.3 结构化P2P网络基本特点

3.4数据的持久存储技术介绍

3.4.1 数据冗余机制

3.4.2 冗余数据分发机制

3.4.3 错误检查机制

3.4.4 数据恢复机制

3.4.5 数据一致性维护

3.5 本章小结

第4章 系统结构与总体设计

4.1 总体思路

4.2 基于关键字的路由

4.3 流量本地化

4.3.1 基于ID分配的条带分割

4.3.2 两层DHT

4.4 副本策略

4.4.1 副本放置策略

4.4.2 副本一致性策略

4.5 系统主要业务流程

4.5.1 PUT文件业务

4.5.2 GET文件业务

4.5.3 DEL文件业务

4.5.4 数据恢复业务

4.5.5 节点新加

4.6 本章小结

第5章 系统测试验证

5.1 系统测试环境

5.1.1 系统失效模型

5.1.2 系统测试网络

5.1.3 主要测试指标

5.2 测试结果

5.2.1 操作成功率

5.2.2 操作时延

5.2.3 带宽消耗

5.2.4 数据恢复时间

5.3 本章小结

结 论

参考文献

攻读硕士学位期间发表的学术论文

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢