一种P2P网络存储系统的设计与实现

摘要

随着P2P计算模式的兴起、网络带宽的大幅增加和Internet端系统计算力的迅速增强，原先被忽视的终端系统成为了一种宝贵的资源。如何充分利用这端系统资源，在高动态的P2P网络环境中构建大规模、高可扩展、高可靠、高的分布式存储系统，成为近年来研究的热点之一。 在本篇论文中，首先讨论和总结了分布式存储的发展历史和现状，并在对P2P技术的研究现状进行了系统、全面的分析和总结的基础上，设计了一种基于P2P的分层次存储系统SmartHSS(SmartHierarchicalStoreSystemBased-P2P)。 SmartHSS既吸取了结构化网络的优点，同时利用了混合非集中式的优点来避免结构化网络的缺点。SmartHSS采用两层网络结构，第一层是目录服务器DSP(DirectoryServiceProvider)组成的DHT覆盖网络，其作用是记录用户节点的信息和行为以进行集中管理与控制；第二层是用户节点组成的客户端层，用来存储用户的数据。采用这种结构的好处是：引入服务器易于管理与控制用户节点，同时采用DHT网络来组织服务器，可以避免单点失效等缺点。具体关键技术如下： 首先，本文在研究了现有DHT路由算法的基础上，设计了一个分布式哈希表(DistributedHashTable，简称DHT)服务，为SmartHSS提供了分布式可靠存储和快速查询平台。 然后，本文考察了当前的数据持久存储方案，根据SmartHSS的特点，提出了一个适合SmartHSS的数据持久存储方案SmartDDS(SmartDataDurableStorage)。 接着，在总结了常见内容存储可靠性保证机制的优缺点后，考虑到SmartHSS的实际需求，实现了一套内容失效恢复机制SmartCRM(SmartContentRecoveryMecharlism)。SmartCRM在SmartDHT上维护系统全局状态，采用“软状态”探测内容丢失，并通过P2P互传恢复内容。 最后，为了能够高效地实现SmartHSS的各个服务器模块，本文在Linux2.6epoll高性能IO事件通知机制的基础上，采用面向对象的思想，建立了一个在复杂业务逻辑中能处理与多种通信实体交互的高性能服务器架构SmartESF(smartEfficientServerFramework)。

目录

文摘

英文文摘

声明

第一章引言

1.1课题研究背景

1.1.1 Internet发展现状

1.1.2 Internet存储技术面临新的挑战

1.2本文的研究内容

1.3全文结构

第二章 P2P及存储技术介绍

2.1P2P技术简介

2.1.1 P2P定义

2.1.2 P2P计算模式

2.1.3 P2P网络

2.1.4 BT技术介绍

2.2分布式存储系统简介

2.2.1网络存储

2.2.2集群存储技术

2.2.3分布式文件系统

2.2.4网格存储技术

2.3 P2P存储系统简介

2.3.1 P2P存储系统

2.3.2 P2P存储系统分类

2.4 P2P存储技术的研究现状

2.4.1数据冗余方案

2.4.2数据分发方案

2.4.3错误检测方案

2.4.4冗余数据维护

2.5小结

第三章 P2P存储系统-SmartHSS

3.1 SmartHSS系统结构

3.2 SmartHSS文件组织

3.2.1节点ID、用户ID与文件ID

3.2.2目录空间

3.2.3元文件

3.2.4实体文件

3.2.5本节小结

3.3 SmartHSS典型文件操作

3.3.1文件加入

3.3.2文件搜索

3.3.3文件读取

3.3.4文件删除

3.4总结

第四章 分布式哈希表服务-SmartDHT

4.1 DHT概述

4.2 DHT服务

4.2.1 OpenDHT

4.2.2 SmartDHT

4.3总结

第五章数据持久存储-SmartDDS

5.1引言

5.2 SmartDDS的设计

5.2.1 SmartDDS的数据冗余方案

5.2.2 SmartDDS的数据分发方案

5.2.3 SmartDDS的错误检测方案

5.2.4 SmartDDS的数据冗余维护方案

5.3总结

第六章 内容恢复机制-SmartCRM

6.1内容可靠性保证和恢复技术概述

6.2 SmartCRM的设计目标

6.3 SmartCRM的假设

6.4 SmartCRM的设计

6.5 SmartCRM的流程

6.6总结

第七章高性能服务器架构-SmartESF

7.1网络服务器架构概述

7.2 SmartESF的设计考虑

7.3 SmartESF的10事件驱动机制

7.4 SmartESF与多种通信实体交互的方案

7.5 SmartESF处理复杂业务逻辑的方案

7.6 SmartESF小结

7.7 SmartESF在DSP中的运用

7.7.1 DSP功能和模块划分

7.7.2本地信息表操作模块的实现

7.7.3 DSP中其它模块的实现

7.8 SmartHSS其它模块的实现

7.9总结

第八章SmartHSS测试与性能分析

8.1功能测试

8.1.1典型文件操作测试

8.1.2功能测试总结

8.2性能测试

8.2.1 SmartDDS的性能测试和参数分析

8.2.2 SmartCRM性能测试

第九章总结和展望

9.1 SmartHSS的特点

9.2 SmartHSS的展望

致 谢

参考文献

攻读硕士期间取得的研究成果