基于Hadoop的云存储系统的设计与实现

目录

摘要

1．1课题研究背景及意义

1．2国内外研究现状

1．2．1云存储现状

1．2．2 Hadoop现状

1．2．3小文件存储研究现状

1．3论文主要研究内容及章节安排

第2章云存储理论及Hadoop文件系统介绍

2．1云存储

2．1．1云存储概述

2．1．2云存储系统模型

2．1．3云存储关键技术

2．2分布式文件系统

2．2．1分布式文件系统架构

2．2．2分布式文件系统访问流程

2．3 HDFS系统分析

2．3．1 HDFS体系架构

2．3．2 HDFS功能组件

2．3．3 HDFS合并元数据

2．3．4 HDFS数据交互

2．3．5 HDFS通信协议

2．4目前HDFS存在的缺陷

2．5本章小结

3．1小文件定义

3．2小文件存储问题

3．3 Hadoop自带方案分析

3．3．1 Hadoop Archives方案

3．3．2 Sequence File方案

3．3．3 MapFile方案

3．4小文件优化方案设计

3．4．1文件判重模块

3．4．2文件大小判定模块

3．4．3文件合并模块

3．4．4文件索引策略

3．4．5文件缓存模块

3．4．6文件读写过程

3．5本章小结

第4章云存储系统设计

4．1系统需求与可行性分析

4．1．1系统需求分析

4．1．2系统可行性分析

4．2云存储系统架构设计

4．2．1总体架构设计

4．2．2系统技术架构设计

4．2．3 Web服务器负载均衡设计

4．2．4数据库设计

4．3本章小结

第5章云存储系统实现与小文件测试

5．1云存储系统环境搭建

5．1．1 Hadoop集群部署

5．1．2开发环境搭建

5．2云存储平台系统功能实现

5．2．1系统功能列表

5．2．2上传文件

5．2．3下载文件

5．2．4浏览文件

5．2．5其他操作

5．3云存储系统展示

5．4小文件存储优化测试与分析

5．4．1实验环境与内容

5．4．2实验结果对比分析

5．5本章小结

结论

参考文献

致谢

攻读硕士学位期间发表的学术论文

攻读硕士学位期间获得的奖项

声明