高性能分布式图片服务器研究与实现

摘要

互联网进入web2.0时代之后，互联网内容从由网站产生转变为由用户主导产生。随着互联网用户基数不断增加，互联网计算和储存规模也日益扩大，单台的服务器早已不能够胜任高吞吐率、高并发、高可靠的要求，分布式计算应运而生。分布式系统采用分而治之的思想，将总存储和计算量分布到多台服务器上，使得整个系统能够获得更高的性能。如今，具备一定规模的公司都在研究并实施分布式方案，以求在保证高性能的前提下，节约成本。
　　分布式的图片服务伴随着互联网的发展而出现。大型的社交网络如Facebook、腾讯，大型的电商平台如淘宝、京东，以及其他大型的在线相册服务等都对图片服务有着极大的依赖。这些网站后台储存的图片数量规模都达到了千亿级别，如何支持如此大规模的图片储存和处理成了一个亟待解决的问题。一方面，互联网图片具有小而多的特点，类似GFS的传统分布式文件系统不适合这样的海量小文件的存储；另一方面，图片应用常常需要同一图片的不同尺寸版本，如何使得图片服务能够支持提供定制尺寸的图片是一个具有现实意义的课题。
　　所以，本课题的目的在于研究和实现一个高性能的分布式图片服务器系统-WIMG。WIMG借鉴传统分布式 Master/Slave的架构，采用分布式的存储和分布式的处理，采用缓存和保存新图片的策略，能够提供高性能的图片服务，整体架构稳定可靠、可扩展。WIMG提供了简单易用的客户端接口，使得WIMG可以很方便的作为个人应用或者网站系统的图片存储后端。

目录

封面

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究的背景和意义

1.2 问题和难点

1.3 研究目标

1.4 研究内容

1.5 论文组织结构

1.6 本章小结

第二章 相关技术研究

2.1 分布式系统架构

2.2 分布式存储

2.3 图片服务器Haystack

2.4 本章小结

第三章 问题定义和设计方案

3.1 功能性设计

3.2 架构方案

3.3 本章小结

第四章 WIMG系统设计

4.1 WIMG系统架构

4.2 主节点设计

4.3 处理节点设计

4.4 客户端设计

4.5 本章小结

第五章 系统实现

5.1 服务器线程模型

5.2 请求分发的实现

5.3 WWeb的实现

5.4 数据序列化

5.5 本章小结

第六章 实验验证

6.1 实验工具

6.2 实验过程

6.3 实验结果和评价

6.4 本章小结

第七章 总结和展望

参考文献

致谢

攻读学位期间发表的学术论文目录

声明