一种分布式Web系统的设计与实现

摘要

随着Intemet规模的不断扩大和多媒体技术的出现，视频、音乐、图片、电子书籍等大量数据充斥着网络。如何对海量的数据进行快速、高效的存储、分发是当前互联网发展的挑战之一。故互联网迫切需要一个高性能内容分发系统，同时也更需要一个高性能、可扩展、健壮的Web系统支撑业务的开展，增强用户体验。 本文首先介绍了基于P2P(Peer-to-Peer)技术的内容分发网络-PPCDN(Peer-to-Peer Content Delivery Network)系统，该系统在广域网上实现了高效的内容共享。进而本文研究了现有的Web架构，分析发现目前的Web架构难以契合PPCDN对性能的要求，于是在此提出一个分布式Web系统架构。这种结构使得系统具有良好的性能和可扩展性。在此架构下，系统的内容分布于由下层结构化的DHT(Distributed Hash Table)网络，保证了数据搜索效率，增强了系统的健壮性和可扩展性；应用服务器实现业务逻辑，Web服务器专注于HTTP协议相关处理，使得系统结构清晰，也便于独立实现各种性能优化措施以提高系统整体性能；而通过FastCGI技术实现动态Web，与CGI、SAPI等其他技术相比较，提高了动态请求的处理速度，且便于实现分布式结构。 接着，本文对常用的网络服务模型进行了分析和比较，设计了一个基于Linux平台的、分阶段的异步事件驱动模型-ASEDM(Asynchronous and StagedEvent-Driven Architecture Model)，并实现了该模型。该模型利用Linux2.6内核的最新特性，结合事件驱动和线程池技术，通过合理地划分应用粒度，对资源实施动态调节。与常用的单/多线程网络服务模型相比较，该模型使得服务器性能得到了一定的提高，也使得复杂的Intemet服务器变得简单。 然后，为了验证、试验本文的研究工作，本文以Linux系统平台为基础，实现了该Web系统。Web服务器和应用服务器在分阶段的异步事件驱动模型之上实现，分别称为StedServer和PortalServer；下层DHT重叠采用了Chord路由算法，借鉴了OpenDHT实现，为上层提供DHT服务。 最后，通过性能测试验证了Web系统的性能优势。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第一章引言

1.1课题研究背景

1.2 Web系统现状

1.3 Web系统性能

1.4本文的内容及贡献

1.5本文的结构

第二章PPCDN

2.1 PPCDN介绍

2.1.1 P2P介绍

2.1.2 PPCDN架构

2.1.3 PPCDN功能

2.2小结

第三章分布式Web系统架构

3.1 Web相关技术

3.2 Web应用架构研究

3.2.1 Web应用架构

3.2.2动态Web技术

3.3分布式Web系统架构

3.4小结

第四章高性能网络服务模型

4.1服务器的运行环境

4.2并发网络服务研究

4.2.1 I/O模型

4.2.2并发网络服务模型

4.3基于分阶段异步事件驱动模型

4.3.1分阶段异步事件驱动模型设计

4.3.2分阶段异步事件驱动模型实现

4.3.3分阶段异步事件驱动模型使用

4.4小结

第五章Web系统的设计与实现

5.1 StedServer设计与实现

5.1.1设计实现概述

5.1.2相关规范

5.1.3模块介绍

5.1.4缓存实现

5.2 DHT重叠网

5.2.1 DHT重叠网实现

5.2.2 DHT服务

5.3 PortalServer设计与实现

5.3.1与多个通信实体交互的机制

5.3.2 PortalServer与StedServer通信模块

5.3.3 PortalServer与DHT重叠网通信模块

5.4小结

第六章试验及性能分析

6.1系统性能评测

5.1.1测试环境

5.5.2测试结论

6.2小结

第七章结论和展望

致谢

参考文献

攻硕期间取得的成果