基于动态副本机制的web文件系统

摘要

随着web2.0时代的到来以及智能手机的普及，非结构化数据的生产变得容易，网络数据规模因此逐渐增大。网络应用通常采用web文件系统对大量的网络文件进行管理。在web文件系统中，网络文件被分散在不同的主机上，但是不同文件的访问频度却不尽相同，因此造成不同主机之间的负载不均衡现象，同时用户体验也随之降低。如何充分利用网络主机资源，降低负载不均衡现象，提高服务质量成为新的研究方向。
　　本文提出了改进的基于动态副本机制的web文件系统。通过动态副本技术动态的分配服务器资源，为访问量多的文件提供更多副本，一定程度做到负载均衡并提升系统性能，提高用户体验。主要内容如下：首先对动态副本技术进行了分析并根据应用场景进行优化。针对动态副本技术中的热点文件发现算法进行讨论，分析了算法在性能上的不足，以减少算法内存开销与降低运算复杂度为目的，通过分组机制、分散统计等办法对算法进行了优化。此外对动态副本技术中的调度策略进行说明，在工程中明确了主机角色，提出削弱两极负载差异的调度策略；然后将改进后的动态副本技术应用于web文件系统中。由于动态副本机制需要统计文件的访问频度并需要对副本作出调整，所以本文结合web开发技术在系统架构、系统元数据、系统调度策略，热点文件发现算法等方面给出了具体的设计方案。然后在web文件系统中，对过滤器，调度逻辑，业务逻辑等进行了编程实现；最后将改进后的web文件系统进行部署，并通过编写简单的测试工具完成了系统测试。通过测试发现，改进后的web文件系统能够支持动态副本机制，可以根据访问情况对文件副本做出调整，提升了系统性能。

目录

声明

致谢

摘要

1 引言

1．1 研究背景

1．2 研究现状

1．3 论文组织结构

2 web文件系统技术简介

2．1 概述

2．2 http协议

2．3 Servlet

2．4 web容器

2．5 JSP页面

2．6 数据库

2．7 分布式存储

3 改进的动态副本机制

3．1 概述

3．2 热点文件发现算法改进

3．2．1 分组机制

3．2．2 分散统计

3．2．3 数据采样

3．2．4 窗口机制

3．2．5 总结

3．3 调度策略改进

3．4 本章小结

4 系统设计

4．1 概述

4．2 系统架构设计

4．2．1 概述

4．2．2 工作原理及模块划分

4．2．3 app_server

4．2．4 file_server

4．2．5 manager

4．2．6 总结

4．3 副本调度逻辑设计

4．3．1 信息采集

4．3．2 确定调度主机

4．3．3 确定调度分组

4．3．4 总结

4．4 元数据结构设计

4．4．1 整体数据结构

4．4．2 主机元数据表

4．4．3 分组元数据表

4．4．4 文件元数据表

4．4．5 总负载统计表

4．4．6 热点分组统计表

4．4．7 系统参数表

4．5 核心功能逻辑设计

4．5．1 app_server

4．5．2 file_server

4．5．3 manager

4．6 本章小结

5 系统实现

5．1 概述

5．2 系统环境搭建

5．2．1 概述

5．2．2 Struts

5．2．3 Tomcat

5．2．4 Mysql

5．2．5 Jdbc

5．2．6 使用工具简介

5．3 file_server开发

5．3．1 概述

5．3．2 Action

5．3．3 Filter

5．3．4 工具类

5．4 app_server开发

5．4．1 概述

5．4．2 上传引导action

5．4．3 文件获取action

5．5 manager开发

5．5．1 概述

5．5．2 定时器

5．5．3 热点分组管理类

5．6 本章小结

6 测试分析

6．1 系统测试方案

6．1．1 测试平台部署方案

6．1．2 测试内容

6．1．3 测试流程

6．1．4 测试方法

6．2 测试平台搭建

6．2．1 软件硬件

6．2．2 Tomcat配置

6．2．3 Mysql安装

6．2．4 Manager运行

6．3 测试进程实现

6．4 服务器独立访问测试分析

6．4．1 端口8001的tomcat独立延迟测试

6．4．2 端口8080的tomcat独立延迟测试

6．5 参与调度测试分析

6．6 结论

7 总结与展望

7．1 总结

7．2 进一步工作

参考文献

作者简历及攻读硕士／博士学位期间取得的研究成果

学位论文数据集