面向IPTV的分布式文件系统资源定位与调度模块设计与实现

摘要

随着国家三网融合政策的推进，交互式网络电视(Internet Protocol Television,IPTV)的重要地位日益显现，同时庞大的网络用户数也给IPTV带来巨大的市场前景。传统的解决方案在处理海量数据时的不足却日益暴露，主要体现在：扩展性差，不能适应系统规模的动态变化；效率低下，用户体验度偏低；容易出现单点失效问题，一个节点的故障导致整个系统服务的崩溃，这主要是集中式管理方式所造成的。
　　本文首先对比分析了几种主流的分布式文件系统，结合国内外研究现状和发展趋势，根据IPTV应用场景，设计并实现了分层分布式文件系统，重点研究其中的资源定位模块和资源调度模块。
　　在架构上广泛采用分布式管理方式，系统中所有功能都是由一个服务器集群负责，要么采用类似Chord的纯分布式集群管理，要么采用Chubby的集群管理方式，这些都可以避免单点故障问题。为了提高元数据的可靠性，采用缓存部署方案，即系统从底层存储服务器的磁盘上读取元数据到缓存服务器的内存中，用户访问缓存服务器而不是存储服务器，避免了节点故障带来的灾难性损失，并且能够快速恢复。
　　定位模块的设计采用改进的一致性哈希设计，通过引入位置分组和虚拟节点技术，解决了标准的一致性哈希算法无法实现负载均衡和不能体现节点的异构性的问题。定位元数据时采用动态子树方式，既便于数据的快速查询又使得节点之间的数据迁移变得非常容易，便于实现负载均衡。
　　调度模块采用哈希十字链表组织缓存数据，除了具有哈希自身所具有的快速查询优势以外，还可以根据两种。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1 背景介绍

1.2 国内外研究现状

1.3 主要研究内容

1.4 章节安排

第二章 相关理论基础

2.1分布式文件系统

2.2元数据管理

2.3对象存储

2.4分布式系统的拓扑管理方法

2.5面向IPTV的文件系统特性

2.6本章小结

第三章 分布式文件系统总体设计

3.1需求分析

3.2分布式文件系统整体框架

3.3模块结构

3.4设计要点

3.5本章小结

第四章 资源定位模块设计与实现

4.1动态元数据管理

4.2元数据定位

4.3文件定位

4.4定位模块的实现

4.5本章小结

第五章 资源调度模块设计与实现

5.1缓存管理

5.2老化策略

5.3调度模块的实现

5.4本章小结

第六章 系统测试与分析

6.1测试环境与测试方法

6.2资源调度算法测试与分析

6.3本章小结

第七章 结论与展望

7.1结论

7.2展望

致谢

参考文献