基于多参数的文件存储分配算法研究

摘要

伴随着流媒体和网络技术的飞速进步，采用高性能集群搭建的视频点播服务系统正在快速发展，海量数据处理是其在实际应用中的主要任务，无论是影片的传输、存储还是处理都涉及到TB级的数据吞吐量。因而一种流媒体系统专用的优化分配算法可以提高系统的响应能力，改善目前普遍存在的I/O瓶颈现象。
　　 专用存储分配算法应充分发掘流媒体系统特性，其核心目标是通过将大量的影片文件组以某种规则进行分划，然后存储到相应的磁盘上，使整个存储系统中各磁盘在I/O负载上呈均匀分布，获得很好的并发处理能力。文件存储分配算法的研究一直以来都是热点问题也是难点问题，目前已经提出的大部分算法都存在仅适用于小规模数据量或者仅考虑到部分系统特征的局限性，不能达到实际环境中的性能要求。
　　 针对上述问题本论文提出了基于特征加权和的偏移补偿算法进行以下改进：
　　 首先，为了适应海量数据处理的实际要求，建立高性能集群和存储硬盘集合的拓扑模型并提出各子系统的具体定义，通过在整个存储系统的前端加入统一的存储调度器，可利用半同步半异步的模式使指定目标磁盘和实际存储数据的工作互相分离，使服务器、调度器和存储设备各司其职，提高并行服务能力。
　　 然后，通过对模型的进一步分析，抽取出能够表征系统存储操作过程特性的决策变量和约束条件。根据多目标问题的求解方法，得到一个综合各变量和条件的评价函数，使用该函数对文件进行评估，存储调度器则根据不同文件的评估值进行偏移补偿的方式来选择它们所对应的目标磁盘，进而达到优化文件在磁盘上存储结构的目的。
　　 接下来，为了寻找目标函数中各个变量的加权系数的优化配比方案，本文中采用了预先偏好选择的策略，即对多种可能的系数组合进行反复尝试。通过设定、多组典型的配比数值方案，代入目标函数对文件评估，依靠仿真实验来模拟各个决策变量在磁盘上的分配结果，分析拟合曲线走向可以近似得到最优系数配比。
　　 最后，为了验证偏移补偿算法是否更具优势，选择了轮询、随机、容量均分等几种算法作为性能参照。在完全相同的仿真实验条件下，使用这些算法依次对同一文件组进行存储分配。比较每种算法分配后服务系统对用户点播请求的响应延时以及决策变量在磁盘上的分布情况可以判定算法在性能上的表现。

目录

文摘

英文文摘

第1章 绪论

1.1 研究背景和研究意义

1.1.1 研究背景

1.1.2 系统特征

1.1.3 文件热度

1.1.4 研究意义

1.2 研究现状和存在问题

1.2.1 研究现状

1.2.2 存在问题

1.3 研究内容

1.4 论文结构

第2章 存储分配的系统模型

2.1 引言

2.2 视频存储的背景知识

2.2.1 研究视频存储的原因

2.2.2 视频存储技术的发展

2.2.3 存储分配策略的概念

2.2.4 其他存储相关的研究

2.3 目前的存储分配模型

2.3.1 目前模型的结构描述

2.3.2 目前模型存在的问题

2.4 改进的存储分配模型

2.4.1 改进模型的结构描述

2.4.2 改进模型中的决策变量

2.4.3 改进模型中的约束条件

2.5 综述新模型的改善之处

第3章 特征参数加权和与评价函数

3.1 存储分配主要研究的问题

3.2 影片文件的特征参数讨论

3.2.1 枚举文件参数

3.2.2 筛选关键参数

3.3 多目标问题和求解方法

3.3.1 多目标问题的背景介绍

3.3.2 多目标问题求解的方法

3.4 存储分配问题的求解方法选择

3.5 特征加权和的概念和重要意义

3.6 评价函数中各参数权值的讨论

第4章 基于特征加权和的存储分配算法

4.1 存储分配的数学模型介绍

4.2 现有分配算法的描述

4.2.1 轮询算法

4.2.2 随机算法

4.2.3 容量平均算法

4.3 基于特征加权和的分配算法

4.3.1 特征加权和算法设计思想

4.3.2 特征加权和算法步骤概述

4.3.3 特征加权和算法的流程图

4.3.4 特征加权和算法伪码实现

4.3.5 特征加权和算法特点分析

4.4 本章小结

第5章 仿真实验与结果分析

5.1 进行仿真实验的目的和意义

5.2 仿真实验的方案设计

5.2.1 影片文件存储分配

5.2.2 统计点播请求延时

5.3 仿真实验的结果分析

5.3.1 存储分配实验的结果和相关分析

5.3.2 随机点播实验的结果和相关分析

5.4 本章小结

第6章 总结与展望

6.1 论文总结

6.2 今后展望

参考文献

附录

致谢

在读期间发表的论文与取得的研究成果