流媒体服务器负载均衡算法研究与应用

摘要

随着流媒体业务的不断增长，导致现有视频服务难以满足用户需求。集群视频分发技术和HLS动态自适应流媒体技术是提升视频服务质量的有效方法。本文在研究国内外集群负载均衡算法的基础上，提出了两种改进的集群负载均衡算法，设计并实现了多节点HLS流媒体分发系统，主要工作如下： （1）简介了目前主流的四种动态自适应流媒体技术：Apple的HLS技术，Adobe的HDS技术和MPEG的DASH技术及Web服务器集群技术、软硬件的负载均衡技术和动静态负载均衡算法。 （2）研究了基于剩余服务容量的集群负载均衡算法（RSC）和基于负载均衡比的集群负载均衡算法（LBR）。其中RSC算法利用各节点的剩余服务容量进行任务分配，未能使各节点负载达到均衡；LBR算法重点考虑了各节点的负载均衡性，依据各节点负载比相等的原则进行任务分配，没有充分利用集群中节点的剩余资源。针对RSC和LBR算法存在的问题，本文提出了一种基于剩余服务容量和负载均衡比加权的集群负载均衡算法（RLS），该算法使用压力测试法评估节点服务容量和负载，引入动态反馈机制，既充分利用各节点的剩余服务容量又考虑了节点的负载均衡性。最后对三种算法进行了数值仿真并验证了RLS算法的有效性。 （3）研究了基于负载权值的集群负载均衡算法（PKL）。PKL算法根据各节点的剩余负载分配，而未考虑各节点处理能力的差异。针对PKL算法存在的问题，提出了一种基于节点处理能力和负载组合分配的集群负载均衡算法（DFL），算法中节点处理能力用层次分析法以CPU频率、内存容量、磁盘I/O速率、网络带宽四项指标进行度量；同样，节点的负载也用层次分析法以CPU、内存、磁盘I/O、网络带宽四项指标的利用率进行度量；通过引入动态反馈机制，选取当前负载正常的节点根据其处理能力进行任务分配。最后用opnet对两种算法进行了仿真并验证了DFL算法的有效性。 （4）设计并实现了一个多节点HLS视频分发系统，该分发系统由一个负载均衡器和三个视频服务节点组成，在负载均衡器的协调下，三个服务节点能够协同进行视频分发，提高了节点资源的利用率和系统的服务容量。搭建的系统具有视频推荐、上传、查询、分类、编解码、切片及用户信息管理功能。系统利用LNMP框架进行设计和实现，服务节点使用Nginx Web服务器存储视频分片文件和视频索引文件；负载均衡器使用Nginx均衡器分发视频请求；用MySql存储用户管理数据、视频文件索引信息及负载信息；用FFmpeg对视频进行编解码、切片形成TS分片文件和M3U8索引文件；最后说明DFL算法在系统中的实现方法。

目录

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3论文研究内容

1.4论文组织结构安排

2.1主流自适应流媒体解决方案

2.1.1 Smooth Streaming

2.1.2 HTTP Dynamic Streaming

2.1.3 Dynamic Adaptive Streaming over HTTP

2.1.4 HTTP Live Streaming

2.2 HLS流媒体解决方案架构详解

2.2.1 M3U8索引文件

2.2.2 TS封装格式和TS媒体分片文件

2.2.3 H.264视频编码和AAC音频编码

2.3 服务器集群及负载均衡解决方案

2.3.1负载均衡集群

2.3.2负载均衡技术

2.4 常用的负载均衡算法

2.4.1静态负载均衡算法

2.4.2动态负载均衡算法

2.4.3动态反馈负载均衡算法

2.5 本章小结

3.1 服务器服务容量研究

3.2 服务器服务容量临界区间研究

3.3 基于剩余服务容量分配的动态反馈负载均衡算法研究

3.3.1 算法描述

3.4 基于负载均衡比分配的动态反馈负载均衡算法研究

3.4.1 算法描述

3.5 基于剩余服务容量与负载均衡比加权分配的动态反馈负载均衡算法研究

3.5.1 算法描述

3.6 算法对比实验

3.7 本章小结

4.1 提出问题及解决方案

4.2 硬件资源指标获取与利用率计算

4.2.1 硬件资源指标

4.2.2 硬件资源利用率计算

4.3 硬件资源指标权重系数的计算与确定

4.4 服务节点处理能力与负载计算

4.5 服务节点处理能力与负载分析

4.6 算法描述

4.7 算法对比实验

4.7.1 算法实验

4.7.2 算法性能检验

4.8 本章小结

第五章 多节点HLS流媒体分发系统设计

5.1 系统设计目标与原则

5.2 系统总体设计

5.2.1系统架构设计

5.2.2系统结构层设计

5.3 系统详细设计

5.3.1负载均衡模块

5.3.2视频服务模块

5.3.3用户管理模块

5.4 数据库设计

5.5 本章小结

第六章 多节点HLS流媒体分发系统实现

6.1系统开发环境

6.2平台环境搭建

6.2.1 Nginx服务器安装

6.2.2相关视频编解码软件的安装

6.2.3 MySql数据库安装

6.2.4编程语言安装

6.3 Nginx配置优化和Php配置

6.3.1 Nginx配置优化

6.3.2 Php5的配置

6.4 多节点HLS流媒体分发系统实现

6.4.1 用户管理模块实现

6.4.2 视频服务模块实现

6.4.3 负载均衡模块实现

6.5 本章小结

第七章 总结与展望

7.1 全文总结

7.2 工作展望

致谢

参考文献

附录Ⅰ 攻读硕士学位期间取得的研究成果

附录Ⅱ 图版

附录Ⅲ 表版

声明