基于数字有机体系统流媒体数据分发机制的研究与实现

摘要

近些年来,在Internet上流媒体应用迅猛发展的同时,也不断地给IP网络流媒体数据分发技术带来新的考验。传统基于客户端服务器(ClientServer,C/S)架构的服务模式容易引起服务器的性能瓶颈,并且给主干网络带来很大的压力,难于胜任大规模的并发应用;而内容发布网络(ContentDiliveryNetwork,CDN)以及IP组播技术皆因其昂贵的硬件成本以及技术上的实现难度难以普及应用。基于对等网络(PeertoPeer,P2P)的流媒体数据分发技术,降低了主干网的压力,大大推动了网络视频的发展。但是P2P系统存在组播服务器采用集中式管理,点播服务过分依赖不稳定的客户节点等问题,使得服务质量无法保障。8010教研室自主研发带服务节点的P2P流媒体系统—透明下载系统有效的解决了这两个问题,具有点播、应用层组播和普通文件的下载功能。它以数字有机体系统作为系统中的服务器节点,很好得利用了数字有机体系统的海量存储、动态任务调度和高可用保证等特点,能够做到资源和服务的职能调度。在透明下载系统中,数字有机体作为文件服务器、数据库服务器、节点调度服务器,并且为了保障服务质量其上还运行有透明下载程序的服务器端,在必要时候为用户提供数据。本文主要针对在数字有机体系统上如何开发有服务质量保障的P2P流媒体点播和组播应用进行了研究,包括以下几部分内容。研究并介绍了当前流媒体数据分发技术,介绍了流媒体的概念、相关协议和其发展方向;简单介绍了透明下载系统的支撑系统—数字有机体系统的特点和其组成系统数字有机体操作系统和数字有机体数据库系统;具体介绍了透明下载系统的功能特点、物理部署、系统架构及数据互传模块的逻辑;详细阐述了透明下载系统的实现:包括通信协议、数据结构设计、分片机制、缓冲管理、数据传输、点播和文件下载的写文件机制、磁盘管理机制、资源管理机制和其独特的会话机制;分析了透明下载系统中体现了数据传输思想和数据管理的缓冲管理类的接口定义和实现;最后,对系统的功能和性能进行了完整的测试,根据系统的特点和其实现表明本系统能有效地减少主干网的压力,并提供流畅的流媒体服务。

目录

摘要

ABSTRACT

第一章 引言

1.1 课题研究的目的和意义

1.2 数据分发技术发展概况

1.2.1 客户机/服务器方式

1.2.2 内容分发网方式

1.2.3 IP组播方式

1.2.4 P2P方式

1.3 透明下载系统

1.4 论文研究内容和组织结构

第二章 流媒体技术概述

2.1 流媒体技术介绍

2.2 流媒体相关协议研究

2.2.1 实时流协议

2.2.2 会话描述协议

2.2.3 实时传输协议

2.2.4 实时控制协议

2.2.5 资源预留协议

2.3 流媒体技术的主要研究方向

2.3.1 流媒体服务器技术

2.3.2 流媒体协同工作环境

2.3.3 异构网络传输技术

第三章 透明下载系统的支撑系统数字有机体系统

3.1 系统简介

3.2 数字有机体操作系统

3.2.1 海量存储管理

3.2.2 动态任务调度

3.2.3 高可用保证

3.3 数字有机体数据库系统

第四章 透明下载系统概述

4.1 透明下载系统功能介绍

4.4.1 点播

4.4.2 应用层组播

4.4.3 文件下载

4.2 透明下载系统模型

4.3 透明下载系统部署

4.4 透明下载系统架构

4.5 数据互传模块逻辑结构

第五章 透明下载系统的实现

5.1 通信协议

5.1.1 消息头

5.1.2 消息体

5.1.3 创建消息的重要函数

5.2 数据互传模块数据结构定义

5.3 分片机制

5.3.1 组播和点播的分片机制

5.3.2 文件下载的分片机制

5.4 缓冲管理

5.4.1 组播缓冲管理

5.4.2 点播缓冲管理

5.4.3 文件下载缓冲管理

5.5 数据传输

5.5.1 组播数据传输

5.5.2 点播数据传输

5.5.3 文件下载数据传输

5.6 点播和文件下载写文件机制

5.6.1 点播资源写文件算法

5.6.2 文件下载写文件算法

5.7 磁盘管理

5.8 服务节点管理

5.8.1 节点注册

5.8.2 节点注销

5.8.3 节点更新

5.8.4 节点淘汰

5.8.5 节点获取

5.9 节点会话

5.9.1 数据源会话(SourceSession)

5.9.2 发送者会话(SenderSession)

5.9.3 接收者会话(ReceiverSession)

5.9.4 终端会话(TeminalSession)

第六章 缓冲管理的接口定义与实现

6.1 分片文件和分片数据管理

6.1.1 接口定义

6.1.2 重要函数功能分析

6.2 点播和文件下载索引和BM控制

6.2.1 接口定义

6.2.2 重要函数功能分析

第七章 软件配置

7.1 透明下载系统配置介绍

7.1.1 配置项

7.1.2 XML简介

7.2 XML配置

第八章 系统测试

8.1 测试原则

8.1.1 错误严重程度定义

8.1.2 测试通过准则

8.2 系统测试

8.2.1 测试环境

8.2.2 测试指标及测试结果

8.2.3 测试总结

第九章 结束语

9.1 论文工作总结

9.2 本文创新点及透明下载系统的特点

9.3 有待解决的问题

参考文献

致谢

攻读硕士学位期间的研究成果

附录