NGB智能终端数据访问关键技术研究

摘要

随着下一代广播电视网（the Next Generation Broadcasting network，NGB）建设进程的推进和三网融合业务的开展，开放业务平台上多样化的双向交互应用将广播电视网的终端用户从单一的数据被动接收者转变为数据生产者和消费者的双重身份，这就向NGB提出了数据存储需求。
　　 基于用户对数据方便、快捷、可靠共享方式的强烈需求，以及大部分广播电视网智能终端自身存储、计算资源有限的状况，采用高可扩展、按需分配的集中式存储资源池乃是符合信息产业技术发展趋势的低成本、高效率解决方案。在这一需求背景下，在NGB中建设适合自身网络特性的存储服务具有重要意义。
　　 另一方面，广播电视网数字化整体转换过程中形成的有服务器质量保证的高清视频类业务是广播电视网区别于互联网和宽带电信网的特色业务。与其他数据的共享需求不同，高清视频主要通过直播、点播和录播的方式欣赏，录制的大容量视频文件保存在高清媒体终端本地的存储设备中。由于存储设备普遍使用价格可接受、但访问性能提升逐渐趋于平缓的传统硬盘，不足以应付视频分辨率的几何式增长速度;加快高清视频录制播放时硬盘文件系统的并行读写速度，降低文件读写时处理器的使用率，保证用户欣赏时的流畅体验就显得尤为重要。
　　 针对这两方面的问题，本文的主要工作和创新点如下:
　　 1.利用广播电视网络下行带宽大、且可管理分配的优势，提出一种参考差分压缩的去重复传输优化策略。在该传输策略中，存储服务器根据客户端发送的分块摘要值在数据库中查找相似文件和相似分块，并将相似分块回复给客户端，客户端将相似分块与本地数据进行差分压缩编码后上传更少量的数据。通过将一部分数据量从低带宽的一端移到高带宽的一端，而又不显著增加总的传输量，参考差分的去重传输策略减少了数据传输的总时间，加快了数据同步的速度。
　　 2.提出一种Hash表与B+树相结合的目录索引结构HB-Index。使用Hash表索引的方式，可以在O(1)时间内找到文件名对应的索引节点;另外仅在目录文件中保存子文件的索引节点号，并由B+树组织这些子索引节点号，支持O(logdN)时间内文件的创建和删除。实测结果表明，HB-Index不仅能够快速地处理包含大量文件的单个文件夹，在分区内文件总数很大时，也有优越的全局性能。
　　 3.提出一种磁盘文件系统-Boaz，用于提升高清视频的快速连续读写速度。它将元数据与数据分区域存储，设置合适的最小分配单元，在保证大文件最低连续读写带宽和最大磁盘空间利用率的同时，降低了写文件时的元数据更新频率和CPU资源消耗。另外，基于预期文件大小的数据块预分配策略增加了文件元数据的连续性，降低磁盘的老化速度。在高清视频播放器上的测试结果表明，Boaz在顺序读写和并行访问大文件时，能够获得比现有磁盘文件系统更快的访问速度和更低的CPU利用率。
　　 本文针对几个关键问题提出的优化解决方法，或许可以为NGB中终端用户数据的存储研究起到砖引玉的作用，在进一步完善之后能够为NGB的示范建设进程提供一些实际可应用的技术。

目录

声明

摘要

表格

插图

算法

符号缩写对照表

第1章 绪论

1．1 研究背景

1．2 研究意义

1．3 开放业务平台用户数据存储结构设计

1．3．1 NGB中终端数据的前端站点分布式存储

1．3．2 数据访问和用户独立视图

1．4 论文的主要工作和贡献

1．5 本文主要内容安排

第2章 相关技术研究

2．1 数据网络传输去重复技术

2．1．1 无损压缩

2．1．2 基于散列值的去重复

2．1．3 分布式去重

2．1．4 去重复方法的选择

2．2 目录索引结构

2．2．1 文件路径名的解析和目录

2．2．2 顺序目录文件

2．2．3 目录项的B树组织

2．2．4 文件名的Hash式映射

2．3 磁盘数据高速传输

2．3．1 磁盘结构及其访问性能

2．3．2 文件系统数据块寻址

2．3．3 空闲空间分配策略

2．4 本章小结

第3章 客户端数据的差分去重上传

3．1 引言

3．2 相关研究

3．2．1 元数据开销优化策略

3．2．2 数据优化策略

3．3 参考差分去重传输策略

3．3．1 参考差分去重上传协议

3．3．2 参考分块选择算法

3．3．3 参考文件选择算法

3．3．4 差分压缩编码算法

3．4 实验及分析

3．4．1 原型实现

3．4．2 对照组和参数

3．4．3 测试数据集

3．4．4 测试结果及分析

3．5 本章小结

第4章 Hash表索引的高效目录结构

4．1 引言

4．2 Hash表和B+树的目录索引结构HB-Index

4．2．1 HB-Index整体结构

4．2．2 文件管理算法

4．2．3 Hash函数的选择

4．3 性能测评

4．3．1 实现及相关参数

4．3．2 目录性能测试

4．4 本章小结

第5章 面向高清视频的快速文件系统

5．1 引言

5．2 面向高清视频的快速文件系统

5．2．1 设计依据

5．2．2 文件系统磁盘结构

5．2．3 最小分配单元的选择

5．2．4 基于预期文件大小的数据块预分配策略

5．2．5 数据一致性保证

5．3 性能测评

5．3．1 实验环境和参数

5．3．2 文件系统老化情况

5．3．3 读写速度测试

5．3．4 并行读写速度

5．4 本章小结

第6章 总结与展望

6．1 本文主要工作总结

6．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果