海量视频共享系统中基于溯源的数据减缩方法

摘要

随着视频共享系统和编辑软件的出现以及广泛使用，共享系统中的视频数量和种类快速增加。在这些海量视频中存在大量重复或在内容上高度近似的视频，增加了用户与视频共享系统之间的网络带宽消耗。视频的访问热度分布服从帕勒托分布，少数热门视频占据绝大部分访问量，而大量冷视频的访问量很少或是没人访问。共享系统中不能发生用户数据丢失，导致大量冷数据的长期存储累积开销会非常可观。如何有效地减少近似视频上传带宽消耗，保证视频数据不丢失的前提下实现冷视频数据空间减缩来节省系统整体开销且不对用户的访问造成过多影响成了一个挑战。
　　设计了一种在海量视频共享系统中基于溯源的数据减缩方法—Dpbvd，对系统中已有视频进行编辑时，通过将视频的编辑操作转移到服务器上，避免视频的上传，从而节省带宽。同时又缩减系统中具有溯源信息的冷门近似视频数据来降低服务器整体管理开销。数据减缩方法是指重复数据删除和近似冗余数据压缩。在客户端，用户编辑视频时收集相关的编辑操作信息和视频信息作为新生成视频的应用层溯源信息，并上传至服务器。在服务器端，系统记录每一个阶段内视频的访问次数以及自上传后的累积访问次数，综合考虑视频的访问热度趋势和近期访问次数来动态预测视频的冷热程度；缓存热度高的视频，降低访问时延；对于冷视频，保留不具有溯源信息的冷视频。通过扫描收集的溯源信息，找到具有溯源信息的冷门视频而将其压缩而节省存储开销，具有溯源信息的视频压缩后可根据溯源信息而重新生成，从而系统不会发生数据丢失。
　　试验测试表明，海量视频共享系统中基于溯源的数据减缩方法能够有效节省共享系统视频存储空间，且冷热视频预测精确度高，不会显著影响用户访问视频的速度。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1研究背景及意义

1.2国内外研究现状

1.3研究目标和主要工作

1.4本章小结

2 相关研究工作与系统关键技术

2.1数据溯源

2.2近似冗余数据减缩技术

2.3视频热度衡量和预测

2.4本章小结

3 基于溯源的视频数据减缩方法设计

3.1总体框架

3.2设计思想

3.3系统模块设计

3.4上传下载模块设计

3.5溯源信息收集模块设计

3.6溯源信息查询模块设计

3.7冷热视频查找、缓存与压缩模块设计

3.8本章小结

4 基于溯源的视频数据减缩方法实现

4.1上传下载模块的实现

4.2溯源信息收集模块的实现

4.3溯源信息查询模块的实现

4.4冷热视频查找、缓存与压缩模块的实现

4.5本章小结

5 测试与分析

5.1测试环境

5.2溯源信息收集代价测试

5.3冷热视频预测精度测试

5.4空间减缩率测试

5.5带宽节省测试

5.6溯源重建访问时延测试

5.7缓存测试

5.8本章小结

6 总结与展望

致谢

参考文献