云协助文件共享与发布系统优化策略研究

摘要

随着云技术的迅猛发展，基于云的网络应用极大丰富。拥有超大规模用户群的P2P文件共享与发布应用如文件下载、流媒体和在线游戏发布等，也开始向云平台迁移，形成了云协助文件共享与发布系统。P2P模式与云服务模式的结合，赋予了文件共享与发布系统众多新特性，例如，可周期性改变系统的云带宽租用量，提供下载预约功能，为用户下载过程同时提供节点辅助和云协助两种加速方式，可短期租用云资源以应对新资源发布初期瞬间激增的下载请求，等等。在新模式新特性的驱动下，对文件共享与发布系统性能优化及成本节约策略的研究，面临着一系列亟待解决的问题：第一，P2P与云协助模式的结合，能否提升文件共享与发布系统的性能？系统需要承担多大的云资源租用开销？影响系统成本的关键因素有哪些？对大规模实用系统展开测量，以解答上述疑问，是云协助文件共享与发布系统优化策略研究急需解决的问题;其次，云协助服务模式下的系统，每隔一段周期可以调整云带宽的租用量，如何使租用量与系统实际的带宽需求相匹配，从而在保障QoS的同时，降低云资源消耗量，是系统优化策略研究中的重要问题。第三，云协助服务模式支持下载预约功能，且为用户的下载过程同时提供节点加速和云加速，如何基于此新特性，提出高效的网络缓存策略，是系统优化策略研究中的又一关键问题。第四，在热门新资源发布初期，下载请求瞬间激增，这种flash erowd现象对云流量的消耗极大，如何基于短期租用云资源时的付费特征，提出云协助文件发布过程的成本节约策略，是系统优化策略研究的又一重要问题。此外，在云协助服务模式下，主要承载文件共享与发布应用的，实际上是分布式云平台。如何结合主营业务的特性，研究云平台的成本最小化部署问题，得出分布式云计算存储资源的最优部署位置及数量，也是系统性能优化策略研究的关键问题，具有重要的学术价值和现实意义。
　　本研究主要内容包括：⑴针对测量研究实用云协助文件共享与发布系统的工作较为匮乏这一问题，本文对其典型代表----QQ旋风离线下载系统，展开大规模测量，根据系统的服务特性，设计了数据采集的主要参量。测量结果表明，云协助模式解决了原有P2P系统无法保障文件可用性，以及无法保障用户高速下载这两大缺陷。分析结果还揭示了影响用户下载过程云带宽消耗量的关键因素。为系统优化打下了基础。⑵针对现有的服务器带宽分配策略不适用于云带宽租用量可变的服务模式这一问题，结合测量得出的下载过程云带宽消耗量主要影响因素，即文件热度、下载启动时段和用户网络连接类型，本文提出了自适应的云带宽租用和分配策略。实验结果表明，该策略在保障服务质量的同时，大幅削减了离线下载系统的云带宽消耗量。⑶针对支持下载预约功能，以及同时提供节点加速和云加速的服务特性，本文研究了适用于云协助离线下载系统的网络缓存方案，提出了在ISP域内同时部署P2P超级节点和缓存云延伸节点的互补式缓存策略。P2P超级节点根据域内P2P网络中的文件紧缺程度决定缓存对象，以增强域内P2P网络的服务能力。缓存云延伸节点根据域内用户下载预约量决定缓存对象，且无需缓存P2P超级节点中已有的文件，以分担域内下载请求对云带宽的需求量。部署后3个月的实际运营数据表明，互补式缓存策略能够实现降低系统云带宽消耗量、提升用户下载速度、削减ISP跨域流量开销的“三赢”目标。⑷针对热门文件发布初期。大规模flash crowd下系统的云资源租用开销过大这一问题，本文首先建立了游戏发布系统的Fluid模型。并借助模型推导了系统的云资源占用时长和云流量开销。然后通过示例分析，发现大小文件同时发布时，系统因无法充分利用用户的上传能力，导致云资源租用开销远高于理论下界。为此，我们提出了文件块主动推送方案，把节点上传带宽不足的文件分块推送给有富余上传能力的“帮忙节点”。最后我们求解最优化问题得出了最优推送策略，并通过效果评估，揭示了推送策略能使云资源租用开销大幅降低且接近理论下界。⑸针对承载了众多热门网络应用的分布式云系统的成本最小化部署问题。本文在揭示了4类主要成本元素之后，基于不改变成本特性的抽象化系统结构，建立了分布式云系统的通用成本模型。然后，针对主营应用特性不同的三类典型云系统，分别构建了最优化问题，并相应地求解得出了分布式计算存储资源的最佳部署位置，以及最优数量。最后，通过讨论揭示了研究成果的实际指导意义。