基于服务等级目标精确保障的虚拟机存储性能优化技术

摘要

实现服务等级目标（service level objective,简称SLO）的精确保障可以有效避免SLO保障中的资源过量供给问题，从而为性能优化提供了更多可用的资源;而性能优化必须以SLO为约束条件，否则这种优化行为将可能增加SLO违例的风险。但是，在共享服务构架下，要实现虚拟机的存储性能SLO的精确保障并进一步实现性能优化将面临以下挑战:1)用户对虚拟机存储性能的保障需求往往是多方面的，而不同性能指标之间存在复杂的相互干扰。2）如何在保证SLO保障水平的前提下实现服务等级目标的最大化，从而尽可能避免SLO保障中的资源过量供给问题。3）虚拟化构架提供的I/O栈隔离使虚拟机内部的I/O请求队列变化不易被虚拟机以外的I/O调度及时感知和控制，从而增加了虚拟机性能SLO保障的难度。4）优化某种存储性能指标往往会导致额外的资源开销，减少其他存储性能指标SLO保障的资源供给，可能导致性能优化和SLO保障的相互干扰。围绕上述挑战给出了相应方法。
　　提出了面向虚拟机的端到端的SLO精确保障和基于SLO约束性能优化的解决方案。该方案基于一种可实现稳定而精确的SLO保障的I/O控制框架SASLO，它可以支持多个控制器对同一虚拟机不同的I/O特征变量进行控制，从而实现多性能指标的精确保障。设计并实现了面向虚拟机的端到端的比例积分控制器和I/O请求大小波动控制器，对高度变化的I/O请求特征进行自适应性反馈控制，从而对I/O吞吐率和I/O带宽SLO进行精确保障。实验表明，SASLO可以同时使I/O吞吐率/带宽的均值误差降至低于1％，同时I/O吞吐率和I/O延时的波动相对于主流经典控制方法显著降低，即SASLO框架有助于性能的稳定和不同性能指标SLO保障的隔离。
　　提出了基于用户需要的SLO服从率和性能波动水平实现服务等级目标最大化的方案。它有助于用户获得满足SLO的稳定性能，同时又能实现虚拟机SLO目标值和现有存储服务能力的有效匹配。该方案在SASLO框架的基础上根据用户订制的SLO保障水平和SLO需求通过I/O吞吐率SLO优化算法和I/O请求大小限定优化算法实现服务等级目标的优化。实验表明，只要最大资源利用率小于100%，并行虚拟机数量的增加就几乎不会影响SLO保障水平，这使得该方案允许更多虚拟机充分利用存储资源，在保证SLO保障水平的前提下实现SLO最大化。
　　由于网络搜索引擎等大型应用往往需要部署在大规模的虚拟机集群中，应用的I/O响应时间就取决于各虚拟机的I/O延时水平。从而使得保障虚拟机的尾延时性能变得非常重要。尾延时是指99、99.9甚至99.99百分位的I/O延时性能。然而，越来越多的应用采用异步I/O接口进行I/O请求发送。异步I/O模式支持I/O请求处理流程的高度并发，旨在提高资源利用率。然而，这会使虚拟机的I/O请求特征更具突发性和自主性，从而增加了尾延时性能的保障难度。因此，提出了聚合虚拟机环境中面向高存储资源利用率的尾延时SLO精确保障方案T-CAQ。该方案能根据尾延时SLO的违例情况对虚拟机和主机侧的I/O请求队列进行可感知I/O拥塞的自适应控制。通过调节虚拟机的I/O并行度和主机侧I/O请求队列中各虚拟机所占I/O槽位数量的分配， T-CAQ可以在精确保障各虚拟机尾延时SLO的前提下优化存储设备的I/O资源分配，从而获得尽可能高的资源利用率。大量的实验证明，T-CAQ能够对聚合虚拟机集群的99.9百分位的尾延时SLO进行精确保障，并实现了基于SLO的I/O资源利用率的优化。其中，在RAID-0磁盘阵列作为存储设备的情况下，尾延时SLO的最大保障误差为8.6%；而在基于SSD设备的情况下，最大误差仅为3.5%。
　　提出了聚合虚拟机环境下既定百分位I/O延时和吞吐率SLO精确保障以及基于SLO的性能优化方案PSLO。PSLO可以支持一台主机上运行的多个虚拟机具有完全不同百分位的I/O延时SLO和I/O吞吐率SLO，并实现在上述两维SLO约束下的I/O性能优化。支持这样复杂的SLO保障需求意味着极大的挑战。这在很大程度上是因为既定百分位I/O延时和I/O吞吐率的SLO保障对I/O并行度和I/O到达率具有相互冲突的控制要求。而PSLO能根据各虚拟机I/O延时的SLO违例情况自适应地调整虚拟机侧I/O请求队列的I/O并行度和I/O到达率，从而有效支持并行虚拟机不同的百分位I/O延时和I/O吞吐率SLO的保障需求。此外，PSLO可以在SLO的约束下根据不同的优化策略充分利用可用的存储I/O资源优化性能。实验证明，PSLO可以在既定百分位I/O延时SLO约束下优化各虚拟机的I/O吞吐率，同时保证I/O吞吐率分配公平；此外，PSLO还能在I/O吞吐率SLO的精确执行下实现各虚拟机既定百分位I/O延时性能的优化。

目录

声明

1 绪论

1.1 研究背景

1.2 性能指标及其影响因素

1.3 评价标准

1.4 服务等级目标保障和性能优化的研究现状

1.5 论文主要研究内容

1.6 论文组织结构

2 I/O吞吐率/带宽服务等级目标精确保障方法

2.1 支持用户订制SLO策略的挑战

2.2 存储虚拟化和I/O吞吐率/带宽保障的相关工作

2.3 SLO保障的评价指标

2.4 支持SLO精确保障的系统框架

2.5 SLO精确保障系统的性能测试

2.6 本章小结

3 虚拟机共享存储的服务等级目标最大化方法

3.1 服务等级目标最大化方法的研究背景

3.2 服务等级目标最大化方法的总体设计

3.3 基于波动水平和服从率约束的服务等级目标优化算法

3.4 系统性能测试

3.5 本章小结

4 面向高资源利用率的尾延时SLO精确保障技术

4.1 高资源利用率下尾延时保障的挑战

4.2 尾延时SLO精确保障的研究背景和动机

4.3 尾延时SLO精确保障方案的总体设计

4.4 基于两层队列控制构架的尾延时SLO精确保障方案

4.5 系统性能测试

4.6 本章小结

5 既定百分位I/O延时和吞吐率的SLO保障和性能优化

5.1 基于SLO精确保障的性能优化研究的背景和对策

5.2 基于SLO精确保障的性能优化的研究动机

5.3 基于I/O并行度和I/O到达率控制的精确保障及性能优化

5.4 系统性能测试

5.5 本章小结

6 全文总结与展望

6.1 主要贡献

6.2 研究展望

致谢

参考文献

附录1 攻读博士学位期间发表的学术论文目录

附录2 攻读学位期间申请的专利

附录3 攻读学位期间参与的科研项目