Web应用系统性能模型的参数估算

摘要

大型Web应用系统的资源管理旨在保证系统的性能，降低系统的运行开销，是系统运维的一个关键任务。资源管理需要定量地衡量工作负荷和系统配置变更后系统的性能影响。预测系统性能变化的一种主要工具是性能模型，尤其是队列网络模型。队列网络模型中的参数，尤其是服务时间参数，对模型预测的准确度有很大的影响，因此准确的参数设置是性能建模的一个关键。
　　直接测量模型参数需要建立复杂的监控设施，并且有可能影响系统的性能。因此，建模者往往使用普遍存在的性能数据，如访问日志和系统资源率日志，间接地通过参数估算的办法来获得模型参数。然而，因为建模者一般是独立于开发团队的性能分析团队，所以建模者缺乏对系统实现细节的理解，建模时能够利用的领域知识非常少，这极大地增加了参数估算的难度。另外，由于Web应用系统中工作负荷和系统配置具有动态变化的行为，传统的参数估算方法的准确性大为降低。本文正是基于以上背景，开展对Web应用系统中参数估算的研究工作。顺应建模和模型维护的四个阶段，即工作负荷分析、基准模型构建、模型校准和模型维护，论文具体研究内容和创新点表现在以下几个方面:
　　自动工作负荷分类。基于独立分量分解(ICA)的工作负荷分类方法无需任何分类的先验知识，就可以从性能数据中挖掘出工作负荷的类别。然而，单纯基于ICA的方法能够挖掘的类别数量有限。我们提出把请求URL的信息与基于ICA的方法相结合，从而突破工作负荷分类数量的限制。实验表明，该方法能够挖掘出细粒度的工作负荷分类，在该分类下，能够得到更准确地预测资源的利用率。
　　变频感知的请求服务时间估算。回归方法仅利用请求的吞吐率和资源的利用率数据就可以估算请求的服务时间。然而，在具有动态变频功能的处理器中，回归方法的估算准确度大大降低。我们提出测量系统的平均频率，并将其融入回归方法，从而估算请求在最高频率下的服务时间。我们发现Linux会低估处理器平均频率，为了准确地测量平均频率，编写了一个Linuxcpufreq_stats驱动的补丁。实验表明，变频感知的方法能够准确地估算请求在最高频率下的服务时间，并显著地降低利用率的预测误差。
　　负载相关的请求服务时间估算。现有的服务时间估算方法往往假设请求的服务时间是一个和负载无关的常量。然而，在现代处理器下，由于动态变频和超线程的影响，请求服务时间是负载相关的，假设服务时间负载无关的方法无法准确地估算负载相关的服务时间。我们提出将处理器服务时间表示为处理器利用率的多项式函数，并利用包含范围限制的二次规划方法来估算多项式函数的系数。实验表明，这种方法可以有效地发掘服务时间的负载相关变化，从而显著地降低利用率的预测误差。
　　在线跟踪性能模型参数变化。卡尔曼滤波器提供了一种在线跟踪性能模型参数的方法。然而，单模型的卡尔曼滤波器在系统模型未知或者会随时间发生变化的情况下，跟踪的准确度无法保证。我们提出使用多模型卡尔曼滤波器来动态地调整滤波器中的系统模型。这种方法通过一组系统模型来覆盖可能的系统模型改变，例如性能模型的改变，并将多个系统模型的滤波结果混合作为整体的滤波输出。实验表明，多模型的方法既可以跟踪性能模型的参数，也可以跟踪系统模型的变化，相比单模型的卡尔曼滤波器，状态跟踪和性能预测的准确度更高。

目录

声明

致谢

摘要

1 绪论

1．1 大型Web应用系统的资源管理

1．2 系统性能建模

1．3 性能模型的参数估算

1．4 本文的主旨和贡献

1．5 本文结构

2 性能模型参数化的研究现状

2．1 web应用系统中的性能数据

2．2 直接测量的方法

2．3 基于利用率法则的参数估算方法

2．4 基于模型的参数估算方法

2．5 两类估算方法的比较

2．6 其他参数化方法的研究

3 自动负载分类

3．1 研究背景

3．2 基于ICA的自动分类方法：URL-ICA

3．3 实验及结果分析

3．4 讨论

3．5 相关工作

3．6 小节

4 变频感知的处理器服务时间估算方法

4．1 处理器的动态变频功能

4．2 交频感知的估算方法

4．3 实验及结果分析

4．4 生产环境中回归分析的建议

4．5 相关工作

4．6 小节

5 针对现代处理器的负载相关服务时间估算方法

5．1 研究背景

5．2 现代处理器的特征及其影响

5．3 CPU服务时间估算方法

5．4 实验及结果分析

5．5 相关工作

5．6 小节

6 性能模型的动态跟踪

6．1 研究背景

6．2 多模型卡尔曼滤波器

6．3 多模型方法在性能模型跟踪中的应用

6．4 案例分析实验

6．5 讨论

6．6 相关研究

6．7 小节

7 性能楚模工具链的设计和实现

7．1 工具链框架和关键模块

7．2 应用案例

7．3 小节

8 结论和展望

8．1 主要工作内容和创新点

8．2 进一步研究工作

参考文献

攻读博士学位期间主要研究成果