大规模复杂系统瓶颈检测和性能预测方法的研究

摘要

以大型企业应用系统、云计算等为代表的大规模复杂系统日益广泛，性能调优、性能管理和能力规划成为这类系统部署运行过程中面临的重要挑战。论文在实现TPC—App测试基准(事务性能委员会最新发布的应用服务器、Web服务评价基准)的基础上，以实验评估的方式，研究大规模复杂系统的瓶颈检测和性能预测方法。
　　 应用服务器作为应用程序开发与Web服务运行的平台，它的性能逐渐成为人们关心的问题。论文基于TPC—App测试基准，自行设计开发了用于量化计算机系统性能度量指标的测试系统，阐述了设计与实现该系统过程中采用的关键技术，并对大量Web用户及其行为的模拟进行了深入探讨。
　　 论文针对多层分布式系统的特性，采用决策树ID3分类算法，提出了一种基于机器学习的自动化瓶颈检测方法，该方法可根据收集到的动态变化的性能数据，自动检测多层分布式系统的瓶颈层和瓶颈资源，从而达到性能管理和性能调优的目的。为了验证该方法的有效性，论文对基于TPC—App基准模拟的B2B事务型应用场景进行了系统的实验评估，实验结果表明该方法具有较强的适用性和通用性。
　　 为了有效解决多层分布式架构中系统性能如何随着负载压力的变化而变化，这一系统能力规划的重要问题，论文提出了一种基于统计学习的回归性能预测方法，并从线性回归方程次幂、性能指标特性、集群结点个数和训练数据量大小四个方面分析该预测方法的敏感度。实验结果表明该方法具有精确度高、实用性强等特点，从而为大规模复杂系统的性能预测和能力规划提供一种实用高效的解决方案。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章 绪论

1.1研究背景

1.2瓶颈检测和性能预测的目标与意义

1.3国内外相关工作与研究现状

1.4本文的研究内容

1.5本章小结

第2章 基于TPC-App基准的测试系统

2.1概述

2.2 TPC-App基准介绍

2.2.1商业与应用环境

2.2.2性能度量指标

2.2.3服务分类

2.2.4数据模型

2.2.5基准总体布局

2.3测试系统的体系架构

2.3.1总体架构

2.3.2客户层模块

2.3.3应用层模块

2.3.4数据层模块

2.3.5测试工作流程

2.4实现TPC-App基准的关键技术

2.4.1基于事件驱动的多线程调度优化

2.4.2基于双池结构的连接池

2.4.3高可用性(HA)的应用服务器集群部署

2.5本章小结

第3章 多层分布式系统的瓶颈检测方法

3.1概述

3.2瓶颈检测方法描述

3.2.1瓶颈检测的一般步骤

3.2.2决策树ID3分类算法

3.3瓶颈检测的实验评估

3.3.1实验软硬件环境

3.3.2瓶颈检测实验过程

3.3.3瓶颈检测结果验证

3.3.4实验结果总体分析

3.4瓶颈检测的关键技术

3.4.1系统真实负载的模拟

3.4.2海量数据的分析与处理

3.4.3资源使用率的统计与提取

3.5本章小结

第4章 基于统计学习的性能预测方法

4.1概述

4.2性能预测方法描述

4.2.1问题定义

4.2.2回归预测算法

4.2.3精度测量

4.3性能预测的实验评估

4.3.1对单结点系统资源的预测

4.3.2对分布式系统资源的预测

4.3.3对系统最大负载压力的预测

4.4预测模型敏感度分析

4.5本章小结

第5章 总结与展望

5.1论文主要工作概述

5.2未来工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢

作者简历