云环境下基于LQNM的数据库系统自配置框架研究

摘要

随着云计算技术的快速发展，部署在云计算平台下的应用程序向着多样化和复杂化的方向发展，对云计算技术的要求也越来越高。云数据库作为云计算平台的后台支撑系统，其性能直接决定着部署在云计算环境下应用程序的性能。因此，根据不同时刻负载的变化情况，通过合理地为云数据库系统调整系统资源分配，是实时满足用户的性能目标和系统的服务质量的有效手段之一。但是，面对云数据库系统下庞大的数据量、复杂多变的负载，要保障云数据库系统的服务质量，通过人工手动来调整系统资源配置是十分困难的，不仅需要大量的云数据库专业工作者，而且这项工作是消耗大量的时间，不能实时满足系统的性能目标。因此，为云数据库构建负载自适应配置框架就成为解决该问题的一项核心任务。
　　本文的负载自适应配置框架是基于性能预测模型的基础上提出来的，通过构建云数据库系统的性能模型来预测云数据库系统的性能，可以在给定系统资源配置的情况下，使用性能模型求解算法预测系统的性能指标参数，从而为系统搜索最优的资源配置提供强有力的支持。目前，比较成熟的性能模型有排队网络模型和分层排队网络模型，其中，排队网络模型适用于简单的系统（处理负载请求的过程中只涉及到系统的硬件资源），分层排队网络模型适用于较复杂的系统，可以将系统处理负载请求的过程描述为系统的软件资源之间、硬件资源之间、软件资源和硬件资源之间的调用关系。基于以上事实，本文在通过分析云数据库的工作原理，提出了Hadoop平台下HBase数据库系统的分层排队网络模型。该模型由五个任务组成，其中有两个软件任务（工作进程、数据库管理进程）和三个硬件任务（THINK、CPU、硬盘）。
　　本文的实验以HBase数据库为目标云数据库，TPC-H基准测试的1G数据量作为数据源和负载进行实验，与无控制机制、优先权控制机制进行对比，证明了本文提出的负载自适应配置框架的有效性，通过自适应配置框架对系统资源的调控，系统的QoS得到了很大提升。此外，为了证明性能模型（分层排队网络模型）的有效性，将分层排队网络模型预测的平均响应时间和吞吐量，分别与排队网络模型的性能指标预测值和实际测量值进行比较，实验结果证明，分层排队网络模型的预测值比排队网络模型的预测值更接近实际值，从而说明该模型在预测HBase性能方面的准确性和有效性。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 研究现状

1．2．1 数据库系统负载自适应研究现状

1．2．2 性能模型研究现状及应用

1．3 主要研究内容

1．4 文章组织结构

1．5 本章小结

第二章 理论基础及相关技术

2．1 云数据库

2．1．1 云数据库与传统的分布式数据库

2．1．2 云数据库产品

2．2 性能模型

2．2．1 排队网络模型

2．2．2 分层排队网络模型

2．3 数据库负载自适应框架

2．4 本章小结

第三章 自适应配置框架研究

3．1 服务水平目标

3．2 负载监控器

3．3 性能求解器

3．3．1 云数据库工作原理

3．3．2 构建云数据库系统的分层排队网络模型

3．3．3 模型求解

3．4 配置选择器

3．5 本章总结

第四章 实验结果和分析

4．1 实验环境

4．2 实验方案

4．3 实验结果与分析

4．3．1 性能模型验证

4．3．2 自适应配置框架验证

4．4 本章总结

第五章 总结和未来工作展望

5．1 总结

5．2 未来工作展望

参考文献

致谢

攻读硕士论文期间发表的学术论文