面向复杂科学计算应用的虚拟资源柔性管理机制研究

摘要

21世纪以来，科学计算成为大型科学研究中科研数据分析的主要手段，各类科学计算应用在各科研领域被广泛使用，促进了人类科研的快速发展。科学计算应用运算量庞大，随着其规模的不断增加，其计算资源需求量急剧攀升，然而支撑应用运行的数据中心通常资源容量有限。因此，如何进行高效资源管理，充分利用数据中心有限的资源满足科学计算应用日益增长的资源需求成为亟待解决的问题。随着虚拟化技术的发展，通过资源虚拟化将物理机虚拟成虚拟机可以实现资源的灵活配置和快速部署。近年来，通过对虚拟资源的灵活管理来实现物理资源的高效使用成为资源管理的主要方式。
　　当前，针对虚拟资源管理方面的研究已取得了一定的进展，但其本质上仍是一种“粗粒度”的管理模式，容易造成“资源浪费”的现象，主要体现在以下三个方面。首先，现有工作缺乏对复杂科学计算应用精确的资源需求分析，没有进行充分的资源需求优化，在提供资源时容易造成资源过度供给;其次，现有工作在进行在线资源分配时缺乏高效的资源分配优化，容易造成资源分配不合理，导致物理资源无法得到充分利用;最后，现有工作忽略了根据科学计算任务实际资源使用量的变化进行动态的资源调整，容易导致资源使用效率低下。因此，本文主要关注于如何充分利用虚拟化技术的优势进行“细粒度”的高效资源管理，减少资源浪费。
　　针对上述问题，本文对资源供给、分配和使用三个阶段的资源管理优化问题分别展开研究，旨在提供一种虚拟资源柔性管理机制，以实现“细粒度”的高效资源管理。研究内容包括以下四个方面:第一，将针对复杂科学计算应用的资源需求分析和资源供给过程有机结合，设计面向复杂科学计算应用的虚拟资源按需供给机制，在保证应用执行性能的同时优化资源供给量，实现资源供给阶段的优化;第二，设计大规模异构虚拟资源在线分配机制，在快速响应资源分配请求的同时，通过虚拟机在物理机中的合理部署提高物理资源利用率，实现资源分配阶段的优化;第三，设计基于混合资源池的虚拟资源迁移调整机制，根据科学计算任务执行过程中资源实际使用量的变化，通过虚拟机迁移实现资源调整，从而提高资源使用效率，实现资源使用阶段的优化;第四、在理论研究的基础上，基于东南大学云计算数据中心实际环境，设计并开发面向复杂科学计算应用的虚拟资源柔性管理原型系统，以验证本文的理论研究成果。
　　综上所述，本文提出了一种面向复杂科学计算应用的虚拟资源柔性管理机制，实现了资源的高效管理。通过一系列仿真实验和测试平台实验的结果表明，本文所提的相关机制和算法能够对复杂科学计算应用在数据中心执行时的资源供给、分配和使用三个阶段进行合理、高效的资源管理和优化，为各类科学计算应用在东南大学云数据中心的高效执行提供有力保证，同时为大规模数据中心资源管理的发展做出有益贡献。

目录

声明

摘要

插图目录

表格目录

缩略词表

第1章 引言

1．1 研究背景

1．2 选题来源

1．3 研究动机和解决思路

1．3．1 研究动机

1．3．2 解决思路

1．4 研究目标与内容

1．4．1 研究目标

1．4．2 研究内容

1．5 论文组织

第2章 研究现状

2．1 引言

2．2 资源供给研究现状

2．3 资源分配研究现状

2．4 资源调整研究现状

2．5 研究现状总结

第3章 面向复杂科学计算应用的资源按需供给机制

3．1 引言

3．2 问题建模

3．2．1 应用模型

3．2．2 系统模型

3．2．3 相关定义

3．2．4 优化目标

3．3 资源按需供给机卷Ⅱ

3．3．1 主要思想

3．3．2 资源需求分析

3．3．3 作业准入评估

3．3．4 虚拟资源按需供给

3．3．5 动态任务调度

3．4 实验与分析

3．4．1 实验环境及相关设置

3．4．2 对比算法及性能衡量方法

3．4．3 实验结果及分析

3．5 小结

第4章 大规模异构虚拟资源在线分配机制

4．1 引言

4．2 基于虚拟机预部署的在线资源分配

4．2．1 设计思路

4．2．2 在线资源分配框架及流程

4．2．3 在线资源分配的资源优化

4．3 虚拟机预部署规模优化

4．3．1 问题定义

4．3．2 虚拟机需求量建模

4．3．3 基于排队论的预部署优化模型

4．4 虚拟机预部署方案优化

4．4．1 问题数学建模

4．4．2 问题求解

4．5 实验与分析

4．5．1 对比算法及性能衡量指标

4．5．2 测试平台实验设置

4．5．3 测试平台实验结果及分析

4．5．4 仿真实验设置

4．5．5 仿真实验结果及分析

4．6 小结

第5章 基于混合资源池的虚拟资源动态调整机制

5．1 引言

5．2 预备知识介绍

5．3 基于混合资源池的资源调整模型

5．3．1 研究动机

5．3．2 混合资源池模型

5．3．3 基于混合资源池的资源调整优化

5．4 资源调整优化问题建模

5．5 资源调整优化算法

5．5．1 资源优化算法

5．5．2 迁移优化算法

5．6 资源调整机制的实际使用

5．7 实验与分析

5．7．1 对比算法及性能衡量指标

5．7．2 仿真实验设置

5．7．3 仿真实验与结果分析

5．7．4 测试平台实验设置

5．7．5 测试平台实验结果及分析

5．8 小结

第6章 面向AMS科学计算的虚拟资源柔性管理系统

6．1 AMS-02科学数据处理简介

6．2 SEU-RFMS原型系统设计与实现

6．2．1 SEU-RFMS总体设计

6．2．2 SEU-RFMS具体实现

6．3 SEU-RFMS部署与测试

6．3．1 SEU-RFMS实际部署

6．3．2 科学工作流测试作业介绍

6．3．3 SEU-RFMS功能和性能测试

6．4 小结

第7章 总结与展望

7．1 论文总结

7．2 下一步研究方向

参考文献

致谢

攻读博士期间论文发表情况

攻读博士期间参与的科研项目

作者简介