计算型任务的资源需求预测和收敛性判定

摘要

随着云计算的发展以及大数据时代的到来，企业对大数据业务的需求日益增长，大数据分析所需要的计算速度、存储容量，使得云计算与大数据的结合日益紧密。同时，云计算弹性伸缩的特点可以很好得解决高性能计算领域的峰值问题，高性能计算与云计算的结合也越来越受到业界的瞩目与追捧。工业云时代的兴起是必然的，个人计算机、工作站全面云化，以及高性能计算云化发展是大势所趋，计算型任务逐渐在云数据中心占据越来越重要的地位。
　　时至今日，数据中心的资源利用率低仍然是一个亟待解决的问题，即使是Google这样的顶级公司，其数据中心的资源利用率低于50％。其主要原因是用户过高估计任务的资源需求，而服务提供商需要保证服务质量，导致大量计算资源空闲。同时，在科学计算任务中，存在一些已经死循环的任务，它们的计算结果对用户来说已经价值不大，但是仍占用了计算资源。
　　为了提高数据中心的资源利用率以及用户体验，本文针对计算型任务设计了一种自适应的动态资源需求预测算法。通过预测值辅助云资源管理器动态伸缩资源，提高资源利用率。文中利用Google数据中心的监控数据，验证了算法在生产平台的准确率以及自适应能力。同时，本文还针对HPC中的迭代计算型任务VASP设计了一种两阶段的模型进行收敛性判定。其目的是判断用户提交任务的收敛性，从而提前结束非收敛的长任务，提高资源利用率和用户体验。利用中科大超算中心VASP任务的监控数据，本文验证了算法的有效性。

目录

声明

摘要

第1章 绪论

1．1 论文研究背景

1．1．1．集群计算的发展

1．1．2．云中计算型任务的发展

1．2 论文研究问题的提出

1．2．1．计算型任务资源需求的预测

1．2．2． 基于迭代的计算型任务的收敛性判定

1．3 论文主要研究工作

1．3．1．论文研究内容

1．3．2．论文组织结构

1．4 本章小结

第2章 相关研究与知识

2．1 资源需求预测算法

2．1．1．基于时间序列的预测算法

2．1．2．传统机器学习预测算法

2．1．3．深度学习预测算法

2．2 基于迭代的VASP任务

2．2．2．VASP任务相关知识

2．3 本章小结

第3章 基于Stacking模型的自适应资源需求预测算法

3．1 问题形式化描述

3．2 基于线性Stacking的资源需求预测算法

3．2．1．子模型选择与训练

3．2．2． 线性Stacking集成学习

3．3 实验与分析

3．3．1．数据集选取与预处理

3．3．2．评价标准

3．3．3． 实验结果

3．4 本章小结

第4章 基于时间序列的VASP收敛性判定算法

4．1 问题形式化描述

4．2 算法设计

4．2．2．任务运行中两阶段判定算法

4．2．3．算法伪代码

4．3 实验与分析

4．3．1．数据预处理

4．3．2．评价标准

4．3．3．实验结果

4．4 本章小结

第5章 总结与展望

5．1 论文工作总结

5．2 未来研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果