云计算环境下的科学工作流数据放置策略研究

摘要

科学工作流作为近年来出现的一种新的应用泛型，可集成、构造和协同分布异构的数据、服务和软件，提高科学实验过程的自动化。科学工作流应用通常是数据和计算密集型的，对计算资源与存储资源有较高的要求，因此传统的计算环境已很难满足科学工作流的需要。云计算以高性能的计算资源与海量的存储资源为科学工作流应用提供了一种全新的部署和执行方式。在云环境中执行科学工作流不仅可以节约大量的执行成本，而且为科研人员之间实现资源共享与合作研究提供了一个良好的契机。然而在云环境中，一个大型复杂的跨数据中心的科学工作流应用由于需要处理大规模的数据以及传输海量的数据，因此在数据布局管理方面遇到一些问题与挑战。因为，数据布局的不同将直接影响科学工作流的执行效率。针对这些问题，本文对现有数据布局与放置策略进行了深入分析与研究，并在此基础上提出了基于数据依赖度、兼顾时间开销的数据布局策略以及增量数据敏感的低成本数据放置方法。
　　基于数据依赖度、兼顾时间开销的数据布局策略聚焦于科学工作流任务数据集之间的依赖关系、各数据中心计算能力差异以及数据中心之间传输能力差异，探讨了一种科学工作流的数据集在多数据中心间的合理布局策略。
　　增量数据敏感的低成本数据放置方法通过自动地确定中间数据集的存储与删除，从而使科学工作流应用总是以较低的成本运行在云环境中。此外，该方法还探讨了一种优化数据集传输费用的中间数据集存储方式。
　　上述两种策略的仿真实验结果表明，这两种策略分别对降低科学工作流运行时间、提高科学工作流执行效率，以及减少科学工作流运行成本方面有比较好的优化效果。

目录

封面

声明

西北师范大学研究生学位论文作者信息

目录

中文摘要

英文摘要

1绪论

1.1研究背景

1.2相关研究工作

1.3论文主要研究内容及创新

1.4本文组织结构

2基本理论与方法

2.1云计算技术

2.2科学工作流

2.3科学工作流云数据放置问题与挑战

2.4本章小结

3基于数据相关度的数据布局策略

3.1概念定义

3.2问题描述及分析

3.3基于数据相关度、兼顾时间开销的数据布局

3.4本章小结

4增量数据敏感的低成本数据存储方法

4.1问题描述与分析

4.2相关定义

4.3具有成本效益的中间数据集存储方法

4.4本章小结

5模拟实验与分析

5.1 Cloudsim云仿真实验平台介绍

5.2实验环境与实验设计

5.3 基于数据相关度的数据布局策略实验与分析

5.4增量数据敏感的低成本数据放置方法实验与分析

5.5本章小结

6总结与展望

6.1总结

6.2展望

参考文献

在校期间的研究成果

致谢