云计算环境下面向MPI应用的服务部署系统

摘要

随着虚拟化技术和云计算技术的发展,越来越多的科学计算应用运行在云计算资源之上。MPI编程模型是一种消息传递编程模型,大多数科学计算应用都是基于这种消息传递编程模型的高性能计算应用,其对网络I/O负载较为敏感。MPI应用是一类广泛应用的由多个进程协同工作的并行计算应用,在云计算环境下,其进程运行在多个不同的虚拟机之中。在IaaS模式下,通常采用虚拟化技术将物理机分割为多个独立的虚拟机,如何将多个虚拟机部署成为满足MPI应用程序的并行计算环境,以及如何调度组成该并行计算环境的多个虚拟机,是云计算环境下运行MPI应用程序所面临的重要问题。
　　针对上述这个重要问题,实现了云计算环境下面向MPI应用的服务部署系统,并设计了一种基于网络I/O负载均衡的虚拟机放置算法作为系统的虚拟机调度算法。系统的核心模块面向MPI应用的虚拟集群创建模块解决了IaaS模式下独立虚拟机不能满足MPI应用的问题,并在该模块的基础之上实现了面向MPI应用的作业托管功能。创建面向MPI应用的虚拟集群的基本思路:将虚拟集群所需的组件预先部署到虚拟机镜像中;基于虚拟机模板,调用IaaS的接口创建多个虚拟机,采用SSH远程操作技术动态配置虚拟机中的组件,使其正常工作。基于网络I/O负载均衡的虚拟机放置算法的基本思路:基于监控信息预测MPI应用对网络I/O的消耗;采用二分搜索算法搜索物理节点的网络I/O负载上限,在此限制之下,建立以虚拟机和物理节点为顶点的有向网络图模型,最后基于该模型求解虚拟机放置矩阵。
　　基于Linux操作系统和Apache平台,采用Python、HTML、JavaScript等语言,实现了云计算环境下面向MPI应用的服务部署系统。功能测试表明:系统实现了创建面向MPI应用的并行计算环境虚拟集群和面向MPI应用的作业托管功能。性能测试表明:与贪心算法进行比较,在作业消耗的计算时间、单位时间内系统总的网络I/O吞吐量、系统的网络I/O负载均衡三个方面,基于网络I/O负载均衡的虚拟机放置算法均有更好的表现。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1问题的提出

1.2国内外研究现状

1.3课题背景与研究内容

1.4研究意义

1.5本文框架结构

2 面向MPI应用的服务部署系统的设计

2.1系统简介

2.2系统设计思路

2.3系统层次结构与功能模块

2.4系统工作流程

2.5小结

3 云计算环境下面向MPI应用的虚拟机放置算法

3.1虚拟机调度问题形式化

3.2预测应用的网络I/O负载消耗

3.3网络I/O负载均衡策略

3.4虚拟机放置模型

3.5完整的算法过程

3.6小结

4 面向MPI应用的服务部署系统主要实现技术

4.1服务部署中心

4.2创建虚拟机与数据存储服务

4.3面向MPI应用的服务部署

4.4小结

5 系统测试与分析

5.1测试环境

5.2功能测试

5.3性能测试

5.4小结

6 总结与展望

致谢

参考文献

附录1 攻读硕士期间发表的论文

附录2 攻读硕士期间申请的国家发明专利

附录3 攻读硕士期间参与的项目