树型网格中基于集合主机的作业调度子系统的设计与实现

摘要

网格计算把广泛分布的各种资源联合成一个抽象的整体,如同一台强大的超级计算机,向用户提供服务,实现在分布式环境下进行资源共享与协作。随着网格计算的日益广泛的应用,很多公司纷纷发布各自的网格计算产品,推动网格计算的发展。然而网格产品技术的现状始终落后于用户新增的需求。
　　本文以PlatformComputing公司的网格负载均衡产品LSF(LoadSharingFacility)为开发背景,针对用户提出的规模性需求和双层树型网格的解决方案,设计并实现了树型网格中基于集合主机的作业调度子系统。使得树型LSF网格能够收集管理资源信息和负载状况,并依据资源和负载信息实现作业调度和派发。在设计层面充分考虑对产品既有功能的支持,开发了一款插件化的树型网格中集群间作业调度子系统。充分满足了客户提出的规模性需求。文中关注资源和负载信息收集和管理的问题,设计并实现了集合主机管理模块;同时本文关注网格作业资源需求与实际资源的匹配、计算资源选择等网格计算中的核心问题,设计并实现了作业调度模块。
　　通过对本文中内容的研究,最终实现了树型网格中基于集合主机的作业调度子系统的功能,行为风格与原产品一致。取得了较高的集群间调度效率与较好的负载平衡效果。

目录

树型网格中基于集合主机的作业调度子系统的设计与实现

THE DESIGN AND IMPLEMENTATION OF MEGAHOST-BASED SCHEDULING SUBSYSTEM IN TREE- TOPOLOGY GRID

摘 要

Abstract

目 录

第1章 绪论

1.1 课题的背景及研究目的

1.1.1 课题来源及背景

1.1.2 研究目的

1.2 与本课题相关的国内外研究综述

1.2.1 网格计算的概念和特点

1.2.2 国内外网格产品的发展状况

1.2.3 网格作业调度概述

1.3 本论文的主要工作内容

1.4 本文组织结构

第2章 基于集合主机的作业调度子系统的需求分析

2.1网格产品LSF的背景

2.1.1 LSF集群的结构

2.1.2 LSF的守护进程

2.1.3 LSF的一般工作流程

2.1.4 LSF的作业执行单元和队列作业单元

2.1.5 LSF的资源信息

2.2 商业网格产品的一般性需求

2.2.1 需求的提出

2.2.2 双层树型LSF网格的背景

2.2.3 调度子系统的功能框架

2.3 功能需求

2.4 非功能需求

2.5 项目实施所需的条件

2.6 本章小结

第3章 基于集合主机的作业调度子系统的设计

3.1 集合主机的概念和意义

3.2 总体框架设计

3.2.1功能模块划分

3.3 集合主机管理模块的设计

3.3.1查询处理子模块的设计

3.3.2资源信息维护子模块的设计

3.3.3负载信息维护子模块的设计

3.4 基于集合主机的调度模块的设计

3.4.1资源匹配子模块的设计

3.4.2主机选择策略的调查研究

3.4.3作业分配子模块的设计

3.4.4全局数据结构的设计

3.5信息同步子模块的设计

3.6 本章小结

第4章 基于集合主机的作业调度子系统的实现

4.1 LSF调度子系统的实现机制

4.1.1 LSF的插件机制

4.2 功能模块的实现

4.2.1查询处理子模块的实现

4.2.2资源信息维护子模块的实现

4.2.3负载信息维护子模块的实现

4.2.4资源匹配子模块的实现

4.2.5作业分配子模块的实现

4.2.6信息同步子模块的实现

4.3本章小结

第5章 基于集合主机的作业调度子系统的测试

5.1 功能性测试及分析

5.1.1集合主机管理和查询测试

5.1.2作业调度和派遣测试结果

5.1.3调度子系统的负载均衡效果测试

5.2 性能测试及分析

5.3 本章小结

结 论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢

个人简历