网格中多集群调度模块的设计与实现

摘要

网格是继传统因特网、Web之后的第三次互联网浪潮，可以称之为第三次因特网的应用。面对新的互联网发展趋势，各大公司纷纷推出自己的网格计算产品，其中又以多集群形成的网格为主要的研究与发展方向。多集群可以把地理上广泛分布的各种资源连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等），最终实现在这个虚拟环境下进行资源共享和协同工作，彻底消除资源“孤岛”，最充分的实现信息共享。
　　本文以现有网格计算产品为基础，通过修改及扩展其多集群之间的调度策略，从而使该产品可以在多集群调度方面提供更加有效、合理的调度决策，解决各跨地域企业以前资源难以共享的问题，最有效地使用他们的系统，满足客户要求并降低他们计算机资源的拥有和管理总成本。遵循现有网格计算产品的体系架构，运用其调度插件机制，开发了三种用于多集群之间的调度策略，包括保证多集群中高优先级作业执行率的抢占式作业调度策略、保证多用户之间公平使用多个集群资源的公平分配作业调度策略和满足客户特殊需求的预约式作业调度策略。其中，调度算法以调度插件形式开发，可以很好的与原调度程序结合；为调度算法提供资源信息的资源收集与共享部分采用扩展原系统模块功能的方式实现；数据传输处理以及日志记录等辅助功能采用与原系统相同的流程进行处理。在调度算法以及各个辅助功能的相互配合之下，最终实现了与原产品风格一致，并且可以为多集群的作业调度提供合理决策的三种集群间的调度策略，取得了较好的平衡多集群之间负载的效果。

目录

网格中多集群调度模块的设计与实现

THE DESIGN AND IMPLEMENTATION OF SCHEDULING MODULE OF MULTI-CLUSTER IN GRID

摘 要

Abstract

目 录

第1章 绪论

1.1 课题的背景及研究目的

1.2 与本课题相关的国内外研究综述

1.3 本论文的主要工作内容

1.4 本文组织结构

第2章 多集群调度模块的需求分析

2.1 多集群调度模块背景产品LSF分析

2.2需求的提出

2.3 功能需求

2.4 非功能需求

2.5 技术难点

2.6 本章小结

第3章 多集群调度模块的设计

3.1 模块功能及结构设计

3.2 调度算法的设计

3.3 资源收集与共享子模块的设计

3.4 传输数据处理子模块的设计

3.5 错误消息日志记录子模块的设计

3.6 全局数据结构设计

3.7 本章小结

第4章 多集群调度模块的实现

4.1 调度插件机制的使用

4.2 调度算法的实现

4.3 资源收集与共享的实现

4.4 传输数据处理的实现

4.5 错误消息及日志记录的实现

4.6 本章小结

第5章 多集群调度模块的测试及评价

5.1 测试过程及结果评价

5.2 测试中发现的问题及相应修改结果

5.3 算法实现的最终效果

5.4 本章小结

结 论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢

个人简历