网格计算中集群管理系统的研究——自强2000系统中资源分配的研究与实现

摘要

高性能集群系统的使用离不开集群管理系统的支持,在网格环境下更是如此--在网格环境中,集群管理系统通常将集群系统包装成一个完整的服务实体为上层的网格所用.集群管理系统可以统一地管理和调度集群系统中的各类软、硬件资源,提高系统的利用率和吞吐率,资源的分配和调度是集群管理系统中必须解决的关键问题.基于实际的应用需求和已有的硬件环境,本文的工作主要集中在:(1)基于面向任务分配处理机与面向处理机选择任务这两类经典的处理机分配模型,并结合特定的硬件配置,研究并实现了适合于自强2000集群系统的一套资源分配策略.(2)负载均衡是资源分配时追求的一个主要目标,而负载的识别和量化又是负载均衡工作的基础,本文创新地提出了一种集群系统中资源负载识别量化的方法,并通过实验给出了我们自强2000集群系统上的负载量化结果,在资源分配过程中我们很好地使用到了这一组结果.

目录

原创性声明及本论文使用授权说明

摘要

Abstract

第一章课题提出的背景及分析

1.1高性能计算、集群系统与网格技术

1.2集群管理系统及国内外研究现状

1.3本文的研究工作和方向

第二章网格体系结构及Globus实现

2.1五层沙漏结构

2.2开放网格服务体系结构

2.3 Globus实现

2.4小结

第三章集群管理系统——Portable Batch System

3.1 PBS的架构及实现

3.2 PBS中的任务调度策略

3.3 PBS中一类资源分配失效的解决

3.3.1资源分配失效的产生

3.3.2资源分配失效的解决

3.4小结

第四章自强2000集群管理系统中资源分配的研究

4.1资源分配与负载平衡

4.2资源负载的识别和量化

4.2.1使用资源利用率作为负载的衡量指标

4.2.2计算资源负载的量化

4.2.3通信资源负载的量化

4.3资源分配模型及策略

4.3.1任务的划分

4.3.2资源的划分

4.3.3面向任务分配处理机与面向处理机选择任务

4.3.4自强2000集群系统中的资源分配策略

4.4资源分配与并行中间件的绑定

4.5资源分配中的容错技术

4.6小结

第五章自强2000集群管理系统中资源分配的实现

5.1集群管理系统的整体架构

5.2资源分配模块的系统流程

5.3多线程并发服务器

5.4文件锁技术与单一守护进程

5.5“资源”——任务的容器

5.6资源信息的保存——十字链表

5.7预约的实现

5.8读写锁技术与资源的互斥和同步

5.9进程间的通信技术——套接字和消息队列

5.10小结

第六章运行与测试

6.1面向任务分配处理机测试

6.2面向处理机选择任务测试

6.3资源状态的平滑转移测试

6.4资源分配与MPI并行程序中间件绑定的测试

6.5使用NPB、PMB进行资源负载量化的全程测试数据

第七章总结与展望

参考文献

作者在攻读硕士学位期间公开发表的论文情况

致谢

论文说明