网格计算池资源管理和任务调度的研究

摘要

随着计算技术和网络技术的飞速发展,许多大规模科学计算应用单靠一台高性能计算机已经不能完成,而需要在一个由多系统合作、多种计算机平台组成的网络虚拟超级计算环境中完成。网格的主要特点是实现资源共享。计算网格中共享的基本单位是计算资源,它将互联网连接的所有可共享的计算资源“整合”成一台超级虚拟计算机,并为用户提供共享资源的接口和机制。电子科技大学电力自动化工程研究中心开展了将网格计算应用于电力系统方面的研究。该项目中应用了一种新型、高效的计算网格模型——网格计算池。网格计算池将互联网内的各种计算资源以有效的方式组织起来,隐藏其内部的异构性和动态性,形成一个可互相利用、互相合作、对用户相对透明的高性能计算环境,为大规模的科学计算提供高效可信的协同计算服务。本文的内容主要介绍该项目中两个功能模块的设计和实现:网格计算池的资源管理模块和任务调度模块。在资源管理模块的设计中,我们采用LDAP目录服务机制来管理网格计算池中的各种资源。LDAP是一种轻量级的目录访问协议,它对数据的读操作进行了优化,非常适合用于像网格服务这种频繁读取数据的资源管理系统。对于任务调度,论文采用了自适应遗传算法(AdaptiveGeneticAlgorithm)。该算法是基于遗传算法的一种仿生优化算法。其优点在于它独立于特定的问题或被分析的系统,只需要系统性能的测度。将该算法应用于计算池的任务调度取得了较好的效果。

目录

摘要

Abstract

第一章 引言

1.1 课题研究背景

1.2 网格计算池的应用前景

1.3 国内外研究现状

1.4 本项目的研究思路及总体方案

1.5 本文的主要工作

第二章 网格计算池技术

2.1 网格基础

2.2 计算池模型的提出

2.3 计算池的框架

2.4 计算池体系设计

2.4.1 资源管理模块

2.4.2 任务调度模块

2.4.3 并行计算模块

2.5 本章小节

第三章 计算池资源管理模块设计与实现

3.1 资源管理概述

3.1.1 计算池资源

3.1.2 资源管理操作

3.2 目录服务器

3.2.1 LDAP概述

3.2.2 资源的储存

3.2.3 资源的访问

3.2.4 LDAP管理

3.3 LDAP关键技术

3.3.1 数据管理(Berkeley DB)

3.3.2 访问控制列表 ACL

3.4 资源管理模块的开发设计

3.4.1 B/S结构

3.4.2 开发工具

3.4.3 资源管理模块功能实现

3.5 服务器端设计和实现

3.5.1 服务器安装

3.5.2 目录树设计

3.5.3 对象类定义

3.5.4 服务器功能的实现

3.6 浏览器端设计和实现

3.6.1 连接 LDAP服务器

3.6.2 结点信息添加

3.6.3 结点信息查询

3.6.4 结点信息更新

3.6.5 结点信息删除

3.7 本章小结

第四章 计算池任务调度模块设计与实现

4.1 任务调度问题

4.1.1 问题的提出

4.1.2 问题描述

4.2 常用求解算法

4.2.1 经典调度理论

4.2.2 基于模拟退火的方法

4.2.3 基于进化计算的方法

4.3 遗传算法

4.3.1 算法概述

4.3.2 算法优点

4.4 算法模型

4.4.1 调度模型

4.4.2 目标函数的设计

4.5 算法设计

4.5.1 算法总体框架

4.5.2 染色体编码

4.5.3 种群规模设定

4.5.4 染色体评价

4.5.5 自适应遗传算子设计

4.5.6 无效染色体处理

4.6 算法编码

4.6.1 初始化

4.6.2 算子编码

4.6.3 计算适应值

4.7 任务调度模块的实现

4.8 本章小结

第五章 系统运行与性能分析

5.1 运行环境

5.2 功能测试

5.2.1 测试计划

5.2.2 用户管理

5.2.3 资源管理

5.2.4 任务管理

5.3 性能测试

5.4 本章小结

第六章 总结与下一步工作

6.1 总结

6.2 下一步工作

参考文献

致谢

论文发表情况