作业管理系统中基于数据感知的调度子系统的设计与实现

摘要

由于位于多个物理位置上的多集群环境的出现,和在这种环境下对数据访问的限制和对数据管理的缺乏,导致了这种环境下缺乏对数据敏感型作业的有效管理。本文所研究的内容是开发能够与LSF作业管理系统协作的调度子系统,管理多集群中的数据资源并能够根据集群中的数据资源高效和准确进行作业调度。
　　本论文主要是实现基于数据感知的调度,使作业在提交到系统后,系统能够根据作业需要的数据和系统所掌握的集群中的数据信息来将作业派遣到集群中合适的计算结点上执行。为实现基于数据感知调度,本论文还完成了对集群中数据资源的管理。
　　本论文设计和实现了数据集管理模块、storage管理模块、缓存管理模块、配置管理模块、数据传输模块、远端数据管理模块和调度模块。在数据集管理模块和storage管理模块中,分别实现了对集群中数据集和storage的管理功能;在缓存管理模块中,实现了对集群间传输的数据的缓存功能,并维护缓存数据的生命周期;在配置管理模块中,实现了根据用户配置的信息来进行系统信息初始化功能;在数据传输模块中,实现了在集群间传输数据的功能;在远端数据管理模块中,实现了集群与其他集群间共享数据信息的功能;在调度模块中,实现了根据数据信息来制定调度决策的功能。通过以上模块之间的交互,以及系统与作业管理系统的协作,实现了基于数据感知的调度,使数据敏感型作业能够完全靠系统内部的管理和协调而成功运行在计算结点上。
　　通过本系统与LSF作业管理系统的协作,用户能够更专注于作业的逻辑而不需关心数据的分布,使得数据敏感型作业的整个周期都能够通过系统内部的协调和计算顺利的执行,而不再需要人工干预的过程,同时还能够为用户提供集群中的数据信息和存储信息。总体来说,实现了针对数据敏感型作业的调度,透明化了用户对数据的操作,提高了作业执行效率,提供了更完善的数据管理功能。

目录

摘要

Abstract

绪论

课题背景

课题来源

课题研究的目的与意义

本课题相关的国内外研究状况

网格计算研究现状

网格计算中的作业调度

多集群中的作业调度

本课题研究的主要内容

本文组织结构

调度子系统需求分析

系统业务需求分析

数据感知的定义

系统功能需求

透明的数据访问需求

数据缓存需求

智能的数据传输需求

数据集信息和存储信息查询操作支持需求

作业调度需求

系统非功能性需求

本章小结

调度子系统设计

子系统与外部系统交互设计

系统架构及模块划分

数据集管理模块的设计

数据集定义

数据结构设计

数据集管理模块接口设计

storage管理模块的设计

storage定义

repository定义

关键技术

storage管理模块接口设计

缓存管理模块的设计

缓存的定义

缓存工作模式

缓存数据同步策略

配置管理模块的设计

模块功能描述

数据结构设计

错误处理设计

数据传输模块的设计

远端数据管理模块的设计

调度模块的设计

调度流程的设计

作业管理系统中的调度框架

调度策略的设计

本章小结

调度子系统实现

数据集管理模块的实现

storage管理模块的实现

缓存管理模块的实现

配置管理模块的实现

数据传输服务模块的实现

远端数据管理模块的实现

调度模块的实现

本章小结

调度子系统测试

测试环境

功能测试及结果分析

基本功能测试

调度功能测试

非功能测试及结果分析

本章小结

结论

参考文献

哈尔滨工业大学学位论文原创性声明及使用授权说明

致谢

个人简历