集群服务器中的作业管理系统

摘要

随着现代社会计算能力需求的迅猛发展,单台计算机已经不能胜任一些大规模应用问题的解决.这就需要将多种计算资源通过高速网络连接起来,共同解决大型应用问题.集群技术的发展为解决这个问题提供了一条有效的技术途径.在集群系统中,作业管理系统处于相当重要的地位.它对用户提供提交作业、监控计算资源、根据一定规则分发作业并将计算结果返回给用户.在许多作业管理系统中,由于没有采用资源存储方面的规范协议,这种方式有其方便简明的一面.但是,随着资源指标的增加,以前的组织结构在扩展性、可用性和效率方面都不能很好的满足需求.类似的问题同样出现在安全认证等方面.针对上述问题,在集群网络服务器作业管理系统中采用基于UDDI(统一描述、发现和集成)与WSDL(Web服务定义语言)的资源监控模型,在资源收集、资源注册、资源查询方面提高了资源管理的规范性,减少了在增加资源指标时对资源管理模块的修改;采用基于JAAS/JSSE的安全认证模型,在用户授权、认证方面提高了认证的规范性与扩展性;通过插件式的作业调度框架,调度器的配置采用了元数据的设计思想,使调度框架与调度器分离;通过消息驱动的作业执行方式,在消息响应与作业执行的关联方面提高了作业执行的灵活性;采用事件驱动的NIO多线程文件传输方式,独立进行文件传输,避免在J2EE应用服务器中实现,提高了系统的效率.作业管理系统已经成功的应用于获奖产品WanLan超级集群网络服务器,测试证明,系统提供并行作业提交模式,对于不同需求的作业按一定规则进行调度,提高了系统的可用性和扩展性,并且更加易于管理.

目录

文摘

英文文摘

独创性声明及学位论文版权使用授权书

1绪论

1.1问题的提出

1.2国内外研究现状

1.3作业管理系统在集群中的作用

1.4主要的研究工作

1.5本文内容的组织

2集群超级网络服务器WanLan

2.1概述

2.2系统结构

2.3主要技术

2.4集群超级网络服务器技术的特点

2.5小结

3作业管理系统的框架设计

3.1作业管理系统的组织结构

3.2作业管理系统的模块划分

3.3作业管理系统的子模型简述

3.4作业管理系统的工作流程

3.5小结

4作业管理系统的主要技术

4.1资源管理

4.2安全认证

4.3作业执行

4.4文件传输

4.5小结

5测试环境与结果分析

5.1测试环境

5.2功能测试

5.3性能测试

5.4小结

6结束语

致谢

参考文献

附录1攻读硕士学位期间论文