应用PBS系统实现勘探数据处理作业管理

摘要

高性能集群已经逐步成为科学计算必不可少的辅助工具,然而由于其体系结构的限制,高性能集群应用对科研人员而言是一个非常困难的事情.要想利用好集群系统,科研人员除了需要掌握其需要开展工作的技术知识外还必须认真了解集群工作原理和集群系统运行知识.为提升集群易用性,提高集群在生产科研中的应用深度和应用效率,需要为用户提供方便使用计算节点的技术手段,作业调度系统就是其中一种方法.PBS作为一种开源的队列管理和作业调度系统,目前已经广泛应用于集群管理当中.笔者根据新疆油田勘探开发研究院地球物理研究所集群工作模式的实际情况,利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理.PBS作业调度系统的基本结构是：PBS服务器响应用户作业请求并且通过作业调度器和作业执行器将作业调度到集群合适的节点，同时监控作业的运行。为实现对EPOS作业自动调度管理，研究所基于Torque和Maui调度器完成作业调度系统，并在目前相关的应用软件中进行功能测试、调整，完善系统功能对应用软件的支持效果，集中针对地震资料处理应用开展功能定制，逐步实现作业调度系统队列定制、应用程序封装、用户命令封装等多项工作。