利用PBS系统定制勘探数据处理作业管理

摘要

高性能集群已经逐步成为科学计算必不可少的辅助工具,然而由于其体系结构的限制,高性能集群应用对科研人员而言是一个非常困难的事情.要想利用好集群系统,科研人员除了需要掌握其需要开展工作的技术知识外还必须认真了解集群工作原理和集群系统运行知识.为提升集群易用性,提高集群在生产科研中的应用深度和应用效率,需要为用户提供方便使用计算节点的技术手段,作业调度系统就是的其中一种方法.PBS作为一种开源的队列管理和作业调度系统,目前已经广泛应用于集群管理当中.笔者根据所在企业集群工作模式的实际情况,利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理.本文介绍了PBS作业调度系统。阐述了定制脚本实现EPOS作业管理并对其效果进行了分析。PBS作业调度系统在笔者单位勘探处理集群上部署后并很快应用于实际生产中。处理人员认可了系统管理人员对PBS的定制修改，统一改用PBS作业调度系统管理所有Epos处理资源。该系统实现了EPOS系统常规交互作业的封装，从而实现了用户交互窗口的多节点负载均衡和调度分配。