私有云环境下作业执行控制系统的设计与实现

摘要

目前许多拥有相当规模软硬件资源的大中型企业，已完成了对现有IT资源的整合、标准化与虚拟化过程，在企业数据中心内部构建了统一、灵活、动态的 IT基础架构，即企业私有云环境。在私有云环境下，基于企业应用的业务特点，构建满足业务计算需求的私有云计算系统，是企业实践云计算的目的所在。
　　在石油勘探行业，地震数据处理通常具有数据量大、计算密集、流程复杂的特点，非常适合于并行计算。目前商用的地震数据处理系统，如 OMEGA、GEOVECTORPLUS、GRISYS等，其处理功能模块大都只能串行处理数据。虽然通过MPI和OpenMP等并行编程技术可以实现数据的并行处理，但对编程人员要求较高，且不能实现处理数据流的全部并行化。云计算编程模型 MapReduce和Dryad虽具有很好的并行处理能力，但由于编程模型的局限性，它们并不能很好的应用于地震数据的并行处理，探索寻求一种新型的编程模型构建与业务处理和发展相适应的作业执行控制系统成为该领域实践私有云计算的最终目标。
　　针对上述问题，本文借鉴云计算的相关理论与技术，结合企业私有云环境的业务应用特点，提出了一套私有云作业处理系统解决方案；同时从企业特点应用出发抽象了一种适应企业业务处理与开发的编程模型，并基于该编程模型设计实现了一套私有云作业执行控制系统。本文的主要内容：
　　1、根据企业私有云环境下的业务应用特点，构建了一套私有云作业处理集群系统，该系统基于业务处理流程划分为四个子系统：作业编辑系统、作业管理调度系统、作业执行控制系统以及通信平台系统，子系统之间通过消息交互相互协调配合共同提供完整的作业执行解决方案。
　　2、参考主流云计算编程模型的思想，结合地震资料处理的特点，抽象了一种适应业务处理与开发的编程模型，同时针对业务处理功能模块的编程制定了相关编程规范。
　　3、在编程模型基础上设计并实现了一套私有云作业执行控制系统。采用共享内存数据传递机制、流水线并行达到对数据的高效处理；采用动态加载技术，将业务模块开发与业务使用分离，提升系统可扩展性和可维护性；同时实现了一系列辅助功能组件来增强系统稳健性和易开发性，如异常处理机制、日志输出文件和模块开发工具。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景及意义

1.2研究现状

1.3研究内容

1.4论文结构

第二章 云计算相关概念

2.1云计算简介

2.2云计算的核心技术

2.3企业云计算

2.4本章小结

第三章 私有云环境下作业执行控制系统设计

3.1私有云系统

3.2作业执行控制系统

3.3本章小结

第四章 私有云环境下作业执行控制系统实现

4.1功能模块API库

4.2作业启动器

4.3作业执行控制引擎

4.4辅助功能组件

4.5本章小结

第五章 实验测试

5.1测试内容

5.2效果展示

5.3本章小结

第六章 结束语

6.1工作总结

6.2工作展望

致谢

参考文献

攻硕期间取得的研究成果