基于hadoop的海洋环境数据处理并行运算及任务调度算法研究

摘要

近年来，随着我国海洋事业的飞速发展，海洋信息化工作取得了巨大成绩。经过多年的建设，国家海洋局建成了大量的专业海洋环境信息数据库，众多的学者加入到了海洋应用的研究中去，搭建了多套应用于海洋多种业务的信息系统。海洋中涡旋是一种反应海洋物理特征的重要动力现象，是海洋物理环境的重要组成部分，涡旋数据的获取方式多种多样，时间周期短，数据量大、算法单一是涡旋数据处理过程的重要特征，采用传统的方式资源占用多，执行效率低，运行成本高，传统模式难以适应业务部署的快速要求，新兴的云计算(Cloud Computing)技术可以有效地解决上述涡旋数据处理中存在的问题。云计算将通过一个标准的模式向最终用户按需提供服务，具有节省投资，提升业务支撑能力，提升运行效率，降低投资和决策风险，绿色节能等优点，基于云计算平台进行海洋涡旋数据的处理具有不可替代的优势。
　　本文分析了海洋环境中尺度涡旋数据的特点，结合云计算和云服务的技术特点，以Hadoop作为实验平台，以计算南海中尺度涡旋内部速度变化可视化为例，提出了涡旋数据云组织存储的方法、数据与任务嵌套并行的并行算法设计框架，通过对比实验体现了该并行算法设计的高性能；对Hadoop平台上已存在的任务调度算法进行了深入的研究，针对涡旋数据量大、多任务等特点设计了基于遗传算法的消耗任务调度算法，实现多任务完成总消耗和单个任务消耗都达到最优，通过在 CloudSim仿真平台上进行的对比实验，验证了该任务调度算法的优势，体现了较好的公平性。

目录

封面

声明

中文摘要

英文摘要

目录

1引言

1.1研究背景及意义

1.2国内外发展现状

1.3本文主要内容和章节安排

2并行算法和任务调度技术研究

2.1云计算原理

2.2并行算法原理

2.3任务调度原理

2.4小结

3基于Hadoop的海洋数据并行运算研究

3.1 云计算平台下海洋数据处理的优势

3.2基于Hadoop云计算平台的实验环境搭建

3.3 基于hadoop的海洋环境数据处理并行算法设计

3.4实验结果及分析

3.5小结

4 Hadoop中基于遗传算法的作业调度算法研究

4.1作业调度问题的提出

4.2基于遗传算法的消耗遗传作业调度算法设计

4.3 Cl oudSim环境配置及仿真流程

4.4 CGA调度算法核心代码

4.5试验结果及分析

4.6小结

5总结与展望

5.1工作总结

5.2 工作展望

参考文献

致谢

攻读硕士期间主要成果