海量遥感影像共性产品生产任务调度模型研究及应用

摘要

随着社会对信息数据的巨大需求，遥感影像数据量呈爆炸式增长，同时，遥感应用对数据处理的巨量需求，推动了遥感影像处理技术的不断发展。高性能集群计算是实现海量高分辨率遥感卫星数据快速处理的重要技术之一，能有效缓解高分遥感应用的“瓶颈”。其中，任务调度模型是提升集群系统效率的关键。
　　作者所参与研发的国家重大专项课题“高分辨率对地观测应用系统”中海量遥感影像共性产品生产系统，具有任务性质单一、子任务量轻、资源文件大且相对独立等特点，而传统的任务调度模型还存在针对性差、实用性不强、调度时间过长等问题，不能满足该系统的特点要求。为解决上述问题，本文采用多指标负载均衡技术以及分层式任务调度方法，对系统中原有的调度模型进行改进，提出了一种与负载均衡相结合的两级任务调度模型。主要工作和贡献如下:
　　1.在对海量遥感影像共性产品生产系统以及系统原有的任务调度策略分析的基础上，针对原有任务调度策略所存在的吞吐量低、可靠性低以及容错性差等问题，提出了考虑负载均衡的两级任务调度模型。
　　2.在提出该模型的基础上，首先通过分析负载均衡技术，并根据海量遥感产品生产系统的特点，设计负载均衡器，以及任务管理器与负载均衡器之间的接口;然后，根据系统的任务特点，完成任务调度模型的整体流程设计;最后，完成了任务调度模型中的一级任务调度和二级任务调度的设计。
　　3.将改进的任务调度模型应用于海量遥感影像共性产品生产系统中，并通过大量的实验数据表明，相比原有的任务调度模型，在系统吞吐量、系统自适应性、系统的可靠性以及系统的容错性等方面，都得到了大大提高。利用改进的任务调度策略，某些特定卫星切片数据的处理时间甚至缩短了一半以上。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 研究目标及内容

1．3．1 研究目标

1．3．2 研究内容

1．3．3 组织结构

2 任务调度技术概述

2．1 任务调度基本概念

2．1．1 任务调度特点

2．1．2 任务调度的目标

2．2 任务调度模型分类

2．3 常用的任务调度算法

2．4 本章小结

3 海量遥感影像共性产品生产系统分析

3．1 相关术语介绍

3．2 系统概述

3．2．1 系统背景

3．2．2 系统建设目标

3．2．3 系统建设原则

3．2．4 系统运行环境

3．3 系统总体架构

3．4 系统工作流程

3．5 系统功能组成

3．6 系统任务调度器介绍

3．7 本章小结

4 任务调度模型的设计与实现

4．1 负载均衡概述

4．1．1 负载均衡技术简介

4．1．2 负载均衡目标

4．1．3 常用的负载均衡算法

4．2 任务调度模型工作流程

4．3 负载均衡器设计

4．4 任务调度模型设计

4．4．1 一级任务调度

4．4．2 二级任务调度

4．5 本章小结

5 实验结果与分析

5．1 硬件环境

5．2 实验软件运行环境

5．3 实验方案

5．3．1 评价标准

5．3．2 实验数据

5．3．3 测试方案

5．4 实验与结果分析

5．5 本章小结

6 总结与展望

6．1 本文工作总结

6．2 后续工作展望

参考文献

致谢

攻读学位期间发表的学术论文与参加的项目