遥感产品生产集群中动态双向匹配任务调度算法的应用研究

摘要

随着遥感综合应用的不断深化和遥感商业的兴起以及遥感数据获取领域相关技术的进步，在遥感数据质量提高的同时体量也急剧增长，给遥感数据的业务化处理带来挑战。为了提升遥感数据业务化系统的实用性，研制高效的遥感数据处理集群系统用于提高遥感数据处理的效能变得非常必要。在引入高性能集群处理系统实现遥感数据快速高效处理的过程，任务调度算法作为高性能集群处理系统的核心组成部分，对提高整个集群系统的性能起到关键作用，受到了研究人员和工程人员的密切关注。
　　遥感卫星产品集群系统中，具有遥感数据任务量多、任务类型相对单一、计算节点利用率不均衡等特点，在目前已有的一些集群任务调度算法中，在某些方面存在一些不足，比如计算节点的利用不均衡、系统吞吐量小、任务调度时平均等待时间长等，难于满足遥感数据处理的需要。针对上述问题，本文在研究有关任务调度算法的基础上，考虑在遥感卫星产品集群系统中，对遥感数据处理的时效性评估可以从处理效率和计算资源利用率两个角度进行，并因此提出了一种结合遥感数据处理先验值的动态双向匹配调度算法，即同步考虑先验值、任务情况和计算节点状态的双向调度的方法，实验结果表明该算法对集群系统中遥感数据处理效能有明显的提高。
　　本文主要的研究内容和贡献：
　　（1）设计并实现一种动态双向匹配调度算法
　　通过对遥感卫星产品集群系统的总体功能以及架构分析，提出了一种任务调度算法模型，即结合遥感数据处理先验值的动态双向匹配调度算法。该任务调度模型是由面向任务队列模型和面向计算节点队列模型两个部分组成：在结合先验值的情况下，一方面面向任务时考虑任务等待时间和任务量大小等来确定任务队列；另一方面面向计算资源时，在动态获取计算资源负载率的情况下，形成一个计算资源队列；将最优计算资源匹配给优先级最高的任务，从而完成任务和计算资源的动态双向匹配。
　　（2）设计并实现了一种动态切换任务调度算法的切换策略
　　在集群处理系统的优化过程中会出现新的任务调度算法，但是随着集群处理系统处理的任务，环境的不同，新的算法不一定适合于所有的运行场景，而以往的一些调度算法有可能会适用于某些场景，根据集群系统处理任务或者场景的不同，合理的切换不同的任务调度算法，使集群系统能够正常高效的运行。本文设计并实现了一种动态切换任务调度算法的切换策略，根据任务调度算法的特征值提取，找到对该任务调度算法影响因子最大的特征值，进行调度算法的切换，增加了集群系统的灵活性。
　　（3）将提出的结合遥感数据处理先验值的动态双向匹配调度算法和设计的动态切换任务调度算法策略运用到遥感卫星产品集群生产系统当中，在通过大量的实验验证后，实验结果表明本文所提出的任务调度算法能提高系群系统的性能，也即提高了计算节点的利用率、缩短遥感数据的处理时间、保障集群系统可靠性。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文研究内容

1.4 论文组织结构

2 背景概述

2.1 系统介绍

2.2 任务调度概述

2.3 本章小结

3 动态双向匹配任务调度算法的研究与实现

3.1 动态双向匹配任务调度算法设计准则

3.2 动态双向匹配任务调度算法设计思路

3.3 先验值的获取

3.4 动态双向匹配任务调度算法模型

3.5 动态双向匹配任务调度算法流程

3.6 算法应用实验

3.7 本章小结

4 遥感卫星产品集群生产系统中的动态切换策略设计

4.1 动态切换策略设计背景

4.2 动态切换策略设计方案

4.3 动态切换策略工作流程

4.4实验分析

4.5 本章小结

5 总结与展望

5.1 工作总结

5.2 后续展望

参考文献

致谢

攻读学位期间科研情况