面向广义林业地理信息处理的云任务调度算法研究

摘要

随着物联网与Intemet技术的飞速发展，林业地理空间信息时空粒度不断细化，数据的规模也随同时间急速增长，类型也愈发繁杂多样，地理信息的泛化催生了广义林业地理信息。广义的林业地理信息不仅包括测绘地理信息，还包括各种传感器网络方式采集的森林生态信息，含有林业地理空间语意的网络文本等。海量的广义林业地理信息处理给传统的GIS带来了巨大的挑战，传统GIS依托单一节点处理信息的模式已经越来越难将数据处理任务及时交付给用户，而为处理大规模数据而生的高效的分布式多节点云计算技术有望成为应对这一难题的有效途径，故而进行云计算技术在广义林业地理信息处理方面的研究意义突出。
　　云计算环境下广义林业信息处理方向，多用户大量任务得到高效执行的需求解决的关键在于调度算法。好的调度策略往往能够很好的均衡负载，均衡负载的调度策略可以保证所有数据处理资源得到公平分派，避免平台因载荷不平衡产生的瓶颈，提升用户的满意度，提升节点资源的利用率和系统整体性能。
　　本文针对广义林业地理信息在云计算环境下高效处理的问题做了如下工作:
　　(1)对云计算技术进行了研究，重点分析了Hadoop云计算平台相关技术，分析了广义林业地理信息概念与广义林业地理信息处理技术需求，在Hadoop平台上利用MapReduce实现了林区游客轨迹数据分析实验，实验结果表明相对于单机环境，Hadoop集群环境处理效率优势明显，说明借助云计算技术高效处理广义林业地理信息是可行的。
　　(2)云环境下大量广义林业地理信息处理任务得到高效执行的关键在于任务调度算法，本文对云环境下任务调度算法进行了深入研究，侧重分析了现有的基于优先级和负载均衡的调度算法，并提出了改进的基于动态优先级的负载均衡算法TS-PFB。该算法依据任务的价值密度与执行紧急程度设计了随着时间增长的动态优先级，以保证任务能及时交付给需要处理广义林业地理信息的用户;通过模拟萤火虫行为，计算出的考虑吸引度（最早完成时间）和荧光亮度（负载约束）的任务调度的决策变量来平衡VM负载。为验证算法的性能，本文在CloudSim仿真环境下进行了全部任务完成时间、成功率、负载均衡程度这三类指标比较实验，实验结果显示该算法拥有较好的调度性能。
　　(3)最后本文在hadoop平台上设计并实现了基于动态优先级的调度策略，调度结果显示该调度策略能够让更多的Job在截止期内完成。

目录

摘要

1 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．3 本文的工作

1．4 本文的结构安排

1．5 本章小结

2 云计算与云任务调度相关研究

2．1 云计算概述

2．1．1 云计算定义与特点

2．1．2 云计算相关技术

2．1．3 云计算平台类别

2．2 Hadoop平台关键技术

2．2．1 Hadoop平台简介

2．2．2 MapReduce编程

2．2．3 HDFS

2．2．4 MapReduce作业执行过程

2．3 云计算任务调度算法研究

2．3．1 云计算任务调度目标与特点

2．3．2 基于优先级的任务调度算法

2．3．3 基于负载均衡的任务调度算法

2．4 Hadoop调度算法

2．4．1 Hadoop自带调度算法

2．4．2 Hadoop其他调度算法

2．5 本章小结

3 广义林业地理信息处理和改进的任务调度算法研究

3．1 广义林业地理信息处理

3．1．1 广义林业地理信息概述

3．1．2 广义林业地理信息处理技术需求

3．1．3 MapReduce地理信息处理

3．2 改进的基于动态优先级的负载均衡调度算法研究

3．2．1 算法概述

3．2．2 算法模型

3．2．3 算法实现

3．2．4 实验与分析

3．3 基于动态优先级的Hadoop调度算法设计与实现

3．3．1 基于动态优先级的Hadoop调度算法设计

3．3．2 基于动态优先级的Hadoop调度算法实现

3．3．3 实验与分析

3．4 本章小结

结论

参考文献

附录

攻读学位期间发表的学术论文

致谢

个人简历

声明