分布式数据文件合并系统任务调度的研究与设计

摘要

目前数据文件合并系统朝着“物理上分散,逻辑上集中”的这种趋势发展,分布式数据文件合并系统应运而生。在分布式数据文件合并系统中,任务分配与调度在很大程度上决定着整个系统的资源利用率,因此它是分布式数据文件合并系统研究的重点和难点之一。本课题就是针对分布式数据文件合并系统的任务调度功能进行研究与设计。由于分布式数据文件合并系统一般都是基于中间件架构的,对比其他的中间件,消息中间件能够利用高效可靠的消息传递机制进行与平台无关的数据交流,具有异步通信,松耦合,占用网络带宽小等显著优点,因此本课题中分布式数据文件合并系统采用了消息中间件技术。 本课题针对一个具体的基于消息中间件的分布式数据文件合并系统,怎样实现这个系统的任务调度功能进行了设计与实现,同时,分析了现有系统在任务调度上存在的缺陷,提出了改进的方法,并且进行了具体的设计与实现。本文的工作主要体现在两个方面：一个是对现有系统在任务调度功能上所涉及到的模块进行设计与实现,另外一个就是对现有系统在任务调度功能上存在的缺陷作了改进,改进的具体方式是在消息的发送中考虑消息的优先级,而消息的优先级通过两种方式来进行设置：一种是人工设置,这样,可以人为控制数据文件合并的先后次序,另外一种方法是系统估计合并操作时间,本系统有两种方式估计合并操作时间,一种是根据规则文件的大小,如果合并操作所依据的规则文件小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。一种是根据此次合并操作区域大小,如果合并区域小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。通过这两种方式,系统最后达到短作业优先处理的目标。通过实践验证,改进后的系统比改进前的系统更加完善。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题的背景

1.2国内外研究的现状

1.2.1文件合并系统的现状

1.2.2任务调度算法的现状

1.3本课题来源及意义

1.3.1本课题的来源

1.3.2本课题的意义

1.4本课题主要研究的内容

1.5本文的结构

第二章相关理论知识

2.1中间件知识

2.1.1中间件知识

2.1.2中间件的选择

2.1.3消息中间件知识

2.1.4 MSMQ

2.2任务调度

2.2.1任务调度的相关概念

2.2.2任务调度的评价

2.2.3任务调度的分类

2.2.4基于消息中间件的分布式系统的任务调度算法

2.3本章小结

第三章系统在任务调度功能的设计与实现

3.1设计思想

3.2系统的工作原理

3.3系统在任务调度功能上的设计与实现

3.3.1消息发送模块

3.3.2队列

3.3.3任务调度模块

3.4现有系统在任务调度上存在的缺陷

3.5本章小结

第四章系统的改进设计

4.1改进的具体解决方案

4.2系统在任务调度改进上的设计

4.2.1 MSMQ的优先级类型

4.2.2优先级设置

4.2.3默认设置的消息优先级

4.2.4人为设置消息的优先级

4.2.5系统设置消息的优先级

4.3改进的评价

4.4本章小结

第五章应用实例与测试

5.1应用实例

5.1.1应用实例介绍

5.1.2开发的硬件环境

5.1.3开发的软件环境

5.2测试与评价

5.2.1功能测试

5.2.2性能测试

5.3本章小结

第六章总结与展望

6.1本文的工作总结

6.2需要进一步研究的问题

参考文献

攻读硕士学位期间取得的研究成果

致谢