集群环境中文件传输调度系统的设计与实现

摘要

集群系统指将一组计算机或者工作站以特定的方式连结起来，并协同完成一定的任务的系统。在这个系统中，计算机或者工作站可以是同构的，也可以是异构的，而系统内部的各个计算机和工作站之间可采用以太网或专用网络连接。利用集群系统，获得接近于或超过超级并行计算机的计算和处理能力的技术就是集群技术。
　　本论文研究的是Platform公司提供给富士通公司的一项专业服务中的项目，该项目是在集群环境下，对作业的运行和文件的传输做调度策略，在保证调度不冲突的情况下，使运行的效率最高、传输的时间最短。用户根据系统的运行情况将作业提交，并根据返回的调度结果调整系统的运行时间和运行方式，最终目的是充分利用资源，提高整个系统的运行效率。
　　本论文中分别设计和实现了总调度模块、API模块和文件分段传输调度模块。在总调度模块中，分别实现了用户输入信息的方式、对系统中的节点进行管理、对作业进行管理以及对作业进行监控和调度等功能；在API模块中，分别实现了对系统进行控制和对共享内存进行管理的功能。在文件分段传输调度模块中，分别实现了对节点和作业进行同步和对文件的传输进行调度的功能。各个子功能模块之间相互协调，共同构成完整的系统。论文所研究的技术关键主要有进程间的数据如何进行通信；当一个线程中的数据被修改时，如何保证数据的一致性，即线程的同步方式；作业的调度策略和文件分段传输的调度策略等。
　　通过本文的研究，最终将提高作业的运行效率和资源的利用率，以及增强系统的性能。

目录

集群环境中文件传输调度系统的设计与实现

THE DESIGN AND IMPLEMENTATION OFFILE TRANSFERRING SCHEDULE SYSTEM IN CLUSTER ENVIRONMENT

摘 要

Abstract

目 录

第1章 绪 论

1.1 课题的背景及研究目的

1.1.1 课题的来源及背景

1.1.2 课题的研究目的

1.2 与本课题有关的国内外研究状况

1.2.1 集群系统及其基本原理

1.2.2 集群技术的国外研究现状

1.2.3 集群技术的国内研究现状

1.3 本论文的主要工作内容

1.4 本论文的组织结构

第2章 系统的需求分析与总体设计

2.1 业务需求

2.2 功能需求

2.2.1 总调度模块需求

2.2.2 文件分段传输调度模块需求

2.3 非功能需求

2.4 系统的总体设计

2.4.1 系统关键概念

2.4.2 系统体系结构设计

2.4.3 总调度模块体系结构设计

2.4.4 文件分段传输调度模块体系结构设计

2.5 本章小结

第3章 系统功能模块的设计

3.1 子模块的划分

3.2 总调度模块的设计

3.2.1 用户输入子模块的设计

3.2.2 节点管理子模块的设计

3.2.3 作业管理子模块的设计

3.2.4 作业的监控和调度子模块的设计

3.3 API模块的设计

3.3.1 系统控制子模块的设计

3.3.2 共享内存管理子模块的设计

3.4 文件分段传输调度模块的设计

3.4.1 节点和作业的同步子模块的设计

3.4.2 文件传输调度子模块的设计

3.5 其他模块的设计

3.5.1 用户函数库子模块的设计

3.5.2 错误处理子模块的设计

3.6 本章小结

第4章 系统功能模块的实现

4.1 总调度模块的实现

4.1.1 用户输入子模块的实现

4.1.2 节点管理子模块的实现

4.1.3 作业管理子模块的实现

4.1.4 作业监控和调度子模块的实现

4.2 API模块的实现

4.2.1 系统控制子模块的实现

4.2.2 共享内存管理子模块的实现

4.3 文件分段传输调度模块的实现

4.3.1 节点和作业同步子模块的实现

4.3.2 文件传输调度子模块的实现

4.4 错误处理子模块的实现

4.5 本章小结

第5章 系统的测试及评价

5.1 测试环境

5.2 系统的基本功能的测试及结果评价

5.2.1 系统提示帮助信息的测试及评价

5.2.2 根据系统启动参数启动的测试及评价

5.2.3 添加节点信息的测试及评价

5.3 文件传输操作测试及结果评价

5.3.1 独立模式作业的文件传输调度的测试及评价

5.3.2 共享模式作业的文件传输调度的测试及评价

5.4 本章小结

结 论

参考文献

哈尔滨工业大学学位论文原创性声明及使用授权说明

致 谢

个人简历