LSF中数据收集分析子系统的研究与设计

摘要

随着集群系统的发展,集群作业管理系统已成为高性能计算机领域的一个热点问题。本文结合Platform Computing公司开发的LSF集群作业管理系统,对该系统中的资源信息数据和作业运行历史数据进行了研究,分析出系统管理人员难以根据当前系统数据的查询和显示来做出高效而可靠的决策,因而需要设立一个辅助系统来为管理人员更方便地查看和分析数据提供服务。
　　 本文首先研究了LSF系统的工作原理和作业执行流程,分析了LSF系统中的两类数据以及当前数据的查询和分析方式,得出系统提供的数据无法满足管理人员的分析和决策需求。本文规划了一个数据收集分析子系统,将该系统划分为数据收集模块和数据分析处理模块分别加以设计。本文在设计该子系统的数据收集过程中,采用了JNI技术来收集系统资源信息数据；在设计数据写入过程中,设立了数据丢失保护机制；在设计数据分析处理过程中,采用了ETL技术和数据仓库技术。最后对设计的子系统进行了总体的功能测试和模块的性能测试,达到了本文的设计目标。

目录

文摘

英文文摘

第1章 绪论

1.1 研究背景、内容和意义

1.2 本文的主要工作

1.3 本文的组织结构

第2章 LSF集群作业管理系统和相关技术的研究

2.1 LSF集群作业管理系统的研究

2.1.1 集群系统

2.1.2 LSF系统的研究

2.2 LSF系统数据的研究

2.3 数据仓库技术和ETL技术的研究

2.3.1 数据仓库技术

2.3.2 ETL技术

2.4 本章小结

第3章 LSF中数据收集分析子系统的需求和设计

3.1 子系统的设计需求

3.1.1 系统数据现状分析

3.1.2 子系统的需求分析

3.2 子系统的设计

3.2.1 子系统的规划

3.2.2 子系统的设计思路

3.3 本章小结

第4章 数据收集模块的设计与实现

4.1 数据收集的设计

4.2 数据收集部分的设计

4.2.1 采样数据的收集

4.2.2 事件型数据的收集

4.2.3 收集器与LSF系统的接口设计

4.2.4 数据收集的可靠性设计

4.3 数据写入部分的设计

4.3.1 数据写入的可靠性设计

4.3.2 远程数据写入的设计

4.4 数据收集模块的实现

4.4.1 数据收集总体类图及描述

4.4.2 数据收集控制器的配置文件

4.4.3 采样数据收集的实现

4.4.4 事件型数据收集的实现

4.4.5 数据丢失保护机制的实现

4.5 本章小结

第5章 数据分析处理模块的设计与实现

5.1 数据分析处理的设计

5.2 ETL引擎的设计

5.2.1 ETL引擎的整体设计

5.2.2 ETL流程的设计

5.2.3 聚合转换及其转换信息表的设计

5.3 数据分析处理模块的实现

5.3.1 数据分析处理总体类图及描述

5.3.2 数据分析处理序列图及描述

5.4 作业吞吐量的数据分析处理过程实例

5.4.1 作业吞吐量相关原数据的抽取

5.4.2 对抽取的数据进行转换处理

5.4.3 数据的装载

5.5 本章小结

第6章 系统测试与分析

6.1 测试环境

6.2 功能测试

6.3 性能测试

6.4 本章小结

第7章 总结与展望

致谢

参考文献

硕士在读期间发表论文