LINUX集群可视化监测工具的研究与实现技术

摘要

本文通过对现有监测技术的分析，以lm-sensors、/proc文件系统、MPE为基础、结合MySQL数据库和Kylix，在采用InfiniBand第三代技术的20PC集群系统上实现了一个实用的可视化并行程序监测工具，具有以图形方式实时显示硬件信息和系统节点负载信息以及根据并行程序执行过程中产生的log文件以图形化方式重现程序执行过程的功能。该工具基于Client/Server模式，把被监测节点作为服务端(Server)，而把监测节点作为客户端(Client)。服务器端做为一个后台守护进程运行，在节点机开机的时候自动运行，常驻后台，收集节点的负载信息，定时将信息发送给主控机，由主控机将这些信息进行处理并以图形方式显示给用户。　　监测系统采用对系统性能影响较大的CPU温度、系统风扇转速、CPU利用率、内存利用率、不同时间间隔计算的系统平均负载和网络传输率等数据作为监测的参数。　　使用/proc系统获取节点负载信息。同时系统中任何时刻正在运行的每个用户级进程在/proc下都有一个相应目录，其名称为进程号，其中存放着该进程的相关信息。用户通过文件名查找所对应的进程ID，定期访问/proc中的相关文件以得到该进程的系统利用情况。　　Linux操作系统内核高于2.2.X的版本大都支持lm-sensors，它可以与主板上的传感器协同工作，获得节点的CPU温度、CPU风扇转速、主板温度以及一些系统电压等相关的硬件参数。　　MPE为MPI环境提供了重要的性能分析途径。　　在大规模并行计算中，并行监测程序会监测到大量的数据，需要把这些数据保存到数据库中。　　利用Linux平台的可视化快速开发工具Kylix实现监测系统的可视化界面。　　最后对InfiniBandⅢPC集群系统的监测系统进行了测试，同时对该系统对集群整体性能的影响也进行了比较。

目录

文摘

英文文摘

郑重声明

引言

第一章绪论

1.1背景

1.2集群系统(CLUSTER)

1.3并行计算机系统性能的评价指标

1.4并行程序的性能

1.5并行程序的监测

1.6当前集群监测系统现状

1.7当前集群系统监测系统的不足

1.8本文研究思路与内容安排

第二章系统功能与结构

2.1系统功能

2.2 CPM的模块结构、系统结构和流程图

2.2.1模块结构

2.2.2系统结构

2.2.3流程图

2.3 MAKEFILE文件的构造

第三章节点信息的获取

3.1节点负载信息的获取

Ⅰ获取CPU利用率：/proc/stat

Ⅱ获取系统负载：/proc/loadavg文件

Ⅲ获取内存信息：/proc/meminfo文件

Ⅳ获取CPU周期浪费率：/proc/uptime文件

Ⅴ获取网络传输信息：/proc/net/dev

Ⅵ获取用户进程信息

Ⅶ获取进程信息：/proc/$pid/status文件

Ⅷ获取进程信息：/proc/$pid/stat文件

3.2节点硬件信息的获取

第四章并行程序信息的获取

4.1消息传递语言MPI

4.2 MPI的扩展：MPE

4.3纪录文件的生成

4.4纪录文件的查看

第五章数据的收集

5.1数据存储

5.2数据传输

5.3图形化显示

第六章测试与总结

6.1测试

6.2本文的工作总结

6.3展望

致谢

参考文献

附录：攻读硕士学位期间发表学术论文