服务器集群业务实时监视系统设计与实现

摘要

伴随着互联网行业的飞速发展，越来越多的业务运行在成千上万的服务器上，为数以亿计的用户提供着服务。互联网服务就像水和电一样涉及到人们生活的方方面面，服务能否正常稳定的运行将切实影响到人们生活。然而为了能够快速的把握互联网行业转瞬即逝的机会，必然带来软件系统频繁的平凡迭代和发布。因此对于系统运行信息及服务质量的掌控，就显得尤为迫切。
　　针对这一需求，提出服务器集群业务实时监视系统课题，目标是设计并实现一套能够对业务运行状态进行实时监控，对服务运行规律从多种角度、图形化展现，并且在业务异常时能够立刻向用户发送手机短信进行告警的实时监视系统。此外系统还要能够提供一定的容错容灾能力，保证重要数据不丢失，能够提供可靠的服务。
　　本文首先对该课题涉及的国内外现状进行研究和分析，之后系统需求进行详细的分析，并针对需求将系统分为Agent模块、Monitor服务器模块、以及Web服务器模块三个部分。接下来，本文对负责数据采集上报的 Agent模块，以及Monitor服务器模块进行了详细设计。在Monitor服务器模块设计中，对数据处理子模块进行建模，并运用图论对模型进行优化，提高系统实时性，同时减少网络数据包的传输；在对高性能服务器进行研究之后，运用分层原理，设计了对查询子模块，以及相应的配置管理模块。此外通过对缓存的应用，以及对磁盘读写的优化，从而提高系统性能。
　　最后对系统的重要模块进行了功能测试，及性能测试。此外，还对最终系统的运行截图进行了分析，体现了实时监视系统在保证业务服务稳定运营，提高服务质量有着重要的意义。

目录

服务器集群业务实时监视系统设计与实现

THE DESIGN AND IMPLEMENTATION OF REAL TIME SERVICE MONITORING SYSTEM FOR SERVERS CLUSTER

摘 要

Abstract

目 录

第1章 绪 论

1.1 课题的背景及研究目的

1.2 与课题相关的国内外研究综述

1.2.1 服务质量管理研究现状

1.2.2 服务器系统状态监控

1.2.3 基于Agent的系统监控

1.2.4 Linux进程监控

1.3 相关商业软件分析

1.4 本论文的主要工作内容

第2章 实时监控系统需求分析

2.1 监视属性分类

2.1.1 监视属性层级

2.1.2 监视系统视角

2.2 系统功能需求

2.3 系统非功能需求

2.4 实时监视系统模块划分

2.4.1 Agent模块

2.4.2 Monitor Server模块

2.4.3 Web Server模块

2.5 本章小结

第3章 实时监控系统功能设计

3.1 实时监视系统相关技术分析

3.1.1 共享内存技术

3.1.2 高性能服务器分析

3.1.3 Linux磁盘IO性能分析

3.1.4 Linux内核Timer分析

3.2 Agent模块设计

3.2.1 共享内存结构

3.2.2 时间同步策略

3.2.3 Agent数据上报

3.3 上报数据处理

3.3.1 数据处理模型及优化

3.3.2 节点分配算法

3.3.3 数据管理共享内存结构

3.3.4 数据管理模块写进程

3.4 监视数据查询

3.4.1 寻址内存及相关算法

3.4.2 变长数据Cache

3.4.3 统一调用接口服务器

3.4.4 数据管理模块读进程

3.4.5 历史数据查询进程

3.5 配置管理模块

3.5.1 数据库设计

3.5.2 系统配置信息管理

3.5.3 告警处理

3.6 网络通讯报文格式

3.6.1通讯报文包头

3.6.2 配置相关报文

3.6.3 数据查询相关报文

3.6.4 Agent上报相关报文

3.7 本章小结

第4章 实时监视系统实现与测试

4.1 Agent相关实现

4.1.1 Agent主动上报API

4.1.2 Agent上报进程实现

4.2 Monitor服务器相关实现

4.2.1 统一调用接口服务器实现

4.2.2 统一调用接口Timer实现

4.2.3 历史查询及数据管理读进程实现

4.2.4 数据管理共享内存实现

4.2.5 变长数据Cache实现

4.3 系统功能测试及性能测试

4.3.1 数据上报测试

4.3.2 查询实时数据测试

4.3.3 服务器性能测试及优化

4.4 系统实现截图

4.5 本章小结

结 论

参考文献

哈尔滨工业大学硕士学位论文使用授权书

致 谢

个人简历