分布式动态运行维护系统设计与实现

摘要

随着云计算、大数据相关技术和理念的不断传播，传统的集中式存储系统逐渐由分布式的存储系统所取代，传统的结构化数据仓库的数据计算分析模式，也逐渐由基于Hadoop的分布式计算集群所取代。随之，系统的存储能力、计算能力都有了飞速发展，各种软件也如雨后春笋层出不穷。系统规模的持续发展一方面为海量数据存储和计算提供了强力支撑，同时另一方面为业务系统的运行维护、监控工作带来了巨大挑战。
　　传统的运行维护监控系统主要受限于来两方面：一是动态扩展性，一是监控规模。本文基于插件技术，采用了可配置的设计理念，构建了分布式的动态运行维护系统。通过配置化的资源管理，可动态注册新的监控资源类型，不再局限与以后的监控资源类型；通过配置化的采集、汇总节点注册，可动态扩展系统监控、处理、计算能力，可实现对大规模系统的监控。
　　本文首先对系统的需求进行了分析，讨论了基于分布式技术的系统构建方案，通过动态采集节点、汇聚处理节点配置注册，实现了可扩展的动态分布式系统，满足了大规模的系统对运维监控能力的需求。
　　然后，本文重点研究了监控资源的模型，通过高度归纳和分解，通过资源、指标、阈值、状态、事件等五类元素模型建立，实现了监控资源的动态扩充，可基于五元素注册新的监控资源类型，不再受限于固有的监控资源类型，满足了目前层出不穷的针对软件和硬件进行监控维护的需求。
　　最后，本文为提升大规模系统监控的实时性，系统引入了高速缓存技术，构建了高速缓存计算架构，极大地提升了系统监控实时性。
　　本文研究的内容已经应用实际工程，并在项目工程中得到较好的测试验证，进一步证明系统研究内容是可行且具有一定实际工程价值的。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景

1.2 本文研究内容

1.3 本文组织结构

2 系统关键技术

2.1分布式系统技术

2.2 监控技术

2.3 高速缓存技术

2.4 传输协议

2.5 插件技术

2.6 XML DTD技术

2.7本章小结

3 系统架构与关键技术设计

3.1系统需求和设计要求

3.2系统架构设计和关键技术

3.3 动态监控资源设计

3.4 高速缓存设计

3.5 本章小结

4 系统的实现

4.1 系统框架实现

4.2 监控资源实现

4.3 高速缓存实现

4.4 系统功能实现

4.5 本章小结

5 系统的部署和测试

5.1部署方案

5.2 系统功能测试

5.3 系统性能测试

5.4 系统验证分析

5.5 本章小结

6 总结与展望

6.1 总 结

6.2 展 望

参考文献

致谢

攻读学位期间发表的学术论文目录