基于Storm的大数据业务层实时监控系统研究

摘要

随着计算机和互联网技术的迅猛发展，加之物联网、移动互联网的快速兴起，人们的生活已经被数据所包围。在腾讯、阿里这样的互联网巨头公司中，手机QQ、淘宝商城这样的业务，其监控服务日志数据，每天都会达到50TB左右。如何对这些监控数据进行有效的过滤和实时分析，并完成对业务的实时监控，是一项巨大的挑战。现有的监控系统大多只提供硬件指标的检测，在业务层的监控系统也随着业务量的提高，面临着大数据的挑战。
　　本文针对上述问题，在大数据流式计算框架Storm和分布式消息队列Kafka的基础上，设计了一套用于大数据业务层的通用实时监控解决方案。用户只需要根据自身的服务，配置上报的字段属性和监控的规则，即可实现对服务的实时监控和告警检测。本文的主要工作及创新点如下：
　　（1）针对现有系统监控配置繁琐，不能可视化的问题，提供统一的Web服务，使得监控的基本信息、输入字段、处理逻辑、拓扑预览等操作均可进行可视化的操作，将各模块进行可插拔的设计和实现，然后根据页面的配置信息自动生成监控逻辑的代码，大大降低了监控管理配置的复杂度，解决现有的监控系统，在告警配置上的繁琐、不透明的问题。
　　（2）针对现有监控系统误告率较高的问题，提出了一套监控指标告警检测方案，有效的降低了系统的误告率。方案对历史数据进行数字特征的计算，并根据假设检验和聚类得出的结果进行监控采样点的波动率分析，利用三次指数平滑法和BP神经网络法，对历史数据进行分析、建模和预测。结合离线计算和实时计算，对监控的采样数据进行告警检测，从而将系统的误告率从10％降低到1%左右。
　　（3）针对现有系统在大数据环境下传输效率低，处理延迟高的问题，将系统分为用户接口层、数据接入/缓存层、实时计算层、离线计算层、数据持久化层进行设计。在数据接入层和实时计算层中，将Storm和Kafka进行整合，并进行二次开发，充分利用Storm低延迟和高并发的特性，并利用ProtocolBuffer对消息进行序列化的编码压缩，从而提高系统的传输和处理效率，解决现有的监控系统无法满足在大数据环境下的实时性要求、多维度问题。
　　本文最后对所设计和实现的系统进行了功能测试和性能测试。对系统运行结果图和各种性能指标统计图的分析表明，系统完全满足预定的设计目标，并已应用于腾讯公司QQ产品族的部分业务的监控环境中。

目录

声明

第1章 绪论

1.1课题来源

1.2研究背景与意义

1.3国内外研究现状

1.4研究目标和内容

1.5论文结构

第2章 监控系统整体方案研究

2.1业务层监控系统特点分析

2.2业务层监控系统架构设计

2.3系统使用组件介绍

2.4系统关键设计研究

2.5本章小结

第3章 实时计算层可插拔模块设计

3.1实时计算层整体结构设计

3.2实时计算层各模块设计

3.3本章小结

第4章 监控指标告警检测方案研究

4.1离线计算方案

4.2实时告警方案

4.3本章小结

第5章 业务层监控系统测评

5.1测试方案设计

5.2功能测试

5.3性能测试

5.4本章小结

第6章 工作总结与展望

6.1工作总结

6.2工作展望

致谢

参考文献