大规模分布式系统监控技术研究与应用

摘要

分布式系统是规模以及复杂度不断扩大的计算机应用的主要表现形式。其中，分布式追踪系统以及分布式性能监控系统是大型分布式系统诊断异常、性能监控、保证系统稳定的重要手段，分布式追踪系统负责监控分布式系统各服务间调用情况，分布式性能监控系统负责监控分布式系统各组件对资源的消耗情况。
　　分布式系统中存在难以快速准确定位错误、监控采集的数据价值不高、监控数据采集查询时资源消耗高等问题，本论文就监控数据采样、数据分析以及监控数据存储索引等方面提出了快速异常诊断以及降低监控数据采集查询资源消耗的方案，具体工作如下:
　　1.提出了一种后验式调用链采集方案。现有大规模分布式系统中异常调用链的比例非常小。针对这种情况，该方案通过节点预判调用是否异常，仅还原出错调用链并存储。较之传统分布式系统监控追踪系统采用固定采样率，提升了存储调用监控日志数据的价值，节省了网络、存储资源的消耗。
　　2.提出了一种基于决策树分类方法的调用链故障诊断方法用于解决分布式系统中遇到错误难以快速准确定位原因的问题。该方法通过对已知的异常调用链数据集进行特征提取，分类错误调用链为不同错误类型。快速定位错误原因，解决分布式系统难以快速准确诊断故障的问题。
　　3.提出了一种基于散列概要森林的时序数据索引方法，优化监控数据规模庞大时对大跨度时间范围中对时序数据进行统计、聚合查询时的资源时间消耗。该方法结合概要森林树形索引方案，优化时序数据聚合操作速度，并结合一种基于Hbase的线段树散列存储方案，解决Hbase分布式存储时序数据产生热点问题。
　　基于以上几点，本文构建了钱塘分布式追踪系统(JTang Tracer)，该系统对应分布式系统调用链追踪与分析，并可视化调用数据，较之传统分布式监控系统，该系统可以节省更多的资源以及采集更有价值的数据。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．1．1 分布式性能监控系统

1．1．2 分布式调用链追踪

1．1．3 异常诊断

1．2 论文课题目标与研究内容

1．3 本文组织结构

1．4 本章小结

第2章 国内外相关技术研究现状

2．1 基本概念

2．1．1 分布式系统

2．1．2 分布式性能监控系统

2．1．3 分布式调用追踪

2．2 分布式追踪系统

2．2．1 分布式追踪系统解决的问题用例

2．2．2 传统分布式追踪系统

2．3 时序数据相关研究

2．4 本章小结

第3章 后验式调用链采集方法

3．1 问题描述

3．2 相关概念描述

3．2．1 调用链采样技术

3．2．2 本地缓存技术

3．3 方案设计

3．3．1 Java缓存技术

3．3．2 系统架构设计

3．4 本章小结

第4章 基于决策树分类方法的调用链异常诊断方法

4．1 问题描述

4．2 相关概念描述

4．2．1 决策树分类算法

4．2．2 TraceBench开源分布式调用链数据集

4．3 特征选取以及数据清洗

4．4 实验设计与分析

4．5 本章小结

第5章 基于散列概要森林的时序数据索引方法

5．1 问题描述

5．2 相关概念描述

5．2．1 概要森林

5．2．2 Hbase分裂不平衡问题

5．3 算法描述

5．3．1 数据模型和查询需求

5．3．2 基于Hbase的散列概要森林

5．3．3 散列概要森林建树写入查询过程

5．4 实验设计与分析

5．5 本章小结

第6章 钱塘分布式监控与分析系统

6．1 系统概述

6．2 系统架构

6．2．1 后验式调用链采样方案的应用

6．2．2 基于决策树调用链诊断方案的应用

6．3 系统界面展示

6．4 本章小结

第7章 总结与展望

7．1 全文总结

7．2 工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢