HCMonitor:高并发网络服务通用的精确测量监控系统

摘要

近年来数据中心网络因人们对于交互式服务的大量需求而快速发展,其中长尾延迟是较直接的影响用户体验的一个指标,高的长尾延迟使得用户体验不佳,已成为现代数据中心设计所面临的主要挑战之一.解决这个问题首先必须要监控服务器响应流量并计算其延迟分布.目前已有的服务器系统响应延迟的测量工具普遍存在以下两个问题;无法承受高并发网络流量;网络客户端进行的响应延迟计算无法测量从请求入口(请求到达服务器端)到响应出口(响应从服务器端发出)的延迟,且多用采样流量进行结果的统计.针对这两个问题,开发了HCMonitor,一款可精确测量高并发网络服务响应延迟的用户态监控系统.HCMonitor利用交换机的镜像功能捕获流量,对整个服务器集群的运行零干扰,可以精确测量从请求入口到响应出口的延迟.本文对HCMonitor的系统框架和工作流程原理进行了详细的介绍和分析,并对其功能和性能做了评估,证明了相比传统的wrk等测试工具,HCMonitor在十数万的高并发网络服务的延迟测量中可以获得更加精确的结果,与wrk的结果差距可达7倍左右.