基于用户体验的爬虫监控系统开发与实现

摘要

服务器监控是机房运维管理的重要内容,但传统的监控系统主要监控服务器的内存、磁盘、数据库状态等信息,并没有对应用系统实施监控,存在针对性不足和准确性不高的问题.有些开源软件可以监控业务系统日志,但日志分析的成本太高,也无法有效降低误报率和漏报率.人民日报社采用了软件测试的原理,使用性能检测的方法,基于爬虫技术自研设计了一套针对业务应用的监控系统,以牺牲少量计算资源为代价,创建了一个可并发的“用户机器人”,通过对业务的不间断模拟访问,实时获取用户的体验状况,分析后再通过多层次告警模块发送通知,从而实现精确监控的目标.此系统已建成并正式投入使用.