基于实时可视化数据挖掘的高并发性能监测系统设计与实现

摘要

软件工程领域的并发在微观上是指多个程序在处理器上同一时间的运行，宏观上是指多个用户在同一时间对系统的访问和操作；而高并发则是高数量级的程序或用户对系统在同一时间的执行或操作，进而对该系统产生巨大的负载压力。现今，高并发系统应用在诸多行业，包括门户网站、电信、金融、交通、甚至热议中的云计算等领域。本文重点关注的是高并发系统的性能监测，因为此类系统不仅要在功能上满足要求，性能上也要保证高并发环境下的正常运行，所以对该类系统上线运行前的性能测试和运行当中的性能监视是必要的。但目前大部分高并发系统的性能测试和系统运营时的监视是分别在各自环境和工具中进行，造成性能测试阶段所获得的测试分析数据和在测试过程中各种异常事件处理经验，不能有效地应用到系统运营阶段的性能监视中，也就不利于对被监测系统运行状态的准确预测、异常事件的排查和在维护调优过程中对所需技术依据的掌握。所以本文提出：高并发系统的性能测试和运营中的性能监视应能有机的结合，形成合二为一的高并发性能监测系统。
　　同时许多高并发系统都需要实时地获取和处理数据，具有实时系统的特点，这不仅要求系统在高并发压力环境下的运行稳定性，也要求能及时同步地获取该系统的性能状态数据予以监测；并且为了达到对系统运行状态的有效跟踪、报警和预测，增强信息表达效果，应能在系统运行时进行直观的可视化监测。针对上述高并发系统性能监测的技术要求，需要有对应的基于实时性和可视化数据挖掘技术的高并发性能监测解决方案。所以利用相关技术，开发基于实时可视化数据挖掘的高并发性能监测系统具有实际的应用意义。
　　为了在高并发系统环境下对实时数据的精确处理和对性能监测数据的有效分析，本文采用了基于时序同步的分布式并行处理技术和BP神经网络数据挖掘算法，这既能根据系统监测要求对高并发监测数据进行高效地采集和统计分析，又能把测试阶段提炼出的性能分析数据形成训练样本，对实时性能监视数据进行可视化数据挖掘，形成有效的可视化性能分析、预测及报警监测图像，达到对被测系统的可视化状态跟踪分析的目的。
　　本文首先根据目前相关行业需求和高并发系统监测面临的问题，明确开发和应用基于实时可视化数据挖掘的高并发性能监测系统的必要性。分别详细研究了高并发系统性能监测、可视化数据挖掘、实时系统；论述如何把基于时序同步的分布式并行处理和BP神经网络数据挖掘算法应用到高并发性能监测系统中，并以此为基础展开对高并发性能监测系统的详细设计和具体实现。