关联规则挖掘在电信网络告警分析中的应用研究

摘要

电信网络的规模越来越大，结构越来越复杂，每天都会产生大量告警信息。传统的采用人工处理告警的方式已经不能满足企业的需求。数据挖掘是一种从数据库中提取出隐含的、预先未知的而且潜在有用的信息的技术，有助于进行网络故障隔离和诊断、选择正确措施、进行预维护和趋势分析，是一种有效的告警分析工具。 本文旨在研究基于告警数据特点的数据挖掘相关算法。在对告警分析数据挖掘方法研究综述的基础上，本文比较了各类算法在告警分析中的应用现状，将关联规则挖掘作为本文研究对象。针对现有关联规则挖掘算法效率低下、太多冗余规则生成的问题，提出一种改进的时序关联规则挖掘算法。首先，改进算法采用矩阵单元的形式组织告警序列，从而便于进行后期的候选计数扫描，提高算法的挖掘效率。其次，由于随机排列候选序列必然会导致候选组合阶段效率的低下，因此改进算法引入等价类的概念及方法对候选序列进行有效组织。最后，为了解决规则爆炸的问题，本文提出最简时序关联规则的概念，并利用等价类对候选序列的组织方式得到了有效的生成方法。 本文的主要贡献在于提出一种改进的时序关联规则挖掘算法，用于解决现有算法挖掘效率低下并生成太多冗余规则的问题。为了检验算法的有效性，本文利用电信网络公司的真实告警记录对提出的算法进行了实验验证。在实验前利用编程技术对数据进行了预处理，然后利用相关指标，从总体效果和参数影响两方面对改进算法的优劣进行了评价。其中，总体效果的评价包括对候选序列数量、频繁序列数量、规则集数量以及运行时间的比较。参数影响的评价通过改变参数数值，检验原算法和改进算法的挖掘效果，分析各个参数对算法结果的影响。最后，通过改变数据规模进一步检验改进算法的伸缩性。最终的实验结果证明了此算法的有效性。