分布式关联规则挖掘在电信告警相关性分析中的应用

摘要

故障诊断与定位是网络故障管理的核心，当网络出现故障时，要求必须在尽可能短的时间内，正确地判断出网络故障所在的位置和引起故障的原因，以便及时排除故障，恢复网络正常功能。告警相关性分析是故障诊断与定位的重要手段之一，广泛应用于各种智能网络管理系统。数据挖掘为告警相关性分析中知识获取提供了新的途径。现代电信网及其网络管理是一个典型的分布式应用系统，．管理功能的实现是依靠不同层次的管理部件协同工作来完成的。本文以国家自然科学基金项目《基于数据挖掘的通信网告警相关性分析》为背景，重点研究了电信网分布式告警关联规则挖掘，包括告警预处理、分布式关联规则挖掘算法与分布式告警关联规则挖掘系统的实现及仿真验证。 本文采用滑动时间窗口机制解决告警时间同步问题，提取告警项目中反映网络故障的字段组成告警事务项，并用告警压缩的方法处理冗余告警，以便将原始告警数据库转化为告警事务数据库，为告警关联规则挖掘做好数据准备。 本文针对电信网告警信息量大、告警具有突发性等特点以及告警数据库的分布式环境，引入共享模式的分布式体系结构，由局部站点和全局站点协同进行全局告警关联规则的挖掘。在已有关联规则挖掘算法的基础上，提出了一种适合分布式电信告警关联规则挖掘的新算法—EDMA算法。该算法在局部站点运行本文改进的基于压缩关联矩阵的CMatrix算法，避免了多次重复扫描数据库。EDMA算法通过对每次迭代产生的全局频繁项集进行顺序编号，将项集映射为编号数据对代替项集本身在网络上传输，使得在全局站点上可用散列表结构进行候选项集的快速匹配、存储，并实现了传输信息量的有效压缩。算法性能测试表明：该算法具有执行时间效率高、通讯开销小、可伸缩性好的优点。 本文通过采用IOCP机制构建通讯控制模块，使用内存池技术管理I/O数据缓冲区以及定制通讯协议来进行局部站点和全局站点的同步与数据交互，有效地解决了高性能挖掘服务器实现中的技术难题，完整实现了分布式电信告警关联规则挖掘系统。系统运行和测试结果表明：该系统能够快速而有效地挖掘出电信告警数据中有用的告警关联规则。

目录

文摘

英文文摘

论文说明：图目录、表目录

独创性声明及关于论文使用授权的说明

第一章绪论

1.1研究背景和意义

1.2国内外研究现状及发展趋势

1.3本文主要工作

1.4论文章节安排

第二章告警相关性分析与数据挖掘

2.1电信网络故障管理

2.1.1电信告警管理功能

2.1.2电信告警相关性分析

2.1.3告警相关性分析的应用

2.2数据挖掘知识介绍

2.2.1数据挖掘流程

2.2.2数据挖掘常用技术

2.3告警数据挖掘

2.4小结

第三章分布式关联规则挖掘技术研究

3.1关联规则数据挖掘

3.1.1关联规则挖掘基本概念

3.1.2关联规则分类

3.1.3挖掘关联规则的步骤

3.2集中式关联规则挖掘算法分析

3.2.1关联规则经典挖掘算法Apriori

3.2.2关联规则挖掘效率的改进

3.3一种改进的基于压缩关联矩阵的算法CMatrix

3.3.1 CMatrix算法的基本思想

3.3.2压缩关联矩阵的生成

3.3.3基于压缩关联矩阵产生频繁项集

3.4分布式关联规则挖掘的基本原理和方法

3.4.1问题的提出

3.4.2分布式关联规则挖掘的CD算法和DD算法

3.4.3分布式关联规则挖掘的FDM算法

3.5一种新型分布式关联规则挖掘算法—EDMA算法

3.5.1 EDMA算法提出的必要性

3.5.2 EDMA算法的基本原理和主要技术

3.5.3 EDMA算法的运算步骤和举例说明

3.6本章小结

第四章分布式电信告警关联规则挖掘系统的设计与实现

4.1系统总体设计

4.1.1系统体系结构及工作流程

4.1.2重要数据结构定义

4.2告警预处理

4.2.1告警信息时间同步处理

4.2.2告警信息整理与字段提取

4.3高性能挖掘服务器的实现技术

4.3.1基于IOCP机制的通信控制模块的实现

4.3.2使用内存池技术管理数据缓冲区

4.3.3通信协议定制

4.4本章小结

第五章实验结果及分析

5.1局部站点挖掘客户机性能测试

5.2分布式关联规则挖掘系统整体测试

5.3本章小结

第六章结论及展望

致谢

参考文献

个人简历

攻读硕士学位期间的研究成果