网络告警商业智能解决方案中关联挖掘算法研究

摘要

近几年，云计算和物联网迅速崛起，全球的信息量已膨胀至空前的数量级，海量信息急驰在信息高速公路上，网络不可避免的会产生大量的故障和告警，及时定位并排除故障，恢复网络畅通，显得十分必要和紧迫。目前，在网络告警的综合管理中，网络告警的数据库之间相互独立，数据库内部的信息深度交织。因此，需要引进商业智能技术，用数据仓库技术与数据挖掘技术联合攻坚。先用数据仓库技术集成各数据库信息，再用数据挖掘技术提炼“知识”。
　　 论文的研究经历了“实践-遇惑-研究-实现-应用”的历程。以网络运营商的外部数据源为研究起点，以从海量告警中挖掘故障信息为研究动机，展开研究实践。基于网络告警设计商业智能解决方案的整体框架，依照框架逐个实现分析和挖掘两大模块。首先，建立网络告警数据仓库，将告警的信息孤岛汇集成片，完成解决方案的数据层构建;建立多维数据集，从多角度对数据立方体作“CT”，分析确定数据挖掘模型，实现分析模块的功能。然后，基于挖掘模型，给出一套编码序列数据库构建方法，为数据挖掘提供规范的挖掘数据源;对比分析经典关联挖掘算法的特点和适用性，选出最优经典算法，分析最优算法中的缺陷，并基于网络告警数据的特征，给出一种约束投影关联挖掘改进算法。在算法的挖掘耗时和挖掘结果两方面，通过实验数据验证算法的合理性和有效性，完成挖掘模块的理论研究。最后，将编码序列库构建方法和约束投影关联挖掘算法应用于解决方案的挖掘模块中，实现挖掘模块的功能。最终完成了整套解决方案的构建。该方案可全局地分析模型，动态地调整模型，挖掘告警的关联规则，为网络故障的排除提供技术支撑。将网络告警商业智能解决方案应用于重庆移动的实际告警分析，实践验证了该方案的可行性和实效性。
　　 通过以上的研究与实践，论文将商业智能技术引入网络告警的综合管理与分析中，并将编码序列库构建方法和约束投影关联挖掘算法应用于其中，为网络告警的综合管理和分析探索出一条具有实际参考价值的新途径。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 研究现状

1．2．1 商业智能发展现状

1．2．2 告警分析技术研究现状

1．3 论文研究内容

1．4 论文结构

第二章 网络告警及商业智能相关技术概述

2．1 网络告警概述

2．1．1 网络故障和告警的定义及分类

2．1．2 网络告警的采集和处理机制

2．1．3 网络告警引入商业智能技术的必要性

2．2 商业智能相关技术概述

2．2．1 数据仓库技术

2．2．2 数据整合技术

2．2．3 联机分析处理技术

2．2．4 数据挖掘技术

2．3 关联挖掘算法

2．3．1 候选集类算法

2．3．2 非候选集类算法

2．3．3 算法对比分析

2．4 本章小结

第三章 网络告警BI解决方案的设计及分析模块的实现

3．1 网络告警数据特点剖析

3．2 网络告警BI解决方案框架设计

3．3 数据仓库设计与实现

3．3．1 数据仓库概念模型设计与实现

3．3．2 数据仓库逻辑模型设计与实现

3．3．3 数据仓库物理模型设计与实现

3．4 仓库数据ETL设计与实现

3．5 分析模块中OLAP设计与实现

3．6 本章小结

第四章 一种基于约束投影的关联挖掘改进算法

4．1 一种编码序列数据库构建方法

4．1．1 数据仓库提取数据

4．1．2 属性归类及降维

4．1．3 数据编码

4．1．4 序列窗口划定

4．1．5 载入挖掘数据库

4．2 关联挖掘算法问题分析

4．3 一种关联挖掘改进算法CPSP

4．3．1 算法相关定义

4．3．2 算法约束思想

4．4 CPSP算法分析

4．4．1 理论分析

4．4．2 事例分析

4．5 CPSP算法实现

4．5．1 算法纵向步骤描述

4．5．2 算法横向空间描述

4．5．3 算法代码实现

4．6 算法测试

4．6．1 测试环境

4．6．2 实验测试

4．7 本章小结

第五章 CPSP算法在解决方案挖掘模块中的应用

5．1 挖掘模型设定

5．2 告警序列数据库设计与实现

5．2．1 数据ETL设计与实现

5．2．2 数据属性归类降维

5．2．3 数据编码设计与实现

5．2．4 序列窗口设计与实现

5．2．5 序列数据库数据载入

5．3 CPSP算法关联挖掘实践

5．3．1 转换序列数据

5．3．2 CPSP关联挖掘

5．3．3 关联规则解码设计与实现

5．4 网络告警关联挖掘分析

5．4．1 支持度阈值分析

5．4．2 规则生成速率分析

5．4．3 关联规则结果分析

5．5本章小结

第六章 总结及未来工作

6．1 论文总结

6．2 未来的工作

致谢

攻硕期间从事的科研工作及取得的研究成果

参考文献