聚类和关联算法在移动客户通话行为中的应用研究

摘要

数据挖掘技术是信息科学领域的前沿研究课题之一，已广泛应用于市场营销、医学、农业、电信等各种领域。随着电信市场竞争的不断加剧，如何针对不同的客户群实施差异化营销和服务，对客户进行细分和分类已成为当前电信企业的迫切需求。本文结合工程实际，研究数据挖掘和数据仓库技术在移动客户通话行为中的应用问题。
　　 本文介绍了当前电信企业数据挖掘工作的现状和发展趋势，分析了将数据挖掘技术应用到电信企业中的必要性和可行性。在此基础上，深入研究了数据挖掘聚类分析中的Clique聚类算法和关联分析中的Apriori算法，并给出了将其运用到移动客户通话行为细分的建模过程。
　　 Clique算法具有网格类算法效率高的优点，对于大型数据库中的高维数据的聚类非常有效，但它在并行处理、零数据处理、减少锯齿型边缘数据有一定局限性。针对移动客户数据集的特点，本文对Clique算法进行了讨论，给出了一种改进的一维Clique算法，并通过SQL语言与现有Oracle数据库进行实现。实验表明，改进的算法应用于数据预处理，运行效率更高。
　　 实际应用中，由于关联规则挖掘的数据集有时可达GB甚至TB数量级，而关联规则挖掘传统Apriori算法主要考虑的问题是减少I/O操作和降低需要计算支持度的项目集的数量。本文针对Apriori算法存在的局限，给出了一种动态调整并行运行的改进Apriori算法，在每次循环时，依据规则减小事务数据集D，同时将大型频繁项集前k-1项ID采用Hash函数进行动态分解，分裂成多个项目集，由此实现多机器或多进程并行运行，并在每次循环结束时再进行合并。实验结果表明，该方法可以明显提高挖掘效率，使得原本海量数据的关联规则挖掘工作，可以采取多进程多机器并行实现。
　　 最后，本文讨论了上述改进算法在移动用户通话行为分析系统中的应用问题。根据数据挖掘的设计思想，文中给出了分析系统的设计并建立了新增用户客户细分模型。并以移动BOSS系统为实际数据源，利用改进的Clique算法对其进行数据预处理，再运用改进的Apriori算法，对竞争对手的新增通话用户进行分类和预测。结果表明，改进算法在实际应用中具有较好运行效率和预测效果。

目录

文摘

英文文摘

插图索引

附表索引

第1章 绪论

1.1 研究背景

1.1.1 中国电信行业目前面临的市场挑战

1.1.2 中国电信行业的发展现状

1.1.3 国内外电信行业数据挖掘的现状

1.1.4 电信行业数据挖掘的应用和发展方向

1.2 研究课题的来源

1.3 本文研究的内容

1.4 本章小结

第2章 数据仓库与数据挖据技术分析

2.1 数据仓库

2.1.1 数据仓库概念

2.1.2 数据仓库与数据集市

2.1.3 数据仓库系统的结构

2.1.4 数据仓库的关键技术

2.1.5 0LAP技术

2.2 数据挖掘

2.2.1 数据挖掘的概念

2.2.2 数据挖掘的分类

2.2.3 数据挖掘的主要方法

2.2.4 数据挖掘的一般过程

2.2.5 数据挖掘的主要应用领域

2.2.3 数据挖掘的研究方向

2.3 数据仓库和数据挖掘技术在中国移动业务中的应用分析

2.3.1 中国移动经营分析系统(BASS)建设目的

2.3.2 中国移动经营分析系统(BASS)系统架构

2.3.3 中国移动经营分析系统(BASS)应用分析

2.4 本章小结

第3章 基于CLIQUE聚类算法的算法研究

3.1 引言

3.2 聚类算法的概述

3.2.1 基本概念

3.2.2 聚类分析的数据类型及其相异度

3.2.3 聚类算法的分类及相关挖掘算法

3.3 CLIQUE算法描述和分析

3.3.1 CLIQUE算法的标准化描述

3.3.2 CLIQUE算法的局限性

3.4 基于CLIQUE算法的改进实现

3.4.1 移动用户通话行为数据源的特点分析

3.4.2 基于CLIQUE算法的改进思想

3.4.3 CLIQUE改进算法的SQL语言实现

3.4.4 实例结果及性能分析

3.5 本章小结

第4章 基于APRIORI关联算法的算法研究

4.1 引言

4.2 关联规则概述

4.2.1 关联规则基本概念

4.2.2 关联规则的分类

4.2.3 关联规则的挖掘算法

4.3 APRIORI算法的描述和分析

4.3.1 APRIORI算法的基本思想

4.3.2 APRIORI算法的核心算法

4.3.3 APRIORI算法一些固有缺陷

4.3.4 APRIORI算法的现有改进方法

4.4 基于APRIORI算法的改进实现

4.4.1 基于APRIORI算法的改进思想

4.4.2 基于APRIORI算法的SQL语言改进实现

4.4.3 实例结果及性能分析

4.5 本章小结

第5章 改进聚类和关联算法的应用研究

5.1 引言

5.2 数据挖掘系统设计步骤

5.2.1 问题定义

5.2.2 数据收集和数据预处理

5.2.3 数据挖掘

5.2.4 结果解释和评估

5.3 竞争对手新增用户客户细分应用系统设计与分析

5.3.1 系统整体框架

5.3.2 系统技术平台架构

5.3.3 系统模块数据流图

5.3.4 业务问题

5.3.5 数据准备

5.3.6 建立竞争对手新增用户客户细分模型

5.3.7 客户细分挖掘系统模型结果与分析

5.4 本章小结

结论

参考文献

致谢

附录A 攻读硕士学位期间所发表学术论文目录