Hadoop海量数据挖掘在宽带客户信息推送系统中的应用研究

摘要

随着各类宽带接入网用户的迅速增长,以及市场竞争日益激烈,各大通信运营商们开始日益重视面向宽带用户的商业信息推广服务。由于所需推广的商业信息庞大且繁杂,如何对相关数据进行高效处理,提高其推送的效率与针对性,成为各大通信运营商巩固市场竞争力的有效途径。例如,研究如何针对不同的固网宽带业务用户群,实现差异化的电信产品推荐服务,并应用于电信宽带客户信息推送系统中,即为当前电信运营商的研究热点之一。
　　本文对现有宽带客户信息推送系统的推送数据与推送模式进行分析与研究,熟悉电信待推荐产品的数据特征以及现有推送模式的不足;其次,研究关联规则数据挖掘理论,并深入研究分析基于多维与项目压缩的,适合电信推荐产品数据特征的Apriori改进算法;然后,针对推荐数据量的指数式增长导致的算法性能局限性问题,提出基于云计算 Hadoop平台的并行化挖掘MR_AprioriDpc算法,并将其应用于电信产品推荐的关联规则挖掘中。最后,将挖掘结果应用于宽带客户信息推送系统,并设计和实现相关的功能模块。
　　本文主要创新:
　　(1)基于电信产品推荐,设计具有关联规则分析、推送任务定制以及定制推送统计三个功能的定制推送功能模块,并在电信宽带客户信息推送系统中予以实现;
　　(2)针对 Apriori算法的不足,深入研究与分析基于多维的、项目压缩的Apriori改进算法;并针对其对海量数据的性能局限性问题,提出基于云计算Hadoop平台下的并行化MR_AprioriDpc算法;
　　(3)建立推荐产品关联规则挖掘模型,并将MR_AprioriDpc算法应用到电信推荐产品关联规则挖掘中。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 引言

1.1 研究背景及课题意义

1.2 课题来源

1.3 国内外研究现状

1.4 本文研究内容

1.5 论文组织结构

第2章 需求分析与相关知识

2.1 需求分析

2.2 电信推送系统数据库服务器

2.3 数据挖掘相关知识

2.4 关联规则理论

2.5 本章小结

第3章 改进的Apriori算法

3.1 概况

3.2 基于多维项目压缩的Apriori改进算法

3.3 本章小结

第4章 基于Hadoop的Apriori改进算法并行化

4.1 Hadoop分布式架构

4.2 MapReduce分布式计算模型

4.3 HDFS分布式文件系统

4.4 并行Apriori改进算法（MR_AprioriDpc）设计

4.5 本章小结

第5章 MR_AprioriDpc算法的应用与实现

5.1 功能需求

5.2 系统架构

5.3 定制推送模块设计与实现

5.4 本章小结

第6章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献