基于MapReduce的社交网络用户行为分析研究

摘要

社交网络跨越了地理、国度和人文的障碍使得人跟人之间的距离更近了，是人类社会的又一突破性发明。随着信息化的不断推进，社交网络发展迅速，随之也刺激了各类服务网站的发展。用户在与社交网络交互的过程中产生了大量的内容丰富的数据，潜藏着极大的经济利益和社会效益，如何准确而高效地获取其中有价值的信息，是企业关注的重要一点也是当前学者研究的热点。
　　论文以海量Web日志数据为处理对象，结合云计算技术进行了如下研究:首先，对云计算开源平台Hadoop平台进行了简单介绍，并对其核心技术MapReduce编程框架进行了分析和探讨;然后，着重研究了Web日志数据的预处理阶段，对数据预处理的执行过程进行了详细的阐述，并将数据预处理与分布式并行技术相结合，实现了基于Hadoop的对于日志数据的预处理;接着，由于传统的储存和数据计算方法不能满足海量日志挖掘的需求，论文提出了基于MapReduce编程框架的日志挖掘系统架构，并对系统中各模块的功能和实施过程进行了详细说明;而且，根据日志数据中的几个关键字段对用户行为进行了建模，并且结合MapReduce技术实现了K-means算法的并行化，从而实现海量用户数据的聚类;最后，通过实验对用户行为进行了分析，发现用户行为特征，为用户和搜索引擎的交互提供了参考和依据。

目录

声明

摘要

1 绪论

1．1 课题的研究背景

1．2 国内外研究现状

1．3 论文研究内容和意义

1．4 论文组织结构

2 云计算技术与数据挖掘

2．1 Hadoop开源平台

2．2 Hadoop核心技术MapReduce

2．3 数据挖掘

2．4 Web挖掘

2．5 本章小结

3 基于MapReduce的日志预处理

3．1 Web日志数据采集方法

3．2 数据预处理过程

3．3 基于MapReduee的预处理算法

3．4 本章小结

4 基于用户查询日志挖掘的实现

4．1 日志挖掘系统架构设计

4．2 日志数据挖掘

4．3 基于MapReduee的K-means算法实现

4．4 本章小结

5 实验测试

5．1 实验环境

5．2 实验结果与分析

5．3 本章小结

6 总结与展望

6．1 总结

6．2 展望

致谢

参考文献