Research on Application of Distributed Clustering Algorithms Based on MapReduce in Social Networking Services

摘要

在信息爆炸的大数据时代，人们的生活、工作和思维方式逐渐在改变。对于数据分析而言，传统的抽样方法有悖于数据量的增长态势，使用全体数据取代随机抽样成为时代的发展需求。为了实现这个目标，仅仅依赖摩尔定律来提升计算性能是远远不够的，云计算等弹性计算体系架构逐渐受到关注。社交网络作为互联网发展史上的一个重要和成功的应用领域，也是大数据时代的重要数据来源之一。这不论对于社交网络服务提供商自身还是对其商业伙伴，乃至对于社会科学研究领域而言，都是巨大的财富。 本文针对目前国内主流微博网站在自动话题识别和归类上的欠缺，研究基于分布式聚类算法和信息检索技术，并结合语义相似度计算模型，实现一个能够根据内容对微博按...