基于分布式计算的大规模社交网络信息抽取方法

摘要

本发明公开了一种基于分布式计算的大规模社交网络信息抽取方法，首先预处理新闻论坛网站，抽取其新闻-用户关系网络，使用新闻-用户列表的元组将新闻-用户关系网络以文件的形式进行存储，其中每个元组包含了某个新闻及其相关用户列表；以新闻-用户列表元组文件作为输入，计算出每个实体用户相关的新闻数量以及每对用户之间共同评论的新闻数量，并分别以相应的元组形式储存为中间结果文件；以求出的两个中间结果文件构造用户新闻表以及用户新闻共同评论表，扫描这两张表来得到|N(u)N(v)|的值，由此计算最终的关系强度。本发明提出了一种基于分布式计算框架的社交网络信息抽取方法，得到较好扩展性和伸缩性。