基于MapReduce并行计算提取文档特征Textrank算法研究

摘要

Textrank相比词袋模型有独特的优势,但需要进行多轮迭代和递归运算,常规串行化算法无法满足大数据环境下文档处理的需求.必须借助大数据的分布式处理、并行化计算技术来应对这一挑战.本文学习研究了大数据平台Hadoop的分布式处理方式,并在MapReduce框架下实现并行了Textrank并行提取文档特征的算法.同时,本文就Textrank中关键的投票算法提出了MapReduce迭代实现.经在Hadoop集群上验证,在计算节点增加的情况下,该模式可有效提升Textrank算法效率.