一种基于Spark的海量文本关键词快速提取方法

摘要

本发明公开了一种基于Spark的海量文本关键词快速提取方法，读取指定文件夹下所有的文本文件，创建SequenceFile作为原始文本文件；将所述SequenceFile上传到Hadoop平台并加载到内存中；对每个文本文件分词，统计并计算每个单词的词频‑逆文档频率值；把每个单词的词频‑逆文档频率值从大到小排列，提取排名靠前的结果；将所述提取结果保存为Hadoop平台上的SequenceFile，以供查询。本发明通过将文本文件打包成SequenceFile后整体处理，提高了程序对海量文本文件的处理效率；利用Spark将待处理文本数据加载到内存中再利用TFIDF算法处理，实现了对文本关键词的快速准确提取；将提取结果存储到Hadoop平台上，实现了对提取结果的实时快速查询。