基于R+Hadoop框架的微信舆情热点挖掘

摘要

[目的/意义]从微信舆情的智能采集与智能分析的视角出发,探究如何借力大数据技术强化舆情的深入分析与有效研判机制.[方法/过程]鉴于Hadoop在分布式处理领域的强大功能以及R语言在数据统计模型方面的优势,使用中间件技术将二者无缝集成,构建了基于R+Hadoop的微信平台舆情挖掘框架.并以4 025篇微信文章作为研究数据,阐述了使用该框架进行舆情采集、舆情分布式挖掘以及挖掘结果可视化展示的思路和方法.又进一步使用不同数量级的数据对该框架与单机处理方式进行比较.[结果/结论]研究结果表明,针对微信环境下数据量大、数据产生速度快、数据格式及内容庞杂等新特点,基于R+ Hadoop的微信平台舆情挖掘框架能够实时、全面、准确地进行舆情处理,为舆情态势监管和应对工作提供依据.但是,本框架不适用于数据量较少时的舆情分析,当舆情数据较少时,建议在单机环境下使用R语言建模分析即可.