基于Spark技术的新闻信息聚类与热点研究

摘要

近年来,互联网技术的快速更新迭代与智能终端的大规模应用,使互联网中的资讯平台飞速增加,新闻信息的报道量呈指数式增长,从而导致互联网新闻资讯逐渐变得杂乱和臃肿。对于用户来说,虽然能够从新闻平台的个性化推荐中获取热点新闻,但是这些推荐信息存在同质化严重、无法追踪此类新闻发展趋势等困难。因此,如何应用大数据技术来处理和分析海量新闻数据,为用户提供并分析各个领域的新闻热点分类,具有重要的研究意义。