支持大规模互联网新闻舆情数据ETL过程设计

摘要

近年来,网络技术的蓬勃发展引发了互联网数据的爆炸式增长,以新闻站点、微博等为代表的网络媒体时时刻刻在产生大量不规则、异构的新闻舆情数据.该文在分析互联网新闻舆情数据特点的基础上,提出了支持大规模互联网新闻舆情数据ETL过程的解决方案,实现对多源、非结构化的新闻舆情数据的格式化存储.