微博舆情的Hadoop存储和管理平台设计与实现

摘要

随着Intemet技术的迅速发展,网络舆情监控系统正在得到广泛应用.网络舆情监控系统的数据量也急速膨胀,如何高效地存储和管理这些海量的非结构或半结构化数据成为网络舆情系统研发中的挑战课题.传统的关系数据库和分布式计算等数据处理的方式也越来越不能适应日益增长网络大数据.针对微博数据的特点建立了一种面向微博舆情应用的Hadoop存储平台的多层体系架构,并采用列数据库设计多种微博结构化数据的表结构,以及表之间的关系模型.测试结果表明,设计的存储管理平台具有检索响应速度快、可扩展性好等特点.