一种基于HIVE和分布式集群的大量数据高效处理方法研究

摘要

为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案.首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询.实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性.结果表明:与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳.