基于Flume分布式数据收集架构的构建方法

摘要

本发明提供了一种基于Flume分布式数据收集架构的构建方法，可以降低后期的日志采集配置的维护成本，同时也降低大数据应用程序对业务系统的影响。其包括以下步骤：S1.创建至少三台服务器，Flume搭建在Hadoop集群上；S2.根据实际的生产需求，确定需要的设计的规模，先从整体分析系统环境需要什么、该怎么来搭建框架；S3.Flume核心单元Agent组件中配置Agent的Source，来定义接入的数据类型及位置，Agent的Source主要负责连接到数据源，接收数据，并将获取的数据写入Channel；S4.Sink通过对缓存来自Source的数据在Channe上使用和分配数据；S5.Sink从Channel读取数据，并将其发送到下一个Agent或最终的目的地。