基于Flume、Kafka、HDFS的多源数据采集系统

摘要

针对大数据采集工作面临的数据来源多样性、异构性、不稳定性等复杂问题,提出一种基于Flume、Kafka、HDFS等大数据组件设计的一个稳定可靠地分布式数据采集系统来完成多源异构数据的采集工作.使用Flume提供的source组件以及支持自定义source组件完成多样异构数据源的数据采集工作,使用Kafka来充当channel角色,借助其分布式特性提升单个channel的稳定性,使用HDFS的备份功能,提高数据存储的可靠性,同时使用sink processors来实现数据写入HDFS的故障转移和负载均衡.结果表明使用Flume、Kafka、HDFS能够完成异构多源数据的采集工作.