一种基于Flume的分布式采集代理系统及其实现方法

摘要

本发明公开了一种基于Flume的分布式采集代理系统及其实现方法，涉及数据采集技术领域，系统包括系统管理部分和采集代理部分，所述系统管理部分具体为远程管理端，用于部署管理采集代理、配置分发flume采集任务、启动采集代理和停用采集代理；所述采集代理部分包括采集代理和flume采集器，用于根据系统管理部分分发的flume采集任务，解析采集任务配置信息、启动flume采集器进行数据采集和停用flume采集器。本发明通过SSH和HTTP协议动态部署采集代理，管理采集代理启停，而采集代理管理着每一个flume采集器，通过SSH到指定服务器启停flume采集器，可灵活配置flume采集器相关信息，满足不同用户的需求，适用范围广，解决了分布式采集管理难度高、运维成本高的问题。