一种便捷式高吞吐量大数据采集方法及系统

摘要

本发明公开了一种便捷式高吞吐量大数据采集方法及系统，属于数据采集领域，本发明要解决的技术问题为如何能够瞬间将不同数据库不同数据结构的数据进行收集并处理，采用的技术方案为：一种便捷式高吞吐量大数据采集方法，该方法是由中央服务器发送指令，各集群服务器启动logstash，通过datatrains的etcd组件读取配置参数，自动生成响应的配置文件，Logstash读取配置文件，按照配置文件收集各种数据库数据，整理后以消息的形式通过Kafka发送给各服务器，kafka与logstash配合在消费端按照相应的格式将收集的数据暂存；中央服务器调用相关组件，处理收集过来的相关数据。本发明还公开了一种便捷式高吞吐量大数据采集系统。