用Fluent与MongoDB构建高效海量日志采集系统

摘要

由于传统方法不能满足海量日志存储的需求，对于海量日志的分析传统方法也出现了瓶颈问题，所以本文通过不同类型存储介质对海量日志读写性能实验，并与日志采集软件相结合提出了解决存储海量日志的一种方案：用Fluent（日志采集软件）与MongoDB来构建日志采集系统。实验表明：这种方式与传统存储方式相比，突破单机环境下日志存取的瓶颈，大幅度提高海量日志的存取速度，简化了日志分析与统计操作。在MongoDB集群环境下，高并发的读写满足了海量日志存取的需求，并且这种集群具有可扩展性和高可用性。