日志传输系统及流式日志传输方法

摘要

本申请的实施例公开了日志传输系统和日志传输方法。日志传输系统包括：日志采集模块，被配置为获取日志数据，并将日志数据发送至消息系统中，响应于获取到消息系统返回的发布成功消息，更新日志发布进度信息；消息系统，被配置为从日志采集模块接收日志数据并发布至对应的主题，向日志落盘模块传输其订阅的日志数据；日志落盘模块，被配置为从消息系统中获取订阅的日志数据，并根据预设的时间窗口和日志数据中包含的消息时间，将日志数据写入分布式存储系统对应于消息时间所在时间窗口的文件目录中，响应于接收到分布式存储系统返回的写入成功消息，更新日志落盘进度信息。该日志传输系统实现了准确的日志数据落盘。