流式计算系统及流式计算系统的日志数据处理方法

摘要

本申请实施例公开了流式计算系统及其日志处理方法。流式计算系统包括：日志采集模块，采集日志产出端产出的日志数据并发送至消息系统；消息系统，将日志数据存储在消息队列中；状态监控模块，监控日志产出端的状态并上报至进度监控模块；日志处理模块，从消息系统获取日志数据并解析出产出日志数据的日志产出端的标识及与日志产出端的标识关联的日志数据产出时间，将日志产出端的标识和关联的日志数据产出时间上报至进度监控模块；进度监控模块，根据日志产出端的标识和关联的日志数据产出时间、以及日志产出端的状态，确定流式计算系统中未被处理的日志数据的最早产出时间。该流式计算系统实现了全局水位的自动推进。