日志数据处理方法和装置、分布式计算系统以及存储介质

摘要

提供了一种基于流式计算框架的日志数据处理方法、日志数据处理装置、分布式计算系统和计算机可读存储介质。该日志数据处理方法包括：将从数据源按批次读取的日志数据流进行解析；对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；使用针对相应M个指标的M个过滤器并行地对经过滤的日志数据进行第二过滤操作，以得到截至当前批次的日志数据针对M个指标的统计结果，其中，第二过滤操作不同于第一过滤操作，并且M为大于等于1的整数；以及缓存经第二过滤操作的M个过滤器和得到的针对M个指标的统计结果，以用于处理下一批次的日志数据。