在支持查询的同时高效地存储日志数据

摘要

一种日志记录系统包括事件接收器和存储管理器。接收器接收日志数据，对其进行处理并输出基于列的数据“块”。管理器接收并存储块。接收器包括存储事件的缓冲器和存储关于缓冲器的内容的元数据的元数据结构。每个缓冲器与特定的事件字段相关联并包括来自一个或多个事件的来自该字段的值。对于每个“感兴趣字段”而言，元数据包括反映缓冲器中的所有事件上的该字段的值范围的最小值和最大值。为每个缓冲器生成块，并且该块包括元数据结构和缓冲器内容的压缩版本。在查询事件数据时元数据结构充当搜索索引。该日志记录系统可以与安全信息/事件管理（SIEM）系统相结合地使用。