日志数据的无丢失暂存与快速装载

摘要

基于明细日志数据的实时分析,可以帮助实现对事物的实时、个性化的洞察力.比如,对电子商务日志的实时分析,使得可以实时了解每个用户最近的浏览/购买行为的变化,进而对其进行个性化推荐.为了实现这类分析,需要日志分析系统能够实现日志数据无丢失地快速入库,以便进行后续分析.本文提出了日志数据的无丢失暂存以及快速装载技术方案.在开源软件Kafka、HDFS、以及Spark之上,设计并实现了日志数据的分片暂存方法、以及并行装载算法.技术方案实现了39万条/s的数据暂存,以及近16万条/s的数据装载入库性能(压缩的列存储格式).