谷歌研发出新技术Dremel轻松处理大数据

摘要

Dremel是一个用于分析只读嵌套数据的可伸缩、交互式ad-hoc查询系统.通过结合多层级树状执行过程和列状数据结构,它能做到几秒内完成万亿行数据之上的聚合查询.此系统可伸缩至成千上万的CPU和PB级别的数据,而且在google已有几千用户.在本篇论文中,我们将描述Dremel的架构和实现,解释它为何是MapReduce计算的有力互补.