基于FILTER算子匹配的增量式DAG计算复用方法

摘要

伴随着数据的爆炸式增长,越来越多的大数据业务分析与处理选择分布式计算平台.目前针对大数据的分布式计算框架都支持DAG式的任务编排.由于大数据采集来源以及分布式存储系统特点,很多使用DAG框架进行计算的应用都是增量式的大数据集,但现有的DAG框架对这样的数据集进行计算时有许多冗余,造成计算资源浪费.提出了在DAG框架上进行增量式复用的方法,并针对FILTER算子特点提出了基于FILTER算子匹配的间接复用机制.