基于补偿函数的Spark容错机制优化

摘要

分布式系统庞大的计算节点和廉价基础设施,导致故障率提升,容错成为了分布式系统研究的关键技术.Spark因其在迭代计算中的优异性能,成为了流行的分布式大数据计算平台.然而Spark的容错机制采用重计算的方式恢复数据,在迭代计算中存在恢复时间长的问题.本文利用迭代计算能够从不同的中间状态收敛到稳定态的鲁棒性,提出一种基于补偿函数的乐观容错机制实现对数据的容错.在故障发生导致数据丢失时,此机制不用重计算恢复数据,而通过补偿函数快速生成补偿值代替丢失数据,并保证整体数据集的一致性,使算法能继续执行并收敛到正确结果.在无故障时,此机制采用乐观的容错方式,不添加任何容错措施,不会造成额外开销.实验表明基于补偿函数的乐观容错机制性能优于Spark现有的容错机制.