...
首页> 外文期刊>Technique et science informatiques >Vers une plate-forme MapReduce tolérant les fautes byzantines
【24h】

Vers une plate-forme MapReduce tolérant les fautes byzantines

机译:迈向容忍拜占庭式错误的MapReduce平台

获取原文
获取原文并翻译 | 示例

摘要

Les pannes arbitraires sont inhérentes aux calculs massivement parallèles tels que ceux visés par le modèle MapReduce ; or les implémentations courantes du MapReduce ne fournissent pas d'outils permettant de tolérer les fautes byzantines. Il est donc impossible de certifier l'exactitude des résultats obtenus au terme des traitements longs et coûteux. Nous présentons dans cet article une architecture permettant de répliquer les tâches dans le modèle MapReduce afin de garantir l'intégrité des traitements et d'isoler les tâches défaillantes. Dans une première étude de performances nous avons évalué certains mécanismes liés à la réplica-tion. Une seconde étude, effectuée avec un prototype implémentant l'ensemble de l'architecture, a permis de valider certains choix en montrant qu'il est possible de minimiser le surcoût de la tolérance aux fautes byzantines.%Byzantine faults are inherent in massive parallel computation. Yet, the current MapRe-duce framework implementations do not tolerate Byzantine failures. Therefore, it is not possible to verify if the final results of a MapReduce application are correct. We present in this article a MapReduce architecture where tasks are replicated aiming at ensuring the correctness of task execution results and isolation of faulty tasks. A preliminary performance study has evaluated some of our proposed replication mechanisms while a second one, conducted on top of a prototype, has validated some of our choices, showing that it is possible to minimize the cost of Byzantine fault tolerance.
机译:任意失败是大规模并行计算所固有的,例如MapReduce模型所针对的那些计算。但是,当前的MapReduce实现没有提供容忍拜占庭式错误的工具。因此,不可能证明经过长时间昂贵的治疗后所获得结果的准确性。我们在本文中介绍了一种体系结构,该体系结构允许在MapReduce模型中复制任务,以保证处理的完整性并隔离失败的任务。在首次性能研究中,我们评估了与复制相关的某些机制。第二项研究是通过实现整个体系结构的原型进行的,通过表明可以最小化对拜占庭式故障的额外容忍成本,可以验证某些选择。拜占庭式故障是大规模并行计算中固有的。但是,当前的MapRe-duce框架实现不能容忍拜占庭式的失败。因此,无法验证MapReduce应用程序的最终结果是否正确。我们在本文中介绍了一个MapReduce体系结构,其中复制了任务,旨在确保任务执行结果的正确性和对错误任务的隔离。初步的性能研究评估了我们提出的某些复制机制,而在原型之上进行的第二次复制机制验证了我们的一些选择,表明可以将拜占庭容错的成本降至最低。

著录项

  • 来源
    《Technique et science informatiques 》 |2012年第10期| 1079-1099| 共21页
  • 作者单位

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

    LASIGE - Universidade de Lisboa, Faculdade de Ciencias Campo Grande 1749-016 - Lisboa, Portugal;

    LASIGE - Universidade de Lisboa, Faculdade de Ciencias Campo Grande 1749-016 - Lisboa, Portugal;

    LASIGE - Universidade de Lisboa, Faculdade de Ciencias Campo Grande 1749-016 - Lisboa, Portugal;

    LASIGE - Universidade de Lisboa, Faculdade de Ciencias Campo Grande 1749-016 - Lisboa, Portugal;

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

    LASIGE - Universidade de Lisboa, Faculdade de Ciencias Campo Grande 1749-016 - Lisboa, Portugal;

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

    Centro Tecnolôgico do Exército Av. das Américas, 28705 - Rio de Janeiro, Brasil;

    LIP6 - Université de Pierre et Marie Curie - CNRS - INRIA 4, Place Jussieu 75005 Paris, France;

  • 收录信息
  • 原文格式 PDF
  • 正文语种 fre
  • 中图分类
  • 关键词

    mapreduce; fautes byzantines; hadoop; HDFS;

    机译:减少拜占庭断层;Hadoop HDFS;

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号