纠删码

摘要： 区块链具有去中心化、不可篡改、可追溯以及公开透明等特性,可以解决去中心化网络中节点之间相互不信任的问题,为构建价值互联平台提供了可能.然而,区块链要求每个节点都存储一份完整的数据,以高存储冗余来保证数据的可靠性,给节点带来了巨大的存储压力,降低了存储资源的利用效率,也导致系统的存储可扩展性成为区块链性能的一个瓶颈.采用纠删码来编码存储在区块链中的数据可以有效地减少存储冗余,但存储冗余的减少会降低数据的可靠性,引发数据的重组消耗,提高数据的读取延迟.目前已有研究在区块链编码数据块的存储分配阶段并没有考虑节点间延迟、区块存储位置等因素对数据可靠性和读取延迟的影响.本文在基于纠删码的BFT联盟链中,研究编码数据块的存储数量及存储位置决策问题,以在满足数据可靠性的约束下实现数据存储代价和数据读取性能的平衡.针对编码数据块的存储数量及存储位置决策问题,本文提出了延迟感知的编码数据块分配算法(Latency-aware Encoded data chunks Allocation algorithm,LEA).算法LEA首先求解编码数据块的存储数量及存储位置决策问题的松弛问题以及该松弛问题的对偶问题,然后根据松弛问题及其对偶问题的最优解依次为每个编码数据块确定其存储数量和存储位置,最后调整得到的编码数据块存储分配方案使其满足被松弛的约束条件.理论分析证明,算法LEA是ln 3+2近似算法.仿真环境和真实联盟链系统中的实验结果表明,算法LEA可以有效降低区块链系统的存储冗余,提高系统的存储可扩展性,并实现良好的数据存储代价和数据读取性能的平衡.

摘要： RS(Reed-Solomon)码可以根据应用环境构造出任意容错能力的码字,有很好的灵活性,且使用RS纠删码作为容错方法的存储系统能达到理论最优的存储效率.但是,与异或(exclusive-OR,XOR)类纠删码相比,RS类纠删码译码计算的时间开销过大,这又很大程度上阻碍了它在分布式存储系统中的使用.针对这一问题,提出了一类RS纠删码的译码方法,该方法完全抛弃了当前大多RS类纠删码译码方法中普遍使用的矩阵求逆运算,仅使用计算复杂度更小的加法和乘法,通过构造译码变换矩阵并在此矩阵上执行相应的简单的矩阵变换,能够直接得出失效码元由有效码元组成的线性组合关系,从而降低译码计算复杂度.最后,通过理论证明了该方法的正确性,并且针对每种不同大小的文件,进行3种不同大小文件块的划分,将划分得到的数据块进行实验,实验结果表明:在不同的文件分块大小情况下,该新译码方法较其他方法的译码时间开销更低.

摘要： 基于有码率和无码率的纠删码技术常用于解决网络丢包问题,但是存在译码率不高等缺点。面向数据可靠传输的高译码带反馈的LT码通过利用多个编码之间相互异或操作制造新的译码条件,可以大大提高译码率。相应的反馈机制能够以较小的传输反馈代价,实现可靠传输。实验结果表明,与现有译码方案相比,该方案的译码率可以提高35%。

摘要： 当今大数时代背景下,海量大数据的存储备份时刻冲击着当前先进的数据存储与纠删技术。分布式数据存储系统作为经典数据容错技术,在进行数据保障的过程中采用容错技术、多副本存储备份技术以及误码数据纠删等方式来保证数据存储的可靠性。纠删码技术以其数据存储过程中资源消耗低、可靠性高等优点在数据纠删存储领域得到了广泛应用,但是传统纠删技术依然存在数据修复速度低、修复率低等缺点。因此,结合数据决策模型提出基于决策树模型的分布式数据纠删码修复算法。算法首先建立决策树模型,然后将决策树与纠删码技术相结合建立纠删决策树模型。最后,给出了对应的数据仿真,同时实验对比可以看出提出的决策树纠删数据模型在修复速度、数据修复率、容错性等方面具有很好的有效性。

摘要： 从高等代数教材中关于范德蒙行列式的一个实例出发,引入范德蒙矩阵的概念,并逐步深入探讨了基于范德蒙矩阵的高等代数课堂教学.由于范德蒙矩阵的任一k阶子矩阵均可逆,因此可在RS(Reed-solomon)码冗余块的编码中采用范德蒙矩阵.RS码在防止数据丢失或者丢失部分数据不影响整体功能的分布式存储系统中有很大的用处.鉴于范德蒙矩阵教学的研究性、探索性和开放性,可以充分激发学生学习兴趣,从而培养学生的创新精神.

摘要： 目前分布式存储集群广泛采用纠删码来保证数据可靠性,但是数据更新密集时存储集群的磁盘I/O开销会成为性能瓶颈.在常用的纠删码数据更新方法中,磁盘I/O开销主要包括:1)更新数据块时对数据节点的读后写操作;2)更新校验块时读写日志的磁盘寻道开销.针对这些问题,提出PARD(parity logging with reserved space and data delta)数据更新方法,其主要思想是首先利用纠删码线性运算的特性来减少读后写操作;然后根据磁盘特性来降低磁盘寻道开销.PARD包含3个设计要点:1)采用即时的数据块更新和基于日志的校验块更新;2)利用纠删码线性运算的特性,构建基于数据增量的日志,极大限度地消除对数据节点的读后写操作;3)根据磁盘特性,在数据文件末尾为日志预留空间,减少读写日志的磁盘寻道开销.实验结果表明,当块大小为4 MB时,PARD的更新吞吐率相较于PLR(parity logging with reserved space),PARIX(speculative partial write),FO(full overwrite),分别至少提升了30.4%,47.0%,82.0%.

摘要： 纠删码[1]广泛应用于分布式存储系统[2]来保证数据可靠性。通过将用户数据编码生成多个块并保存至多个存储节点,纠删码存储系统可以保证在部分存储节点失效的情况下恢复出用户原始数据。与此同时,纠删码存储系统能通过并行化读取存储节点中保存的用户数据来提升数据读取操作的性能[3]。

摘要： 系统的复杂性与系统的业务特征下,严重挑战了云储存系统数据的可靠性。就云计算环境下,数据去重云储存系统内部数据保护问题值得深思。本文主要研讨一种纠删码数据可靠性保障机制,选择多类纠删码算法、纠删码配置方法编码保护去重数据,研究表明这类机制的综合性与扩展性教高,本文主要对此进行研讨。

摘要： 为了解决中心化存储带来的一系列问题,结合区块链、智能合约、闪电网络等关键技术,提出了一个应用于区块链网络环境下的去中心化存储空间交易系统。根据不同的订单情况提供3种数据编码方案,在保证用户数据安全的同时有效提高了存储节点的空间利用率和数据恢复效率,并增强了对于分布式存储复杂环境的适应性。此外,通过闪电网络搭建了链下微支付通道,设计了“一日一结”的租金交付机制,有效缓解了链上的数据存储压力。相比于以往的分布式数据共享存储系统,该系统同时支持去中心化、短时租赁和多币种支付,更能满足当前时代分布式存储空间租赁的需求。

摘要： 由于纠删码具备高可用性和高存储空间有效性的特点,采用纠删码为大规模分布式存储系统提供数据持久性已成为事实标准.然而,纠删码的密集型更新操作将导致大量的数据传输和I/O开销.如何减少数据传输量,优化现有网络资源的利用率,以提高纠删码的更新效率,成为纠删码存储系统面临的重要挑战.然而,在多重服务质量(quality of service,QoS)指标下,目前对纠删码更新效率的优化研究很少.针对此问题,提出一种基于蚁群优化算法的多数据节点更新方案(ant colony optimization algorithm based multiple data nodes update scheme,ACOUS),采用2阶段数据更新方式以优化多数据节点更新过程.具体而言,基于多目标蚁群优化更新路由算法(multi-objective ant colony optimization update routing algorithm,MACOU)所构建的多目标更新树,2阶段数据更新方式能有效地进行数据增量收集和校验增量分发.大量的实验结果表明,在典型的数据中心网络拓扑结构下,与TA-Update方案相比,所提方案能够在保证算法收敛的前提下,以可忽略的计算开销为代价,将更新时延降低26%~37%.

摘要： 随着存储数据量快速的增长,分布式文件系统正在从传统的副本方式转向纠删码的方式,来保证系统的数据可靠性.但受限于恢复过程会涉及到多个块的磁盘读取和网络传输,纠删码的恢复开销很高.这给分布式存储系统带来一个重大的问题——高节点失效恢复成本.针对这个问题,之前的论文都是提出一种新的纠删码编码方法来降低恢复开销.而本文提出了一种流水线化的节点失效恢复的方法,能够将节点恢复过程中的计算流水线化,从而提升恢复时的速度.在自主开发的分布式文件系统ECFS中实现了流水线化的节点恢复方法,通过测试,方法与传统的数据都到达之后再进行恢复过程的解码相比,整体恢复时间降低了26％.

摘要： 随着高性能计算机的存储系统规模的不断扩大,传统的依靠硬件容错的方法已经不能满足系统对数据可靠性的要求.纠删码作为一种数据保护技术,具有存储利用率高和容错能力强等优点,已经逐步被应用到大数据计算和云存储系统中.为了探讨将纠删码作为容错技术应用到高性能计算的存储系统中的可行性,设计了一个使用纠删码容错的虚拟文件系统(EDFS),并将其堆叠在现有的并行文件系统之上进行了验证.针对纠删码对读写操作的影响,以及高性能计算的存储系统IO访问的特点,使用写合并以及流水线的技术对EDFS的顺序写操作进行了优化,同时利用近期访问数据缓存和预读机制,对顺序读过程中发生的降级读(degraded read)操作进行了优化.实验数据表明:对纠删码的实现进行针对性的优化可以使其在高性能计算机的存储系统中有效保障数据访问的性能和可靠性.

摘要： 在遥测系统中,由于恶劣天气条件、航天器姿态调整、天线指向偏离、脉冲干扰等因素的影响可能造成遥测信号的闪断,导致接收机丢帧.纠删码是一种适用于闪断信道的编码技术,可用于恢复丢失的数据帧.本文介绍了LDPC纠删码的编译码算法和纠删性能,构造一种灵活的级联纠删码以适应不同的应用环境,最后给出了纠删码的应用策略和实现纠删码所需的ccsDs协议扩展.

摘要： 针对如何使用纠删码技术增强数据消冗存储系统可靠性的问题进行了研究，首先研究了纠删编码中关键参数对存储可靠性的影响，通过数学推导证明了使用纠删码技术并不总是会比冗余复制技术更有效的增强存储可靠性，同时分析了使用纠删码技术增强存储可靠性的条件，并结合数据消冗存储系统的特点给出一种纠删编码关键参数的选取算法，经过实验证明，该算法能够利用更少的存储空间获得比冗余复制技术更高的存储可靠性。

摘要： 目前,纠删码在大规模存储集群中得到广泛的应用.在众多纠删码技术中,LRC码比较实用但是牺牲了其MDS特性.在某些情况下,即使失效节点数量不超过校验节点数量也无法进行修复.利用一种新型纠删码技术ClayCode的新特点,本文提出了利用一种ClayCode与LRC相结合的设计,用以补偿LRC所削弱的MDS特性,加快修复速度.经过分析,在跨地域存储集群的应用场景下,这种新设计将有效的提高系统的修复性能,同时达到补偿LRC所削弱的MDS特性的目的.ClayCode现有的红点标识规则与子块配对规则可以达到部分修复的目的，但是想要完整修复，则需要进一步的设计与改进。设计一种配对规则，使集合A0.A1.A2,A3.A4之间的元素能够互相配对映射，形成闭环。

摘要： 在诸如P2P存储、网络存储以及云存储等大规模分布式存储系统中，带宽往往成为系统的性能瓶颈之一.纠删码拥有很高的存储空间利用率，但是过高的修复成本和读取成本使得纠删码技术在大规模分布式存储系统中的应用受到限制.为此，从降低系统修复成本的角度出发，在Pyramid码的基础上，提出了一种新的基于阵列结构的编码方案EXPyramid，并从理论上证明了判断失效模式是否为不可完全修复模式的充分条件.此外，针对EXPyramid码分别提出了一种最小修复成本算法和基于广度优先搜索的最小读取成本算法.分析结果表明。EXPyramid码能够有效地降低系统的修复成本和读取成本，有较强的容错能力，且构造灵活，结构规则易实现，具有很强的实际应用价值。

摘要： 针对当前灾备存储系统数据冗余度高的不足,文中提出了将纠删码技术与P2P技术相结合的可信存储系统架构,并设计了与纠删码技术相匹配的分布式散列表,使得系统更快速有效的定位和获取资源;实现了比传统P2P存储系统更完善的管理机制,克服了其存在废弃数据的缺点,能够彻底的删除废弃文件,有效利用存储资源.文中还提供了有效的数据恢复机制,即使灾难来临,部分存储服务器损坏,系统也能恢复丢失的数据.

摘要： 在IPTV的视频数据包传输中，引入FEC和UEP技术，分析了纠删码的基本原理，在RS码的基础上给出了RS(n，k)纠删码的设计方法；并对视频帧进行slices划分，提出一种新的数据打包方法，根据slices的运动等级采用不同冗余率的RS码对视频包进行编码，对重要的视频信息进行重点保护，实现视频包的跨层不等错误保护。该方法在较小复杂度下可以较好的解决实时性要求比较高的网络丢包问题，在IPTV等应用中提供一种实用的解决方案。

摘要： 随着大数据时代的到来,全球数据量呈指数式增长,大规模的海量数据在推动实现巨大经济效益的同时,也对大规模数据的存储提出了更高的要求.现如今,传统的集中式存储系统已经不能满足时代发展的需求,通过网络进行数据的分布式存储成为必然趋势.如何在复杂网络环境中保证分布式存储的可靠性和高效性成为近几年的研究热点.rn 在不对称再生码的模型中，将所有节点按照修复条件划分为多种类型，每种类型的节点在修复时连接的节点数以及从每个连接的现存节点下载的数据量都相等。由于所有节点都处在同一个网络环境中，因此它们可用的网络带宽一致，不妨考虑所有节点的修复带宽都相等的情形。由此建立了非对称网络结构下的信息流图，以描述信息在网络中的流通以及系统中节点不断演进的过程。通过分析信息流图的最小割约束，根据最大流最小割定理，得到了不对称再生码存储和修复带宽的折衷曲线。这条曲线上的两个极值点，分别对应着最小的存储空间和修复带宽，对应的编码分别叫做最小存储不对称再生码(MSMR)和最小修复带宽不对称再生码(MBMR)。发现，特别地，当系统中只有一种类型的节点时，不对称再生码就变成了现有再生码的情形，也就是说，模型给出了更为一般性的结果，对于再生码的实际应用具有重要意义。rn 进一步，通过分析编码有限域的大小．证明了不对称再生码的存在性，并且结合Jaggi之前提出的多项式时间算法，给出了不对称再生码的具体构建方法。最后，通过对再生码和不对称再生码的性能进行比较分析，进一步说明了不对称再生码的优越性，即在满足一定的条件下，不对称再生码能够达到更小的存储空间或者修复带宽。

摘要： 随着大数据时代的到来,全球数据量呈指数式增长,大规模的海量数据在推动实现巨大经济效益的同时,也对大规模数据的存储提出了更高的要求.现如今,传统的集中式存储系统已经不能满足时代发展的需求,通过网络进行数据的分布式存储成为必然趋势.如何在复杂网络环境中保证分布式存储的可靠性和高效性成为近几年的研究热点.rn 在不对称再生码的模型中，将所有节点按照修复条件划分为多种类型，每种类型的节点在修复时连接的节点数以及从每个连接的现存节点下载的数据量都相等。由于所有节点都处在同一个网络环境中，因此它们可用的网络带宽一致，不妨考虑所有节点的修复带宽都相等的情形。由此建立了非对称网络结构下的信息流图，以描述信息在网络中的流通以及系统中节点不断演进的过程。通过分析信息流图的最小割约束，根据最大流最小割定理，得到了不对称再生码存储和修复带宽的折衷曲线。这条曲线上的两个极值点，分别对应着最小的存储空间和修复带宽，对应的编码分别叫做最小存储不对称再生码(MSMR)和最小修复带宽不对称再生码(MBMR)。发现，特别地，当系统中只有一种类型的节点时，不对称再生码就变成了现有再生码的情形，也就是说，模型给出了更为一般性的结果，对于再生码的实际应用具有重要意义。rn 进一步，通过分析编码有限域的大小．证明了不对称再生码的存在性，并且结合Jaggi之前提出的多项式时间算法，给出了不对称再生码的具体构建方法。最后，通过对再生码和不对称再生码的性能进行比较分析，进一步说明了不对称再生码的优越性，即在满足一定的条件下，不对称再生码能够达到更小的存储空间或者修复带宽。

摘要： 公开了在使用了LDPC-CC的纠删中，提高纠删能力的纠删编码装置。在该纠删编码装置(120)中，重新排列单元(122)根据纠删编码单元(123)中使用的纠删码的校验多项式的约束长度Kmax和编码率(q-1)/q，重新排列n个信息分组中包含的信息数据。具体而言，重新排列单元(122)使重新排列后的连续的Kmax×(q-1)个信息数据由不同的信息分组中包含的信息数据构成。此时，重新排列单元(122)将满足式(1)的n个信息分组中的各个信息数据分配给多个信息块。其中，式(1)为Kmax×(q-1)≤n...(1)

摘要： 本发明公开了一种基于网络计算的纠删码修复方法、纠删码更新方法及系统，属于数据可靠存储领域，修复方法包括：启动节点确定参与修复操作的可用节点；由中心化控制器确定节点间的传输路径及参与计算的交换机；可用节点向启动节点发送数据，参与计算的交换机对接收的数据进行异或并转发运算结果，直至启动节点接收到数据；更新方法包括：启动节点确定待更新节点；中心化控制器确定节点间的传输路径，以及参与计算的交换机；启动节点和数据节点向该交换机发送数据，该交换机对接收的数据进行异或并将结果发送至待更新的节点，以完成对待更新的数据块或校验块的更新。本发明能够减少纠删码修复操作和纠删码更新操作引入的网络流量，并提高操作效率。

摘要： 本申请公开了一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器，该方法包括：将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；获取创建指令，并解析创建指令得到纠删条带单元数据；其中，纠删条带单元数据根据存储文件进行设定；获取纠删码，将纠删码中的数据块值与纠删条带单元数据相乘得到条带大小数据；根据条带大小数据创建纠删池。通过设置条带大小避免了写入多余的数据，提高了系统的整体读写性能，不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

摘要： 本申请实施例提供一种基于纠删码的数据存储方法及装置，该方法包括：网卡单元获取待存储的第一数据，并将第一数据划分为多个原始数据块。网卡单元根据多个原始数据块进行纠删码处理，得到多个原始数据块所对应的至少一个校验数据块。网卡单元向第二存储服务器发送多个原始数据块和至少一个校验数据块，以使得第二存储服务器对原始数据块以及校验数据块进行存储。通过网卡单元接收到需要存储的第一数据之后，直接由网卡单元进行数据的切分、纠删码编码，以及在完成纠删码编码之后，也直接由网卡单元进行数据的传输，从而可以有效的降低纠删码处理过程中，存储服务器内部的带宽开销。

摘要： 本申请提供一种修复纠删码存储系统中失效存储块的方法及相关设备，其中，根据对纠删码存储系统建模得到的有向图计算出初始有向斯坦树，并迭代计算出符合要求的有向斯坦纳树与初始有向斯坦纳树组成有向斯坦纳树组，由有向斯坦纳树组并行地传输数据来修复失效存储块。这样，通过将修复失效存储块的操作拆分为通过多个并行的树状修复流水线执行，可以提高修复吞吐量；而且通过依靠有向斯坦纳树中有向路径上的交换机聚合数据传输过程的中间数据，可以降低带宽占用，显著提高对失效存储块的修复性能。

摘要： 本发明公开了一种扩展纠删码存储系统的方法及装置，该方法为：确定存储系统中的数据，对数据进行编码，并将数据分散存储在各个节点，获得各个节点的空间位置分布信息；基于扩展需求信息，确定每个条带上新增的节点个数，并基于新增的节点个数和空间位置分布信息，确定每个条带上的扩展节点信息；其中，条带包括具有编码关系的数据块和校验块；基于扩展节点信息和最小公倍数规则，确定扩展组，并对扩展组进行拆分处理，获得包括多个被选择的条带的目标组；对目标组执行扩展算法，获得对应的目标扩展组，目标扩展组包括扩展数据块和扩展校验块。基于上述方法，可提高纠删码存储系统的扩展效率。

摘要： 本发明提出一种分布式存储系统的纠删码编码布局方法和系统，以在分布式系统有数据丢失时通过减少恢复的数据传输量及恢复时长，从而提高整个系统的恢复效率和可靠性。本发明在传统RS纠删码存储的基础上增加了节点内部的奇偶校验计算，使用不同n、k值的RS编码，并将奇偶校验计算结果存储于当前节点中，这样在出现少量数据丢失或节点故障时，可以从节点自身解码奇偶检验块，以达到减少恢复产生的跨机架、跨节点网络带宽的目的。

摘要： 本发明公开了一种基于纠错码与纠删码混合高可靠音频传输方法与装置，包括音频采集模块，音频条带分组模块，纠删码编码模块，纠错码编码模块，网络传输模块，网络接收模块，带宽估计模块，纠错码恢复模块，纠删码恢复模块，恢复率估计模块，冗余策略模块，音频播放模块，所述音频条带分组模块进行音频压缩流按照20毫秒时间进行的音频分片。本发明公开的基于纠错码与纠删码混合高可靠音频传输方法与装置具有根据网络带宽与丢包的情况，可自动调整纠错码与纠删码比例，兼顾纠错码计算量小与纠删码恢复能强优势，减少设备计算量，降低功耗，同有时兼顾音频包恢复率的技术效果。

摘要： 本发明提供了一种面向内存键值纠删码的混合数据更新方法及存储系统，属于计算机的可靠数据存储领域，方法包括：构建混合更新的存储系统；根据对象索引元数据获取对象的条带ID、序列号、偏移量和长度；读取对象对应数据块的历史值和条带的异或值，并获取各校验块的编码系数；将数据块的历史值与更新值作差获取数据块的差值；使用数据块的差值与校验块的编码系数计算各校验块的差值；将异或块和异或块的差值进行异或合并，更新异或块；对象对应的数据块和更新后的异或块采用就地更新方式写入内存节点；具有偏移量和长度的校验块差值采用校验日志更新方式写入日志节点。本发明能够平衡存储成本、数据更新性能及单个故障修复性能之间的关系。

摘要： 本发明公开了一种基于纠删码的区块链数据分组存储优化结构及方法，结构包括：节点分组设定模块、编码存储模块、收集解码模块和同步恢复模块；方法包括如下步骤：(1)区块链分组设定模块对网络的节点进行分组，初始化每个组织的组织账本，设定各个值；(2)编码节点利用区块编码模块对每个区块文件进行编码，生成编码分段，让组织内的每个节点存储编码分段；(3)当需要恢复区块文件时，通过纠删码解码算法恢复区块文件；(4)当本地组织同步账本时，向其他组织发出同步请求，对比账本快照，对比结果不一样则获取最新的区块文件来同步本地账本。本发明用于减轻节点的冗余存储，优化区块链数据存储，提高区块链网络的存储效率。