数据一致性

摘要： 介绍了地理信息空间数据存、管、用的解决方案。从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案。该架构的容量和性能线性扩展,升级替换机制先进,上线后避免了业务中断隐患,经过实际运行,取得了良好效果。分布式对象存储可实现地理信息数据的统一存放和管理,可提升数据的可用性,是广东省自然资源信息化应用的数据基础,将为自然资源大数据分析搭建数据沟通的桥梁。

摘要： 1目标利概述,截至2020年底,中国内地有45个城市开通城轨交通运营线路共269条,运营线路总长度达7978.19公里。需要维护的设备种类及设备设施的数量达到几十万/百万台套级别。不断延伸的线路和增加的客流为行业带来持续的发展机会,同时设备状态监控及分析预测能力的落后,也为轨道交通的设备维修保养等工作带来了难以疏解的繁重压力,具体表现在:信息碎片化现象严重,数据一致性差;数据类型单一,无法支撑有效的数据分析手段;各专业信息形成孤岛,共享困难;信息滞后,实时性和追踪性差。

摘要： 新兴的非易失性内存(non-volatile memory,NVM)具有字节寻址、持久性、大容量和低功耗等优点,然而,在NVM上进行并发编程往往比较困难,用户既要保证数据的崩溃一致性又要保证并发的正确性.为了降低用户开发难度,研究人员提出持久性事务内存方案,但是现有持久性事务内存普遍存在扩展性较差问题.测试发现限制扩展性的关键因素在于全局逻辑时钟和冗余NVM写操作.针对这2个方面,提出了线程逻辑时钟方法,通过允许每个线程拥有一个独立时钟,消除全局逻辑时钟中心化问题;提出了缓存行感知的双版本方法,为数据维护2个版本,通过循环更新这2个版本来保证数据的崩溃一致性,从而消除冗余的NVM写操作.基于所提出的这2个方法,实现了一个基于时间戳的高扩展的持久性软件事务内存(scalable durable transactional memory,SDTM),对比测试显示,在YCSB负载下,与DudeTM和PMDK相比,SDTM的性能最多分别提高了2.8倍和29倍.

摘要： 以城市轨道交通列车指挥调度系统为代表的工业系统受限于工程成本,在运营现场往往仅部署两个服务节点。指挥调度中心因故障离线后,若采用主流的分布式一致性协议保证运营现场节点间数据一致性,将因为降低了可用性而无法容忍节点发生故障。为解决此问题,提出一种基于Raft一致性协议的调度算法,通过对Leader选举与数据同步过程进行合理扩充,使路由器成为分布式系统逻辑上的第3个节点,满足Raft协议多数派设计要求。经实验验证,基于该算法的两节点分布式系统相较于基于Raft协议的两节点分布式系统,提高了可用性,能够容忍单节点故障。基于Raft协议的三节点分布式系统在Leader选举与数据同步的正确性方面保持一致。受限于节点数量,可用性差距为27.8%,占少量运行时长的Leader选举性能差距为65.6%,主要运行时长的数据同步性能提升了7.8%,能够在不增加工程成本的情况下满足两节点的分布式主备系统,并兼顾可用性与数据一致性的工程需求。

摘要： 随着数字生活不断发展,分布式系统被广泛用来解决高并发等一系列问题;为了保证数据的准确性和一致性,分布式系统需要做幂等控制;通过分析对比各服务端幂等设计方法在高并发场景下的性能表现,提出一种改进的分布式锁设计方法;该方法主要解决由于集群服务主节点宕机可能造成分布式锁失效的问题,通过探讨RedLock算法方案及争论,提出对高并发请求二次拦截的理论,并将失效的锁通过消息队列服务进行通知,实现锁失效问题的排查以及服务监测治理;经实验测试表明,该方法实现了对失效锁的拦截,在高并发场景下有良好的性能表现,为分布式系统幂等设计提供了可行性方案。

摘要： 共识算法是区块链中的核心技术,直接决定了整个区块链系统的运行效率。对现有的共识算法进行了总结,将其分为基于节点某种属性值证明的共识算法、基于节点投票机制的共识算法和类Paxos共识算法三类。详细介绍了三类共识算法的实现细节,并依据蒙代尔不可能三角理论进行对比研究,给出了共识算法的发展方向,为区块链共识算法的深入研究提供借鉴。

摘要： 随着电力企业信息化系统的建设和信息化发展,信息系统越来越多元化,因为业务需求不同,出现同一对象在不同系统进行了重复定义,由于各种因素日积月累,数据差异越来越大,出现数据质量以及应用困难问题。电力企业如今面临数字化转型,数据质量直接影响数字化转型的成败,如何进行数据治理是企业数字化转型面临的重要难题,数据治理是一个漫长的过程,管理上需要从上到下重视,业务上需要和技术协同参与,才能保证数据治理成效的最大化,其中电力企业的营销系统和GIS系统的变户关系一致性问题一直是困扰企业的难题,由于历史原因导致营销系统和GIS系统对变户关系分别进行了维护,使用过程中由于主观或客观原因两边系统产生了大量的不一致数据,数字化转型过程中对变户模型进行重新设计,保证数据统一维护和数据一致性,因此需要开展变户关系数据治理。

摘要： 针对现有物联网节点信任模型无法有效应对节点通信数据攻击以及难以抵抗恶意节点欺诈的不足,提出了一种面向物联网节点的动态信任评估模型DTAM。在直接信任值的计算中考虑到相邻节点数据传输的一致性,基于奖惩因子与能量因子激励节点的合法行为提高节点的竞争力;在推荐信任值计算中通过测量源节点与推荐节点的差异性评估节点推荐可信度;在综合信任值计算中建立动态权重函数动态分配信任权重;基于历史信任值,提出一种信任更新方法。仿真结果表明:DTAM能够有效地防御数据攻击,具有更好的动态响应能力,对欺诈恶意推荐节点有更好的约束能力。

摘要： 针对运营商两级局数据运营现状,以贯穿整个局数据接收-处理-发布-加载全流程的局数据一致性管理为主线,同时结合日常运维经验加强局数据同步管理、深入挖掘局数据应用管理两大应用关键功能点,整合形成局数据一致性管理、局数据同步管理、局数据应用管理为主的“两点一线”三大运维模块,实现局数据准确、及时、高效的加载应用。

摘要： 目前常用的数据校验方法近年来,南方电网调峰调频公司的信息化建设过程中,随着数据中心的建成并投入使用,在电力数据集成、数据共享、数据存储和数据处理方法具有较强的稳定性和信息处理速率,为电网高效集成管理提供支撑。目前采用相关的数据复制与同步软件实现不同系统之间的数据传递,复制、保存数据信息,提高数据处理效果。

摘要： 随着北斗卫星导航系统的发展,设计用作导航数据接收、定位精度评估、导航增强服务等用途的导航监测站逐步建设并投入使用.对监测接收机数据一致性进行误差分析是评价接收机工作状态,评估监测站数据质量,排查监测站故障的重要手段.本文简述三种常用的监测接收机数据一致性判定的概念,介绍导航信号的小波分解方法,提出导航观测数据及接收机一致性分析数据的小波多分辨分析方法.实验结果表明小波分析方法在分析监测站异常数据的细节方面是有效的,值得进一步研究.

摘要： 本文结合2014-2015年国务院第一次地理国情普查领导小组办公室组织开展的地理国情普查过程质量监督抽查工作,重点分析了地表覆盖分类成果、地理国情要素成果、遥感影像解译样本成果、生产元数据成果这4类地理国情普查成果之间数据一致性的质量要求与质量控制方法,并分析了导致成果间数据不一致的原因.

摘要： 彩铃业务是中国移动的主要增值业务之一,其业务体验感一直是中国移动关注和提升的目标.尤其是集团彩铃客户的业务质量,是保有集团客户,增加集团客户粘性的保障.彩铃客户数据保存在业务支撑前台和彩铃平台,其一致性是有效提供彩铃业务,提升业务质量的基础.本文通过对业务开户流程,接口日志分析等手段,分析引起客户数据不一致的原因,并提出提升彩铃客户数据一致性的优化方案.提出了集团彩铃业务实时同步开销户，限制报文字段，规范填写要求，定期进行数据一致性核对，采取数据稽核机制的对策。

摘要： 本文根据郑州日产现阶段使用的整车数据系统,结合自身的工作业务,简单阐述了整车装配数据的一致性处理方式.根据设计部门在GGB定义好的车型适用明细表和零部件适用明细表，由于GGB中的这两种表单前者只有模块和适用车型、后者只有模块和零部件适用明细，所以需要数据中心将这两个表单从GGB系统中导出，对照车型配置表中的每台车的配车参数将零部件适用明细表中的零件按照模块的规则一一添加进入车型适用表中，这样最终形成整车装配清单，以供物流配料和整车装配使用。

摘要： TIC(Theil Inequality Coefficient)法,作为一种经典的数据一致性检验方法,其对于确定性信号效果较好,但不适于具有不确定性的平稳信号.针对这一问题,对平稳随机序列的相等判别及窗谱检验法进行分析,结合TIC法实际对能量差异描述的本质,提出一种适用于平稳随机序列一致性描述的TIC法算法,使其与一般确定性信号的TIC法表征相同的物理含义.最后通过实例分析验证了其对平稳随机序列的良好适用性以及平稳随机序列窗谱估计法结果的综合作用.

摘要： 鉴于目前的DHCP服务存在的一些问题以及服务能力的不足,本文的方案的设计场景是在一个局域网内——即实现基于局域网内的DHCP服务集群化。本文设定的服务器集群的场景是在局域网内,通过路由与客户进行连接以及通信.实现集群化服务主要的问题是解决资源冲突.所以本文的重点将放在如何解决资源冲突上——即数据一致性模型设计,通过共享存储的方法来解决数据一致性的问题,最终实现DHCP集群化服务.

摘要： 针对智能终端存在与服务器数据不一致的问题,提出了基于数字指纹的数据一致性保障方法.数字指纹又叫hash指纹,采用改进的BKDR哈希算法将消息数据和实体文件数据映射成相应的哈希码.将需要进行一致性处理的数据集按合适的粒度进行划分,并在SOAP消息中附带hash指纹提取协议,智能终端通过Web服务从服务器端获取需要的hash指纹信息文件,然后通过比较智能终端和服务器的hash指纹信息文件消除差异,从而保障智能终端缓存与服务器数据的一致性.

摘要： 随着信息存储需求的增长,用户对于数据存储的要求越来越高,SSD相比传统机械硬盘有着读写速度快、可靠性高、能耗低等特点,正因如此,如何发挥SSD的性能至关重要.传统的FTL算法多是通用性的算法,没有结合实际硬件情况进行分析,本文基于openSSD平台对FTL算法进行研究,分析了影响I/O读写性能的各类因素,设计出一种适合openSSD的缓存管理和闪存管理方法,达到了提高SSD的性能和寿命的目标.

摘要： 随着信息存储需求的增长,用户对于数据存储的要求越来越高,SSD相比传统机械硬盘有着读写速度快、可靠性高、能耗低等特点,正因如此,如何发挥SSD的性能至关重要.传统的FTL算法多是通用性的算法,没有结合实际硬件情况进行分析,本文基于openSSD平台对FTL算法进行研究,分析了影响I/O读写性能的各类因素,设计出一种适合openSSD的缓存管理和闪存管理方法,达到了提高SSD的性能和寿命的目标.

摘要： 随着信息存储需求的增长,用户对于数据存储的要求越来越高,SSD相比传统机械硬盘有着读写速度快、可靠性高、能耗低等特点,正因如此,如何发挥SSD的性能至关重要.传统的FTL算法多是通用性的算法,没有结合实际硬件情况进行分析,本文基于openSSD平台对FTL算法进行研究,分析了影响I/O读写性能的各类因素,设计出一种适合openSSD的缓存管理和闪存管理方法,达到了提高SSD的性能和寿命的目标.

摘要： 本发明公开了一种数据挑选装置，目前一般使用处理器根据需要来挑选数字式广播之类的各种信息数据，但不能设定十分灵活的条件，也不能挑选必要数量的数据。本发明在输入一个数据字段时，进行与对应于该字段的参数的比较，与其一致且至此为止所输入的字段全都分别与相对应的参数一致的情况下，存储为“一致”，由此在输入全部字段的时刻判断该数据是否与候补一致，并且由于设置有参数掩码或一致/不一致处理电路或数据选择装置，所以，能够用小规模的电路得到设定灵活的条件的数据挑选装置。

摘要： 本发明公开了一种数据挑选装置，目前一般使用处理器根据需要来挑选数字式广播之类的各种信息数据，但不能设定十分灵活的条件，也不能挑选必要数量的数据。本发明在输入一个数据字段时，进行与对应于该字段的参数的比较，与其一致且至此为止所输入的字段全都分别与相对应的参数一致的情况下，存储为“一致”，由此在输入全部字段的时刻判断该数据是否与候补一致，并且由于设置有参数掩码或一致/不一致处理电路或数据选择装置，所以，能够用小规模的电路得到设定灵活的条件的数据挑选装置。

摘要： 本发明公开了一种数据挑选装置，目前一般使用处理器根据需要来挑选数字式广播之类的各种信息数据，但不能设定十分灵活的条件，也不能挑选必要数量的数据。本发明在输入一个数据字段时，进行与对应于该字段的参数的比较，与其一致且至此为止所输入的字段全都分别与相对应的参数一致的情况下，存储为“一致”，由此在输入全部字段的时刻判断该数据是否与候补一致，并且由于设置有参数掩码或一致/不一致处理电路或数据选择装置，所以，能够用小规模的电路得到设定灵活的条件的数据挑选装置。

摘要： 通过准备多个数据集的备份副本从主数据存储器切换到备份数据存储器，其中，在所述准备之前，根据备份协议来更新所述备份副本，所述备份协议指定同步更新所述备份副本以反映对存储在所述数据集的主副本中的一种类型的数据做出的改变，以及异步更新所述备份副本以反映对存储在所述主副本中的另一类型的数据做出的改变，以及其中所述准备包括根据所述数据集中的相互依赖的数据的预定义模式来识别所述备份副本的所述数据集中的任何相互依赖的数据中的任何不一致性，以及根据预定的不一致性校正协议校正所述备份副本的所述数据集中的任何所识别的不一致性，以及使所述备份副本代替所述主副本用于直接服务于数据事务。

摘要： 本申请公开了一种KDB数据库迁移后数据一致性验证方法，包括：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；建立目标端数据核对表；在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。通过本申请所提供的方法，数据一致性验证过程不需要源端以及目标端以外第三方工具，使整个验证过程更加简单灵活。另外，本申请还相应公开了一种KDB数据库迁移后数据一致性验证系统。

摘要： 本发明公开了一种数据备份过程中的数据使用方法。本发明还公开了一种数据一致性组件。本发明通过设置数据一致性组件，由所述数据一致性组件将目标数据的有效性封装在内部，使数据使用组件看到的目标数据是有效的、一致的且可以使用的，从而无需等待目标数据全部备份至数据存储组件，能够及时使用目标数据。

摘要： 本申请提供了通过缓冲入口数据增强云存储系统中数据一致性的数据存储方法和设备。在本申请的技术方案中，云系统利用位于入口级服务器的非易失性缓冲器来缓冲所接收的输入数据。数据从入口级经由数据路径上的各个处理级传输，直到被写入云系统的目标存储设备。数据按照基于事件的时间表以流水线的方式传输通过各个级。各个级都能够从上一个级对这个数据进行接收和/或处理，验证其数据一致性，以及将其发送到下一级。如果在数据路径上检测到数据错误，则从非易失性缓冲器中恢复所标识的数据，将其插入数据流中并重新发送到这条数据路径上。

摘要： 本发明提供一种提高数据库数据和缓存数据一致性的方法及终端，通过接收对数据库的更新操作，根据所述更新操作删除缓存中对应的第一数据，并预设所述更新操作对应的更新消息的过期时间，当到达所述更新消息的过期时间时，再一次删除缓存中与所述第一数据对应的第二数据；通过到达预设的更新消息的过期时间对更新消息对应的缓存进行第二次删除，避免了在并发更新和查询的情况下，缓存中的数据在当前进程删除后可能被其他进程写入脏数据的问题，从而减少了数据库数据和缓存数据不一致的情况。

摘要： 本发明实施例提供一种基于数据库多表间数据一致性的数据恢复方法及装置，所述方法包括：获取目标业务的每一业务流程节点对应的数据库操作；将每一数据库操作对应的数据恢复语句依次保存到目标业务对应的链表中；当系统运行出现异常时，自动启动恢复流程，按照目标业务对应的链表中的数据恢复语句依次恢复不同数据库的数据表。本发明实施例提供的基于数据库多表间数据一致性的数据恢复方法及装置，通过优化业务服务调用数据库的访问机制，自动保存不同业务流程操作数据库时的数据库访问记录，并实时生成数据库恢复规则，从而保障了数据表恢复的及时性和准确性。

摘要： 本申请公开了一种KDB数据库迁移后数据一致性验证方法，包括：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；建立目标端数据核对表；在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。通过本申请所提供的方法，数据一致性验证过程不需要源端以及目标端以外第三方工具，使整个验证过程更加简单灵活。另外，本申请还相应公开了一种KDB数据库迁移后数据一致性验证系统。