数据修复

摘要： 传统的错误数据修复方法由于对错误特征存在提取误差大的问题,导致其修复精度低、修复后的数据完整度低、修复的执行率差。针对上述问题,提出了基于深度学习的网络通信错误数据修复方法。首先根据深度学习理论提取网络通信中错误数据的特征,然后对错误数据进行相关性分析,获取其随机变量以及Kendall相关系数,再结合相关性分析结果构建灰色GM错误数据修复模型,将网络通信中的错误数据放入模型中进行求解,从而完成对网络通信错误数据的修复。测试结果表明,应用上述方法修复网络通信错误数据后,执行率及修复结果的精度较高,且修复后的数据完整度高。

摘要： 公共建筑用能设备多、建筑面积大、使用人数多,具有较大的节能潜力。但由于建设费用有限导致的数据分项计量异常及传感器或采集器故障导致的数据缺失和突变等问题,其配套的建筑能耗监管平台获取的电耗数据经常出现数据异常问题。本文研究以聚类算法为基础,提出了一种由KNN-Matrix算法与KNN-Slope算法共同构成的异常数据修复体系。KNN-Slope算法根据异常数据当日用电趋势线,寻找用电趋势一致的最近历史电耗数据,以加权计算后的电耗值作为插补值进行异常数据修复。KNN-Matrix算法引入以矩阵形式表征的用电强度量化等级,寻找量化等级与用电趋势均一致的最近历史数据或平均历史数据作为插补值进行异常数据修复。结果显示,在面向不同数据异常比例和不同公共建筑类型时,上述修复体系可使99%的异常数据在修复后与真实数据的相对误差在30%以下,且相对误差最大值、平均值均大幅下降。

摘要： 现场采集的交通流数据经常出现错误与缺失等异常现象。为有效修复交通流异常数据,文中提出一种改进的KNN算法——相关系数-调幅权重法。该算法采用每天采集的所有数据构造固定长度状态向量,以适应异常数据随机分布的特点;采用相关系数筛选近邻指标,以满足近邻须为相似交通流的要求;采用相关系数和调幅系数对传统距离倒数权重进行修正,以克服相关系数过小和近邻距离过远带来的不利影响。基于实测交通流数据进行蒙特卡洛分析,结果表明该算法具有良好的数据修复能力,能适应近邻相关系数与欧式距离严重背离的情况。

摘要： 数据是城市排水管网地理信息系统(GIS)的核心和基础。只有保证高质量的数据,才能使GIS系统真正发挥在排水管网信息化管理、建模分析等方面的作用。文章按照“拓扑检测-文本属性项归类-管径检测-高程检测”的处理步骤提出了排水管网数据异常检测与修复的方法,并将方法应用到ZH市的排水管网GIS数据中,结果表明该方法能有效识别拓扑、文本属性、管径和高程数据的异常,并为部分异常数据提供合理的修正参考值。

摘要： 变压器运行数据对设备评估至关重要,实际采集变压器数据的缺失会大大降低后续数据分析的可靠性。针对变压器数据缺失,利用函数型主成分分析提取数据整体特征的性质及小波变换刻画函数数据细节的性质,提出一种基于函数型主成分分析和小波变换的变压器缺失数据修复方法。首先,通过对同一变压器连续几天同类数据的学习,估计数据在函数主成分上的表示,得到对整体数据的近似估计;然后利用小波变换对估计的残差函数数据去噪得到对局部数据的修正函数,两者结合,得到最终的修复曲线。对实际某变压器运行数据的测试结果表明,该方法对离散的单个缺失点和连续缺失点均有较好的恢复效果,能适应不同的数据类型。

摘要： 公路隧道在建设过程中易受到地理环境等因素的影响,山体结构的不稳定可能会产生潜在的安全隐患,而隧道沉降量是反应隧道结构变化的一项重要指标,因此提出一种基于贝叶斯优化XGBoost的隧道沉降监测量预测模型.由于隧道施工场景复杂干扰严重,给数据采集和后期沉降变化分析带来困难,本文首先对原始沉降监测数据进行时间尺度统一,然后融合时域和空域信息对数据中的异常值、缺失值进行数据修复,在此基础上,提出贝叶斯优化的XGBoost集成模型对隧道监测的周边收敛、地表沉降和拱顶沉降数据分别进行分析.通过与优化前模型以及时序预测模型预测结果进行对比,发现贝叶斯优化的XGBoost模型精度最高,对拱顶沉降、地表沉降、周边收敛的平均预测精度可以达到0.9794.该模型能够对隧道沉降变化过程进行有效的监测与预测,对于隧道安全问题的监管具有重要的实际应用价值.

摘要： 完整准确的运行数据是充分利用智能电网大数据的基础。针对当前配电网由于传感器不稳定等问题造成数据缺失问题,研究了一种基于张量分解理论的10 kV配电网电压数据修复方法。该方法首先提出了利用线路拓扑结构、时序数据和相似日数据构建时空张量的策略,充分挖掘现有数据中的内在关系,针对张量缺失使用规则化均值的方法进行初始化,利用贝叶斯CP分解张量并恢复缺失数据,以完成数据修复的目的,进而提高配电网电压数据的质量。算例结果表明:所提方法可以有效修复缺失数据,数据误差在0.5%以下。

摘要： 债闹不但扰乱金融市场秩序,加剧了金融风险扩散,还破坏了相关企业正常经营活动,对社会稳定和诚信风气造成恶劣影响。“征信修复”“征信洗白”“代理处置信用卡债务”……近两年来,在网络平台上经常能看到此类推广信息。最近,类似的广告也频繁在线下出现,甚至在出租车座位上赫然打广告,声称能提供信用优化、逾期修复、企业个人信用服务、失信人数据修复等服务。

摘要： 水利工程条件复杂致使渗流监测数据缺失现象普遍存在.针对渗压水位时间序列缺失数据修复问题,应用邻近测点渗压水位完整的监测数据取代环境因子监测数据,依据皮尔逊相关系数理论与曲线拟合方法,构建了测压管渗压水位统计分析模型,探讨了相应的时间序列缺失数据修复方法.研究表明:当测压管渗压水位与库水位、邻近测点渗压水位近似呈线性关系时,应用邻近测点渗压水位数据可代替统计分析模型对缺失数据进行修复,修复拟合数据与实测数据误差较小,达到测压管渗压水位时间序列缺失数据修复的目的.

摘要： 近年来随着配电网智能化升级改造,各类运行量测数据不断积累.由于传统的分析工具和方法限制,海量数据尚未应用到配电网运行效率分析中,其价值尚未挖掘.目前配电网运行效率分析主要对全网最大负荷时刻的电网运行断面,或假设的所有设备最大负载运行情况进行模拟分析,采用全年平均值分析设备的日常运行状态,无法准确反映出电网设备的运行区间,存在一定的局限性.主要论述了运用大数据技术进行配电网全时序运行水平分析的方法和流程,以及全时序分析过程中常见异常数据的类型和数据清洗方法.并以某地区10 kV配电变压器负载率指标的全时序分析为例,验证了大数据技术在配电网运行效率分析中应用的可行性.该方法可实现全时段监测跟踪电网运行情况,有助于识别电网运行问题的发生规律和严重程度,为电网运行方式调整和电网项目投资提供有效参考.

摘要： 随着海量存储数据的剧增,分布式存储系统逐渐得到广泛使用.分布式存储系统中存储节点数目的增加使得节点失效的机率增大.使用副本作为冗余的方式会带来很大的存储开销.为了减少存储开销,使用纠删码产生冗余是存储系统中一种主要的冗余策略.基于纠删码的数据修复过程中,需要在幸存节点中选择供应节点向新生节点传送数据,这就面临着修复节点的选择问题,需要设计一个节点选择机制来使得修复过程较快,提升存储系统的可靠性.结合实际数据修复过程中参与修复的节点对数据的计算速度不同,即存储节点存在计算能力异构的场景下,提出节点选择机制:星形拓扑修复算法S-SPAC和树形拓扑修复算法T-SPA-C,以加快失效节点的修复速度,从而减少整个修复过程中的修复时间.仿真结果表明,相对传统的随机节点选择策略,本文提出的选择机制可以有效减少数据修复时间.

摘要： 云存储系统主流采用副本的方式提供数据可靠性保证.当前,纠删码的方式正逐渐被采用取代传统的三副本方式,以节省存储开销.业界目前主要选择Reed-Solomoncodes作为纠删码的实现方式,但是,Reed-Solomoncodes较高的修复开销对于高效率和高可用性的存储系统而言往往是不可避免的.本文针对这一问题,提出一种基于正常读带宽的数据修复方法,减少数据修复过程中的开销.在一个开源的存储系统上实现了算法,并进行测试比较,与之前的实现相比,要节约大约一半的修复开销.

摘要： 研究了基于余水位变化曲线进行水位粗差探测与数据修复的方法,分析表明:该方法具有粗差探测准确性高、速度快的优点,减小了作业员间的主观判断性差异的影响:且可以较高精度对粗差数据进行修复。

摘要： 水产养殖环境因子相互作用关系复杂,水产养殖物联网实时采集的数据冗余较多、且数据缺失问题时常发生,基于实时数据的数据预处理方法选择很大程度上决定了预测精度.因此,本文提出了基于数据修复、特征选择和小波降噪相结合的预处理方法.首先利用线性插值法和均值平滑法修复数据,然后采用系统聚类法和主成分分析法进行特征选择以筛选关键影响因子,实现预测模型的输入数据降维,最后使用小波降噪技术处理关键影响因子数据.该方法以基于物联网采集的银鳕鱼养殖池塘的氨氮数据为例,对数据进行了预处理,SNR和RMSE分别为25.8886和0.0448.实验结果表明,该方法可以满足预测数据的精度需要,为水产养殖水质因子预测模型构建提供良好的数据基础.

摘要： RAR作为最常见的压缩文档格式,其数据安全性一直以来都受到重视.RAR碎片识别技术是从根本上解决其数据修复问题的关键.利用将二进制数据的信息熵等作为SVM分类器训练特征样本的方法,以欧氏空间中最优线性分类器理论为基础,在特定条件下成功率达90％以上.该方法可以对磁盘空间中的RAR碎片进行识别,具有非常广阔的应用前景,也大大弥补了该领域的技术缺陷.

摘要： 概述了TurboEdit算法的基本原理,指出了算法对观测历元初始阶段小周跳不敏感的局限性,以及多项式拟合时模型系数的取舍问题.提出了基于BIC准则的双向TurboEdit算法,并采用GPS实测数据对改进方法进行实验分析.结果表明,改进算法可以有效解决原算法在初始历元阶段对小周跳不敏感的问题,且在周跳探测和修复应用中具有更高的适用性和可靠性.

摘要： 概述了TurboEdit算法的基本原理,指出了算法对观测历元初始阶段小周跳不敏感的局限性,以及多项式拟合时模型系数的取舍问题.提出了基于BIC准则的双向TurboEdit算法,并采用GPS实测数据对改进方法进行实验分析.结果表明,改进算法可以有效解决原算法在初始历元阶段对小周跳不敏感的问题,且在周跳探测和修复应用中具有更高的适用性和可靠性.

摘要： 概述了TurboEdit算法的基本原理,指出了算法对观测历元初始阶段小周跳不敏感的局限性,以及多项式拟合时模型系数的取舍问题.提出了基于BIC准则的双向TurboEdit算法,并采用GPS实测数据对改进方法进行实验分析.结果表明,改进算法可以有效解决原算法在初始历元阶段对小周跳不敏感的问题,且在周跳探测和修复应用中具有更高的适用性和可靠性.

摘要： 概述了TurboEdit算法的基本原理,指出了算法对观测历元初始阶段小周跳不敏感的局限性,以及多项式拟合时模型系数的取舍问题.提出了基于BIC准则的双向TurboEdit算法,并采用GPS实测数据对改进方法进行实验分析.结果表明,改进算法可以有效解决原算法在初始历元阶段对小周跳不敏感的问题,且在周跳探测和修复应用中具有更高的适用性和可靠性.

摘要： 针对企业协同研制环境下设计数据的质量问题,本文提出了设计数据的快速修复方法,并在现有的设计软件的基础上开发了快速修复工具.通过实际应用,验证了设计数据的快速修复方法的有效性和可行性,为提高产品设计效率和质量提供了技术支撑.

摘要： 本发明提供一种数据修复方法，其包括：获取数据修复指令，并根据数据修复指令在本地机架中创建用于修复丢失数据片段的本地新节点；根据数据修复指令，在本地机架的其他节点的编码数据片段中收集本地修复数据；根据数据修复指令，在中继机架中确定数据中继节点，并通过数据中继节点在相应的中继机架的节点的编码数据片段中收集中继修复数据；根据本地修复数据以及中继修复数据，在本地新节点对丢失数据片段进行修复操作。本发明还提供一种数据修复装置，本发明的数据修复方法及数据修复装置对机架内数据修复和跨机架数据修复进行结合，提高了数据修复操作的传输效率。

摘要： 一种能自动修复受损数据的U盘及其受损数据修复方法，涉及数据存储设备技术领域，所解决的是现有U盘在读写过程中发生意外掉电后数据容易受损的技术问题。该U盘包括USB连接件、USB主控芯片、FLASH芯片、SRAM芯片和电池，所述USB连接件连接到USB主控芯片的USB接口，所述FLASH芯片的数据接口及SRAM芯片的数据接口连接到USB主控芯片的数据接口，所述电池分别连接到SRAM芯片的电源接口及USB主控芯片的电源接口，所述USB连接件的电源接口分别连接到SRAM芯片的电源接口、USB主控芯片的电源接口和FLASH芯片的电源接口。本发明提供的U盘，适用于电力自动化行业。

摘要： 本发明提供了一种数据修复方法、数据修复装置以及存储系统，其中，该数据修复方法包括：实时检测异常存储节点，并获取所述异常存储节点的标识信息；读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

摘要： 本发明提供了一种具有数据修复功能的储存系统及其数据修复方法，主要是利用反复一或多次的测试与修复流程，使记忆媒体中的错误能降低至一般使用的错误侦测及校正(ECC)功能可以修复的范围，以确保资料读取的正确性，有效提升数据可靠度，其中数据修复步骤之较佳方式包括利用储存系统中的测试数据产生器提供一笔测试数据，并写入发生数据错误的记忆区块中，并通过读取其中数据来找到错误位，再通过修复程序使之能处于ECC技术可以修复的范围中，但是，若测试次数超过一测试的上限次数都无法找出错误位或无法将错误修复降低至错误侦测及校正技术可修复的范围，则将此记忆区块标记为损毁区块。

摘要： 本申请公开了一种显示装置的补偿数据修复方法及补偿数据修复装置，该补偿数据修复方法通过先擦除初始灰阶补偿数据中的标志位数据并重启时序控制器可以实现显示装置处于补偿关闭状态，然后通过获取图像数据并同步擦除初始灰阶补偿数据中的其他数据，可以实现获取图像数据与擦除初始灰阶补偿数据中的其他数据的同步进行，有效减少了显示装置的补偿数据或者补偿表修复所占用的时间。

摘要： 本发明提供一种数据修复方法，其包括：获取数据修复指令，并根据数据修复指令在本地机架中创建用于修复丢失数据片段的本地新节点；根据数据修复指令，在本地机架的其他节点的编码数据片段中收集本地修复数据；根据数据修复指令，在中继机架中确定数据中继节点，并通过数据中继节点在相应的中继机架的节点的编码数据片段中收集中继修复数据；根据本地修复数据以及中继修复数据，在本地新节点对丢失数据片段进行修复操作。本发明还提供一种数据修复装置，本发明的数据修复方法及数据修复装置对机架内数据修复和跨机架数据修复进行结合，提高了数据修复操作的传输效率。

摘要： 本发明提供了一种数据修复方法、数据修复装置以及存储系统，其中，该数据修复方法包括：实时检测异常存储节点，并获取所述异常存储节点的标识信息；读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

摘要： 一种能自动修复受损数据的U盘及其受损数据修复方法，涉及数据存储设备技术领域，所解决的是现有U盘在读写过程中发生意外掉电后数据容易受损的技术问题。该U盘包括USB连接件、USB主控芯片、FLASH芯片、SRAM芯片和电池，所述USB连接件连接到USB主控芯片的USB接口，所述FLASH芯片的数据接口及SRAM芯片的数据接口连接到USB主控芯片的数据接口，所述电池分别连接到SRAM芯片的电源接口及USB主控芯片的电源接口，所述USB连接件的电源接口分别连接到SRAM芯片的电源接口、USB主控芯片的电源接口和FLASH芯片的电源接口。本发明提供的U盘，适用于电力自动化行业。

摘要： 本发明提供了一种具有数据修复功能的储存系统及其数据修复方法，主要是利用反复一或多次的测试与修复流程，使记忆媒体中的错误能降低至一般使用的错误侦测及校正(ECC)功能可以修复的范围，以确保资料读取的正确性，有效提升数据可靠度，其中数据修复步骤之较佳方式包括利用储存系统中的测试数据产生器提供一笔测试数据，并写入发生数据错误的记忆区块中，并通过读取其中数据来找到错误位，再通过修复程序使之能处于ECC技术可以修复的范围中，但是，若测试次数超过一测试的上限次数都无法找出错误位或无法将错误修复降低至错误侦测及校正技术可修复的范围，则将此记忆区块标记为损毁区块。

摘要： 本发明提供了一种数据同步中的数据比对校验及数据修复的方法及装置，包括：对源端数据库t1时刻的全量数据CRC校验码和目标端数据库t1时刻的全量数据CRC校验码进行对比；若对比结果不一致，则确定差异数据集，并生成第一数据集；获取目标端数据库中的差异数据集未执行的交易命令集合；基于目标端数据库中的差异数据集未执行的交易命令集合在目标端数据库中的差异数据集生成第一数据集上执行生成第二数据集；对源端数据库中的差异数据集和第二数据集进行对比；若对比结果不一致，则进行数据修复，本发明适用于静态数据比对场景、动态数据比对场景、同构数据同步场景、异构数据同步场景、全量数据比对校验场景及单独比对校验场景，实用性非常广泛。