数据冗余

摘要： 本文阐述了部队训练信息管理系统的数据库设计和实现思路。重点介绍部队训练信息管理系统数据库从需求分析到设计实现的整个过程,在满足系统正常运行的同时,对系统的数据库结构进行了优化。在该数据库基础上设计的部队训练信息管理系统能够满足部队训练数据管理的需求。

摘要： 为合理评估、治理电压暂降问题,电网公司大量安装电能质量监测终端,实现电压暂降监测和感知,但同时造成暂降事件被不同监测终端重复记录的数据冗余问题。为此,该文提出基于Hausdorff距离的电压暂降波形相似度计算方法。将波形相似度和持续时间作为同源识别特征,构建电压暂降同源识别特征矩阵;提出基于多维尺度分析(multi-dimensional scaling,MDS)算法的同源识别矩阵数据降维方法,保证识别准确度,提高计算效率。提出基于OPTICS聚类算法的电压暂降同源识别方法,通过聚类可达图得到同源识别结果。最后,选取我国中部某地区电网的实测数据验证所提方法的可行性与准确性。

摘要： 实时视频传输需要大量带宽,传输带宽在当今几乎所有的应用中都是有限资源。视频压缩通过去除数据冗余来降低比特率,从而减少传输带宽,但同时也要求比特率降低后人类视觉系统(HVS)无法察觉出画面差异。对比已有的视频压缩编码技术,有效且处于领先地位的视频编解码器都实现了最大压缩效率并具备广泛兼容性,但这种通用方案并不完美。受处理能力、内存、带宽等限制,技术标准通常围绕可在硬件视频解码芯片上实现的内容而设计。早在1994年MPEG-2就迎合当时的芯片设计,九年后的AVC/H.264(高级视频编码)以及再后来的HEVC/H.265(高效视频编码)均是如此。

摘要： 电网数据在传输过程中会出现重复传输同一个数据和保留多个相同数据副本等现象,影响电网管理人员对电网运行状态调整的速度,为提高电力系统动态校验智能电网数据传输冗余准确率,提升动态校验速度,提出了基于关联分析的智能电网数据传输冗余动态校验系统。硬件设计方面,在前人对系统硬件设计的基础上,设计系统硬件框架,数据采集模块和合并单元。软件设计方面,制定动态校验智能电网数据传输冗余规则,促使系统具有动态校验智能电网数据传输冗余功能,完成系统软件设计。实验结果表明:此次设计的智能电网数据传输冗余动态校验系统,具有较低的动态校验误判率,最低为0,最高为也仅仅达到0.005,较快的稳定动态校验速度,动态校验速度最慢为7 m/s,最快可达到19 m/s,对智能电网数据传输影响最小,数据传输延时影响最高为0.16 s,最低为0.06 s,不会让智能电网数据传输时出现较大的数据传输延迟,具有一定的应用前景。

摘要： 移动群智感知系统中任务之间存在时空覆盖重叠性,这可能导致重复数据收集从而引发数据冗余问题,为此,提出了一种可同时控制任务内以及任务间数据冗余的任务分配方法。该方法首先提出基于长短期记忆(LSTM)神经网络的轨迹序列预测模型,对任务参与者进行细分时空单元的轨迹序列预测,然后根据轨迹预测结果提出最小化数据冗余的优化模型。通过最小化时空单元的数据冗余度来控制单个任务内的数据冗余问题,并通过让单个任务参与者在时空单元中的感知数据被最大化重复利用来控制多个任务之间时空覆盖重叠性带来的数据冗余。实验结果表明,提出的任务分配方法可以有效地减少任务内及任务间的数据冗余。

摘要： 目前越来越多的轨道交通项目增加了智慧运维部分,要求将车辆的核心部件的数据实时发回地面数据中心,从而让车辆运营、调度、检修等多个部门能更加快速、直观的了解车辆情况,同时通过对部件的模型建立,利用数据可以有效分析车里健康情况,为检修提供有效支持。智慧运维系统的核心在于数据,车地无线传输系统承担了数据的采集、发送的任务,是智慧运维系统的核心部件。为了提高数据的可靠性,保证数据连贯、无差错,本文详细描述了四种改善策略包括多设备数据冗余、系统任务守护、车地数据缓存、文件传输协议,从设备、系统、车地通道不同角度为数据可靠性提供了解决方案。

摘要： 为解决神经网络中爆炸式增长的数据量所加剧的计算机系统存储墙问题,针对经典近似方法在平衡精确度和开销问题上的不足,提出一种利用相邻数据之间相似特征以及神经网络中数据冗余性的优化方法.通过分析数据密集型应用的数据特征,提出针对权值的稀疏矩阵压缩,针对输入数据的重复值压缩和相邻小范围浮动数据近似的方案,设计神经网络拓扑感知的冗余数据近似方法,在合理范围内实现数据近似.实验结果表明,相比于SNNAP方案输出质量平均提高了8.16％,压缩率达到51.38％,为提高数据密集型应用的系统加速比提供了可行性.

摘要： 针对电网内单次短路故障可能触发多条母线上的电能质量监测装置记录电压暂降波形,造成电压暂降录波数据冗余、电网电压暂降水平过估计的问题,提出一种基于典型波形特征与改进基于密度的有噪空间聚类(DBSCAN)的电压暂降同源识别方法.首先,提出综合倾斜因子、波形相似度和持续时间三维特征,综合刻画电压暂降同源性;同时,研究电压暂降经多级变压器的传播特性,推导出13种变压器相电压等效传递矩阵,并提出基于Bhattacharyya距离的波形相似度计算方法.其次,利用共享近邻点(SNN)改进DBSCAN,对由三维特征构成的矩阵进行同源聚类,提出基于电网节点总数和监测点总数的聚类参数计算方法,实现电压暂降同源识别.应用实测数据和IEEE 30节点系统仿真数据进行验证,结果证明了所提方法的正确性和有效性.

摘要： 网络化缓存是命名数据网络实现对信息的高效获取,有效降低互联网骨干网络流量的关键技术.网络化缓存将缓存作为普适的功能添加到每个网络节点.用户需要获取信息时,缓存有该内容的任意网络节点(例如路由器)接收到用户请求后都可直接向用户返回相应内容,提升用户请求响应效率.然而,命名数据网络采用泛在缓存使得内容发布者到用户的传输路径上的各节点对内容进行重复并无差别缓存,造成数据冗余、内容缓存无差别对待问题.为此,提出一种基于内容类型的隔跳概率缓存机制.首先根据业务特征(例如时延要求、带宽占用)将内容划分为4种类型:动态类、实时类、大数据类、以及小数据类;其次构造隔跳待定缓存策略,将数据存储在非连续的传输节点上,从空间上减少冗余缓存;最后针对不同内容提供差异化缓存服务:无缓存、网络边缘概率缓存、网络次边缘概率缓存、以及网络核心概率缓存策略,从而进一步降低冗余数据,同时提高用户获取内容的效率.实验结果表明,该机制能够减少冗余缓存,降低用户请求内容时延.

摘要： 物联网感知层传感器在实际应用中通常具有较高的数据采集频率,云端接入的时间序列数据会出现冗余问题,即临近时域的数据相似度较高缺乏差异性,会导致云端存储量较大但数据价值较小的情况.针对此类问题,文中提出一种改进的参数化简单指数平滑(SES)模型,在实现权重自动分配的同时针对数据冗余问题优化权重分配,解决在现有的SES模型在确保数据的完整性和准确性的同时实现时间序列上数据低冗余性,实现数据在采集过程中的实时数据冗余处理.利用实际大气监测数据进行对比实验,结果表明了改进的SES模型有效性.

摘要： 随着RFID技术的发展,RFID的应用越来越广泛.然而,由于RFID硬件设备固有的限制和环境噪声的影响,造成了RFID原始数据的不确定性,使RFID在很多领域中的应用受到限制.现实应用中的部署环境通常由多个阅读器及大量标签组成,而现有的数据清洗算法大多只针对单个阅读器对标签的读取情况进行研究,因此在真实应用中的效果差强人意.本文综合考虑RFID的数据特性、阅读器和部署环境的先验知识以及具体应用中的约束条件三个方面,提出一种更贴近现实应用的基于多阅读器数据冗余的数据清洗策略LC-INFER( Location-Containment Inference):首先基于贝叶斯推理对数据进行初步清洗,其次结合基于物体间包含关系的平滑技术,并考虑约束条件对数据进行二次清洗以提高数据的准确性,最后部署真实供应链应用环境进行实际测试,并用大量仿真数据集进行模拟测试,验证了本文提出的RFID数据清洗算法的准确性及高效性.

摘要： 在宿迁市国土资源"一张图"项目建设过程中,根据国土资源业务审批过程中遇到的附件材料扫描上传提交、业务网上办理系统积累了大量重复的附件以及不动产统一登记系统脱离一张图系统,相关业务数据形成信息孤岛等问题,通过研究基于附件资源大数据管理技术,建立附件资源管理系统,将业务办理过程中的附件材料通过系统统一管理,实现一次上传重复利用,减少数据冗余及重复劳动,实现数据共享、业务审批和档案数字化一体化管理,真正实现便民高效.

摘要： 全波形反演(FWI)能够充分利用地震叠前波形信息反演地下介质的岩性参数,当前主要用来反演速度参数,相比层析成像和偏移速度分析等传统的速度建模方法,它的反演结果分辨率和精度更高.FWI的每次迭代都需要若干次地震波正演计算,且反演过程是非线性的,因此提高计算效率和克服局部极小值是FWI的两大难题.提高FWI的效率,可通过提高地震波正演的效率和反演优化算法的收敛性来实现,为此本文采用了交错网格的高阶有限差分法模拟地震波场,该方法稳定高效,且适合GPU并行加速.目标函数的二阶导数信息有助于减少反演迭代次数,为此本文采用了L-BFGS拟牛顿优化算法,以加速FWI的收敛性.为克服FWI的局部极小值问题,本文采用了多尺度反演策略,根据波数覆盖的原则优选数据频带,减少了数据冗余,提高了反演效率.采用SEG经典的Marmousi模型进行速度反演测试,显示了该方法的高效性和潜力.

摘要： 无线体域网(wireless Bodv Area Network，wBAN)作为无线网络的延伸，是以人体为中心，将与之相关联的网络元素(个人终端、皮肤表面、植入人体内部的传感器及其相关的网络组建设备等)组成一个小型无线通信网络，使其能够在医疗、智能化生活、物联网等方面为人们提供高效率和高便利性的一种技术。主要介绍了WBAN的传播特性和低功耗、安全、可拓展、高可靠的特点,以及它在医疗健康领域和娱乐生活方面的应用,并阐述了它未来的发展和应用前景.将MIMo技术应用在wBAN技术中，利用其功率控制机制可以节省大量的功率消耗，但采用此项技术也会带来很大的局限，其频率一空间一极化都对wBAN的应用有一定的影响，可能会减低信道传输性能。简单采用MIMo技术难以有效地改善wBAN的系统性能，空间分集利用波束赋性进行定向的空间指向；基于写作中继模型建立虚拟的MIMo机制，能够解决多天线间空间相关性和功率最大化的问题。目前，wBAN能处在初级发展阶段，还面临很多关键技术的挑战，比如减少数据冗余并获取数据特征、决策数据的融合、传感器(特别是植入体内)的尺寸大小和低功耗问题、多节点的协同问题等。

摘要： 分析了在企业信息管理中各部门之间可能会出现的数据管理的不一致性、数据冗余等问题，揭示了影响各部门主数据管理出现问题的主要原因。同时对SAP数据管理方案做了简要的介绍。

摘要： 当RFID 技术应用在访客系统中时,RFID 数据的不可靠性,会影响人员定位,行踪计算的效率和准确性,本文针对这个问题,提出了一种计算访客行踪轨迹的算法,算法通过设置RFID 阅读器收集数据间隔减少数据冗余;利用RFID 标签的唯一性建立标签历史信息哈希表,实现了对历史数据的快速查询,通过对数据的比较,分析,过滤无效数据,节省了数据库存储空间,并可以最终计算得出访客行踪。经过系统验证,本算法达到了设计要求。

摘要： 利用三维激光测量技术获得粮仓储量信息对于确保清仓查库结果的准确性是很必要的，但由于仓内站点布设条件的限制(多站点，低高度)，激光扫描结果存在严重的局部数据冗余和采样不均匀现象。首先采用自适应重采样的方法降低数据冗余，然后通过数据分割的方法获取粮仓内部结构信息和粮面信息。考虑到典型粮仓结构基本固定，提出了基于模型的多站点快速自动配准方法，实现了多站点数据的快速配准。同时提出了基于竞争机制的多站点数据均化算法，完成了多站点数据的融合以及补洞。最后通过曲面拟合的方法重构粮面，采用数值积分的方法计算储粮体积。针对两种典型仓型(平房仓和浅圆仓)的实验结果表明，文中方法具有较高的可行性和准确性。

摘要： 从软件的C/S和B/S开发模式,数据冗余设计以及基于Oracle　Text技术的文档检索来论述文档管理系统的设计.结合C/S、B/S的优缺点以及文档管理系统的自身因素得出C/S、B/S结合模式的优点.从实际项目中阐释引入数据冗余设计技术的必要性.最后,引入最新的Oracle　Text技术设计文档检索功能,为提高系统性能做技术保障.

摘要： 基于术语集规模小、内容稳定、入度高、访问频率高、具有整体性的特性,提出了术语集冗余预处理.在此之上设计了符合海量资源描述框架(RDF)数据集特性的划分框架.与经典多层次图划分算法的对比实验结果表明:引入术语集冗余和边权重因子的划分框架适用于海量RDF划分任务,能够以较小的冗余开销有效地降低边切分,从而为上层计算提供了良好的数据分布管理基础.

摘要： 基于术语集规模小、内容稳定、入度高、访问频率高、具有整体性的特性,提出了术语集冗余预处理.在此之上设计了符合海量资源描述框架(RDF)数据集特性的划分框架.与经典多层次图划分算法的对比实验结果表明:引入术语集冗余和边权重因子的划分框架适用于海量RDF划分任务,能够以较小的冗余开销有效地降低边切分,从而为上层计算提供了良好的数据分布管理基础.

摘要： 本文档涉及音频编码和解码领域。具体地，本文档涉及包括音频对象的音频场景的编码和解码。描述了用于编码与音频场景(102)的多个音频对象(106a)相关的元数据的方法(400)。元数据包括第一组(114、314)元数据和第二组(104)元数据。第一和第二组(104、114、314)元数据包括一个或多个数据元素，这一个或多个数据元素指示多个音频对象(106a)的音频对象(106a)的属性和/或指示根据多个音频对象(106a)得出的下混信号(112)的属性。该方法(400)包括识别(401)对于第一和第二组(104、114、314)元数据是共用的冗余数据元素。此外，该方法包括通过参考第一组(114、314)元数据外部的一组(104)元数据的冗余数据元素来编码(402)第一组(114、314)元数据的冗余数据元素。

摘要： 一种基于无线传感网络中数据存储减少数据冗余的方法，所述方法包括：通过传感器采集各种传感数据；将传感数据通过无线的方式发送给汇聚节点；对所获得数据进行数据分类处理；选择对应的数据储存模型进行存储；汇聚节点以低能耗的方式管理传感器节点或设备。该方法可以减少不必要的数据数据存储，降低在传输过程中能量消耗，不但可以减少数据冗余，而且可以延长电池寿命，还可以提高传感器节点数据处理过程中的反应速度，是一种有效的无线传感网络中数据存储减少数据冗余的方法。

摘要： 本申请公开了一种数据冗余方法和神经网络处理器，包括：存储单元，控制单元、运算单元和指令冗余处理单元。

摘要： 本发明属于信息安全技术领域，涉及一种数据冗余加密方法及冗余加密数据识别方法、设备和存储介质。本发明的数据加密方法，包含如下步骤：获取待加密数据；获取识别码；对识别码进行加密，获得密文；将密文添加到待加密数据的冗余数据位中，得到加密数据。另外，还提供了对上述加密方法获得的数据进行识别的方法。通过本发明提供的数据加密及识别方法可以有效防止盗版；同时也方便数据被窃取后的取证及维权；另外，本发明的数据加密位位于数据的无效位上，不影响数据精度。

摘要： 本发明涉及自动化控制技术领域，具体是一种PLC基于时间同步及有限数据元交互的数据冗余方法，包括将活动PLC与备用PLC对表，并校准所述备用PLC的时间；所述活动PLC采集模拟量数据，并将所述模拟量数据同步给所述备用PLC；所述活动PLC和所述备用PLC同时采集数字量信号，并根据所述数字量信息同步进行数据处理，得相同处理结果。本方法具有硬件要求低，数据同步时间不影响扫描周期的优点。

摘要： 本发明涉及数据切片技术领域，公开了一种基于数据切片技术的数据冗余存储方法，包括以下步骤：步骤S1.获取数据库中列表、元组和字符串中的数据，并将所述数据进行备份；步骤S2.根据所述数据预设数据切片方案；步骤S3.根据所述数据切片方案选择切片方式；步骤S4.根据所述切片方式进行切片，切片后连接数据库并通过服务器发布存储服务。本发明采用数据存储切片技术实现分布式数据数据存储功能，用于提供灵活的数据版本管理功能，同时提供多版本数据存储模式下主版本的轮转分布功能和副本随机分布的策略功能，能够将数据均匀分布到整个数据库集群节点中。

摘要： 本发明公开了一种基于数据冗余暂存设计的EMS系统数据访问方法，首先对外部系统向EMS系统的请求命令的进行分类，将其分为数据请求型指令和数据统计分析型指令两类；然后设置指令认别模块，对请求指令分类进行匹配和识别，如果属于数据请求型指令，则将外部系统请求到的数据导出到EMS系统外的数据保存区后进行反馈；如果属于数据统计分析型指令，则只允许外部系统对数据进行统计和分析，不允许读取和导出数据，即只能导出相应统计和分析结果；最后按周期清除EMS系统外数据保存区里的数据。本发明解耦了请求和统计分析，减轻了EMS主系统负担的同时，减少了EMS系统的安全风险，提高了系统安全性。

摘要： 本发明实施例提供了一种数据库的数据冗余处理方法、装置、电子设备及存储介质。该数据库的数据冗余处理方法，包括：获取预存储于数据库中的第一汇总表和第二汇总表；基于预设的矩阵转换策略信息，分别将第一汇总表转换为第一矩阵、第二汇总表转换为第二矩阵；基于第一矩阵和第二矩阵，确定第一汇总表和第二汇总表之间的第一相似度；当确定第一相似度达到相似度阈值时，基于预设映射关系，针对数据库执行第一相似度对应的第一数据冗余处理操作；其中，预设映射关系为相似度和数据冗余处理操作之间的映射关系。根据本发明实施例的数据库的数据冗余处理方法，能够提高数据库的数据冗余处理效果。

摘要： 本发明公开了一种基于数据冗余的mysql集群在线数据重分布方法及相关设备。所述方法包括：接收数据重分布请求；根据所述数据重分布请求将第一节点中的第一主数据副本、第一备数据副本之间的数据同步的变更应用中断；将所述第一备数据副本的物理表空间导出生成表空间文件，将所述表空间文件分别拷贝到第二节点的第二主数据副本、第二备数据副本；将数据同步的变更应用中断之后存储到所述第一主数据副本中的增量数据分别增量同步到所述第二主数据副本、所述第二备数据副本。本发明所述方法无需进行复杂的sql拼接转换，保证迁移的数据一致性，同时提高数据重分布的效率。

摘要： 本发明实施例涉及大数据技术领域，公开了一种大数据冗余灾备方法、大数据服务系统及查询方法。灾备方法应用于大数据服务系统，大数据服务系统包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；方法包括：在更新大数据服务系统的业务数据时，各集群同时将待更新的数据更新至本集群。查询方法应用于前述大数据服务系统，该方法包括：在执行查询任务时，若执行查询任务的任一集群出现故障，则将查询任务转移至大数据服务系统中的其他集群。采用本发明实施方式，在实现数据灾备的同时，避免了故障数据转移，从而可在保证集群稳定性的基础上，保障查询性能。