去重

摘要： 随着农业新闻数据日益膨胀,以农业为主题的增量爬虫成为爬取农业信息的重要手段.增量爬虫可以依据农业新闻数据的更新爬取数据相关更新的内容,剔除已经爬取的重复内容.本文结合农业新闻数据信息的特点,提出了一种适用于农业新闻信息的基于Redis的布隆过滤器的增量去重方法,摆脱超大的持久化文件撑爆内存的问题.试验证明随着抓取相关农业信息的增加,该方法在保证内存不被撑爆的同时能有效提高增量爬取农业信息的效率,在增量信息爬取过程中具有很好的应用价值.

摘要： 在信息技术的进步下,人们的联系也开始变得更加方便,真正地实现了交流方式快捷便利.在这样的背景下,大数据、云计算等领域都得到了大力的提升.大数据规模的逐渐扩大,让数据在被有效地分析、处理中遇到了挑战,而多维数据去重聚类算法的应用使得数据更好地被分析,降低了采样的复杂度并让数据被分析的准确度有所上升.本文对多维数据在大环境下去重的聚类算法进行了深入的分析,对非结构数据的分类、多维聚类分析的函数模型的建立等进行了研究.

摘要： 现有的车间大型设备复杂度高,越来越依赖监控系统对其进行实时性管理.目前依靠云计算的设备监控系统所需传输的数据量越来越大,导致需求紧急响应的告警信息容易出现延迟,严重会造成设备停机等问题.针对现有PVC压延车间设备告警方案定位不明确和告警响应不及时的问题,该文引入边缘计算概念,设计了一个新型设备监控系统,将告警事件处理放置在边缘端,减轻数据长距离传输带来的高延时性和云计算中心处理压力,利用用户定义的阈值告警机制和特征树去重策略减少告警频繁带来的运维困难,提高设备告警处理针对性和实时性.通过对比分析,加入边缘计算对监控系统的告警实时性有了较大的提升.

摘要： 本文设计了基于大数据挖掘处理的多维数据去重聚类算法分析模型.通过详细介绍多维聚类算法,基于大数据内部关联性分析,实现了去重聚类算法分析模型构建.最后通过算法优化与仿真研究,得出结论,多维数据去重聚类算法采样时复杂度偏低,数据分析结果准确率较高,可有效分析处理数据,避免冗余繁杂,保障数据分析效率与水平,评估判定结果较好,值得大力推广应用.

摘要： 为了顺应读者在数字时代的服务需求,图书馆需要重新规划空间的使用,而最简单经济的方法是合理管理传统的纸本资源,以便腾出空间来引进新型服务.文章介绍美国高校图书馆如何由单独的图书馆到联盟,从地区到全国等层面,管理纸本资源及其流程,着重讨论如何利用当今的技术手段使高校图书馆能无后顾之忧地剔出重复的图书馆资源,从而优化图书馆馆藏.

摘要： 专利分析中,在检索专利时使用不同数据库分别检索,之后将各检索结果合并有助于充分利用数据库特点。合并时,需要处理好文献去重和同族合并。

摘要： 研究开发了汽车制动鼓的自动去重平衡系统,实现了不平衡量的测量、自动去重平衡。重点设计了不平衡量的测量系统,研制了具有自动跟踪性能、滤波效果和稳定性良好的电子乘积式自动跟踪带通滤波器(MDAC)。开发了一套基于虚拟仪器技术的汽车制动鼓自动去重平衡软件。对比实验结果表明平衡效果显著,测量精度较高,具有一定的应用价值。

摘要： 本发明公开了去重结构搭建方法，包括步骤：系统初始化，分配雾服务器的公钥和私钥，生成系统公共参数；文件初始化，进行查重匹配，匹配失败后上传加密文件至云服务器；构造分区去重结构，由区间表和所有雾服务器的去重决策树组成分区去重结构。本发明还公开了去重方法，包括步骤：在待去重文件所属雾服务器的去重决策树中进行查重匹配；若匹配成功，则证明该文件已存储至云服务器；若匹配失败，则将文件标签哈希值发送至云服务器，进一步查重匹配；当文件已存储至云服务器时，向用户发起验证挑战；接收并验证用户所有权证据，若通过验证，则将用户标识为文件合法用户。本发明提高了重复数据的搜索效率，并提高了重复数据删除的效率。

摘要： 本发明公开了一种对称与非对称曲轴自动去重平衡系统的去重优化算法，S1、曲轴安装：首先选取对称或非对称曲轴，并在主轴系统和电测系统中，将曲轴安装上，开始进行曲轴不平衡检测与去重校正工作，本发明涉及去重平衡系统技术领域。该对称与非对称曲轴自动去重平衡系统的去重优化算法，采用最小二乘法算法和多面校正法对非对称曲轴的不平衡量进行计算，能够在去重面数最少和总去重量最小的前提下，根据分解得到去重量的大小，自动选择去重块，并动态显示去重量的大小以及角度，大大提高了去重效率，以及显著扩大了其适用范围，同时经过不平衡去重校正后的被测零件外观美观，缩短了去重校正时间，提高了生产节拍时间。

摘要： 本发明公开了一种用于动量轮的去重系统与动量轮的去重方法，去重系统包括动平衡机和激光去重装置，动平衡机包括本体和设置于本体的安装座，安装座用于动量轮的安装，本体用于测量动量轮的不平衡量；激光去重装置具有激光头，激光头能够向安装于安装座上的动量轮发射激光，以对动量轮不平衡量进行去重。动量轮通过安装座安装于本体上，动量轮的轮体转动过程中，本体测量出动量轮轮体不平衡量的位置，此时，控制动量轮旋转一定角度，不平衡量被旋转至朝向激光头的位置，激光头向不平衡量发射激光，从而快速、便捷地对动量轮的轮体进行精确去重。

摘要： 本发明公开了一种指纹碰撞规避、去重及恢复方法、存储介质和去重系统，属于计算机存储领域。本发明提出的广域网数据去重方法，根据现有的网络状况及硬件设备，采用数据去重技术对数据流进行去重处理，以非常小的代价消除重复数据，以确保冗余数据不会重复发送，该方法有效减少了不必要的带宽浪费，达到提高传输速率和带宽利用的效果。本发明将指纹计算分为两层，MD5层和SHA‑256层；对每个数据块计算其MD5值；若出现相同的MD5值，再计算两个数据块的SHA‑256值；进而通过SHA‑256算法计算出的数据块指纹来判定数据是否重复，进一步增加了广域网数据去重系统的可靠性。

摘要： 本发明公开一种基于解析去重逻辑的去重平台测试方法、装置及计算机设备，所述方法包括：S01，接收测试任务和测试名单，所述测试名单包括与去重表中的手机号一致的相同手机号；S02，利用去重平台对所述测试名单进行解析，得到解析成功名单；S03，当所述测试任务的创建时间在去重时限内时，将所述解析成功名单根据所述去重表进行去重，得到发送名单；S04，根据所述发送名单中包括的所述相同手机号的数量，确定所述去重平台的去重准确率。本发明可以通过测试脚本，完成去重平台的去重准确率的自动测试。当测试名单中的手机号为大数据量的手机号时，还可以用自动完成去重平台的去重效率的确定。

摘要： 本发明公开了一种基于去重系统的分层编码方法、装置及去重系统，计算机存储领域，包括：预先将数据块的被引用次数划分为N个层级，并在内存中对应创建N个缓存区作为N个数据容器；编码时，当一个数据块经过去重之后，若是唯一块，则将其被引用次数记为1；否则，将其被引用次数加1；之后，将被引用次数记录到数据块的元数据中，并确定数据块所处的层级，将其存储到对应的数据容器中；当数据容器满时，按照其所处层级对应的编码方式进行编码，并将同一条带中的分块存储到不同的节点中；层级越高，对应的被引用次数范围越大，编码条带越短。本发明能够保证去重系统具有良好的存储效率，同时又保证在数据节点失效时，去重系统具有良好的修复速率。

摘要： 本发明公开了一种具有动平衡去重结构的轴对称转子及其动平衡去重方法，属于转子动力学及设备振动分析技术领域。本发明所提供的具有动平衡去重结构的轴对称转子包括转子本体和重量平衡组件。转子本体上设有去重孔，重量平衡组件包括多个不同重量的平衡件，平衡件与去重孔可拆卸连接。去重孔可以选取螺纹孔。动平衡去重方法由传统的在转子本体上加工去重孔改进到通过调整平衡件的重量来达到平衡要求，而转子本体不发生结构及重量变化，操作简便，去重过程对转子本体不产生影响；去重孔由平衡件覆盖，平衡去重后转子表面无需额外包覆其他结构，有效缩短动平衡试验所需的时间；去重孔均布于转子本体的侧端面，使转子外观美观。

摘要： 本发明公开一种用于云端密文存储的具有所有权管理的数据去重系统及其数据去重方法，包括安装、数据上传、文件级所有权管理、数据块级所有权管理、数据下载。本发明支持跨用户文件级数据去重以及单用户数据块级数据去重，并且具有安全性、高效性，可抵制针对跨用户文件级数据去重的污染攻击和数据伪造攻击。另外，本发明中的延迟更新策略在保证前向和后向保密性的同时，降低了跨用户文件级数据去重的数据更新频率，降低了系统的计算开销。本发明的用户辅助收敛加密方法能够实现单用户数据块级数据去重。

摘要： 本发明公开了一种面向去中心化云存储的客户端安全数据去重方法，首先对用户进行本地文件加密，然后去重服务器查询存储在区块链上的系统元数据，并返回不同的消息；根据返回的不同消息分别执行不同的步骤，完成“用户初次上传文件”、“用户生成文件元数据”、“去重服务器验证文件一致性并更新系统元数据”和“后续用户上传文件”；最后用户后续恢复文件。本发明能够实现近乎精确的客户端去重，且后续上传文件的而用户不需要传输文件从而可以节省用户带宽。

摘要： 本发明公开了一种基于区块链的密文去重和去中心化审计方法，分为去重和审计阶段，去重阶段利用收敛加密算法确保数据的机密性，基于RSA的哈希函数构造同态认证标签以用于完整性审计，利用T‑MHT结构存储认证标签降低存储成本并提高查询效率，基于T‑MHT的所有权证明抵抗所有权欺骗攻击，基于RSA算法实现文件下载、删除以及更新中的身份认证。审计阶段利用去中心化自治组织的概念阻止审计员和矿工的勾结并消除了容易出现单点故障的第三方审计员，利用公平仲裁惩罚恶意的云存储服务提供商并补偿数据完整性受损的用户。本发明提出的算法相对于同类的其他算法，在功能上具有一定的优势，降低了数据存储成本，提高了算法的效率和安全性，具有切实可行的实用价值。