一种基于中间件的重复数据删除方法和相关装置

摘要

本申请涉及数据传输优化，公开了一种基于中间件的重复数据删除方法和相关装置，包括：通过所述中间件获取客户端发送的数据处理消息，其中，所述数据处理消息携带数据标识和第一数据；从数据库中获取与所述数据标识匹配的N个第二数据，以确定所述第一数据与所述N个第二数据中的每个第二数据的重复率，以得到N个重复率，其中，N为正整数；将所述N个重复率与预设重复率进行对比；若所述N个重复率中存在M个重复率超过所述预设重复率，则删除与所述M个重复率对应的M个第二数据，其中，0＜M≤N且M为整数。实施本发明实施例，无需高要求的传输带宽，不仅有利于减轻源端机器的运行负担，还提高了存储利用率。