一种数据冗余消除方法及装置

摘要

本发明提供了一种数据冗余消除方法及装置，用于避免DRE本身加剧资源紧张，提高数据字典利用率。本发明在计算和存储资源及传输链路带宽资源在预设阈值内时，基于待传输数据生成数据字典，并主动进行数据字典和非重复数据块的同步，在实际进行待传输数据的传输时，当判定据块索引存在于数据字典中，将该数据块替换为数据块索引发送给对端。本发明能够在避免原有数据冗余消除DRE及DRE的被动数据缓存所带来的弊端，将设备的闲时带宽也加以利用进行主动的数据缓存计算和数据字典的生成，从而减轻流量较大时，数据冗余消除功能本身占用数据缓存和占用网络带宽给设备及网络传输造成压力，同时还可提高数据字典的利用率。