一种数据去重系统中的冷热索引识别与分类管理方法

摘要

本发明公开了一种数据去重系统中的冷热索引识别与分类管理方法，针对数据存储领域中重复数据删除技术存在的最大瓶颈‑‑‑当备份的数据量达到PB、EB级别或以上时，内存不足以存放所有数据块的索引，从而导致了索引查找密集型的数据去重系统频繁地访问磁盘上的索引，严重地降低了数据去重系统的性能，该方法首次提出识别并分离热索引和冷索引，热索引即频繁被访问的索引，而冷索引即极少被访问的索引，通过将冷索引从内存或全局索引中剔除，达到了提高内存利用率、提高数据备份和数据恢复性能的目的，最终提高了数据去重系统的整体性能。本发明可以应用到各种备份数据流间具有较强局部性的数据去重系统中。