基于重复数据删除的雾存储数据去冗余方法

摘要

本发明涉及一种基于重复数据删除的雾存储数据去冗余方法，针对雾节点中访问频率较高的数据，在内存中构建索引表，每个索引值对应的红黑树作为存储数据指纹的结构，减少磁盘与内存间的I/O，提高查询速度；利用循环冗余码(CRC)技术判断具有相同数据指纹的数据块是否重复，并将冲突数据块用链表结构存储在指纹节点中，解决计算数据指纹时产生的hash冲突问题；在内存中持久化保存指纹表，分为内存某一时刻的映射文件和记录更新的日志文件，防止系统的突然崩溃；提出符合雾节点实际情况的数据去冗余方案，在对通讯效率要求较高的网络中，减少磁盘I/O，提高指纹查询速度。