一种数据预处理方法、系统、设备以及介质

摘要

本发明公开了一种数据预处理方法，包括以下步骤：响应于接收到一组待写入的数据，计算组内每一个位置的数据对应的哈希值以得到对应的一组哈希值；依次将组内每一个位置的哈希值分别与所有位置的哈希值进行对比以得到每一个位置的哈希值对应的一组对比结果；利用每一组对比结果构建初始分组矩阵，其中分组矩阵中的第i行或第j列为组内第i个哈希值或第j个哈希值对应的对比结果；过滤所述初始分组矩阵中重复的行或列以得到最终分组矩阵；利用所述最终分组矩阵对所述一组待写入的数据进行分组以得到多个哈希分组，并对每一个哈希分组中的数据进行迁移。本发明还公开了一种系统、计算机设备以及可读存储介质。