大规模数据信息排重处理系统

摘要

本发明涉及的是一种信息处理技术领域的大规模数据信息排重处理系统，包括输入模块、数字编码模块、多点检验模块、输出模块，输入模块接收需要进行排重的原始数据，即数据实例；数字编码模块将输入模块获得的数据实例进行重新编码，将数据空间压缩到与待解问题实际数据实例的规模相当或稍大的空间；多点检验模块对新编码进行多次采样，并与高速存储的地址建立映射关系，通过控制高速存储相应地址的标志位来记录是否已经出现过某一个数据实例，从而实现排重功能；输出模块将经过排重的数据返回给用户。本发明具有高效性及可处理数据量大等特点。