超大数据集的合并方法及装置

摘要

本发明提供了一种超大数据集的合并方法及装置，涉及数据处理技术领域，用于解决现有技术中超大数据集的合并效率偏低的问题。本发明提供的方法及装置基于分布式计算实现，包括：将第一数据集的第一关联主键转换为预设字段类型的数据后根据第一关联主键对第一数据集进行分片，获取预设数量的第一数据分片并将其缓存至预设缓存系统；将第二数据集的第二关联主键转换为预设字段类型的数据后根据第二关联主键对第二数据集进行分片，获取预设数量的第二数据分片；从预设缓存系统中读取第一数据分片，对第一数据分片和第二数据分片进行匹配，并将匹配后的第一数据分片和第二数据分片进行合并。本发明能够用于对超大数据集进行合并。