一种基于分布式离线数据库的数据增量处理方法及系统

摘要

本发明旨在提供种基于分布式离线数据库的数据增量处理方法及系统，以解决现有技术方案中因主键值变更，大数据平台在进行数据增量合并后数据出现重复的问题。包括如下步骤：获取增量数据的关键信息并写入增量变化表；获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录；根据增量变化表进行数据增量合并。有益技术效果：防止数据因为主键变更而出现重复。