一种基于Kettle的增量同步数据的方法及终端

摘要

本发明公开了一种基于Kettle的增量同步数据的方法及终端，所述方法包括：在一个数据库表内获取需要进行增量同步的数据库表信息，并记录到Kettle的内存中；若所述数据库表信息存在增量字段，则将增量字段记录到内存中，若所述数据库表信息不存在增量字段，则通过ID记录表完成增量记录；对于有增量字段的表，则直接将数据生成执行的SQL进行保存，对于没有增量字段的表，则按照记录的信息从数据库按ID进行查找，并组成插入SQL；将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存；将缓存中的信息记录到专用的日志库，并且更新统计信息表。本发明通过体系化进行增量同步，以适配所有增量同步的情况，使得增量同步更加体系化和智能化。