一种基于时间戳和日志的增量数据捕获和抽取方法

摘要

本发明公开了一种基于时间戳和日志的增量数据捕获和抽取方法，包括如下步骤：步骤一、为业务系统中的每个需要增量抽取数据的表增加一个自增长的代理键字段和一个时间戳字段；步骤二、新增或修改数据表中的数据时，采用时间戳的方式；步骤三、删除数据表中的数据时，采用日志记录的方式。使用本发明所述方法业务数据库和数据仓库可以是异构的，业务数据库和数据仓库允许只在抽取时处于连通状态，不必时时刻刻处于连通状态，每次只抽取上次抽取后未抽取的新增或修改的数据，只处理上次处理后未处理的删除的数据，业务数据量较小，因此，本发明可以显著提升数据的抽取效率，减轻抽取时对业务数据库的压力，降低抽取的技术复杂度。