一种基于Kettle的无损增量数据同步方法研究

摘要

在学校各系统运行管理过程中,产生了大量宝贵的数据资源,这些数据对学校重要决策制定及传统教育模式改革有着极其重要的作用。因此,如何将不同维度的数据采集到统一的数据中心便成为大数据研究的重点之一。在数据采集过程中,很多学校没有保存重要的历史数据以及已删除记录的状态标记,将对数据分析中诸如时间切片分析、历史状态分析等产生致命影响。以学校人事系统为例,提出一种基于Kettle的无损增量数据同步方法。该方法利用全量数据比对方式,找出新增、修改和删除的数据,并对其进行详细记录,从而实现了对历史数据的完整保留,弥补了如时间切片分析等数据分析策略中数据不足的缺陷。