一种使用KETTLE从关系型数据库向非关系型数据库定时增量更新数据的方法

摘要

本发明提供一种使用KETTLE从关系型数据库向非关系型数据库定时增量更新数据的方法，首先创建kettle job；lastKey；lastKey用来记录当前Hbase中数据的最大标识，可以存在关系型数据库、Hbase或者文件中；获取currentMaxKey；抽取数据；创建一个transition，用于数据抽取；更新lastKey；使用定时器；定时器可以使用kettle的job自带的定时器。本发明和现有技术相比，使用kettle的组件实现从关系型数据库向非关系型数据库定时增量更新数据，解决了不同数据源的数据同步到云平台的问题，具有很好的推广使用价值。