一种基于NiFi更新Delta Lake的方法

摘要

本发明特别涉及一种基于NiFi更新Delta Lake的方法。该基于NiFi更新Delta Lake的方法，为保证增量数据的顺序性，以kafka为消息中间件进行存储读取；NiFi处理器启动sparkStreaming程序读取kafka主题数据，并对Delta Lake存储层的数据进行更新；Hive组件通过metastore对Delta Lake存储层创建的表进行关联，从而间接实现对Hive表的更新，即可通过SparkSql进行查询计算。该基于NiFi更新Delta Lake的方法，配置简单，将提交sparkstreaming程序与启动kafka生产者客户端合并为一个处理器，大大减少了使用者的配置复杂度，同时解决了Hive表中更新数据复杂且效率低的问题，能够满足大部分业务的增量需求，运行稳定，开发成本低，具有广泛的应用场景。