一种基于kafka的生产消费同一数据的有序处理方法及系统

摘要

本发明提供了一种基于kafka的生产消费同一数据的有序处理方法及系统，该方法包括kafka生产端有序推送的步骤和kafka消费端有序消费的步骤，其中，kafka生产端有序推送的步骤包括：S1、多个应用端按事务提交消息到Oracle数据库，OGG同步程序监控Oracle数据库的消息变化，将监控到的消息队列，按事务分配OGG同步程序上的不同进程处理；S2、重写OGG的处理逻辑，得到业务主键对应的partition分区数N；S3、重写发送的自定义分区，将同一业务主键计算的N值发送到对应的第N个partition分区中；S4、同一个OGG线程处理同一个事务，一个事务中的数据发送到固定的partition分区上；本发明的有益效果是：能够确保相同的业务主键有序推送，消费端有序消费，确保数据被顺序消费。