大数据高效异同步解密处理方法、模块及系统

摘要

本发明公开了一种大数据高效异同步解密处理方法、模块及系统，包括：将数据同步推送至Kafka集群；使用Kafka消费端对相应Topic进行ETL处理；若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表；设定定时任务，每时间间隔读取临时库中存放的待解密数据，解密完成后保存至分布式数据库中数仓指定表；异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。此种大数据高效异同步解密处理方法、模块及系统根据业务特点同时兼容同步与异步解密方式，满足大吞吐量性能要求；解决性能瓶颈，增加容错机制，能满足大批量事务解密需求。