一种全天候批处理技术方法

摘要

本发明涉及数据库操作技术领域，具体的提供了一种全天候批处理技术方法。目的在于解决当关联表数据量达到千万级甚至亿级、十亿级时，该批量运行节点会变的很缓慢，拉长整个批处理时间，同时行内的数据量会随着业务量的增加会继续加重晚间批量的运行时间的问题。主要方案包括，通过将晚间批处理需要的数据提前预处理好，存入中间表T1，同时如存在中间表T1对应的数据发明变化，则通过中间表T2进行更新，最终跑批时，通过直接关联中间表T1中的数据即可。