大型数据场景中定时任务系统研究

摘要

大型数据运用场景中存在数据进行关联或更新操作的需求,在实际应用中通过单独部署定时任务系统周期性去统计或更新数据。由于庞大而复杂的数据,定时任务系统中的任务运行起来耗时很长而且会过多地消耗系统的资源,对系统的性能造成很大的影响。另外,复杂的定时任务系统中出现问题很难去排查并进行分析。基于以上问题,论文通过合理的利用多线程技术、采用增量更新数据、合理设置不同子定时任务的运行时间和周期来提高系统处理速度,并且采用扩展ThreadPoolExecutor统计线程运行情况、给每个线程设置有意义的名称以方便系统中的问题排查分析。