一种增量式的数据集加速生成方法及系统

摘要

本发明公开了一种增量式的数据集加速生成方法，包括步骤：加载类别标签文件和进度记录文件；检查类别标签文件是否有变更；当检查到类别标签文件没有变更时，读取所有进度记录文件，获取每个中间数据集中所有中间数据对应的原始文件信息；乱序生成当前所有原始文件的任务列表；比对相应的中间数据集中所有的中间数据对应的原始文件是否均存在于任务列表中；根据比对的结果对任务列表进行操作，获取最终的任务列表，并根据任务列表中的任务调用线程池中的线程生成对应的中间数据。本发明实现了中间数据集的增量式生成，对于原始文件的增加、修改或删除时，针对现有的已生成的中间数据集，无需全部删除再重新生成，减小了工作量，加快了处理速度。