大数据增量迭代方法、装置、计算机设备和存储介质

摘要

本申请涉及一种大数据增量迭代方法、装置、计算机设备和存储介质。一个实施例中的方法包括：接收由图形处理器执行的有向无环图任务，获取与有向无环图任务对应的数据集，将数据集存储至图形处理器内存中的缓存；响应所述有向无环图任务，对数据集进行迭代计算，得到迭代计算后的数据集，并以迭代计算后的数据集对所述缓存中存储的数据集进行更新；当数据集发生增量变化时，基于缓存中存储的迭代计算后的数据集进行增量迭代计算，得到增量迭代后的数据集，以增量迭代后的数据集对所述缓存中的数据集进行更新。可以隐藏低带宽的输入/输出延迟，减少重复计算，从而减少计算总时间，提高大数据处理效率。