分布式计算系统中的数据处理方法和装置

摘要

本公开是关于一种分布式计算系统中的数据处理方法和装置，包括：接收数据处理请求，所述数据处理请求用于请求对待处理任务进行处理，判断处理完成的任务中是否存在所述待处理任务的相似任务，如果所述处理完成的任务中存在所述待处理任务的相似任务，则从内存中读取待处理任务的相似任务的中间处理结果，所述内存中存储有所述处理完成的任务的中间处理结果，根据待处理任务的相似任务的中间处理结果对所述待处理任务进行处理。通过将处理完成的任务的中间结果存储到内存，后续计算节点可以从内存中读取待处理任务的相似任务的中间处理结果，而不需要从磁盘读取，由于从内存中读取数据速度快，从而提高了任务处理效率。