Coflow协同作业流调度感知的数据流划分方法与装置

摘要

本申请涉及一种Coflow协同作业流调度感知的数据流划分方法、装置、计算机设备和存储介质，其中，方法包括：获取待划分的DDSP应用程序数据流，提取DDSP应用程序的复杂计算任务流，根据预设Coflow协同作业流调度模型，将DDSP应用程序中复杂计算任务流划分为多个子任务流，再进一步分析各子任务流的数据访问需求和数据依赖性，对所述DDSP应用程序数据流进行多维度数据分割，尽可能减少不同任务之间对数据块的交叉访问，减少数据块之间的依赖性，最后根据各计算节点中子任务流的数据访问需求，以计算节点之间数据通信最小化和计算节点工作负载均衡化为优化目标，将分割后的数据块分配到最合适的计算节点，有效减少分布式计算节点之间的通信开销，提高数据块利用率和访问速度，适用于分布式数据流处理。