一种服务器集群及其深度学习的集合通信系统和方法

摘要

本申请公开了一种深度学习的集合通信方法，应用于环形通信连接的N个FPGA中的任一FPGA中，N为不小于2的正整数，包括：从与自身连接的各个GPU中读取待处理数据块，并对各个待处理数据块进行归约操作，得到归约操作结果；基于自身得到的归约操作结果以及其他各个FPGA得到的归约操作结果，按照环形全局归约算法，得到全局归约结果；将全局归约结果分发至与自身连接的各个GPU中。应用本申请的方案，可以有效地对深度学习的集合通信进行加速。本申请还提供了一种服务器及其深度学习的集合通信系统，具有相应技术效果。