面向大规模AI数据流处理的集群汇集通信系统

摘要

本发明涉及一种面向大规模AI数据流处理的集群汇集通信系统，运用统一的流配置和路由机制，屏蔽了应用程序对内网节点、汇集节点、GPU计算节点、外部传感节点的物理地址信息，只需按照功能类别和流的名字编写通信应用，大大地降低了应用的复杂度；基于组确认通信机制，大大减少了通信确认而造成的额外开销，实现了大规模并发数据流的可靠通信，克服了基于连接的可靠通信机制耗费通信资源的弱点，大大提高了并行通信的效率；采用动态配置机制，可灵活分配传感节点、汇集节点、GPU计算节点的网络关系和网络拓扑结构，适应性强；汇集并发AI数据流提交GPU计算，充分发挥了GPU计算的SPMD优势；汇集并发数据流，充分利用DMA通信机制，大大提高了通信效率。