自洽多阶张量扩展方法及多MPU并行计算系统

摘要

本发明涉及一种并行计算系统自洽多阶张量超高扩展方法，将多个基于MPU拓扑架构、集成有外联扩展网络接口的超节点互连成为一个整合的、更大规模的并行计算系统。外联扩展网络接口可以通过打开MPU超节点原有的内联网络的环绕连接来实现，也可以另外增设Axon节点，Axon节点与内联网络中的节点子集进行互连。多阶张量超高扩展方法包括零阶张量扩展、一阶张量扩展和高阶张量扩展。本发明可用于诸如全局求和与全局取大值等全局操作，远端通信，以提高长程通信效率，有效地减少网络半径。同时能够更有效地在扩充系统时，减缓网络半径的增加，降低长程通信的延迟，从而保证了更大规模系统的更高扩展性与可用性。