一种并行消息处理方法、系统及相关装置

摘要

本申请提供一种并行消息处理方法，包括：当第一运算器完成参数单元的计算时，发出归约操作请求至主控器，以便主控器将归约操作请求对应的参数单元全局广播至所有运算器，同时各运算器缓存参数单元；当第二运算器完成参数单元的计算得到归约数据后，第二运算器将归约数据与第二运算器缓存中的参数单元比对，生成第二运算器对应的位矢量信息；每当生成新的位矢量信息时，将各运算器对应的位矢量信息进行位与操作；根据位与操作结果执行归约操作。本申请避免了运算器频繁与主控器通信交互的弊端，主控器上的通讯压力明显减少，充分利用了带宽。本申请还提供一种并行消息处理方法、系统、计算机可读存储介质和深度学习设备，具有上述有益效果。