面向MapReduce的数据传输方法、装置、设备及存储介质

摘要

本发明公开了一种面向MapReduce的数据传输方法、装置、设备及存储介质，解决了MapReduce存算分离架构下基于以太网和TCP/IP协议数据传输效率低下的技术问题。本申请中，包括：根据接收拉取数据请求中的第一元信息，进而在本节点上预设的RDMA通信内存中分片的第一内存缓冲区中查找对应的数据分片，并将查询到的数据分片和对应的存储位置生成第二元信息反馈给Reduce节点上的Reduce进程，以使Reduce进程根据所述第二元信息在Reduce节点上的预设的RDMA通信内存中分配第二内存缓冲区，并根据所述第二元信息将数据分片从所述第一内存缓冲区中拉取到所述第二内存缓冲区中。