数据中心系统及方法、Map节点、Reduce节点、设备、芯片

摘要

本申请提供一种基于Map‑Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片，应用于数据处理技术、无线通信技术的领域。其中，数据中心系统包括：多个Map节点和一个Reduce节点，多个Map节点与Reduce节点之间无线连接；每一个Map节点与Reduce节点之间距离相等部署，在网络结构上可以实现多个Map节点同时向Reduce节点进行无线数据传输。通过在Map节点将Key映射到正交序列上作为无线信号发送，在Reduce节点通过正交相关解调就能够统计出Value值，实现了传算一体的数据处理架构和数据中心系统架构，提高数据传输的效率。

说明书

技术领域

本申请涉及数据处理技术、无线通信技术的技术领域，具体涉及一种基于Map-Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片。

背景技术

用于进行大数据计算处理的数据中心系统中，其核心组成部分通常包括用于进行大数据分布式统计计算的映射-归约（Map-Reduce）计算模型，其中Map-Reduce是一种基于索引关键词-数值（Key-Value）结构（即键值对）的分布式计算模型，模型中的映射节点（MapNode）和归约节点（Reduce Node）之间是基于通信网络（如有线通信网络、无线通信网络等）连接在一起，并基于该通信网络进行数据传输。

传统数据中心系统的整体性能，容易受到通信网络在实际场景中的应用部署限制，比如采用有线通信网络时，需要考虑有线网络拓扑、有线网卡部署成本、传输冲突检测机制对传输效率限制等实际应用限制，又比如采用无线通信网络时，需要面对无线传输机制的设置、传输效率提升等应用限制，整体灵活性、场景适应性不高；而且，因传输和计算是属于两个独立且分离环节，即在OSI（Open System Interconnection）模型中的物理层进行大数据的数据通信传输，以及在应用层上进行大数据的Map-Reduce计算，大数据计算处理的整体性能有待提高。

发明内容

有鉴于此，本说明书实施例提供一种基于Map-Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片，以基于Map-Reduce架构，在数据中心系统中实现传输和计算一体（即传算一体）的Map-Reduce整体数据处理架构，不仅能够节约资源开销，而且能够提升处理效率，以及能够为大数据计算处理的数据中心系统提供一种全新计算处理架构。

本说明书实施例提供以下技术方案：

本说明书实施例提供一种基于Map-Reduce的传算一体数据中心系统，包括：多个Map节点和一个Reduce节点，多个所述Map节点与所述Reduce节点之间无线通信连接；每一个所述Map节点与所述Reduce节点之间的距离均相等；

所述Map节点包括映射装置和无线发送装置，其中所述映射装置用于对输入的待处理数据进行映射处理，所述映射处理包括将所述待处理数据中各个数据对应的Key值分别与签名用的正交序列对应映射；所述无线发送装置用于在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送；

所述Reduce节点包括无线接收装置、相关器单元和键值对统计单元，其中所述无线接收装置用于对所述多个Map节点在所述时间同步下发送的无线信号进行无线接收；所述相关器单元用于对所述无线信号进行正交序列相关解调，以在解调后获得该正交序列对应的Value计数结果；所述键值对统计单元用于根据所述相关器单元输出的Value计数结果，统计出输入到所述多个Map节点的所述待处理数据对应的Key-Value键值对结果。

与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

本发明中多个Map节点和Reduce节点之间无线连接，并且多个Map节点和Reduce节点之间形成无线通信拓扑结构，在网络结构上可以实现多个Map节点同时向Reduce节点进行无线数据传输，提高数据传输的效率，并且不需要通过有线网络封包的形式实现，降低网络封包的相关开销；

另外，本发明中Map节点和Reduce节点通过正交序列进行数据传输和数据处理，将Map-Reduce中的Key和正交序列进行关联，从而在空口实现数据传输和计算，得到Key对应的Value，提升Map-Reduce的计算效率，实现了传算一体的数据中心系统和数据处理架构。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是一种传统有线网络构成的数据中心系统的结构示意图；

图2是Map节点与Reduce节点之间基于交换机实现多点接入有线通信网络的结构示意图；

图3是Map节点与Reduce节点之间点对点有线通信网络的结构示意图；

图4是一种传统无线网络构成的数据中心系统的结构示意图；

图5是一种传统数据中心系统进行Map-Reduce计算处理的结构示意图；

图6是输入文本被Map-Reduce计算处理的结构示意图；

图7是本申请中一种基于Map-Reduce的传算一体数据中心系统的结构示意图；

图8是本申请中实现传算一体的空口架构的结构示意图；

图9是本申请中Map节点进行映射和形成数据包的结构示意图；

图10是本申请中多个Map节点在时间同步下一起向Reduce节点发送混合无线信号的结构示意图；

图11是本申请中一种混合无线信号被相关处理的结构示意图；

图12是本申请中另一种混合无线信号被相关处理的结构示意图；

图13是本申请中Reduce节点通过相关解调得到Value值的结果示意图；

图14是本申请中一种包含4个Map节点和一个Reduce节点的数据中心系统的结构示意图；

图15是本申请中一种Map节点的结构示意图；

图16是本申请中一种Reduce节点的示意图；

图17是本申请中一种Map节点进行映射和无线发送的硬件结构示意图；

图18是本申请中一种Reduce节点进行无线接收和相关解调的硬件结构示意图；

图19是本申请中一种具有无线通信网络和有线通信网络的传算一体数据中心系统的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。

一方面，现有的数据中心系统，无论是基于有线网络架构的有线通信实现大数据映射-归约（Map-Reduce）计算，还是基于无线网络架构的无线通信实现大数据映射-归约（Map-Reduce）计算，都存在各自的应用限制。

如图1所示，基于大数据映射-归约（Map-Reduce）计算模型的一种基于有线网络架构的数据中心系统，映射节点（Map节点）、归约节点（Reduce节点）是基于有线连接（wiredlink）的通信网络进行数据传输。

在传统的有线网络中，基于Map-Reduce计算模型特性，多个Map节点与一个Reduce节点之间进行有线数据通信的连接拓扑，可以有两种连接方式：

如图2示意，第一种是基于交换机（Switch）实现多点接入（Multi-access）有线通信拓扑，即所有的节点（Map节点或者Reduce节点）都通过交换机来进行中转，例如多个Map节点（如M1至M8）均通过交换机与Reduce节点进行有线通信连接。

Multi-access的缺点：所有节点的中转都需要通过交换机，若假设Reduce节点（下面可以简称R）上仅有一张有线网卡，则同一个时刻只能收到一个Map节点（下面可以简称M）对其传输的数据。因此，若M1~M8同时向R传输数据的话，即多对一（many-to-one）的传输场景，则由于R只有一张网卡同一时刻只能接收一个数据，因而M1~M8同时向R传输数据必然发生数据传输冲突。另外，即使可以设置为无冲突的数据传输，如M1~M8通过不同时刻进行多轮传输（如至少需要8次）。

换言之，虽然可以进行无冲突的数据传输，但该架构是基于CSMA/CD （CarrierSense Multiple Access with Collision Detection，带有碰撞检测的载波监听多点接入），所以当系统中有k个M节点时，则至少需要k个时隙（SLOT）才能完成数据传输。

如图3示意，第二种是Map节点与Reduce节点直接通过有线连接实现点对点（point-to-point）有线通信拓扑，即所有Map节点（如M1至M8）直接有线连接到Reduce节点上。

Point-to-point的缺点：所有M节点直接连接到R节点上，这意味着R上需要有多个网卡（如图3中则有8个网卡），所以同一个时刻能够收到所有节点对其传输的数据，即若M1~M8同时向R传输数据的话（即many-to-one的场景），不会冲突（由于有多个网卡），所以只需要进行一轮传输即可。

换言之，在点对线有线通信拓扑中，虽然k个M节点与R节点之间的数据传输只需要1个时隙（SLOT）就能够完成数据传输，但是需要在R节点中设置至少k个网卡，硬件成本非常昂贵，而且R节点设置多个网卡，不仅R节点的硬件架构复杂，R节点的软件架构也复杂。

如图4所示，基于大数据映射-归约（Map-Reduce）计算模型的一种基于无线网络架构的数据中心系统，即在图3示意的点对点拓扑基础上，映射节点（Map节点）、归约节点（Reduce节点）是基于无线连接（wireless link）的通信网络进行数据传输，其中多个M节点分别作为站点（Station），R节点作为AP（Access Point，接入点），从而可以将Map节点的映射工作部署于对应的站点上，以及将Reduce节点的工作部署在上接入点上，这样通过无线网络使得所有M节点可以直接连接到R节点上，而不需要额外的网卡（比如前述图3示意的多个有线网卡）。

无线网络连接的缺点：由于无线网络的连接是基于CSMA/CA（Carrier SenseMultiple Access with Collision Avoid，即带有冲突避免的载波侦听多路访问），即AP在一个时刻只能够接受一个站点的数据，所以利用无线网络也需要至少传输N轮（如图4中N=8时，则至少8轮传输，如果还需要包含其他传输环节，比如确认（ACK）等，则至少需要16轮传输）。

二方面，如前述的现有数据中心系统，无论是基于有线网络架构的有线通信实现大数据映射-归约（Map-Reduce）计算，还是基于无线网络架构的无线通信实现大数据映射-归约（Map-Reduce）计算，大数据处理中的数据传输和数据计算均是各自独立且属于不同的分离环节，基于Map-Reduce进行大数据计算处理的整体性能有待提高。

如图5示意，在计算机网络七层OSI模型中，数据中心系统中的Map节点和Reduce节点之间的传输环节只进行数据传输，比如通过物理层进行数据传输，而Map-Reduce计算环节（即映射-归约环节）只进行数据的映射（Map）-归约（Reduce）计算，比如在应用层上进行数据映射（Map）、在应用层上进行数据归约（Reduce）等，其他层（如表示层、会话层、传输层、网络层数据链路层等）完成数据的整封包、解包，为应用层和物理层之间进行数据适配。

具体地，数据中心系统进行Map-Reduce计算处理流程大致如下：

首先，映射节点在应用层上对输入的数据（如文档数据）进行拆分，如逐行拆分成一个单独的单词，每一个单词作为Value值，并各自对应一个Key值，从而可以将Key作为索引形成键值对（Key-Value）的映射处理结果；然后，映射节点将这些键值对形成传输网络所需的网络封包形式，由映射节点中位于物理层的发送单元（如有线网卡、无线网卡、天线等）向归约节点中位于物理层的接收单元（如有线网卡、无线网卡、天线等）进行数据传输；最后，归约节点接收封包数据后，在归约节点中的应用层进行key-value统计计算的归约处理，即归约节点所在的服务器去归纳每一个Key对应的Value数，并将所有的Value进行整合，最终获得一个公共的统计数据。

因此，因传输和计算是分离的两个独立环节，所以传统数据中心系统中进行大数据处理的Map-Reduce整体性能不高，比如传输效率低，比如需要大量网络封包数据对应的资源开销（如封包处理的计算资源，传输资源、存储资源等等）。

如图6示意，假设有一个待处理的输入（Input）文档输入到数据中心中，输入文档包括：“Deer Bear River Car Car River Deer Car Bear”。

首先，通过Map节点的映射任务（Mapping Tasks）将输入文档进行逐行拆分，得到三行，分别为：“Deer Bear River”、“Car Car River”和“Deer Car Bear”，逐行拆分后将每行文字进行分解，分解成每一个独立的单词，这里每一个单词就是对应到一个Key。

接着，以Key作为索引，将不同的Key发送到不同的Reduce服务器上进行归纳整理，对于每行文字对应的Key，分别为：第一行：Deer，1；Bear，1；River，1；第二行：Car，1；Car，1；River，1；第三行：Deer，1；Car，1；Bear，1。

然后，Reduce节点（如服务器）中的归约任务（Reducing Tasks）去归纳每一个Key对应的Value数，将第一行、第二行和第三行中出现的Key的次数进行归纳。具体地，对“Bear，（1,1）”进行归约，得到Bear出现了两个1次；对“Car，（1,1,1）”进行归约，等到Car出现了三个1次；对“Deer，（1,1）”进行归约，得到Deer出现了3个1次；对“River，（1,1）”归约，得到River出现了两个1次；

最终，将所有的Value进行整合，得到“Bear，2”、“Car，3”、“Deer，2”和“River，2”，因而根据归约结果可以获得一个公共的统计数据，即输出（Output）。

在上述过程中，每一个键值对（key，value）的数据传输，均是通过网络封包的形式由物理层之间的数据通信完成传输，并且数据的映射（Map）是在Map节点的应用层开展，并有其他层完成物理层传输所需的数据封包，以及在Reduce节点的物理层完成封包收据接收后，Reduce节点的其他层完成解包后向应用层提供归约（Reduce）的统计计算所需的数据，最后由Reduce节点在应用层完成归约统计计算。其中，封包、解包的思路是将key、value封装到数据（data）中。

因此，不仅传输和计算是分离的两个独立环节，而且还会存在大量的网络封包、解包等相关资源开销（如计算资源、存储资源、传输资源等等），数据中心系统进行大数据Map-Reduce的整体性能不高。

基于此，本说明书实施例提出了一种基于Map-Reduce的传算一体数据处理方案：

如图7示意，本发明直接在Map节点中将key和value映射到无线信号（即正交序列信号），其中该正交序列可以用于对该key进行签名（signature），从而可以利用无线传输的特性--信号叠加原理，相同正交序列的无线信号能够叠加，进而可以在Reduce节点中通过解调该叠加后的无线信号完成对应Key的Reduce计算处理，实现传算一体的数据处理流程。

在图7中，Map节点的上层（如OSI模型中的七层，即可以包括物理层在内的所有层统称为上层）将输入的待处理数据完成映射，其中映射是将键值对中的Key映射到对应编码本（codebook）中的签名（signature），其中每个signature都是正交序列。

因此，本发明核心思想在于：将Map-Reduce中的key对应到一个正交序列，基于正交序列特性，可以通过对应的正交序列发送和接收电路结构，实现key-value的传算一体的Map-Reduce计算架构，因而发送和接收的一个基本元素不再是Data，取而代之的是一个正交序列（即Orthogonal Sequence），该正交序列本身就具备正交性，正交序列的长度决定了在该空间内序列的数目，如果序列的长度越长，那么该空间内正交序列的个数越多。

在本发明中，节点在时间同步的情况下，可以同时进行正交序列的发送。不同节点发送的正交序列可以不同，仅仅需要时间同步即可。接收节点可以并行对这些正交序列进行接收检测，并最终将序列检测结果进行阈值判定映射到不同的 value值上，并最终完成了Map-reduce所需要的key-value值计算。

如图8示意，一种无线网络拓扑（Topology）的数据中心系统，并作如下假设：

整体架构中，有一个接入点AP（即图中的R，代表Reduce节点），N个节点（即图中的M，代表Map节点，即该图中N=8），M与R之间工作在Air Merge（空中合并）模式下，并假设所有的M节点的信号到R节点保持相同幅度的衰减（即距离相等，同时假设无多径），信道中仅有高斯白噪声；

M节点侧：每一个M节点工作在CSMA/CN（Carrier Sense Multiple Access withCollision Notification，带有冲突通知的载波侦听多路访问）模式下，并继承CN（Collision Notification，冲突通知）的所有设计，所有的M节点共同负责处理Map对应的工作；

R节点侧：假设R工作于传统的接入点AP设计相同，即使用一根天线即可，以及AP负责处理Reduce的工作；

比如对如下的文本进行处理：“all the people, all the bird, and all thexxx”。

因此，对该数据中心系统的Map-Reduce作如下示意说明：

如图9示意，由M1节点捡到第一个字符“all”，M1节点可以进行映射后形成一个数据包，其中包含了“all”字符，以及其对应的signature（签名），其中signature为从codebook中随机选择的一个，同时假设codebook中所有的signature都是正交的；

相应地，其他Mi也相应地完成映射和数据包准备（由于系统中时多个节点同时解析上面示例的文本，所以如果某个节点拿到了一个新的字符，则同样完成映射和数据包准备）；

如图10和图11示意，在相同的时间同步下，所有M节点都向R节点发送该时候处理的signature，即在Map工作的时候，识别一个字符，发送一个其所对应的signature；R端接收到这个混合信号后，分别于K个相关器做相关（其中K等于关联了的signature+1的数量，未关联的不用相关，加的1是CN），从而得到各个value值，如对信号sign_1作相关处理得到Val_1；

具体地，如果有两个节点发送相同的signature到R，由于电磁波的叠加原理，则该信号变成了2倍，通过相关器的结果也增加同样的倍数（如图12示意）。假设单个signature的相关值即为1（由topology的假设，所以可以固定器相关值）。因此，可以在Reduce节点构建一张表格（如图13示意的表格），其中统计代表其本地对应统计的数量，相关值代表该slot所获得的相关值，统计=统计+相关值。即每一个Map的数据叠加，是通过电磁波在空口叠加的，因而传输和计算同步完成。

综上，基于Air Merge，N个节点需要1个SLOT即可完成传输，同时还完成的叠加的操作。同时基于相关的特性，在良好信道的情况下，该方法更具有鲁棒性。因此，可以通过多个Map节点和一个Reduce节点之间的无线通信连接，并将多个Map节点与Reduce节点为等距离部署，例如M部署在R为中心的圆形拓扑上，能够实现多个Map节点可以同时向Reduce节点传输数据，并且利用无线电的信号叠加和抵消特性，将正交序列与Key相关联后，只需将信号处理的数值和Map-Reduce的value进行关联，就能够在传输数据时完成Map-Reduce的计算，实现了Map-Reduce的传算一体数据处理。

以下结合附图，说明本申请各实施例提供的技术方案。

如图14所示，本说明书实施例提供一种基于Map-Reduce的传算一体数据中心系统，包括：多个Map节点和一个Reduce节点，其中，多个Map节点与Reduce节点之间无线连接，每一个Map节点与Reduce节点之间的距离均相等。

在本申请实施例中对于Map节点的个数不做限制，可以根据实际需要进行设置，示例性，可以为5个、6个等。

图14是本申请实施例中提供的一种包含4个Map节点的结构示意图，如图14所示，M表示Map节点（Map Node）、R表示Reduce节点（Reduce Node），Map节点包括：M1、M2、M3和M4，其中，M1、M2、M3和M4与R之间无线连接（Wireless Link）。

实施中，每个Map节点可以包括映射装置和无线发送装置，其中所述映射装置用于对输入的待处理数据进行映射处理，所述映射处理包括将所述待处理数据中各个数据对应的Key值分别与签名用的正交序列对应映射；所述无线发送装置用于在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送。

实施中，Reduce节点包括无线接收装置、相关器单元和键值对统计单元，其中所述无线接收装置用于对所述多个Map节点在所述时间同步下发送的无线信号进行无线接收；所述相关器单元用于对所述无线信号进行正交序列相关解调，以在解调后获得该正交序列对应的Value计数结果；所述键值对统计单元用于根据所述相关器单元输出的Value计数结果，统计出输入到所述多个Map节点的所述待处理数据对应的Key-Value键值对结果

换言之，映射装置将数据对应的key与用于签名的的正交序列进行映射，由于正交序列可以作为无线信号的基带信号，因而当正交序列形成无线信号进行无线传输时，基于无线信号的电磁波是可以在空间进行叠加，从而该叠加信号在解调后，能够用于反映Key的Value计数叠加。因此，在Map节点中，不再是数据与数据之间的映射，而是数据与无线信号之间的映射。而且，在Reduce节点中，不再是基于数据的封包和解包再进行Key-Value统计计算，而是基于包含有正交序列的无线信号的正交相关解调就能完成Value统计。

在一些实施方式中，在网络架构上，总共包含5个节点，并且节点都具备一条有线网络。任意一个节点（比如M1，M2，M3，M4）和中心节点R的距离必须相等。通常情况下，所有节点需要在物理上围绕中心节点R构造一个等间隔的圆形拓扑。

在一些实施方式中，在本说明书实施例中Map节点和Reduce节点之间通过无线模块进行无线通信。其中，可以在Map节点和Reduce节点中分别配置无线模块，图15是本申请实施例提供的一种Map节点，图16是一种Reduce节点中无线模块的示意图，图15中Map节点包括无线发送装置（wireless Transmitter）和映射装置，图16中Reduce节点包括无线接收装置（Wireless Correlator），无线发送装置与发送天线连接，进行数据发送，无线接收装置与接收天线连接，接收Map节点的无线发送装置发送的无线信号数据，发送天线和接收天线工作在同一信道上。

Map节点包含一个无线发送装置，Reduce节点包含一个无线接收装置。本发明考虑到无线数据中心中Key和Value的特点，代替了将Key和Value封装到数据（data）的方法，直接将key和value映射到无线信号，并利用无线传输的特性优化相关处理流程。

具体地，无线发送装置具备单独的一根天线，即发送天线，去专门用来处理数据发送。无线接收模块也具备单独的一根天线，其用来专门处理数据接收。发送天线和接收天线工作在同一个信道上。

进一步地，本申请利用正交序列的正交特性，将正交序列和Map-reduce中的Key索引进行关联，利用无线电的信号叠加和抵消特性，将信号处理的数值和Map-reduce的Value进行关联，从而在空口实现无线“传算”一体，即在传输的同时完成Map-reduce计算的操作，提升Map-Reduce的效率。

具体地，Map节点通过与第一无线发送模块连接的发送天线发送正交序列，每一个正交序列与一个索引关键词（Key）对应，Map节点发送的数据(data)由多个索引关键词组成，Reduce节点通过与第一无线相关模块连接的接收天线，接收多个Map节点发送的正交序列，对正交序列进行处理。

其中，正交序列的长度根据正交序列的数量确定。

本申请基于正交序列的数学特性，设计了一种发送和接收正交序列的电路结构。在本申请中，发送和接收的一个基本元素不是data，取而代之的是一个正交序列（Orthogonal Sequence），该正交序列本身就具备正交性。这里将Map-Reduce中的Key其实就对应到一个正交序列，正交序列的长度决定了在空间内正交序列的数目，如果正交序列的长度越长，那么空间内正交序列的个数越多。在本发明中，Map节点在时间同步的情况下，可以同时进行正交序列的发送。不同Map节点发送的正交序列可以不同，仅仅需要时间同步即可。Reduce节点可以并行对这些正交序列进行接收检测，并最终将正交序列检测结果进行阈值判定映射到不同的Value值上，并最终完成了Map-Reduce所需要的Key-Value值计算。

下面对本申请中的Map节点进行无线发送以及正交序列的生成进行详细说明。

图17是本申请实施例中提供的一种Map节点进行正交序列映射和生成、发送的硬件结构示意图，如图17所示，所述映射装置包括：多个正交序列生成器和映射开关，每个所述正交序列生成器生成一个所述正交序列；所述映射开关将上层生成的Key数据映射到对应的所述正交序列生成器；所述正交序列生成器根据所述映射开关的映射结果生成Key对应的正交序列，将所述正交序列作为第一基带信号传递到所述无线发送装置。

实施中，每个正交序列生成器生成一个正交序列，每个正交序列对应一个特定的Key，通过映射开关可以将特定的Key映射到对应的正交序列生成器上，以生成Key对应的正交序列。

具体地，映射开关将上层生成的数据映射到对应的正交序列生成器，数据中的索引关键词（Key）与正交序列一一对应，正交序列生成器根据映射开关的映射结果生成对应的正交序列，将正交序列作为第一基带信号传递到第一射频单元进行处理，得到第一射频信号，通过发送天线将第一射频信号发送到第一无线相关模块。

在实际情况中，N个正交序列生成器（即Orthogonal Sequence 1到OrthogonalSequence n，这些正交序列分别对应到Key 1到Key n），正交序列和Key的映射关系是通过节点间的协商预设的。

在Map节点中，上层并不生成数据，而是直接将数据映射到Map-Reduce中对应的Key，比如上层直接生成了一个Key x。即，映射装置可以根据该Key x来判断其对应的是哪一个正交序列，由正交序列生成器生成对应的正交序列后直接将正交序列作为第一基带信号（Baseband Signal）传递给发射频端的无线发送装置处理，比如进行信号的上变频，从而生成发送的第一射频信号（RF Signal）。最后通过发送天线上发送出去，从而整个发送过程完成。

下面对本申请中的Reduce节点进行无线接收、相关处理以及正交序列的处理进行详细说明。

图18是本申请实施例提供的一种Reduce节点进行无线接收和正交序列相关处理的硬件结构示意图，如图18所示，相关器单元包括多个正交序列相关器；所述键值对统计单元包括多个相关峰电平判决器；其中，每个所述正交序列相关器与所述正交序列一一对应，一个所述正交序列相关器与对应的一个相关峰电平判决器连接；所述正交序列相关器用于对输入的所述无线信号执行正交序列相关解调，并输出所述无线信号对应的电平值；所述相关峰电平判决器用于对与其连接的所述正交序列相关器输出的电平值进行判决计数，以得到该正交序列相关器对应正交序列的Value计数结果。

具体地，第二射频单元接收到第二射频信号后，通过第二射频单元对第二射频信号进行处理，得到第二基带信号，将第二基带信号传递到正交序列相关器，第二射频信号包括多个第一无线发送模块发发送的第一射频信号；多个正交序列相关器接收到第二基带信号后，对第二基带信号进行相关计算，得到相关结果，每个正交序列相关器的相关结果表示发送与正交序列相关器相关的正交序列的Map节点的数量；多个相关峰电平判决器获取正交序列相关器传递的相关结果，得到每个正交序列对应的数值，将数值传递给上层，数值表征发送正交序列的Map节点的数量。

在本申请实施例中Reduce节点将每个正交序列相关器对应的索引关键词和对应的数值，发送给上层。

在一种可选的实施方式中，多个Map节点同时向Reduce节点发送正交序列。

在实际情况中，第一无线相关模块包含1个接收天线，接收天线和第一无线接收模块进行连接。第一无线接收模块包含了n个正交序列相关器（即Correlator 1到Correlatorn分别对应到key 1到key n），每一个正交序列相关器负责执行某一个正交序列的相关计算。

在第一无线接收模块中，当接收天线接收到第二射频信号后（RF Signal），将第二射频信号传递到第二射频单元（Wi-Fi RF Module）处理，比如进行信号的下变频，从而生成接收的第二基带信号（Baseband Signal）。然后第二基带信号被并行传递给所有的正交序列相关器，并进行相关计算。由于正交序列相关器的相关对象都是一条正交序列，因此只要相关序列和被相关序列不同（即正交），那么其相关结果就为0，反之如果相同，那么相关结果（即Correlator Pulse的数值），即表示相关的幅度，代表了此时发送该正交序列的Map节点个数。通过将相关结果送入对应的相关峰电平判决器（Pulse Level Detector）进行电平判断，从而获得该正交序列所对应的Value值。比如，当只有一个Map节点发送该正交序列时，其单位的Correlator Pulse应该为1，如果两个Map节点发送该正交序列时，其单位的Correlator Pulse应该为2，换言之，发送该正交序列的Map节点数越多，那么CorrelatorPulse对应的值也就越高，进而映射的Value值也就越高。

由于正交序列相关器是通过正交序列已经和不同的Key关联上，并且也通过相关之后的阈值判断获得了Value值，所以实际上在不同的正交序列相关器上，就生成其对应的Key和Value对。在此之后，Reduce节点会将不同正交序列相关器所映射的Key和Value值都传至上层即可，示例性的，如图18中所示，将Key1,Value1、Key2、Value2和Key n，Value n发送给上层。

本申请针对Map-reduce一类的大数据计算场景，利用正交序列的正交特性，将正交序列和Map-reduce中的Key索引进行关联，利用无线电的信号叠加和抵消特性，将信号处理的数值和Map-Reduce的Value进行关联，从而在空口实现无线“传算”一体，即在传输的同时完成Map-reduce计算的操作，提升Map-Reduce的计算效率。

在一些实施方式中，所述多个Map节点部署于以所述Reduce节点为圆心的圆周上。

优选地，所述多个Map节点等间距地部署于以所述Reduce节点为圆心的圆周上。

在一些实施方式中，如图15和图16所示，所述Map节点还包括第一有线网卡，以及所述Reduce节点还包括第二有线网卡；其中，所述Map节点与所述Reduce节点之间基于所述第一有线网卡和所述第二有线网卡构成有线通信网络。

如图19所示，所述有线通信网络包括基于交换机的有线通信网络，及可以在原有数据中心系统中，通过将多个M节点部署为与R节点等距离的无线连接，实现出传算一体的数据中心系统。

基于相同发明构思，本说明书实施例还提供一种基于Map-Reduce的传算一体数据处理方法，适用于上述任意一个示例中所述的基于Map-Reduce的传算一体数据中心系统。

本申请实施例还提供的基于Map-Reduce的传算一体数据处理方法，包括：

步骤S1：在各个Map节点中，将输入到所述Map节点的拆分数据中各个数据对应的Key值分别与签名用的正交序列进行映射处理，其中拆分数据为从待处理数据中拆分出来的且被输入到所述Map节点的数据；

步骤S2：多个Map节点在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送；

步骤S3：在Reduce节点中，对所述多个Map节点在所述时间同步下发送的无线信号进行无线接收，并通过对所述无线信号进行正交序列相关解调后获得该正交序列对应的Value计数结果，以及根据Value计数结果，统计出输入到所述多个Map节点的所述待处理数据对应的Key-Value键值对结果。

具体地，多个Map节点同时向Reduce节点发送正交序列，每一个正交序列与一个索引关键词对应，Map节点发送的数据由多个索引关键词组成。

然后，Reduce节点接收多个Map节点发送的多个正交序列，对正交序列进行相关计算，根据相关计算的结果得到每一个索引关键词对应的数值。

基于相同发明构思，本说明书实施例还提供一种基于Map-Reduce的传算一体Map节点，应用于本说明书中任意一项实施例所述的基于Map-Reduce的传算一体数据中心系统。

参考前述图15的示意，所述传算一体Map节点（即映射节点，Map Node）包括：映射装置和无线发送装置；其中，所述映射装置用于对输入的待处理数据进行映射处理，所述映射处理包括将所述待处理数据中各个数据对应的Key值分别与签名用的正交序列对应映射；所述无线发送装置用于在时间同步下，将被映射后的所述正交序列向空中进行无线信号发送，以使所述传算一体数据中心系统中的Reduce节点在接收多个Map节点发送的所述无线信号后，通过正交序列相关解调后统计出输入到多个Map节点的所述待处理数据对应的Key-Value键值对结果。

基于相同发明构思，本说明书实施例还提供一种基于Map-Reduce的传算一体Reduce节点，其特征在于，应用于本说明书中任意一项实施例所述的基于Map-Reduce的传算一体数据中心系统。

参考前述图16的示意，所述Reduce节点（即归约节点，Reduce Node）包括无线接收装置、相关器单元和键值对统计单元；其中，所述无线接收装置用于对所述传算一体数据中心系统中的多个Map节点在时间同步下发送的无线信号进行无线接收；所述相关器单元用于对所述无线信号进行正交序列相关解调，以在解调后获得该正交序列对应的Value计数结果；所述键值对统计单元用于根据所述相关器单元输出的Value计数结果，统计出输入到多个Map节点的所述待处理数据对应的Key-Value键值对结果。

基于相同发明构思，本说明书实施例还提供一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的基于Map-Reduce的传算一体数据处理方法的一个或多个步骤。

基于相同发明构思，本说明书实施例还提供一种芯片，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的基于Map-Reduce的传算一体数据处理方法的一个或多个步骤。

本说明书中，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。