一种5G移动边缘计算环境中多智能体协同计算卸载方法

摘要

本发明公开了一种5G移动边缘计算环境中多智能体协同计算卸载方法，通过初始化MEC环境中设备、5G网络和光纤网络的参数，基于初始化参数采集移动设备任务队列信息、需要计算的任务信息、设备与基站的网络信息；根据采集的信息计算，若需要计算的任务信息为本地计算，则将该任务加入移动设备的本地任务队列；若为计算卸载，则将该任务传输到相连基站的MEC服务器；若传输至MEC服务器计算，则将计算任务传输到附近基站的MEC服务器，并将任务加入该服务器的任务队列；若为云计算，则将计算任务传输到云服务器计算，实现多智能体协同计算卸载，本发明云计算的强大算力和MEC的近距离优势，为用户提供高质量体验，使应用执行时延最小。

说明书

技术领域

本发明属于计算卸载策略领域，具体涉及一种5G移动边缘计算环境中多智能体协同计算卸载方法。

背景技术

随着移动智能设备的普及以及5G等无线通信技术的发展，涌现出许多具有低延迟要求的计算密集型应用，如自动驾驶、增强现实、虚拟现实和视频流分析等。传统的云计算无法满足这些应用对低延迟的需求，而移动边缘计算(Mobile Edge Computing，MEC)是5G架构中很有前景的计算范式，它可以与云计算协同工作，将工作负载从移动终端迁移到距离很近的MEC服务器或者中心云，从而为用户移动设备提供计算，提高用户的体验质量(Quality of Experience，QoE)。但是，如何结合云计算的强大算力和MEC的近距离优势，为用户提供高质量体验，使应用执行时延最小成为一个急需解决的问题。

发明内容

本发明的目的在于提供5G移动边缘计算环境中多智能体协同计算卸载方法，以克服现有技术的不足，本发明有效结合云计算的强大算力和MEC的近距离优势，为用户提供高质量体验，使应用执行时延最小。

一种5G移动边缘计算环境中多智能体协同计算卸载方法，包括以下步骤：

S1，初始化MEC环境中设备、5G网络和光纤网络的参数，基于初始化参数采集移动设备任务队列信息、需要计算的任务信息、设备与基站的网络信息；

S2，根据采集的信息计算，若需要计算的任务信息为本地计算，则将该任务加入移动设备的本地任务队列；若为计算卸载，则将该任务传输到相连基站的MEC服务器；若传输至MEC服务器计算，则将计算任务传输到附近基站的MEC服务器，并将任务加入该服务器的任务队列；若为云计算，则将计算任务传输到云服务器计算，实现多智能体协同计算卸载。

优选的，根据初始化参数建立时隙模型，基于时隙模型进行通信和计算卸载。

优选的，采用正交频分复用方法为不同设备分配不同的子信道。

优选的，在第t个时隙时，移动设备u

式中：β

优选的，根据Shannon公式和公式(3)，在第t个时隙时，移动设备u

式中：B表示u

优选的，根据采集的信息计算，以计算时延最小为优化目标进行任务分配。

优选的，在第t个时隙时，设移动设备un的本地任务队列

式中：

在第t+1个时隙时，若计算任务d

若d

本地队列的任务数量

设移动设备u

若任务没有在本地执行，那么

若移动设备u

优选的，在第t个时隙时，与设MEC服务器e

式中：

优选的，若移动设备u

优选的，有限资源约束下最小化整个MEC系统所有任务的长期计算时延问题表示为公式(21)：

式中：A(t)表示第t个时隙时所有移动设备计算任务执行位置的集合，D表示基站的覆盖半径，约束条件C1确保计算任务只能计算一次，约束条件C2确保所有用户移动设备都在基站覆盖范围内活动，在移动设备超出基站最大服务距离后由另一个基站继续提供服务。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种5G移动边缘计算环境中多智能体协同计算卸载方法，通过初始化MEC环境中设备、5G网络和光纤网络的参数，基于初始化参数采集移动设备任务队列信息、需要计算的任务信息、设备与基站的网络信息；根据采集的信息计算，若需要计算的任务信息为本地计算，则将该任务加入移动设备的本地任务队列；若为计算卸载，则将该任务传输到相连基站的MEC服务器；若传输至MEC服务器计算，则将计算任务传输到附近基站的MEC服务器，并将任务加入该服务器的任务队列；若为云计算，则将计算任务传输到云服务器计算，实现多智能体协同计算卸载，本发明云计算的强大算力和MEC的近距离优势，为用户提供高质量体验，使应用执行时延最小。

进一步的，采用正交频分复用方法为不同设备分配不同的子信道，减少子信道之间的相互干扰，来保证设备传输需求。

进一步的，本发明采用端层、边层和云层多智能体在移动设备信息上，基于时隙模型进行任务计算卸载，有效减少平均任务计算时间，提高了边缘计算的效率。

附图说明

图1是本发明实施例中云边端协同的MEC系统架构图。

图2是本发明实施例中移动设备智能体训练过程图。

图3是本发明实施例中MEC服务器智能体训练图。

图4是本发明实施例中baseline方法对比实验图。

图5是本发明实施例中与其他算法实验对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，5G移动边缘计算环境中多智能体协同计算卸载系统，具体包括云层、边层和端层，形成协同的MEC系统架构，包括以下内容：

云层包括远端的中心云服务器群，其计算、存储能力远大于MEC服务器和移动设备，但其与移送设备的距离较远，任务卸载到中心云需要占用较多核心网资源，导致传输时延较长，任务的云计算时间相对可以忽略不记；

边层包括基站以及与基站连接的MEC服务器，MEC服务器计算能力远大于移动设备，任务卸载到MEC服务器需要一定的计算时间，但其与移动设备的距离很近，传输时延大小，在信道不好的情况下，才会有比较高的传输时延；

端层包括移动设备，移动设备的计算能力最小，但是在网络非常差的情况下，在本地计算获得结果时间才会最短。

用户在基站信号覆盖范围内移动，其移动设备运行计算密集且时间敏感型应用；用户的移动设备会在所有基站覆盖范围内移动，这使得移动设备与基站之间的5G无线网络更为多变，设备任务的计算卸载问题也变得更为复杂。

在架构中，由许多基站(Base Stations，BSs)无缝覆盖该场景，这些基站通过5G无线通信网络为大量分布在基站范围内的用户的移动设备(Mobile Devices，MDs)提供计算卸载服务，其中各基站之间通过光纤连接。

每个基站都部署了MEC服务器来提高计算能力，这样基站就能够计算各种任务来满足用户的需求。用户的移动设备会产生计算任务，它可以使用自己的处理器或连接基站的MEC服务器处理任务。此外，基站通过高速光纤与核心网相连，进而与中心云(Cloud)交换数据，这样移动设备也可以通过基站将任务卸载到中心云计算。

使用基于Double DQN(DDQN)的深度强化学习方法设计移动设备智能体，其状态空间设计为所获取的信息，动作空间设计为本地计算和计算卸载两种动作，收益函数设计为任务计算时间的负值。若获取的任务信息为本地计算，则将任务加入本地任务队列；若为计算卸载，则将计算任务传输到相连基站的MEC服务器。

使用基于Dueling DDQN(D3QN)的深度强化学习方法设计MEC服务器智能体，其状态空间设计为所获取的信息，动作空间设计为本地计算、附近基站MEC服务器计算和云计算三种动作，收益函数设计为任务计算时间的负值。若本地计算，则将任务加入本地任务队列；若附近基站MEC服务器计算，则将计算任务传输到附近基站的MEC服务器，并将任务加入该服务器的任务队列；若云计算，则将计算任务传输到云服务器计算。

用户移动设备的集合U如公式(1)所示：

U＝{u

式中：u

MEC服务器的集合E如公式(2)所示：

E＝{e

式中：e

本申请建立时隙(time slot)模型，该模型把时间离散化，将其划分为等长时间间隔，这些间隔称之为时隙，其长度记为T，索引表示为t＝0,1,2,…。T的大小由信道的相干时间决定，即信道保持恒定的最大时间差范围。在通信系统中，通信信道可能随时间而改变。由于多普勒效应，这种信道变化在无线通信系统中更为显著。在系统模型中，移动设备与基站之间是通过5G无线网络进行通信的，所以本申请基于信道的相干时间建立了时隙模型。在时隙模型的基础上，下面分别对通信模型和计算模型进行详细介绍。

在云、边、端协同的MEC系统网络中，主要包含两种通信方式：无线通信和有线通信；边层与端层之间的无线通信，即移动设备与基站的无线通信；边层与边层之间和边层与云层之间的有线通信，即基站与基站之间，基站与中心云之间的有线通信。

其中，任意基站e

为了使移动设备计算任务的执行时延最短，本申请以5G技术为基础构建无线通信模型。移动设备每隔T时间就有可能需要计算卸载，把数据传输到基站上，因此，采用正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)技术为不同设备分配不同的子信道，减少子信道之间的相互干扰，来保证设备传输需求。

本申请在自由空间路径损失模型的基础上，构建瑞利衰落模型以此仿真城市常见的建筑密集情境下的信道，该情境中，发射端和接收端之间没有直射路径，密集的建筑和其它物体对无线信号进行衰减、反射、折射和衍射。信道在一个时隙内保持稳定，但在不同时隙之间会发生变化。在第t个时隙时，移动设备un与MEC服务器e

式中：β

由于基站与其部署的MEC服务器距离很近，几乎没有传输时延，本申请将其忽略不计。根据Shannon公式和公式(3)，在第t个时隙时，移动设备u

式中：B表示u

在第t个时隙的开始，N个移动设备同时产生N个任务，任务之间相互独立，且每个任务不可分割。由移动设备u

为简化符号表示，第t个时隙开始时移动设备u

d

式中：s

中心云与移动设备和MEC服务器的CPU频率(即计算能力)相比，可以看做是无穷大的。因此，本申请将中心云的CPU频率设定为无穷大，将移动设备和MEC服务器的CPU频率设定为固定值，分别用为f

移动设备的计算任务可以在本地设备上执行，也可以卸载到与其相连基站的MEC服务器上，亦可卸载到与其相连基站附近基站的MEC服务器上，还可卸载到中心云上。不同的计算模式产生的时延不同，接下来对这四种计算模式进行详细分析。

本地计算：

在第t个时隙时，设移动设备un的本地任务队列

式中：

在第t+1个时隙时，若计算任务d

若d

本地队列的任务数量

设移动设备u

若任务没有在本地执行，那么

若移动设备u

移动边缘计算(MEC)：

在第t个时隙时，与公式(6)类似，设MEC服务器e

式中：

类比公式(7)、(8)、(9)和(10)，可以得到计算下一时隙开始时MEC服务器e

若任务d

若任务d

若移动设备u

相邻MEC计算：

若移动设备u

云计算：

若移动设备u

将移动设备u

式中：

那么，有限资源约束下最小化整个MEC系统所有任务的长期计算时延问题表示为公式(21)：

式中：A(t)表示第t个时隙时所有移动设备计算任务执行位置的集合，D表示基站的覆盖半径，约束条件C1确保计算任务只能计算一次，约束条件C2确保所有用户移动设备都在基站覆盖范围内活动，在移动设备超出基站最大服务距离后由另一个基站继续提供服务。

如图2所示，移动设备智能体的训练过程，包括以下内容：

基于DDQN的移动设备智能体设计用来解决移动设备是否在本地执行计算任务的问题，其状态空间、动作空间和奖励函数的定义如下。

状态空间：

考虑到移动设备算力有限，不适放置复杂的智能体，本申请最大限度减小状态空间，定义移动设备智能体在第t个时隙的状态

式中：d

动作空间：

移动设备智能体的目标是将状态空间映射到动作空间，即根据当前的状态选择最优的动作使计算任务执行时延最小。在本申请的MEC系统中，移动设备智能体负责在每个时隙决策自己设备是否在本地执行计算任务，第t个时隙智能体的动作用

式中：A

奖励函数：

一般来说，奖励函数与目标问题相关。在本申请考虑的优化问题中，目标是最小化整个MEC系统所有任务的长期计算时延，而强化学习是学习“做什么(即如何把当前的情境映射成动作)才能使数值化的收益信号最大化”。因此，奖励函数值需要与目标问题值负相关。结合公式(11)，在第t个时隙，智能体在状态

式中：time

基于DDQN的移动设备智能体单幕(episode)训练过程包含以下步骤，其中，单幕指的是移动设备智能体一次与系统模型交互进行计算卸载的状态、动作和奖励序列。首先，初始化系统模型，当前网络Q参数θ和目标网络

如图3所示，MEC服务器智能体的训练过程，包括以下内容：

基于D3QN的MEC服务器智能体设计用来解决移动设备任务执行MEC计算、相邻MEC计算或者云计算三种计算模式中的一种的问题，其状态空间、动作空间和奖励函数的定义如下：

状态空间：

在第t个时隙移动设备u

式中：d

动作空间：

MEC服务器智能体的目标是将移动设备卸载的计算任务进一步决策执行位置，即根据当前的状态选择最优的动作使任务执行时延最小。在本申请的MEC系统中，MEC服务器智能体负责在每个时隙决策计算任务的计算模式，第t个时隙智能体对任务d

式中：A

奖励函数：

类似移动设备智能体，结合公式(17)、(18)和(19)，在第t个时隙，智能体在状态

式中：time

多智能体协同的计算卸载策略多幕训练过程包含以下步骤。首先，初始化系统模型以及各个网络的参数；其次，开始多幕迭代训练，单幕中每一个移动设备智能体获取当前的初始状态，从初始状态开始单幕训练。其中，如果某一个移动设备智能体将计算任务卸载到自己相连的MEC服务器，那么该MEC服务器的智能体开始单幕训练；最后，通过不断的迭代训练学习，使得每个移动设备智能体和MEC服务器智能体的当前网络收敛逼近最优动作价值函数，即学习到最优卸载策略，使得整个MEC系统所有任务的计算时延最小。

实施例：

如图4所示，是baseline对比实验图，形象的展示了本方法和baseline方法的对比关系。baseline方法包含移动设备仅本地计算、仅计算卸载和随机卸载三个方法，本方法相比baseline方法分别减少了46.6％、2.7％、21.4％的平均任务计算时间，其中在单幕中本方法相比baseline方法分别减少了49.1％、9.8％、23.6％的平均任务计算时间。

如图5所示，是与其他算法的对比实验图，形象的展示了本方法和其他算法的对比关系。端层多智能体方法指的是在移动设备使用DDQN设计智能体，该智能体决策任务计算云、边、端三层的位置；边层单智能体方法指的是在边层用户D3QN设计智能体，该智能体决策任务计算云边端三层的位置。本方法相比端层多智能体方法和边层单智能体方法分别减少了6.6％、40.8％的平均任务计算时间，其中在单幕中本方法相比端层多智能体方法和边层单智能体方法分别减少了12.4％、48.5％的平均任务计算时间。

本发明公开5G移动边缘计算环境中多智能体协同的计算卸载方法，有效克服现有技术的不足，结合云计算的强大算力和MEC的近距离优势，为用户提供高质量体验，使应用执行时延最小。本发明从5G移动边缘计算的实际环境出发，对用户需求进行公式化描述，采用基于DDQN的移动设备智能体和基于D3QN的MEC服务器智能体两类深度强化学习智能体，构建了一个多智能体协同的方法，为用户执行计算密集的时间敏感型应用提升了QoE。