面向智能边缘计算的协同模型训练任务配置方法

摘要

本发明公开了一种面向智能边缘计算的协同模型训练任务配置方法，该方法用于边缘计算节点且包括一或多个训练时隙，每一训练时隙包括如下步骤：向一或多个移动设备发送模型训练请求；接收来自一或多个移动设备汇报的当前时隙的可用状态和用户数据规模；基于先前得到的任务配置结果和各移动设备的当前可用状态，确定参与训练的移动设备和交互模型训练所需的训练小轮数目；与参与训练的移动设备进行交互模型训练直至达到确定的训练小轮数目，根据训练效果和各移动设备汇报的用户数据规模，构建以最小化边缘训练资源的使用为目标的优化问题并求解，得到新的任务配置结果。本发明训练资源消耗对比其他方法要少得多，且精度相差不大。

说明书

技术领域

本发明涉及一种协同模型训练任务配置方法，具体涉及一种面向智能边缘计算的协同模型训练任务配置方法。

背景技术

在用户使用移动设备，如手机、平板电脑等的过程中会产生大量用户数据，包括浏览记录、打字记录以及各类日志信息等。这些数据在被分析处理后，能够帮助服务提供商进行更好的服务部署与提供。这类分析处理手段往往借助于机器学习模型。具体来说，一个机器学习模型包含模型结构和模型参数，以及该机器学习模型在某一特定数据集上所体现出的精度，如用分类模型对某一数据集进行分类，得到的正确分类比例作为模型精度。那么，服务提供商的目标，就是要利用各用户分布式产生的用户数据，对某一特定的机器学习模型进行训练，以求能够得到最好的模型精度。这样，服务提供商就可以利用这些机器学习模型对外提供更好的推断类服务。例如，在用户浏览商品的时候结合商品分类为用户进行商品推荐；在用户打字的时候，结合上下文进行热词推荐；或者在导航的时候，利用更精确的导航模型进行路线制定。

虽然把所有的用户数据汇聚到数据中心进行处理，就可以按照如上的训练方式得到机器学习模型。但是，在边缘环境下，这样的原始数据汇聚是被禁止的。其原因是：1）出于隐私的保护，用户往往不愿将自己的原始数据进行上传。2）服务提供商往往是租借运营商的边缘设备进行计算和传输。将各移动设备上的用户数据传输至数据中心，会带来高昂的跨域传输。这里的跨域同时包含两个含义：跨地域范围传输以及跨运营商至数据中心传输。

由于边缘场景下用户使用移动设备的习惯不同，即使用设备的时间、频度不同以及使用过程中产生的数据规模、内容不同，以至于在进行分布式机器学习训练的时候存在着不确定性。即使某一时段内设备固定，所有用户数据均已生成，如何利用移动设备和边缘计算节点进行分布式机器学习训练，以能够在保证模型训练精度下尽可能节省边缘训练资源是关键问题。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明一方面提供一种面向智能边缘计算的协同模型训练任务配置方法，以解决分布式机器学习训练数据难以共享的问题，且在保证精度的情况下，尽量节省资源消耗。

技术方案：本发明的一种面向智能边缘计算的协同模型训练任务配置方法，用于边缘计算节点且包括一或多个训练时隙。该方法的每一训练时隙包括如下步骤：向一或多个边缘设备发送模型训练请求；接收来自所述一或多个边缘设备响应于所述模型训练请求而汇报的当前时隙的可用状态和用户数据规模；基于上一训练时隙得到的任务配置结果，从当前可用边缘设备中选定参与训练的边缘设备，并确定交互模型训练所需的训练小轮数目；与参与训练的边缘设备进行交互模型训练直至达到确定的训练小轮数目；根据训练效果和各边缘设备汇报的当前时隙的用户数据规模，构建以最小化边缘训练资源的使用为目标的优化问题并求解，得到用于下一训练时隙的新的任务配置结果。

进一步地，任务配置结果包括：用于决策是否选择第

进一步地，训练时隙

其中，

进一步地，与参与训练的边缘设备进行交互模型训练时，训练时隙

（1）边缘计算节点将先前训练所得的全局训练模型参数

（2）边缘计算节点在接收到所有参与训练的边缘设备发送的对全局训练模型参数的更新

（3）边缘计算节点基于接收到的各边缘设备的局部精度修正梯度

（4）若当前训练小轮达到当前训练时隙

进一步地，步骤（1）中，参与训练的边缘设备根据接收到的数据分别计算各自对全局训练模型参数的更新

其中

进一步地，步骤（2）中，新的全局模型参数

其中，

进一步地，步骤（2）中，新的局部精度

进一步地，步骤（3）中，新的全局精度修正梯度

其中，

进一步地，所述训练效果包括：训练时隙

进一步地，所述优化问题表示为：

目标函数：

约束条件：

1)

2)

3)

4)

5)

其中，

有益效果：与现有技术相比，本发明具有以下优点：

1、通过在交互训练过程中构建优化函数进行更新，边缘设备无需直接发送自身模型参数的原始数据至边缘计算节点，而是发送与自身原始数据相关的更新数据。这可以解决由于隐私的保护，用户往往不愿将自己的原始数据进行上传的问题，适用于分布式机器学习训练。

2、基于交互训练的效果构建最小化边缘训练资源的使用为目标的优化问题并求解，从而决策得到下一训练时隙的任务配置，包括下一训练时隙各边缘设备的选择偏好和训练小轮数目。根据决策结果，从可用边缘设备中选取参与训练的边缘设备进行训练，而不需要使所有边缘设备均参与训练，这使本申请的协同训练任务配置方法至少减少27%的资源消耗开销，训练精度则最多降低4%。换言之，本发明能够在保证训练精度的同时，大幅度减少训练资源消耗。

附图说明

图1是面向智能边缘计算的协同模型训练系统的结构示意图；

图2是应用任务配置方法后实际使用各边缘计算资源作训练的训练资源花费变化情况；

图3是应用任务配置方法后全局精度的变化情况；

图4是应用任务配置方法后最大局部汇聚性能的变化情况。

具体实施方式

下面结合附图对本发明所公开的方法做进一步的详细介绍。

本发明的面向智能边缘计算的协同模型训练任务配置方法用于边缘计算节点，且包括一或多个训练时隙。每一训练时隙包括如下步骤：

S1：向一或多个边缘设备发送模型训练请求。这里的边缘设备可以是连接边缘计算节点的移动设备、笔记本电脑等。

S2：接收来自所述一或多个边缘设备响应于所述模型训练请求而汇报的当前时隙的可用状态和用户数据规模。

S3：基于上一训练时隙得到的任务配置结果，从当前可用边缘设备中选定参与训练的边缘设备，并确定交互模型训练所需的训练小轮数目。其中，该步骤中上一训练时隙得到的任务配置结果包括：用于决策是否选择第

其中，当前训练时隙

其中，

当前训练时隙

S4：与参与训练的边缘设备进行交互模型训练直至达到确定的训练小轮数目。

在步骤S4中，与参与训练的边缘设备进行交互模型训练时，每一训练小轮具体包括如下过程：

S41：边缘计算节点将先前训练所得的全局训练模型参数

其中，参与训练的边缘设备根据接收到的数据分别计算各自对全局训练模型参数的更新

各参与训练的边缘设备利用获取的

其中

通过构建优化函数

S42：边缘计算节点在接收到所有参与训练的边缘设备发送的对全局训练模型参数的更新

该步骤中：新的全局模型参数

其中，

新的局部精度

S43：边缘计算节点基于接收到的各局部精度修正梯度

该步骤中，新的全局精度修正梯度

其中，

若当前训练小轮达到当前训练时隙

S5：根据训练效果和各边缘设备汇报的当前时隙的用户数据规模，构建以最小化边缘训练资源的使用为目标的优化问题并求解，得到用于下一训练时隙的新的任务配置结果。

在步骤S5中，训练效果包括：训练时隙

边缘计算节点的总体目标旨在为所有训练（

优化目标：

约束条件：

1) 对于边缘传输限制：

2) 对于参与者选择控制：

3) 对于全局后验精度要求：

4) 对于决策的定义域限制：

式中，

由于是在线场景，决策时无法准确观测到实际的训练效果，因此上述优化问题在实际中只能分解到每一训练时隙中，进行每一次子问题的求解。再者，每一次子问题的求解中，并不能提前观测到该次训练的局部汇聚精度

目标函数：

约束条件：

1)

2)

3)

4)

5)

其中，

在上述子问题求解中，虽然目标函数里

图1以四个边缘设备的选择为例展示了本发明的面向智能边缘计算的协同模型训练系统的结构，其中所有的边缘设备均与同一个边缘计算节点相连并进行数据交互，且边缘网络能够允许传输的最大容量可以包含四个边缘设备；下面以两次全局模型训练为例，对本发明的面向智能边缘计算的协同模型训练任务配置方法作进一步的说明：

（1）在第一次模型训练请求到达时，需要训练的数据分布在三个可用的边缘设备上；由于没有之前的已训练效果作为参考，因此将这三个可用边缘设备都认为是分布式机器学习训练的参与者，三个参与者向边缘计算节点汇报其用户数据规模；

（2）边缘计算节点初始化全局模型（边缘计算节点维护）、各边缘设备的精度修正梯度以及全局精度修正梯度；

（3）边缘计算节点将全局模型参数、各边缘设备的精度修正梯度和全局精度修正梯度下发至三个边缘设备；

（4）各边缘设备接收到来自边缘计算设备的信息后，利用自身设备上的用户数据构造精度损失函数，并以最小化

（5）各边缘设备利用

（6）各边缘设备将

（7）边缘计算节点根据各边缘设备发送的

（8）由于当前参与的为所有边缘设备，所以全局精度仅为各边缘设备局部精度的加权平均；

（9）不断进行步骤（3）到步骤（8），直到训练小轮数达到由

（10）观察到三个边缘设备的局部训练效果，即每次小轮的局部汇聚性能，并根据此进行三个边缘设备的偏好修正；

（11）第二次分布式机器学习模型训练请求到达，当前可用的是四个边缘设备；

（12）由于第一个边缘设备在上一次训练中的局部汇聚性能不好，因此边缘计算节点结合各边缘设备的选择偏好，选择除第一个边缘设备外的其他边缘设备作为参与者；

（13）为第二次分布式机器学习训练进行步骤（2）到步骤（10）；

（14）在第二次分布式机器学习训练的步骤（8）中，虽然第一个边缘设备没有进行分布式机器学习训练的参与，但是在验证的时候，仍然需要从边缘计算节点获取最新的模型参数，并利用自身的精度损失函数进行一次验证，得到局部精度，并发送给边缘计算节点。

实验的效果如图2至图4所示，图2展示了在应用动态任务调整方法后，在不断进行分布式机器学习训练过程中的边缘计算资源消耗变化（已按最大值进行归一化），边缘训练资源消耗为边缘计算节点和各个边缘设备上计算资源花费和每一小轮传输花费的总和，训练资源消耗对比其他方法总是最少，至少减少27%的开销；图3展示了在应用动态任务调整方法后，在不断进行分布式机器学习训练过程中的全局精度变化，实际上对应的是建模中的全局后验精度

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，本发明中的控制节点与边缘计算节点的交互方式，收集反馈信息内容与在线调度方法在各系统中均适用，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。