一种面向端侧算力网络的服务部署系统及其服务部署方法

摘要

本发明涉及一种面向端侧算力网络的服务部署系统及其服务部署方法，所述服务部署系统，包含：资源监控与分析模块、微服务性能监控与分析模块、流量分析与预测模块、服务部署模块，所述所述面向端侧算力网络的服务部署方法，包括：步骤1，在面向端侧算力网络的服务部署系统中，端侧算力设备被分为多个组，每个组包括一个主控节点，负责管理组内的信息收集计算与服务部署决策等，本发明所述服务部署系统及其服务部署方法，具有面向端侧算力网络场景，提供了所述面向端侧算力网络的服务部署系统，通过部署在各个端侧算力设备上的监控模块，主控节点能够迅速掌握管理范围内的算网信息，并对微服务架构下实例之间的调用进行准确建模。

说明书

技术领域

本发明涉及无线通信技术领域，尤其涉及一种面向端侧算力网络的服务部署系统及其服务部署方法。

背景技术

随着车联网、智慧城市、VR/AR的发展和终端技术的进步，终端设备的计算和存储能力正在不断进步，其业务总量和多样性也在不断增长，带来了大量的计算密集型和时延敏感型任务需求。面对传统云计算无法及时处理如此海量和广泛分布任务请求的问题，算力网络通过融合了端-边-云三级的算网信息，充分利用了网络中闲置的算力和带宽资源，为用户提供了实时便捷的算力服务。在算力网络的研究中，业界和学术界已经对边侧和云侧算力网络以及二者的联合提出了许多架构、算法等一系列解决方案，然而基于微服务架构的广泛应用和终端设备日益智能化，端侧算力网络呈现出巨大的潜力，在这方面目前的研究还较为空白。微服务架构和虚拟化技术是影响算力网络技术落地的两大关键因素，通过将单体程序分解为逻辑相连但开发相对独立的微服务，并基于容器等虚拟化技术运行于平台无关的设备上，使得单个应用程序可以交由多个设备协作运行，因此极大得提高了部署和调度的灵活性，可以充分挖掘网络中算网碎片资源。Kubernetes作为当前最为主流的大规模集群容器编排工具，提出了以Pod为基本调度单位的全自动化运维方案，为算力网络的构建提供了一站式的技术底座。尽管Kubernetes的设计之初面向的是资源丰富的云计算场景，目前对于资源受限的边缘甚至是端侧场景已经有了多种解决方案，如针对资源受限场景开发的k3s和多集群间分布式管控技术，使得K8s架构理念向端侧的渗透成为资源开拓的一片蓝海。在解决技术底座的基础上，端侧算力设备间服务部署自然成为制约端侧算力网络效率的首要因素。对比边侧和云侧算力网络，端侧算力网络在算网规模、存算水平和差异性上面临更大的挑战，具体来说，端侧算力设备的整体存算水平相对更低，不同设备间存算水平以及通信速率差异度更高，设备之间组网结构更复杂。同时，不同服务的微服务间错综复杂的调用关系叠加用户差异化的需求，都为端侧算力网络中服务部署提高了难度，因此需要一种综合微服务特性、网络结构、微服务调用结构等因素的服务部署方案，降低端侧算网的时延及能耗等开销。

在现有公开的专利申请技术中，例如中国专利申请号CN202111266586.2涉及一种面向网关设备的算力网络服务系统及方法，涉及通信技术领域，该系统包括：网关设备、若干算力服务节点和算力网络调度管理平台；所述网关设备与所述算力网络调度管理平台通信连接，并在建立偶联后，与对应的所述算力服务节点建立通信链路；所述算力网络调度管理平台与所述算力服务节点通信连接，所述算力网络调度管理平台向所述网关设备发送算力服务节点列表；所述网关设备基于所述算力服务节点的算力服务信息更新所述算力服务节点列表，并将更新后的所述算力服务节点列表发送给所述算力网络调度管理平台。本发明可以以此来维护网关设备与算力服务节点之间的偶联状态，并实现区域内算力服务节点的实时获取。

又例如，中国专利申请号CN202210876682.7公开了一种基于算力网络交易区块链的信息处理方法及装置，包括：响应于接收到消费端提交的算力网络交易请求信息，调用算力网络交易公共区块链的公链智能合约，算力网络交易公共区块链为关联算力网络供应端的相关信息的区块链；基于公链智能合约，确定与请求信息对应的交易目标供应端；触发与交易目标供应端对应的私有区块链中的私链智能合约，执行请求信息；将与请求信息对应的交易信息分别记录在算力网络交易公共区块链和交易目标供应端对应的私有区块链。本发明能够基于算力网络交易公共区块链以及与每一算力网络供应端对应的私有区块链对算力网络交易信息进行自动匹配和记录，保证了算力网络交易可追溯以及交易信息的安全性。

再例如，中国专利申请号CN202211272409.X提出一种应用与算力网络融合方法，其特征在于，包括：获得待获得的应用信息；基于所述应用信息获得应用与算力网络融合模型输出的与所述应用信息适配的至少一种算力网络资源的计费方法及规则；基于所述至少一种算力网络资源的计费方法及规则选择所述至少一种算力网络资源中的第一算力网络资源；基于所述第一算力网络资源的规则为所述待获得的应用提供算力。

上述公开的发明专利申请技术，均没有提出一种综合微服务特性、网络结构、微服务调用结构等因素的服务部署技术解决方案，以有效降低端侧算网的时延及能耗等开销问题。

发明内容

为了解决上述问题，本发明针对现有边缘服务调度技术解决方案存在的不足之处，提供一种面向端侧算力网络的服务部署系统及其服务部署方法。

所述面向端侧算力网络的服务部署系统，包含资源监控与分析模块、微服务性能监控与分析模块、流量分析与预测模块、服务部署模块，其中：

资源监控与分析模块：负责对端侧算力设备的可用资源总量和资源使用情况进行整合和分析，用于支撑服务部署的决策，包含端侧算力设备的存算资源与网络资源监控子模块和主控节点的资源分析与建模子模块，存算资源与网络资源监控子模块部署在每个端侧算力设备上，用于收集各端侧算力设备的可用存算资源总量(包含但不限于CPU资源、内存资源)、网络通信速率和网络连接目标IP，并实时上报至主控节点，主控节点的资源分析与建模子模块用于收集并整合各端侧算力设备上报的资源信息，构建端侧算网模型，包括端侧算力网络中诸节点的各类可用资源总量、网络拓扑结构、网络通信速率，以支撑服务部署的资源感知；

微服务监控与分析模块：包含部署于各端侧算力设备的微服务监控与分析子模块和部署于主控节点的微服务响应模型汇总子模块，其中，微服务监控与分析子模块用于采集各端侧算力设备的微服务运行信息，并根据采集信息对微服务响应特性进行建模，为微服务部署提供特性信息，基于端侧算力设备实时的资源利用率(CPU资源利用率、内存资源利用率等)，统计并分析对微服务实例响应特性的影响情况，并基于采集信息可使用但不限于最小二乘、神经网络等方法得到拟合模型。最后将拟合模型的参数实时上报至主控节点进行整理，得到端侧算力网络图中各节点上运行微服务的特性信息；

流量分析与预测模块：统计各节点的流量转发信息，并基于历史服务请求信息对各端侧算力设备或接入节点的业务流量进行分析和预测，对于每一种服务均由多个微服务构成，每个微服务提供上游微服务和下游微服务，由于端侧算力设备资源的有限性，需要多个端侧算力设备的协同以实现一项服务的高效运行，即对处于其它端侧算力设备上的下游微服务，需要在端侧算力网络中存在的多个实例中选择并进行转发，通过对转发信息的统计，以获得微服务不同实例之间调用的详细信息，在业务流量分析与预测中，主控节点基于历史的服务请求信息(包括但不限于服务类型、时间、发起IP)建立预测模型，并预测未来一段时间窗内各端侧算力设备的业务请求量；

服务部署模块：利用收集的算力网络与服务信息，生成并执行服务部署策略，基于主控节点的Kubernetes Scheduler进行扩展，提出一种基于Gibbs采样的服务部署算法，定期更新端侧算力网络中算网建模信息和微服务响应特性，并根据未来一定时间窗内的预测信息获取微服务实例需求，基于上述信息生成服务部署决策并下发至各端侧算力设备执行，在服务部署决策的计算过程中，考虑了端侧算力网络的复杂性，包括端侧算力设备之间复杂的组网拓扑与差异化的通信速率、不同端侧算力设备异构差异化的算力资源以及微服务实例的响应特性，降低了端侧算力设备的运行开销和传输开销，均衡了各端侧算力设备的实例负载。

基于所述面向端侧算力网络的服务系统，本发明另提供一种面向端侧算力网络的服务部署方法，所述面向端侧算力网络的服务部署方法，包括如下步骤：

步骤1，在面向端侧算力网络的服务部署系统中，端侧算力设备被分为多个组，每个组包括一个主控节点，负责管理组内的信息收集计算与服务部署决策，其中，在服务部署决策中，通过主控节点部署资源分析与建模子模块、微服务响应模型汇总子模块、流量分析与预测模块与服务部署模块、及其它端侧算力设备部署资源监控子模块、微服务监控与分析子模块与Kubelet节点代理定期对部署决策进行更新，端侧算力设备部署的资源监控子模块和微服务监控与分析子模块采集端侧算力设备的资源信息和微服务实例响应信息并更新拟合参数，最终将资源信息和结果参数上报至主控节点；

步骤2，主控节点开放对应信息接收端口，根据汇总信息对端侧算力设备资源信息、微服务响应信息进行实时分析，建立算网模型和微服务响应特性模型；

步骤3，主控节点建立不同业务的微服务调用结构图，并根据用户请求的历史数据训练预测模型，预测未来一定时间窗内各端侧算力设备的多种服务请求的流量信息，并据此计算出各微服务实例需求，最后根据不同微服务实例间转发历史数据量和微服务自身特性信息建立微服务调用模型；

步骤4，主控节点运行服务部署算法，计算最优的部署策略；

步骤5，将生成的最优的部署策略下发至各个端侧算力设备的Kubelet执行，Kubelet根据部署结果更新端侧算力设备所部署的微服务实例，并维护其运行。

进一步地，步骤1包括：

步骤1.1、端侧算力设备的资源监控子模块按照预先设定的采样频率，采集端侧算力设备的资源信息(包括CPU资源、内存资源、网络节点速率、连接目标IP)，并将信息打包压缩后上传至主控节点；

步骤1.2、端侧算力设备的微服务监控与分析子模块统计端侧算力设备每一时刻的CPU资源利用率、内存资源利用率以及微服务实例对于每次请求的响应特性，并根据采集信息训练拟合模型，最后将模型参数上传至主控节点；

进一步的，步骤2包括：

2.1、主控节点开放信息收集接口，收集管理范围内各端侧算力设备的可用资源量以及端侧算力设备间的连接拓扑和网络速率，以端侧算力设备为节点，端侧算力设备间网络连接为边建立算网模型；

2.2、主控节点根据收集的各端侧算力设备的模型参数生成对于算网模型中每一个端侧算力设备的响应特性描述，建立微服务响应特性模型，微服务响应模型表示为下式(1)：

上式(1)中：F

进一步地，步骤3包括：

3.1，主控节点建立不同业务的微服务调用结构图，每一种业务被分解为多个微服务，微服务间的调用关系建模为一个有向图，其中，节点表示微服务类型，边表示微服务之间调用结构和传输数据量，为了进行统一建模与计算，将端侧算力设备设置为虚节点，此时有向图中每个节点表示一个微服务实例或端侧算力设备，并令l(v

3.2，根据流量预测结果信息和历史数据，基于排队论确定未来一定时间窗内各个类型微服务所需实例数量，进而扩充微服务调用结构图中各节点数量，用户业务请求输入被视为一个泊松过程，服务时间的分布根据历史数据计算其标准差和平均服务时间，此时对于每个类型的微服务视为M/G/m排队系统，以限制平均排队时延的最大值，以此计算出对应的m，即各个类型微服务实例数量，并将微服务调用结构图中对应节点扩充为m个，即根据流量预测结果信息得到第i个端侧算力的第j类业务的用户访问率λ

上式(2)中：W(M/G/m)表示平均排队时延，ρ表示服务强度，π

3.3、根据计算得到的微服务实例需求，预估各个实例间转发概率，预估过程中保证同一个上游实例对于所有下游实例的转发概率和为1，以确定单位时间内微服务调用结构图中各节点间传输数据量，最终得到完整的微服务调用模型。

进一步地，步骤4包括：

步骤4.1、首先根据前述步骤的建模结果建立微服务实例与算网模型节点之间以及微服务间传输数据量与算网模型中网络传输速率之间的开销模型如下(3)：

上式(3)中：c

步骤4.2，根据最优的部署策略，在端侧算力设备资源约束下执行服务部署算法，当同一端侧算力设备部署的微服务实例数量过多时，将使资源利用率上升的同时，不同实例间对资源抢占的冲突加重，增加响应时延，导致端侧算力设备开销的增加，另一方面，一对上下游微服务实例部署在不同的端侧算力设备上时，端侧算力设备之间网络传输速率与该实例对间传输数据量会影响传输时延的大小，同样导致端侧算力设备传输开销的增加，为此，在服务部署过程中需要权衡二者的开销，同时考虑资源的限制与部署的位置，以生成最优的部署策略；

本发明所述面向端侧算力网络的服务部署系统及其服务部署方法具有以下有益效果：

1.在本发明中，面向端侧算力网络场景，提供了所述面向端侧算力网络的服务部署系统，通过部署在各个端侧算力设备上的监控模块，主控节点能够迅速掌握管理范围内的算网信息，并对微服务架构下实例之间的调用进行准确建模，在主控节点上，基于Kubernetes Scheduler进行扩展，在其服务部署过程中不仅考虑了节点资源的限制和导致的开销，还考虑了在微服务调用模型的有向图结构下不同部署位置对传输开销的影响，进而生成最小化开销的部署决策。

2.本发明通过在服务请求调度前优化服务部署策略，实现了在端侧算力网络资源受限性和差异性加大的场景下低开销的微服务实例部署，同时也降低了之后进行调度的时延，具有良好的可操作性和实用价值。

附图说明

图1为本发明所述面向端侧算力网络的服务部署系统的架构示意图；

图2为本发明面所述向端侧算力网络的服务部署方法的流程示意图；

图3为本发明所述面向端侧算力网络的服务部署方法中的步骤2的流程示意图；

图4为本发明所述面向端侧算力网络的服务部署方法中的步骤3的流程示意图；

图5为本发明所述面向端侧算力网络的服务部署方法中的步骤4的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合说明书附图对本发明所述面向端侧算力网络的服务部署系统及其服务部署方法的技术方案做进一步详细说明。

如图1所示，一种面向端侧算力网络的服务部署系统，包含资源监控与分析模块、微服务监控与分析模块、流量分析与预测模块、服务部署模块，其中：

资源监控与分析模块：负责对端侧算力设备的可用资源总量和资源使用情况进行整合和分析，用于支撑服务部署的决策，包含端侧算力设备的存算资源与网络资源监控子模块和主控节点的资源分析与建模子模块，存算资源与网络资源监控子模块部署在每个端侧算力设备上，用于收集各端侧算力设备的可用存算资源总量(包含但不限于CPU资源、内存资源)、网络通信速率和网络连接目标IP，并实时上报至主控节点，主控节点的资源分析与建模子模块用于收集并整合各端侧算力设备上报的资源信息，构建端侧算网模型，包括端侧算力网络中诸节点的各类可用资源总量、网络拓扑结构、网络通信速率，以支撑服务部署的资源感知；

微服务监控与分析模块，包含部署于各端侧算力设备的微服务监控与分析子模块和部署于主控节点的微服务响应模型汇总子模块，其中，微服务监控与分析子模块用于采集各端侧算力设备的微服务运行信息，并根据采集信息对微服务响应特性进行建模，为微服务部署提供特性信息，基于端侧算力设备实时的资源利用率(CPU资源利用率、内存资源利用率等)，统计并分析对微服务实例响应特性的影响情况，并基于采集信息可使用但不限于最小二乘、神经网络等方法得到拟合模型，最后将拟合模型的参数实时上报至主控节点进行整理，得到端侧算力网络图中各节点上运行微服务的特性信息；

流量分析与预测模块：统计各节点的流量转发信息，并基于历史服务请求信息对各端侧算力设备或接入节点的业务流量进行分析和预测，对于每一种服务均由多个微服务构成，每个微服务提供上游微服务和下游微服务，由于端侧算力设备资源的有限性，需要多个端侧算力设备的协同以实现一项服务的高效运行，即对处于其它端侧算力设备上的下游微服务，需要在端侧算力网络中存在的多个实例中选择并进行转发，通过对转发信息的统计，以获得微服务不同实例之间调用的详细信息，在业务流量分析与预测中，主控节点基于历史的服务请求信息(包括但不限于服务类型、时间、发起IP)建立预测模型，并预测未来一段时间窗内各端侧算力设备的业务请求量；

服务部署模块：利用收集的算力网络与服务信息，生成并执行服务部署策略，基于主控节点的Kubernetes Scheduler进行扩展，并运行基于Gibbs采样的服务部署算法，定期更新端侧算力网络中算网建模信息和微服务响应特性，并根据未来一定时间窗内的预测信息获取微服务实例需求，基于上述信息生成服务部署决策并下发至各端侧算力设备执行，在服务部署决策的计算过程中，考虑了端侧算力网络的复杂性(包括端侧算力设备之间复杂的组网拓扑与差异化的通信速率)、不同端侧算力设备异构差异化的算力资源以及微服务实例的响应特性，降低了端侧算力设备的运行开销和传输开销，均衡了各端侧算力设备的实例负载。

如图1、图2所示，本发明另提供所述面向端侧算力网络的服务部署方法，包括以下步骤：

步骤1，在面向端侧算力网络的服务部署系统中，端侧算力设备被分为多个组，每个组包括一个主控节点，负责管理组内的信息收集计算与服务部署决策，其中，在服务部署决策中通过主控节点部署资源分析与建模子模块、微服务响应模型汇总子模块、流量分析与预测模块与服务部署模块、及其它端侧算力设备部署资源监控子模块、微服务监控与分析子模块与Kubelet节点代理定期对部署决策进行更新，端侧算力设备部署资源监控子模块和微服务监控与分析子模块采集端侧算力设备的资源信息和微服务实例响应信息并更新拟合参数，最终将资源信息和结果参数上报至主控节点，具体的：

步骤1.1、端侧算力设备的资源监控子模块按照预先设定的采样频率，采集端侧算力设备的资源信息，包括CPU资源、内存资源、网络节点速率、连接目标IP，并将采集端侧算力设备的资源信息打包压缩后上传至主控节点；

步骤1.2、端侧算力设备的微服务监控与分析子模块统计端侧算力设备每一时刻的CPU资源利用率、内存资源利用率以及微服务实例对于每次请求的响应特性，并根据采集信息训练拟合模型，最后将模型参数上传至主控节点；

步骤2，如图2所示，主控节点开放对应信息接收端口，根据汇总信息对端侧算力设备资源信息、微服务响应信息进行实时分析，建立算网模型和微服务响应特性模型，具体地：

2.1、主控节点开放信息收集接口，收集管理范围内各端侧算力设备的可用资源量以及端侧算力设备间的连接拓扑和网络速率，以端侧算力设备为节点，端侧算力设备间网络连接为边建立算网模型；

2.2、主控节点根据收集的各端侧算力设备的模型参数生成对于算网模型中每一个节点(代表端侧算力设备)的响应特性描述，建立微服务响应特性模型，并假设相应时延与资源利用利用率关系为线性关系为例，微服务响应模型表示为下式(1)：

上式(1)中：F

步骤3，如图3所示，主控节点建立不同业务的微服务调用结构图，并根据用户请求的历史数据训练预测模型，预测未来一定时间窗内各端侧算力设备的多种服务请求的流量信息，并据此计算出各微服务实例需求，再根据不同微服务实例间转发历史数据量和微服务自身特性信息建立微服务调用模型，具体包括：

3.1、主控节点建立微服务调用结构图，每一种业务被分解为多个微服务，微服务间的调用关系建模为一个有向图，其中，节点表示微服务类型，边表示微服务之间调用结构和传输数据量，为了进行统一建模与计算，将端侧算力设备设置为虚节点，此时有向图中每个节点表示一个微服务实例或端侧算力设备，并令l(v

3.2、根据流量预测结果信息和历史数据，以排队论为例，在一定的排队时延约束下预测各个类型微服务所需实例数量，进而扩充微服务调用结构图中各节点数量，用户业务请求输入被视为一个泊松过程，服务时间的分布根据历史数据计算其标准差和平均服务时间，此时对于每个类型的微服务视为M/G/m排队系统，以限制平均排队时延的最大值，以此计算出对应的m，即各个类型微服务实例数量，并将微服务调用结构图中对应节点扩充为m个，即根据流量预测结果信息得到第i个端侧算力设备的第j类业务的用户访问率和单次访问平均数据量分别记为λ

上式(2)中：W(M/G/m)表示平均排队时延，ρ表示服务强度，π

3.3、根据计算得到的微服务实例需求，根据历史流量信息预估各个实例间转发概率，进而确定单位时间内微服务调用结构图中各节点间传输数据量，最终得到完整的微服务调用模型；

步骤4，如图4所示，主控节点运行服务部署算法，计算最优的部署策略，具体地，包括：

步骤4.1、首先根据前述步骤的建模结果建立微服务实例与算网模型节点之间以及微服务间传输数据量与算网模型中网络传输速率之间的开销模型如下(3)：

上式(3)中：c

步骤4.2，根据最优的部署策略，在端侧算力设备资源约束下执行服务部署算法，当同一端侧算力设备部署的微服务实例数量过多时，将使资源利用率上升的同时，不同实例间对资源抢占的冲突加重，增加响应时延，导致端侧算力设备开销的增加，另一方面，一对上下游微服务实例部署在不同的端侧算力设备上时，端侧算力设备之间网络传输速率与该实例对间传输数据量会影响传输时延的大小，同样导致端侧算力设备传输开销的增加，为此，在服务部署过程中需要权衡二者的开销，同时考虑资源的限制与部署的位置，以生成最优的部署策略；

步骤5，如图5所示，将生成的部署策略下发至各个端侧算力设备的Kubelet执行，Kubelet根据部署结果更新各个端侧算力设备所部署的微服务实例，并维护各个端侧算力设备的运行。

本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。