一种自适应AI模型部署方法

摘要

本发明揭示了一种自适应AI模型部署方法，所述方法包括：接收业务应用对AI接口的调用，所述被业务应用调用的AI接口对应特定的AI模型，决策所述AI接口调用对应模型的部署状态，所述对AI模型部署状态的决策包括对所述AI模型的预部署状态的使用与对AI功能模型的遴选。针对所述AI模型部署决策与功能模型遴选的方法作实施，可以有效提升AI模型对业务应用的灵活性，提高AI模型的可用性与易用性，从而进一步提升AI在业务应用场景上的适用深度与广度。

说明书

技术领域

本申请涉及人工智能方法，主要涉及人工智能模型在提供服务的云端与运行业务应用的终端间的模型部署与运行机制的相关方法。

背景技术

目前人们普遍认为人工智能(AI-Artificial Intelligence)会是二十一世纪及以后最具影响力的技术之一。

基于这种判断，人们在AI领域投入大量资源。一方面，人们期望与尝试用AI来解决诸多领域的问题，为此目的大规模地收集了诸多方面的数据。另一方面，为更好解决“目标”问题，人们针对问题所在领域定制了不同的底层硬件。这样经过最近数年的演进，AI已经发展成为庞大的技术群与复杂的技术生态。

通常情况下，对AI的使用都遵从这样的两阶段模式：模型训练阶段和模型部署(应用)阶段。训练的结果为得到AI模型；在模型部署(应用)阶段，业务应用以API方式调用按黑盒封装的AI模型，输入入参，得到返回结果。因为AI硬件与环境的定制特征，AI模型的训练无不基于超高算力的服务器或云环境而进行；同时因为这种定制特征，AI模型的部署多数也是针对服务器或云环境进行的。因此，这种方式实施下的AI技术，十分缺乏灵活性。

发明内容

因此，本发明揭示了解决上述问题、提升与增强AI部署灵活性的方法。这些方法，应用于不特定的可移动终端、网络设备甚至云服务器；进一步，这些不特定的装置，构成实现自适应AI模型部署的系统。为此，本发明：

一方面，提出一种自适应AI模型部署的方法，包括：

接收业务应用对AI接口的调用，所述对AI接口的调用包含对作为AI接口的参数进行数据赋值，所述被业务应用调用的AI接口对应某个AI模型；决策所述AI接口调用对应模型的部署状态，所述部署状态为所述被调用AI接口对应AI模型的部署状态，所述对AI模型部署状态的决策包括对所述AI模型的预部署状态的使用；遴选所述AI模型对应的功能模型，所述功能模型为同一个AI模型对应的多个差异性实现，所述对AI功能模型的遴选为从所述AI模型对应的多个差异性实现中作遴选。

人工智能在应用实施上通常分成两个阶段。第一阶段为模型训练，第二阶段为部署模型。不失一般性，训练得到的AI模型通常打包成SDK并以API接口方式发布。如此，在获悉随AI模型发布的接口(API)后，相关业务应用在需要时调用这个接口。在接收到相关业务应用对AI接口的调用后，包含被调用AI模型信息的SDK就对该接口调用作进一步响应，即针对AI模型的部署情况作处理，这正是本发明所实施的自适应AI模型部署的方法及其流程。该自适应的部署方法详述为：在接收到业务应用对AI接口的调用后，可选地，AI SDK对参数的赋值数据进行分析。这些数据既包含AI模型的待处理数据，也包含业务应用通过接口提供的针对模型的指示性数据。AI SDK获取AI模型的预部署状态，根据预部署状态得到AI模型所发布到的端侧，并获取所述端侧的动态信息，该动态信息主要反应所述端侧的可用状态。AI SDK从这些动态信息与可选地从这些赋值数据中分析并决策AI模型的部署状态，从而决定出所响应AI接口调用的模型执行的所在端侧。如果基于相应的数据与信息确定出需要调用发布到业务应用本地的AI模型，则相应的AI模型部署状态为本地；如果确定出需要调用发布到非业务应用本地(远程或云端)的AI模型，则相应的AI模型部署状态为非本地。在这个基础上，进一步对需要调用的AI模型所对应的功能模型组的执行体作遴选。所述对功能模型组的遴选用于从具有相同能力的AI模型所提供的一组执行体中选择一个匹配最佳的执行体。所述最佳匹配执行体满足如下的条件，一方面需要保证AI模型调用的结果可用性，另一方面还需要保证AI模型调用过程中的环境可用性。这个环境可用性，是从模型部署所在的环境来衡量的，即所述AI模型的调用执行不会显著恶化模型部署所在的环境，至少不是以资源的现有竞争激烈程度的正序而恶化该环境，而最好是在满足AI调用需求(结果可用性)的情况下会尽量优先利用尚处于竞争最不激烈的资源。所述对最优执行体的遴选步骤包括：获取模型部署状态对应端侧的各资源动态信息；根据各功能模型组对应执行对资源的需求情况，确定对功能模型组的遴选结果。所述资源的动态信息包括：资源类型、资源总额、可用资源量与可用资源比例等；所述各资源包括但不限于：CPU/GPU/TPU等计算器件的算力、DDR或其它当前主流或未来会作为主流的存储器件提供的Memory、网卡或光纤接口等器件提供的网络通道，等等类型的资源。

这样，实施了包含上述部分或全部方法与步骤的产品与服务系统，具有自适应AI模型部署的功能，从而为AI模型的部署与应用提供极大的灵活性。

另一方面，提出一种自适应AI模型部署的装置，该部署装置包含业务应用系统，该业务应用系统进一步包含：

业务应用单元：指实现业务逻辑的应用层代码，仅从阐述发明相关性的角度来看，该业务应用单元会发出针对AI模型的接口(简称AI API)调用；

AI-SDK单元：所述AI-SDK单元用于暴露前述业务应用能够调用到的AI API，以及下述各功能模块；

模型管理模块：用于管理通过AI SDK发布的各AI模型，以及记录模型发布结果的预部署状态信息；

本地模型模块：用于维护发布到本地的模型以及对应的接口；

远程模型代理模块：用于给从本地发出接口调用、但决策与遴选结果为发布到非本地的模型作调用代理；

优化反馈模块：模型调用效果给出后，用于收集以优化为目标的动态样本、以及其它评估与优化用的信息收集；

模型策略模块：用于决策AI模型部署状态以及功能模型组的遴选，其中包含用于收集相关端侧动态信息的动态信息收集功能；

本发明提出的上述单元与模块，同产品实际实施时所需要的其它单元、模块以及软件功能一起，共同实现一个具有自适应AI模型部署的装置。体现在：在一个具有AI模型使用灵活性的装置上，应用可以使用到多种AI模型，也会使用到同一种AI模型的多样化接口，甚至可以针对同一AI模型甚至同一AI API而为业务应用提供自适应的多样化实现。这种灵活性，还进一步体现到业务应用可以发起针对发布到非本地端侧的AI模型对应接口的调用，这些调用通过远程模型的代理再转发到模型的发布与执行装置上。这样，业务应用所在装置就具有使用多样化AI模型的能力。在接收到相关业务应用对AI接口的调用后，包含被调用AI模型信息的SDK就对该接口调用作进一步响应，即针对AI模型的部署情况作处理，这正是本发明所实施的自适应AI模型部署的方法与流程。该自适应的部署方法详述为：在接收到业务应用对AI接口的调用后，可选地，AI SDK对参数的赋值数据进行分析。这些数据既包含AI模型的待处理数据，也包含业务应用通过接口提供的针对模型的指示性数据。AI SDK获取AI模型的预部署状态，根据预部署状态得到AI模型所发布到的端侧，并获取所述端侧的动态信息，该动态信息主要反应所述端侧的可用状态。AI SDK从这些动态信息与可选地从这些赋值数据中分析并决策AI模型的部署状态，从而决定出所响应AI接口调用的模型执行的所在端侧。如果基于相应的数据与信息确定出需要调用发布到业务应用本地的AI模型，则相应的AI模型部署状态为本地；如果确定出需要调用发布到非业务应用本地(远程或云端)的AI模型，则相应的AI模型部署状态为非本地。在这个基础上，进一步对需要调用的AI模型所对应的功能模型组的执行体作遴选。所述对功能模型组的遴选用于从具有相同能力的AI模型所提供的一组执行体中选择一个匹配最佳的执行体。所述最佳匹配执行体满足如下的条件，一方面需要保证AI模型调用的结果可用性，另一方面还需要保证AI模型调用过程中的环境可用性。这个环境可用性，是从模型部署所在的环境来衡量的，即所述AI模型的调用执行不会显著恶化模型部署所在的环境，至少不是以资源的现有竞争激烈程度的正序而恶化该环境，而最好是在满足AI调用需求(结果可用性)的情况下会尽量优先利用尚处于竞争最不激烈的资源。所述对最优执行体的遴选步骤包括：获取模型部署状态对应端侧的各资源动态信息；根据各功能模型组对应执行对资源的需求情况，确定对功能模型组的遴选结果。所述资源的动态信息包括：资源类型、资源总额、可用资源量与可用资源比例等；所述各资源包括但不限于：CPU/GPU/TPU等计算器件的算力、DDR或其它当前主流或未来会作为主流的存储器件提供的Memory、网卡或光纤接口等器件提供的网络通道，等等类型的资源。

另一方面，提出一种AI模型优化的方法，包括：

生成第二样本，所述第二样本区别于第一样本，所述第二样本的生成为从动态反馈信息到第二样本的加工与转化过程；重新训练模型，所述重新训练所使用的样本包含所述第二样本和区别于所述第二样本的第一样本；生成第三样本，所述第三样本为所述第二样本与第一样本的合集的转化结果，所述第三样本的生成过程还包括对所述第三样本的权值的调整，所述第三样本的生成过程还包括使用第三样本代替第一样本，所述第三样本的生成过程还包括对重新训练生成的模型作评估并根据评估结果决定是否生成第三样本。

在所述AI模型自动调优的过程中：首先接收动态反馈，所述动态反馈为来自于模型部署过程所收集到的信息，所述部署过程收集的动态信息，包含但不限于反映模型部署结果与模型期望间的差异信息、包含但不限于模型部署的环境欠压与过压信息、包括但不限于业务应用调用模型对外接口时所输入的入参赋值数据的特征信息等；生成动态样本，所述动态样本的生成过程为从前述获取的动态反馈信息生成动态样本的过程；决策重新训练，所述决策重新训练为对样本合集是否重新进行训练进行决策，所述样本合集包含动态样本与静态样本，所述静态样本为得到AI模型的上一次训练所用的样本；所述对样本合集是否重新训练的决策，包含对动态样本的权值与静态样本的权值的使用(如简单比较，对简单比较的示例为动态样本的权值不小于静态样本权值的5%时就决策再次训练样本、重新生成模型)；重新训练样本，所述重新训练所使用的样本包含动态样本与静态样本；根据新生成的模型，调整静态样本的权值，并进一步合并生成新的静态样本。通过所述的AI模型优化方法，使得AI模型具有自动调优的能力，从而服务于业务应用提供更佳的应用目标与体验效果。

另一方面，提出一种AI模型自动调优的装置，还包括：

模型管理模块：用于管理与维护AI模型，包括更新替换通过样本训练得到的AI模型；

样本管理模块：用于管理与维护用于训练以得到AI模型所用的样本，包括更新替换样本及对应的样本权值；

反馈收集模块：用于接收动态功能发送的动态信息，包括用于度量模型效果的信息和用作AI接口调用的入参赋值数据等；

优化决策模块：用于对是否需要重新训练与重新模型作决策，包括通过比较动态样本权值跟静态样本权值的关系；

本发明所提出的AI模型自动调优装置，用于根据模型的部署结果来优化AI模型，从而将实际生产与服务过程中的应用数据作为AI模型的训练样本，以维护样本的实效性。所述装置对AI模型的自动调优过程如下：首先接收动态反馈，所述动态反馈为来自于模型部署过程所收集到的信息，所述部署过程收集的动态信息，包含但不限于反映模型部署结果与模型期望间的差异信息、包含但不限于模型部署的环境欠压与过压信息、包括但不限于业务应用调用模型对外接口时所输入的入参赋值数据的特征信息等；生成动态样本，所述动态样本的生成过程为从前述获取的动态反馈信息生成动态样本的过程；决策重新训练，所述决策重新训练为对样本合集是否重新进行训练进行决策，所述样本合集包含动态样本与静态样本，所述静态样本为得到AI模型的上一次训练所用的样本；所述对样本合集是否重新训练的决策，包含对动态样本的权值与静态样本的权值的使用(如简单比较，对简单比较的示例为动态样本的权值不小于静态样本权值的5%时就决策再次训练样本、重新生成模型)；重新训练样本，所述重新训练所使用的样本包含动态样本与静态样本；根据新生成的模型，调整静态样本的权值，并进一步合并生成新的静态样本。

另一方面，提出了一种计算机可读存储介质，该计算机存储介质存储有程序指令，该程序指令当被处理器运行时，该处理器(分别)具有执行上述关于方法的实施过程。

另一方面，提出了一种管理的装置，包括存储组件，处理组件和通信组件，存储组件，处理组件和通信组件相互连接。其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，分别行使上述关于装置的功能。

附图说明

为了更清楚地说明本发明实施的技术方案，更清楚地阐述发明目标的达成要素、方式与过程，下面将对本发明实施中所需要使用的附图进行说明。

图1是关于本发明之自适应AI模型部署方法的组成图之一；

图2是关于本发明之自适应AI模型部署方法的组成图之一；

图3是关于本发明之自适应AI模型部署方法的组成图之一；

图4是关于本发明之自适应AI模型部署方法的组成图之一；

图5是关于本发明之自适应AI模型部署方法的组成图之一；

图6是关于本发明之自适应AI模型部署方法的组成图之一；

图7是关于本发明之自适应AI模型部署方法的流程图之一；

图8是关于本发明之自适应AI模型部署方法的流程图之一；

图9是关于本发明之自适应AI模型部署方法的流程图之一；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例进行描述。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请书中使用的术语“服务器”、“单元”、“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，服务器可以是但不限于，处理器，数据处理平台，计算设备，计算机，两个或更多个计算机等；单元可以是但不限于，在处理器上运行的进程、可运行对象、可执行文件、执行线程、或其它任何可执行的计算机程序。一个或多个单元可驻留在进程和/或执行线程中，一个单元也可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可根据具有一个或多个数据分组（例如来自与本地系统、分布式系统和/或网络间的另一单元交互的二个单元的数据，例如通过信号与其它系统交互的互联网）的信号通过本地和/或远程进程来通信。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

(1) 云计算：即Cloud Computing，指那种拥有集成度优势、连接在网络环境中、以服务方式向用户提供计算、存储甚至软件能力的新型计算范式。这种新的计算范式跟旧有的计算范式的差异，体现在可感观与可用性上就是，它对用户而言并不存在可见的固定形态、甚至基本不存在无资源可用的状态，故被叫做云计算。

(2) 人工智能：即Artificial Intelligence，简称AI，指那种通过计算系统模拟人类智能的方法、技术、软硬件及系统的泛称。

(3) 机器学习：机器学习属于AI领域的一个重要分支性技术。机器学习会从样本数据中提取数据模式，以便对应用数据做出尽可能好的预测。机器学习的实施过程直接对应于模型训练。

(4) 模型训练：是一种以机器学习或者/和深度学习为核心的应用数据模式提取与应用数据加工过程的生成过程。应用数据是指实际生产与服务环境中所产生的真实数据，并会接收模型训练所生成的加工过程的加工处理。相对于这种应用数据，模型训练所处理的数据即为样本数据。以传统计算机具有的典型数据处理过程来看，模型训练包含两个目标：为应用数据找到一个加工方式，并让这种加工过程在某种现有设备上变得可实施。

(5) 模型发布：前述模型训练得到一个能够对待处理的应用数据作加工的软件包，这个软件包需要SDK化，并以特定API的方式发布给特定软硬件环境以方便业务应用的使用。这个SDK打包与发布、API的发布等过程，即为通常的AI模型发布，简称模型发布。

(6) 预部署状态：前述训练过程得到的AI模型，基于应用目标被发布与安装到特定软硬件环境里，这些软硬件环境要么在云端、要么在边缘、或者直接就在业务应用的本地端。这种发布与安装后的结果具有静态的特点，叫预部署状态。

(7) 部署状态：基于AI模型的发布与安装结果，在AI模型被执行时，其相对于模型使用者-例如业务应用来说，响应AI接口调用的模型执行体要么在本地，要么在非本地。这种执行时相应的动态特点，叫部署状态。

其次，提出本申请所解决问题的技术分析与方法概览。目前有一个共识，AI是属于未来的技术，它既可以解决以前不曾很好解决的问题，也可以解决以前不曾解决过的问题。一方面，人们大规模地收集了诸多方面的数据；另一方面，人们针对问题所在领域定制了不同的底层硬件。因此，行业常见的AI应用的底层硬件均是定制化的，这种定制化使得业务应用在调用AI API时需要按照特定方式进行。这种定制化特征，很大程度限制了AI在应用上的灵活性。本发明所提出的方法以及相应的实施例，即为提升AI应用的灵活。

再次，结合各附图，对发明内容作进一步的阐述。其中：

如图1为本发明的组成图之一1100。本发明的目标提高AI应用的灵活性，图所示的1100代表跟AI模型发布所在的业务应用端，所示的1101为业务应用单元，所示的1102为AI-SDK单元，所示的1103为模型管理模块，所示的1104为本地模型模块，所示的1105为远程模型代理模块，所示的1106为优化反馈模块，所示的1107为模型策略模块。其中的1101为业务应用单元，它由一个或一组实现业务应用逻辑的软件代码来承载，在本发明的主旨里，1101发出对AI模型的调用请求，该调用请求即通过AI-SDK单元所暴露的AI API来实现。其中的1102为AI-SDK单元，随AI模型发布到业务应用环境的AI API即由该SDK所暴露，它还进一步包含如下所述的模块。其中的1103为模型管理模块，它用来管理与维护发布到本地的AI模型与远程代理，以及记录模型发布结果的预部署状态信息。其中的1104为本地模型模块，它是发布到业务应用本地AI模型，在本发明的主旨下它包含了相同能力的AI模型的功能模型组对应的执行体。其中的1104为发布在云端的远程模型的代理模块，通过该代理会将针对AI模型的调用请求转换远程请求，如HTTP API或者SOAP API等。其中的1106为优化反馈模块，它用于收集AI模型调用的优化数据，如用于评估模型效果的数据，或者用于再训练AI模型用的样本数据等。其中的1107为模型策略模块，它用于对模型部署状态的决策、功能模型接口的遴选等。

如图2为本发明的组成图之一1200，它示意了AI能力的实现与提供方式，即样本到模型的AI训练过程，其中：1201为参数设置单元，用于对模型训练单元1210所在模型训练时所需要的参数作管理与设置；1211为数据获取模块，用于获取AI模型训练所需要的训练样本；1212为数据混合模块，用于对动态样本与静态样本进行混合，并做权值调整、正负样本采样等操作； 1213为数据清洗模块，用于对训练样本做清洗，例如过滤无效样本等；1214为数据评价模块，用于评估训练样本的质量，判断训练样本是否适合用于训练；1215为模型训练模块，它利用训练样本、根据AI算法进行模型训练；1216为语料管理模块，它用于对生成训练样本的原始语料数据进行统一管理。其中，12X0示意了如1210所示的模型训练单元为不特定的个数(一个或多个)。

如图3为本发明的组成图之一1300，它示意了AI模型在训练获得后的发布功能所需要的实现组成。其中包含：1301为模型管理模块，用于管理维护已经生成的AI模型，包括对待发布到目的地模型的缓存； 1302为设备管理模块，用于管理与维护AI模型跟可发布可部署AI模型的设备间映射关系；1303为模型发布模块，用于负责将训练所得的AI模型发布到待部署的终端或云端，包括组织与发布模型的预部署状态信息；1304为接口管理模块，用于管理所发布模型的对外接口。

如图4为本发明的组成图之一1400，它示意了一种基于重复训练来调优AI模型的实现组成。其中的1401为模型管理模块，用于管理维护生效中的AI模型；其中的1402为样本管理模块，用于管理维护用于训练生成AI模型的样本；其中的1403为反馈收集模块，用于收集动态反馈功能提供的动态信息，所述动态信息包括AI模型部署得到的效果评估，以及从实际生产与服务过程中得到的应用数据转化生成的动态样本；其中的1404为优化决策模块，用于通过评估动态样本的权值来决策动态样本对AI模型的影响因子，从而决策是否重新训练样本来生成模型，并进一步决策是否需要更更新样本数据。

如图5为本发明的组成图之一1500，它示意了一种为业务应用调用AI模型接口时作决策与遴选所依据的动态信息采集功能的实现组成。其中的1510为动态单元，进一步它还包含：所示的1511为环境动态信息收集模块(如温度传感器对温度的收集)，所示的1512为算力采集模块，用于对整体算力与空闲算力作采集；所示的1513为内存采集模块，用于对整体内存容量与空闲内存量作采集；所示的1514为通信采集模块，用于对网络通信的整体能力与空闲能力作采集。所述的采集结果，由环境动态收集模块统一收集，基于特定的动态信息请求然后前述采集模块所采集的实时或准实时信息改善给请求方。

如图6为本发明的组成图之一1600，它示意了一种实现本发明功能的相关模块/单元的连接与组网全图。其中的1610与1620为业务应用所在的终端，它们是业务应用的运行环境，包含但不限于相同或不同的业务应用单元、用于业务单元需要的AI-SDK单元、动态采集模块或单元等，其中的AI-SDK还包含有本地的AI部署；其中的1630为AI模型的部署服务器，它包含一个或多个模型部署单元(如图示的模型部署单元-01与模型部署单元-02)，所述部署单元用于提供业务应用对AI模型调用的远程部署，其中的个数仅作为图示而非限定；其中的1640为AI模型训练服务器，它包含一个或多个模型训练单元(如图示的模型训练单元-01与模型训练单元-02)，所述训练单元用于从样本生成AI模型，其中的个数仅作为图示而非限定；其中的1650为AI模型发布服务器，它包含一个或多个模型发布单元(如图示的模型发布单元-01与模型发布单元-02)，所述发布单元用于对训练生成的AI模型向部署环境作推送与发布，包含对待发布模型的缓存，其中的个数仅作为图示而非限定；其中的1660为模型调优服务器，它包含一个或多个模型调优单元(如图示的模型调优单元-01与模型调优单元-02)，所述调优单元用于完成对AI模型的持续调优，其中的个数仅作为图示而非限定。

进一步，结合所述功能组成示意图，对本发明功能的流程阐述如下。其中：

图7为本发明相关的模型训练、发布、部署决策、功能模型遴选与自动调优等的全环节与总流程1700。该总流程可以分成不同的子流程来分别阐述，这些子流程包括：训练与发布子流程，部署与执行子流程，反馈与决策调优子流程。

其中的训练与发布子流程为：

17A-接收或提取初始训练所使用的样本；

17B-使用所获取的样本训练生成AI模型；

17C-模型服务化加工所生成的AI模型，以生成特定的本地Local API与远程HTTP API；

17E-将模型服务化加工的结果SDK化与打包；

17F-根据设备信息发送更新通知。前述环节发生在服务器环境侧，下述环节发生在模型部署环境，尤其是发生在业务应用所在的终端侧；

17G-接收模型更新通知；

17H-下载与安装AI模型

其中的部署与执行流程为：

17I-业务应用发起AI模型对应接口的调用；

17J-响应于AI接口的调用，从动态采集单元获取相关的动态信息；

17K-解析相关数据与信息，对模型的模型部署作决策；

17L-在本地部署状态下，根据端侧的动态信息，对对应的功能模型组作遴选；

17M-部署应用本地功能模型；

17N-业务应用接收调用AI接口的结果；

17O-在远程部署状态下，根据终端侧的动态信息，对对应的功能模型组作遴选；

17P-部署应用云端的远程功能模型；

其中的反馈与决策调优子流程为：

17R-在模型部署执行结束后，收集模型的部署效果；

17S-上报所述收集的部署效果；

17T-将模型的部署效果转化为动态样本；

17B-结合所述动态样本，再次使用静态(或初始)样本，训练生成AI模型；

图8为业务应用调用AI API后，对AI模型所作部署决策与功能遴选的流程1800。其详细过程为：

18A-业务应用发起AI模型对应接口的调用；

18B-根据对应AI模型的预部署状态，可选地，从业务应用端本地采集动态信息；

18C-根据对应AI模型的预部署状态，可选地，从云端采集动态信息；

18D-根据各端侧的动态信息，决策AI模型的部署状态；

18E-在模型部署状态为业务应用本地的情况下，可选地，下载AI模型到应用业务本地端侧；

18F-在模型部署状态为业务应用本地的情况下，根据动态信息对功能模型作遴选；

18G-在模型部署状态为业务应用本地的情况下，根据遴选情况部署执行AI功能模型；

18C-在模型部署状态为远程云端侧的情况下，可选地，再次获取云端侧的动态信息；

18H-在模型部署状态为远程云端侧的情况下，根据动态信息对功能模型作遴选；

18I-在模型部署状态为远程云端侧的情况下，根据遴选情况部署执行AI功能模型；

18J-给业务应用反馈模型部署执行的结果

18K-向调优单元反馈优化的动态样本；

图9为模型部署执行后，对AI模型自动持续调优的流程1900。其详细过程为：

19A-接收AI模型部署执行后的效果评估数据；

19B-生成动态样本；

19H-提取AI模型原训练生成过程使用的(静态)样本；

19C-评估决策是否需要重新训练以生成新的模型，可选地，评估决策使用效果评估得到的动态样本权值，比较动态样本权值跟静态样本权值的关系；

19D-重新训练生成模型；

19E-发布重新生成的模型；

19F-可选地，调整静态样本的权值；

19G-可选地，生成新的静态样本；

在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于单个网络节点内，或者也可以分布到多个网络节点上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，根据具体约束与实现所需，在本申请各个实施例中的各功能组件可以集成在一个组件也可以是各个组件单独物理存在，也可以是两个或两个以上组件集成在一个组件中。上述集成的组件既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的组件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台或一台以上计算机设备 (可以是个人计算机，服务器，或者网络设备等) 执行各个本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着先后执行的严格顺序，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。尽管在此结合各实施例对本申请进行了描述，然而，在实施例所要求保护的本申请过程中，本领域技术人员可理解并实现公开实施例的其他变化。