基于端、边及云协同的机器学习方法、系统及介质

摘要

本申请提供了一种基于端、边及云协同架构的机器学习方法及系统，提取输入图像的多个通用特征；传输多个通用特征；接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。

说明书

技术领域

本申请属于人工智能技术领域，具体地，涉及一种基于端、边及云协同架构的机器学习方法、系统及介质。

背景技术

人工智能对技术的推动提升了社会生产力，推动了生产关系的变革。随着机器学习技术、视频分析技术和图像采集技术的蓬勃发展，

在机器学习时，基于端架构处采集图像后，由于用于传输的边架构的传输速度具有限制，或者云服务器的存储空间具有限制等因素，边架构采用直接传输端架构处采集到的图像时成本高，导致后期例如云架构的机器学习性能差或者不能实现预定效果等问题。基于此，需要一种新型的基于端架构、边架构及云架构进行图像采集传输的机器学习方法。

发明内容

本发明提出了一种基于端、边及云协同架构的机器学习方法、系统及介质，旨在解决现有机器学习时，直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

根据本申请实施例的第一个方面，提供了一种基于端、边及云协同架构的机器学习方法，具体包括以下步骤：

提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；

传输多个通用特征；

接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；

根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

在本申请一些实施方式中，在端架构处完成提取输入图像的多个通用特征的步骤；在边架构处完成传输多个通用特征的步骤；在云架构处完成接收多个通用特征，自适应选择机器学习任务对应的至少一个通用特征的步骤，以及至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型的步骤。

在本申请一些实施方式中，提取输入图像的通用特征，具体包括：

通过多层级的多个特征提取网络提取输入图像的图像特征，分别提取出多张通用特征图或通用特征向量。

在本申请一些实施方式中，提取输入图像的多个通用特征之前，还包括对输入图像进行图像预处理；图像预处理包括图像平移、图像切割、图像大小放缩和/或图像色彩空间转换。

在本申请一些实施方式中，自适应选择机器学习任务对应的至少一个通用特征，具体包括：

通过自适应算法自适应地从传入的多个通用特征中选择至少一个通用特征，至少一个通用特征用于训练对应的机器学习任务。

在本申请一些实施方式中，机器学习任务包括行人属性识别任务、交通工具属性识别任务、行人识别任务和/或交通工具识别任务。

根据本申请实施例的第二个方面，提供了一种基于端、边及云协同架构的机器学习系统，具体包括：

通用特征生成模块，用于提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；

通用特征传输模块，用于传输多个通用特征；

自适应通用特征选择模块，用于接收多个通用特征，自适应选择机器学习任务对应的至少一个通用特征；

重训练模块，用于根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

在本申请一些实施方式中，通用特征生成模块设置于端架构；通用特征传输模块设置于边架构；自适应通用特征选择模块以及重训练模块设置于云架构。

根据本申请实施例的第三个方面，提供了一种基于端、边及云协同架构的机器学习设备，包括：

存储器：用于存储可执行指令；以及

处理器:用于与存储器连接以执行可执行指令从而完成基于端、边及云协同架构的机器学习方法。

根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于端、边及云协同架构的机器学习方法。

采用本申请实施例中的基于端、边及云协同架构的机器学习方法及系统，提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；传输多个通用特征；接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。本申请大大降低了整个利用图像进行机器学习任务的运算量，同时能够大幅度提升在云端利用通用特征的分析性能。解决了现有技术中直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1中示出了根据本申请实施例的基于端、边及云协同架构的机器学习方法的步骤示意图；

图2中示出了根据本申请实施例的基于端、边及云协同架构的机器学习方法的流程示意图；

图3中示出了根据本申请实施例中的端架构的流程示意图；

图4中示出了根据本申请实施例中的边架构的流程示意图；

图5中示出了根据本申请实施例中的云架构的流程示意图；

图6中示出了根据本申请实施例的基于端、边及云协同架构的机器学习系统的结构示意图；

图7中示出了根据本申请实施例的基于端、边及云协同架构的机器学习设备的结构示意图。

具体实施方式

在实现本申请的过程中，发明人发现在机器学习时，基于端架构处采集图像后，由于用于传输的边架构的传输速度具有限制，或者云服务器的存储空间具有限制等因素，边架构采用直接传输端架构处采集到的图像时成本高，导致后期例如云架构的机器学习性能差或者不能实现预定效果等问题。

在这种条件下，数字视网膜技术应运而生。数字视网膜技术在端处部署“数字视网膜”，它像视网膜一样提取采集到的图像的特征，然后在边处只需要传输特征到云端服务器，即可完成机器学习任务。且这种特征是通用的，云端服务器上的各个机器学习任务都可以使用它。

本申请采用端架构、边架构以及云架构三者协同的模式，可以在PyTorch、Tensorflow等常见的机器学习框架下进行开发。采用端架构、边架构及云架构三者协同的重要性渐渐凸显。本申请采用这种架构在端处采集图像并作出预处理，经过边的传输，由云端服务器完成各种机器视觉任务。

具体的，

本申请的基于端、边及云协同架构的机器学习方法及系统，提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；传输多个通用特征；接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。

本申请大大降低了整个利用图像进行机器学习任务的运算量，同时能够大幅度提升在云端利用通用特征的分析性能。解决了现有技术中直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

图1中示出了根据本申请实施例的基于端、边及云协同架构的机器学习方法的步骤示意图。图2中示出了根据本申请实施例的基于端、边及云协同架构的机器学习方法的流程示意图。

如图1所示，本申请实施例的基于端、边及云协同架构的机器学习方法，具体包括以下步骤：

S101：提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量。

具体的，通过多层级的多个特征提取网络提取输入图像的图像特征，分别提取出多张通用特征图或通用特征向量。

其它实施例的，提取输入图像的多个通用特征之前，还包括对输入图像进行图像预处理；图像预处理包括图像平移、图像切割、图像大小放缩和/或图像色彩空间转换。

S102：传输多个通用特征；

S103：接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征。

具体的，通过自适应算法自适应地从传入的多个通用特征中选择至少一个通用特征，至少一个通用特征用于训练对应的机器学习任务。

S104：根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

在本申请一些实施方式中，机器学习任务包括行人属性识别任务、交通工具属性识别任务、行人识别任务和/或交通工具识别任务。

具体的，在端架构处完成S101提取输入图像的多个通用特征的步骤；在边架构处完成S102传输多个通用特征的步骤；在云架构处完成S103接收多个通用特征，自适应选择机器学习任务对应的至少一个通用特征的步骤，以及S1014至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型的步骤。

本申请基于神经网络，提供了一种在端处训练提取通用特征并在边上传递，最终在云处进行重训练完成机器学习任务的方法。

在端-边-云协同计算的机器视觉任务中，为减小传输数据的量，在端处，利用多种神经网络生成图像的通用特征；在边处，对通用特征进行传递；在云处，各种机器视觉任务自适应地选择通用特征；在云处，利用通用特征实施进一步的重训练。

其中，在端装置上对图像进行预处理；然后，将经过预处理后的图像输入到各种前沿的深度神经网络中，然后采用这些神经网络的一部分层进行特征提取，从而得到图像的特征。用多种网络、多种层级得到的多个图像特征，由于可以应用于各种机器视觉任务，又称为通用特征。

为进一步说明本实施例，图3中示出了根据本申请实施例中的端架构的流程示意图；图4中示出了根据本申请实施例中的边架构的流程示意图；图5中示出了根据本申请实施例中的云架构的流程示意图。

如图3所示，对于传入图像x

然后，采用多种网络的多个层级来对预处理后的图像x

从而，对于图像x

如图4所示，采用适当的网络装置，端架构得出的x

如图5所示，云处的机器视觉任务接收边传输来的x

云处的机器视觉任务上一步骤选择的通用特征x

其中，云端的各个机器学习任务，包括但不限于：行人属性识别任务、交通工具属性识别任务、行人Re-ID任务、交通工具Re-ID任务等，采用自适应算法，从传入云端的各通用特征中选取合适的进一步进行重学习。各机器学习任务利用通用特征在云端配置的机器学习模型上继续进行机器学习，从而完成机器视觉任务，这称为重学习。

本申请实施例中的基于端、边及云协同架构的机器学习方法，提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；传输多个通用特征；接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。对于不同的机器视觉任务和对应的神经网络，在端处统一提取通用特征。

本申请大大降低了整个利用图像进行机器学习任务的运算量，同时能够大幅度提升在云端利用通用特征的分析性能。解决了现有技术中直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

实施例2

本实施例提供了一种基于端、边及云协同架构的机器学习系统，对于本实施例的基于端、边及云协同架构的机器学习系统中未披露的细节，请参照其它实施例中的基于端、边及云协同架构的机器学习方法的具体实施内容。

图6中示出了根据本申请实施例的基于端、边及云协同架构的机器学习系统的结构示意图。

如图6所示，本申请实施例的基于端、边及云协同架构的机器学习系统，具体包括通用特征生成模块10、通用特征传输模块20、自适应通用特征选择模块30以及重训练模块40。

具体的，

通用特征生成模块10，用于提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量。

具体的，通过多层级的多个特征提取网络提取输入图像的图像特征，分别提取出多张通用特征图或通用特征向量。

其它实施例的，提取输入图像的多个通用特征之前，还包括对输入图像进行图像预处理；图像预处理包括图像平移、图像切割、图像大小放缩和/或图像色彩空间转换。

通用特征传输模块20，用于传输多个通用特征。

自适应通用特征选择模块30，用于接收多个通用特征，自适应选择机器学习任务对应的至少一个通用特征。

具体的，通过自适应算法自适应地从传入的多个通用特征中选择至少一个通用特征，至少一个通用特征用于训练对应的机器学习任务。

重训练模块40，用于根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

具体的，通用特征生成模块10设置于端架构；通用特征传输模块20设置于边架构；自适应通用特征选择模块30以及重训练模块40设置于云架构。

本申请基于神经网络，提供了一种在端处训练提取通用特征并在边上传递，最终在云处进行重训练完成机器学习任务的方法。

在端-边-云协同计算的机器视觉任务中，为减小传输数据的量，在端处，利用多种神经网络生成图像的通用特征；在边处，对通用特征进行传递；在云处，各种机器视觉任务自适应地选择通用特征；在云处，利用通用特征实施进一步的重训练。

其中，在端装置上对图像进行预处理；然后，将经过预处理后的图像输入到各种前沿的深度神经网络中，然后采用这些神经网络的一部分层进行特征提取，从而得到图像的特征。用多种网络、多种层级得到的多个图像特征，由于可以应用于各种机器视觉任务，又称为通用特征。

为进一步说明本实施例，图3中示出了根据本申请实施例中的端架构的流程示意图；图4中示出了根据本申请实施例中的边架构的流程示意图；图5中示出了根据本申请实施例中的云架构的流程示意图。

如图3所示，对于传入图像x

然后，采用多种网络的多个层级来对预处理后的图像x

从而，对于图像x

如图4所示，采用适当的网络装置，端架构得出的x

如图5所示，云处的机器视觉任务接收边传输来的x

云处的机器视觉任务上一步骤选择的通用特征x

其中，云端的各个机器学习任务，包括但不限于：行人属性识别任务、交通工具属性识别任务、行人Re-ID任务、交通工具Re-ID任务等，采用自适应算法，从传入云端的各通用特征中选取合适的进一步进行重学习。各机器学习任务利用通用特征在云端配置的机器学习模型上继续进行机器学习，从而完成机器视觉任务，这称为重学习。

本申请实施例中的基于端、边及云协同架构的机器学习系统，通用特征生成模块10提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；通用特征传输模块20传输多个通用特征；自适应通用特征选择模块30接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；重训练模块40根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。对于不同的机器视觉任务和对应的神经网络，在端处统一提取通用特征。

本申请大大降低了整个利用图像进行机器学习任务的运算量，同时能够大幅度提升在云端利用通用特征的分析性能。解决了现有技术中直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

实施例3

本实施例提供了一种基于端、边及云协同架构的机器学习设备，对于本实施例的基于端、边及云协同架构的机器学习设备中未披露的细节，请参照其它实施例中的基于端、边及云协同架构的机器学习方法或系统具体的实施内容。

图7中示出了根据本申请实施例的基于端、边及云协同架构的机器学习设备400的结构示意图。

如图7所示，机器学习设备400，包括：

存储器402：用于存储可执行指令；以及

处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。

本领域技术人员可以理解，示意图7仅仅是机器学习设备400的示例，并不构成对机器学习设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如机器学习设备400还可以包括输入输出设备、网络接入设备、总线等。

所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是机器学习设备400的控制中心，利用各种接口和线路连接整个机器学习设备400的各个部分。

存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现机器学习设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据机器学习设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。

机器学习设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于端、边及云协同架构的机器学习方法。

本申请实施例中的基于端、边及云协同架构的机器学习设备及计算机存储介质，提取输入图像的多个通用特征；通用特征包括输入图像的通用特征图和/或通用特征向量；传输多个通用特征；接收多个通用特征，并自适应选择机器学习任务对应的至少一个通用特征；根据至少一个通用特征训练对应的机器学习任务，得到训练后的机器学习模型；训练后的机器学习模型根据输入图像得到机器学习任务的预测结果。

本申请通过在端架构处提取可用于各种视觉任务的通用特征，只在边架构上传输通用特征而不需要传输端处采集的原图，最后在云架构处利用通用特征进行机器学习任务的训练。对于不同的机器视觉任务和对应的神经网络，在端处统一提取通用特征。

本申请大大降低了整个利用图像进行机器学习任务的运算量，同时能够大幅度提升在云端利用通用特征的分析性能。解决了现有技术中直接将端架构处采集到的图像传输至边架构时成本高、学习性能差的问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。