本申请要求于2019年10月20日提交的名称为“一种在使用时执行机 器学习模型的实时更新的方法(AMethod of Performing Live Updates of Machine LearningModels While in Use)”的美国临时专利申请序列号 62/923,591的优先权，出于所有目的，通过引用将其全部内容并入本文。
背景技术
诸如机器学习之类的技术正被用于各种行业中越来越多的各种任务。 例如，对于利用深度学习模型的应用程序，这些模型通常与应用程序一起 部署，例如部署在应用程序容器图像中。为了为基于机器学习的推理提供 最高级别的准确性，期望经常更新这些模型。但是，为了使用常规技术部 署这些新的或更新的模型，需要部署新的容器，这些容器要求先停止执行 应用程序的较早版本，然后才能在其位置处执行新的版本，这可能会导致大量停机或这些应用程序不可用。
附图说明
将参考附图描述根据本公开的各种实施例，其中：
图1示出了根据至少一个实施例的用于支持边缘应用程序的示例架构；
图2示出了根据至少一个实施例的模型管理系统；
图3示出了根据至少一个实施例的用于更新应用程序的机器学习模型 的示例过程；
图4示出了根据至少一个实施例的用于使用机器学习模型来启动边缘 应用程序的示例过程；
图5示出了根据至少一个实施例的用于更新边缘应用程序的机器学习 模型的示例过程；
图6示出了根据至少一个实施例的用于改变边缘应用程序所利用的模 型的版本的示例过程；
图7A示出了根据至少一个实施例的推理和/或训练逻辑；
图7B示出了根据至少一个实施例的推理和/或训练逻辑；
图8示出了根据至少一个实施例的示例数据中心系统；
图9示出了根据至少一个实施例的计算机系统；
图10示出了根据至少一个实施例的计算机系统；
图11示出了根据一个或更多个实施例的图形处理器的至少部分；
图12示出了根据一个或更多个实施例的图形处理器的至少部分；
图13是根据至少一个实施例的用于高级计算管线的示例数据流程图；
图14是根据至少一个实施例的用于在高级计算管线中训练、调整、实 例化和部署机器学习模型的示例系统的系统图；以及
图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型 的过程的数据流程图，以及用于利用预训练注释模型来增强注释工具的客 户端-服务器架构。
具体实施方式
各种不同的任务越来越多地依赖于诸如机器学习之类的技术。对于许 多应用程序，部分地由于执行机器学习所需的资源，可能希望将机器学习 托管在远程服务器或其他此类系统而不是客户端设备上。例如，尽管各种 系统可以在提供商网络或环境中托管机器学习和其他此类应用程序或功 能，但可能期望在各种情况下在网络边缘处托管机器学习。在边缘位置处 运行推理应用程序可以为客户带来各种优势(例如，减少延迟)，因为边缘位置可以更靠近连接的媒体源和传感器，对于可以从各种不同地理位置访 问的延迟关键型应用程序或服务而言，这可能非常重要。
对于某些使用情况，这种基于机器学习或人工智能(AI)的功能可能 需要连续运行，例如用于数据处理以从视频流生成推理输出。对于具有高 需求的应用程序，这可包括该应用程序能够全天候执行并且没有任何间隔 或停机时间。可以在执行图像或传感器数据处理的应用程序中找到此类部 署的示例；对象检测、识别和/或分类；区域监测或监视；以及世界空间感 知等。这些应用程序又被广泛用于许多行业，包括但不限于零售商店、仓库、机场、停车场和高速公路监控。可以使用特定类型的硬件(例如，可 包括配备有一个或更多个图形处理单元(GPU)的服务器)以最佳方式执 行诸如推理以及根据该推理的输出计算出的下游分析的任务，其中应用程 序可以被容器化。通常，服务器和应用程序部署是由容器协调平台(例如， 开源Kubernetes平台)管理的。在至少一些实施例中，应用程序容器可以 包括应用程序的整个运行时环境或由其组成，包括用于该应用程序的各种 库、二进制文件、依赖项和配置文件。
在各种系统中，可以通过机器学习模型或神经网络模型来运行视频帧， 从而对视频或媒体流执行推理，这可以实现一定的准确性和吞吐量性能。 但是，正在不断地开发更准确、更快的模型，以提高这些推理应用程序的 性能。在常规方法中，通常将模型包括(即，预打包)在使用推理输出的 基础应用程序的容器图像中。但是，这意味着要更新到更加新的、更好的 模型，必须构建新的容器图像(然后其成为应用程序的新版本)，并将其分 发到边缘位置处的计算节点。部署新版本的应用程序意味着必须停止当前 在节点上运行的容器并启动新的容器，这将导致推理和分析的停机时间。 在某些示例情况下，此停机时间可能约为60秒或更长时间，具体取决于诸 如应用程序的复杂性和结构以及计算节点的能力之类的因素。因此，这些 推理节点的运营商面临着遭受潜在频繁停工，以及推理或分析差距或使用 过时或优化程度较低的神经网络模型的前景。
因此，根据各种实施例的方法提供了在没有数据丢失的情况下以零停 机时间或接近零停机时间来更新模型的能力，而无需更新或重新启动应用 程序。在各种实施例的范围内，各种对象、元素、算法、过程或代码也可 以使用这种能力来更新。在至少一个实施例中，模型不是构建在容器中的。 而是，这些模型可以从运行容器的系统上的存储器中安装到容器中。在各 种实施例中，可以利用可以将更新的模型版本拉到系统或边缘节点上的本地存储器中的服务组件。在至少一个实施例中，然后可以使用边缘管理器 机制来向正在运行的推理容器应用程序发信号以切换到不同的模型版本。 对于正在运行的应用程序容器中的模型，这种方法可以使模型能够使用实 时更新过程进行更新，而不必拆除容器或错过任何要处理的传入数据。这 些模型也可以采用各种形式，并且在至少一些实施例中，可以应用可以由 本文提出的方法管理的加密或安全机制。
图1示出了根据至少一个实施例可用于提供这种功能的示例体系架 构。在一个实施方式中，在一个或更多个视频流的边缘处使用推理，这些 流可以包括可以从媒体源160呈现的视频和其他媒体内容，其中媒体源160 可以包括但不限于：数码相机、摄像机、医疗扫描仪、计算设备或其他此 类内容源中的任何一种。可以使用客户端设备120来呈现从该媒体源160 提供的媒体，该客户端设备120可以包括台式计算机、笔记本计算机、机 顶盒、流设备、游戏控制台、智能电话、平板计算机、虚拟现实(VR)耳 机、增强现实(AR)护目镜、可穿戴计算机或智能电视。在至少一个实施 例中，由该媒体源160发送的该内容可以包括视频帧。在至少一个实施例 中，由该媒体源发送的内容可以包括医学扫描数据，例如DICOM图像。 在至少一个实施例中，该媒体源跨网络连接到边缘服务器120。在至少一 个实施例中，在边缘服务器120上执行的推理应用程序124可以发起与客 户端设备102相关联的会话，例如通过使用会话管理器和来自用户账户的 用户数据，并且使用该会话的一个或更多个视频流可以使内容被传送到客 户端设备102，例如可以使用适当的流管理器122对其进行管理。在至少 一个实施例中，接收该内容的客户端设备102可以经由客户端设备102的 一个或更多个组件或与客户端设备102通信来提供该内容以供呈现，该客 户端设备可以包括用于显示图像或视频内容(如可以包括动画和游戏内容) 的显示器106。在至少一个实施例中，除了流传输之外的传输机制还可以 用于从边缘服务器120或另一这样的源传输该内容的至少一些。如本文所 述，在客户端设备102上执行的分析应用程序104可以对客户端设备104 所接收的内容执行各种分析。
在至少一个实施例中，要被流传输的内容可以存储在边缘服务器上的 存储器132中，如可以使用一个或更多个摄像机或一个或更多个其他成像 设备并使用一个或更多个成像模式从实时(live)视频流生成。在一个或更 多个其他实施例中，将从一个或更多个媒体源160接收内容。在其他实施 例中，该内容可代替地在云服务器140、边缘服务器120或另一适当的位 置处诸如通过使用内容生成器应用程序136生成，以生成游戏、动画或其 他此类内容。在至少一些实施例中，该内容也可以通过一个或更多个网络 110接收。在至少一个实施例中，该内容可以由推理应用程序124接收， 该推理应用程序124可以在将该内容(例如，视频流)传送到客户端设备 102之前对该内容执行推理。对实时视频流的推理可以用于各种目的，例 如用于安全性、医学成像、交通监控或库存管理等。边缘处的推理也可以 在各种实施例的范围内对各种其他类型的数据和输入执行。如上所述，推 理应用程序128可以使用一个或更多个深度学习(DL)模型128或神经网 络模型，这些模型可以存储在边缘服务器120处，至少最初存储在应用程 序容器126外部的存储器132中，其中可以使用推理应用程序的控制器130 将那些模型安装到应用程序容器126。在至少一些实施例中，可以通过查 阅清单134来确定要使用的模型，该清单指定了用于推理应用程序的当前 条件或信息，其中清单134可以由用户或其他这样的源来更新。
在至少一个实施例中，可以从诸如防火墙后面的提供者的云服务器140 之类的中央源向每个适当的边缘服务器120接收附加的或新的模型，或者 至少部分地将其与边缘服务器120和客户端设备102隔离。例如，此云服 务器140或其他此类系统或服务可以在模型存储库144中存储一个或更多 个模型的不同版本，并且模型存储可以使边缘服务器120获得特定模型， 例如，通过将那些模型推送到边缘服务器120或使边缘服务器能够请求特 定的模型(如在当前清单134中所标识的)。然后，边缘服务器可以查阅清 单134，以确保正确的模型和该模型的版本正用于推理要发送到客户端设 备102的内容。
图2示出了根据各种实施例的可以在诸如图1的架构中使用以更新和 管理模型的组件200。如所提及的，在这样的实施例中，深度学习模型可 以与应用程序分离，并且可以替代地在运行时从主机系统存储器被安装到 应用程序容器220中。主机系统将模型存储在本地存储器210中，其中每 个模型具有目录212A至212C，每个目录可以包括用于该模型的不同版本 的一个或更多个子目录。这些模型目录可以在运行时单独或作为整体模型 目录的一部分被安装到应用程序容器220中，以便目录对于推理应用程序 202是可见的，并且推理应用程序202可以从每个模型的初始版本开始执 行，如清单文件216所指定的。在至少一个实施例中，模型获取器软件组 件可以从模型存储206或其他此类位置获取这些模型中任何一个的新版 本，如在至少一个网络上可用的，因为这些版本变得可用。可以通过读/ 写安装来安装模型目录的模型获取器随后可以使这些版本存储到相关模型 目录212的新子目录中。应用程序管理系统(例如，边缘管理器208)然 后可以将信号发送到推理应用程序202以切换到模型的新版本。与边缘管 理器208通信的管理员用户界面222可以使管理员或其他授权实体能够指 定或更新关于版本的信息以及其他此类信息。应用程序202可以创建加载 有新模型版本的新上下文。在至少一些实施例中，上下文可以包括软件推 理引擎。当该新上下文准备好操作时，推理应用程序202可以将推理操作 从旧上下文切换到新上下文，并且然后可以删除旧上下文。此后，可以使 用新模型版本进行推理而不会中断，并且在此模型更新期间的停机时间减 少到零或接近零。
在根据各种实施例的示例实现中，部署的边缘计算应用程序可以包括 用于加载其模型的深度学习推理平台，例如来自NVIDIA公司的TensorRT (TRT)或Triton推理服务器(Triton)平台。在这样的实施例中，模型可 以被存储在本地或本地安装的存储器中，具有用于不同版本的目录层次结 构。可以离线执行模型转换以与特定GPU和格式匹配(例如，T4引擎文 件)，以便可以将GPU所需的确切格式写入已经安装到运行容器的目录中。 边缘计算应用程序可以使用诸如inotify(在Linux中的inode通知)之类的 方法监视已安装的配置地图并对更改做出反应。然后可以修改边缘计算应 用程序以切换到新的模型版本，而无需重新启动应用程序。TensorRT(TRT) 是针对GPU上的AI推理的优化运行时间。在一个或更多个实施例中，边 缘计算应用程序可以使用TRT来加载神经网络模型。Triton提供了针对NVIDIAGPU优化的云推理解决方案，该解决方案也可以嵌入到应用程序 中。在一个或更多个实施例中，边缘计算应用程序可以使用Triton来加载 神经网络模型。EGX堆栈/EGX节点栈是一种软件栈，其可以在运行诸 如AI推理之类的边缘用例的支持GPU的服务器(例如，NVIDIA公司的 EGX系统)上运行。EGX管理服务(EMS)可以用作代表客户或操作员 将EGX系统作为AI设备进行管理的服务。边缘管理器(EM)可以用作 应用程序管理系统，该应用程序管理系统作为EMS的接口操作，并采用多 种形式：API、Web UI和CLI。
根据各种实施例，这样的方法可以为不同的用例提供各种优点。例如， 这种方法可以提供应用程序和模型的分离，因为应用程序开发人员能够提 供不具有模型或具有默认模型的应用程序，并且可以将应用程序附加到目 标系统上的模型或更新的模型上。这允许将应用程序和模型开发和发布解 耦，并减小应用程序容器图像的大小及其发布或更新的频率。然后，开发 人员、数据科学家或其他此类资源可以发布模型的新版本，并使该新版本 可用于边缘应用程序，而无需更改或发布应用程序。在某些情况下，边缘 应用程序管理员可以从诸如云存储之类的位置得到模型的新发布版本，以 易于部署到多个边缘位置。边缘应用程序管理员还可以生成或提供模型的 新发布版本，以将其自动提取到运行使用那些模型的应用程序所在的边缘 位置。边缘应用程序管理员能够选择何时在每个边缘位置执行模型更新， 以及在不停机的情况下在运行的应用程序中使用新版本更新模型。边缘应用程序管理员还可以将边缘应用程序回滚到模型的先前版本或其他版本， 停机时间为零或接近零。
对于希望参与实时模型更新的应用程序，可以从容器图像中删除模型， 并且可以在容器启动时记录到特定目录的体安装(volume mount)(例如， /models)。另一种方法是将每个模型的默认版本放在单独的(例如，默认) 目录中，如果在启动时未将模型目录创建为已安装的体，则可以使用该目 录。与应用程序分离的模型可以使用语义版本(“semver”)版本进行发布， 因此边缘应用程序管理员能够区分发布顺序和兼容性中断。在一个或更多个实施例中，模型可以遵循在诸如NVIDIA公司的NVIDIAGPU云(NGC) 模型注册表之类的模型注册表中定义的命名和版本控制方案。为了可以拉 到边缘位置，可以将模型托管在软件中心中，例如NVIDIA GPU云(NGC)。 在NGC中，模型可以是公共的和访客可访问的，也可以在需要客户账户 和凭据(例如，APIKey)访问的私有区域中。
在至少一些实施例中，模型获取器204可用于从软件中心(例如，远 程模型存储206或NGC)向边缘位置中的边缘计算系统(例如，EGX)获 取模型，如图2所示。根据一个或更多个实施例，模型获取器204可以读 取模型清单文件216，其可以列出要监视的模型库，例如在NGC上，并且 当他们变得可用时可以列出要从模型存储206下载的特定版本，并且版本规范可以通配以插入“通配符(wildcards)”或其他字符(例如，“*”)，然 后可以匹配一个或更多个版本的将来的字符或将来的字符序列。模型清单 文件216还可以指定目的地目录212，例如在EGX节点上，模型被存储并 安装到应用程序容器中的该目的地目录处。在一些实施例中，模型获取器 204周期性地扫描模型清单文件216，并且可以例如检查NGC注册表以查 找匹配的模型版本。可以提取并存储目的地目录中缺少的任何模型版本。 模型获取器204还可周期性地调用EMS API以提供可用模型和版本的当前 列表。
在至少一个实施例中，边缘管理器208可以指定应用程序将使用的模 型和模型版本作为部署配置的一部分。当边缘管理器208更新部署并且唯 一的更新涉及一个或更多个模型版本差异时，应用程序可以识别该更新并 切换到新的模型版本而无需退出。在至少一个实施例中，可以通过更新安 装到相关应用程序容器的配置地图(例如，configmap)来执行部署更新。 应用程序可以检测到configmap已更新，例如通过使用inotify。当应用程 序检测到请求更改模型版本时，该应用程序可以停止使用当前模型版本并 开始使用新的模型版本，在某些实施例中，新的模型版本可能始终引用最 新版本。在至少一个实施例中，这可以通过在应用程序中创建要加载新模 型的新软件上下文来完成。当新的软件上下文准备就绪时，推理流将切换 到新的上下文，并删除旧的上下文。与部署更新一样，模型更新部署也可 以回滚，例如通过使用Helm功能。在一个或更多个实施例中，应用程序 可以再次认识到其配置中的唯一改变是模型版本，并重复上述用于切换模 型版本的步骤以切换回先前的版本。在至少一个实施例中，除了模型之外 的其他应用程序也可以使用这种可能与图形资源等有关的方法来动态地切 换。
在至少一些实施例中，用于更新边缘推理应用程序的神经网络模型的 过程可以涉及将边缘推理应用程序(例如，来自NVIDIA公司的 DeepStream)图像与一个或更多个神经网络模型一起部署，以执行容器图 像中包含的推理。根据这样的实施例，边缘推理应用程序可以使用用于模 型管理的诸如TensorRT之类的深度学习推理平台。可以将包括一个或更多 个模型的本地存储器210只读地安装在边缘应用程序容器220中。在一个 或更多个实施例中，边缘应用程序202(例如，DeepStream)可以使用边 缘管理器208(例如，TensorRT)进行模型管理。在一个或更多个实施例 中，边缘节点(例如，EGX节点)上的本地存储器210可以被手动地配备 模型。在至少一个实施例中，分析服务器214或客户端可以与容器220通 信，以便运行如本文所讨论的各种分析。
可以在各种模型目录212中用版本化的模型填充诸如本地存储器体之 类的本地存储器210。在一个或更多个实施例中，应用程序202可以使用 边缘管理器208进行模型管理以及运行存储在已安装的本地体中的模型。 根据这样的实施例，边缘节点上的本地存储器可以包括每个模型单独的目 录，以及每个模型版本单独的子目录。模型获取器204组件可以将模型从 模型存储206(例如，云存储库或其他此类源)带到边缘节点。在至少一 个实施例中，边缘节点栈组件可以从模型存储206中获取模型到边缘节点， 并通过读/写安装将它们写到适当的模型目录212中。这样的体系架构也适 用于使用其他方法进行模型管理的应用程序，例如Triton。例如，另一个 边缘推理应用程序(例如，NVIDIA公司的Clara)可以使用Triton进行模 型管理。
在至少一个实施例中，模型获取器204可以执行诸如管理每个应用程 序的模型体安装的任务。模型获取器可以根据清单和至少一个策略从模型 存储206获取模型，该策略可以指示检查更新的频率(例如，每天或每小 时)。如果需要，该模型获取器204可以使模型被转换为适当的格式(例如， Triton)，并且可以将每个模型写入该模型的适当的版本化目录或子目录。 模型获取器204还可以维护存储在给定边缘节点上或给定存储体中的所有模型和版本的清单。在边缘位置处有多个服务器的实施例中，这些服务器 可以各自拉出模型版本，例如通过使用提供的URL，或者可以将模型一次 拉出或推送到可指向所有三个服务器的已安装的体，这样这些服务器可以 在本地获得模型版本。
图3示出了根据各种实施例的用于更新模型版本以供可以被利用的应 用程序使用的示例过程300。应当理解，对于本文讨论的该过程和其他过 程，除非另有说明，否则在各种实施例的范围内可以有以相似或至少部分 替代的顺序或并行执行的附加的、替代的或更少的步骤。在该示例中，使 用机器学习模型的第一版本来执行302应用程序。该应用程序可以是在数 据中心、网络边缘或其他适当位置运行的推理应用程序。在应用程序执行期间，可以从诸如模型提供者或模型库之类的源接收304或以其他方式获 得机器学习模型的第二版本。可以接收306、生成或以其他方式获得新配 置数据，该新配置数据指定该应用程序使用第二版本。作为响应，可以使 308应用程序自动切换到使用第二版本，而对于推理应用程序几乎没有停 机时间。在该示例中，然后可以至少从与推理应用程序相关联的容器或其 他环境中删除模型的第一版本。
图4示出了根据至少一个实施例的用于为可以利用的推理应用程序部 署模型的示例过程400。在该示例中，可以将应用程序容器图像部署402 到边缘服务器，该边缘服务器可以是用于托管与该容器相关联的推理应用 程序的许多边缘服务器之一。可以更新边缘服务器上的清单以指定404机 器学习模型，该模型用于在边缘服务器上执行时用于推理应用程序。可以 在清单中检测到406该模型的信息，并且可以从模型存储或其他此类源获得相应的模型(和版本等)，并将其存储在本地目录中，例如特定于模型的 目录或本地存储体的子目录。在适当的时候，可以在边缘服务器上启动408 应用程序容器。作为该示例中启动过程的一部分，可以将模型从本地目录 安装410到应用程序容器中，以供推理应用程序使用。然后使412应用程 序能够以适当地识别并切换到模型的使用，以使用指定的模型执行推理。 在可以使用默认模型来部署容器的实施例中，可以启用推理应用程序以几 乎没有停机时间切换到指定模型。
图5示出了用于更新要用于在诸如图4的过程400中所描述的推理应 用程序中使用的模型的示例过程500。在该示例中，生成502模型的更新 的(或其他不同的)版本，其将与一个或更多个边缘服务器或其他此类位 置上的推理应用程序一起使用。可以在每个边缘服务器上更新504应用程 序清单，以指定要用于推理应用程序的模型的新版本(或新模型，如果适 用的话)。在各个边缘服务器上，可以分析506清单并且可以检测到新版本 的信息。然后可以从远程模型存储或其他此类位置获得508模型的新版本， 并且可以将该版本存储到边缘服务器或节点上的本地存储器中的模型目录 或子目录中。在至少一些实施例中，可以通过边缘服务器上的模型获取器 来获得模型。可以将模型的新版本连同新的配置信息一起安装510到应用 程序容器。可以创建512或者以其他方式获得对应于或指向该模型的新版 本的新的或更新的配置信息或应用程序上下文。当在边缘服务器上执行时， 推理应用程序可以被启用514以检测新的配置信息并自动切换到该模型的 新版本，而对推理应用程序的可用性几乎没有影响。这可以包括应用程序 检测新的配置信息或上下文，确定使用适当的缓存正确加载并准备好新上 下文，然后切换到新模型版本而不会丢失帧或其他输入实例。在至少一些 实施例中，可以从应用程序容器中删除模型的先前版本。然后可以启用516 推理应用程序以使用模型的该版本来运行。如果确定518存在新模型，则 可以更新应用程序清单以指定新版本，并且可以重复用于更新模型的过程 的步骤。
图6示出了根据各种实施例的用于切换到可以使用的模型的先前版本 的示例过程600。该过程600可以在利用过程更新到模型的新版本之后使 用，例如关于图5所讨论的。在该示例中，确定602使用模型的先前版本， 例如当前版本未按预期运行，或者确定对于特定边缘服务器或其他部署应 使用不同版本。也可能是在不同的时间、针对不同的工作负载或出于其他 此类原因使用不同版本的情况。在该示例中，验证604在清单中存在模型 的先前版本。清单可以被分析606以获得先前版本的信息。在一些实施例 中，可以进行检查以验证先前版本仍位于本地存储器中，并且如果没有， 则可以从模型存储或其他此类源获得先前版本。可以创建608对应于模型 的先前版本的更新的配置信息(例如，应用程序上下文)。可以使610推理 应用程序能够检测更新的配置信息并自动切换到模型的先前版本。在至少一个实施例中，然后可以从应用程序容器中删除不再使用的模型版本。然 后可以使612推理应用程序能够使用模型的该版本来运行。
如所提及的，如果在新版本中检测到潜在的问题，则可以使用这种过 程来还原到先前的版本，或者可以在各种时间(例如，当确定特定版本比 用于推理的当前模型更好时)使用该过程在模型版本之间进行切换。在至 少一些实施例中，可以将要用于边缘应用程序的一个或更多个模型的每个 版本推送到托管该应用程序的每个边缘服务器，然后那些应用程序可以使 用本地存储的版本来切换版本。切换版本的决定可以远程进行，但实际切换可以在边缘处本地执行，而无需任何停机时间、边带通信或附加步骤。 如上所述，这还可能导致不同的应用程序在不同的时间或条件下使用不同 版本的模型。在至少一些实施例中，可以存在就位的一个或更多个策略， 这些策略指示何时或在什么条件下使用哪些模型，并且这些策略可以用于 允许本地模型切换。一个示例，非限制性策略可以是始终使用最新的模型 或版本。在一些实施例中，上下文或配置信息可以被存储在本地存储器中 以用于多个模型版本，并且该存储的配置信息可以被用来动态地切换上下 文，以便使应用程序切换到不同版本。
如上所述，不同的容器技术，例如Kubernetes或Docker，可用于不同 的实施例。对于基于Kubernetes的方法，可以使用Kubernetes配置地图机 制来更新在边缘处执行的应用程序可访问的配置文件。对此配置文件的更 改可以充当发生某些更改的信令机制，由此应用程序可以确定要使用的模 型版本并自动切换到该版本。在此示例中，对配置文件的更改可以通过对 配置映射的更改来触发。Kubernetes将响应于此类配置映射的更改而自动更新应用程序配置文件。在至少一个实施例中，可以公开一个或更多个 API，其使得该配置映射能够被更新，例如通过远程管理员控制台。这样 的过程也可以用于模型以外的资源，例如用于更新到网络边缘处托管的游 戏的纹理、地图、算法、模块或音频文件的不同版本，而无需更改应用程 序代码或其执行中的停机时间。
推理和训练逻辑
图7A示出了用于执行与一个或更多个实施例相关联的推理和/或训练 操作的推理和/或训练逻辑715。下面结合图7A和/或图7B提供关于推理 和/或训练逻辑715的细节。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码 和/或数据存储701，以存储前向和/或输出权重和/或输入/输出数据，和/或 用于配置在一个或更多个实施例的方面中被训练和/或被用于推理的神经 网络的神经元或层的其他参数。在至少一个实施例中，在至少一个实施例 中，训练逻辑715可以包括或耦合到代码和/或数据存储701，用于存储图 形代码或其他软件以控制定时和/或顺序，其中权重和/或其他参数信息将被 加载以配置包括整数和/或浮点单元(统称为算术逻辑单元(ALU))的逻 辑。在至少一个实施例中，诸如图形代码之类的代码基于代码所对应的神 经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实 施例中，数据存储701存储在使用一个或更多个实施例的方面进行推理和/ 或训练期间输入/输出数据和/或权重参数的正向传播期间与一个或更多个 实施例结合训练或使用的神经网络的每一层的权重参数和/或输入/输出数 据。在至少一个实施例中，代码和/或数据存储701的任何部分可以与其他 片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器) 一起被包括。
在至少一个实施例中，代码和/或数据存储701的任何部分可以在一个 或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实 施例中，代码和/或代码和/或数据存储701可以是高速缓存存储器、动态随 机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易 失性存储器(例如闪存)或其他存储装置。在至少一个实施例中，代码和/ 或代码和/或数据存储701是处理器的内部还是外部的选择，例如，是由 DRAM、SRAM、闪存还是由其他类型的存储器组成，取决于片上可用存 储、进行训练和/或推理功能的延迟要求、在推理和/或训练神经网络中使用 的数据的批量大小或这些因素的某种组合。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码 和/或数据存储705，以存储与在一个或更多个实施例的方面中被训练和/ 或用于推理的神经网络或神经网络的层相对应的向后和/或输出权重和/或 输入/输出数据。在至少一个实施例中，代码和/或数据存储705存储在使用 一个或更多个实施例的方面的训练和/或推理期间在向后传播输入/输出数 据和/或权重参数期间，与一个或更多个实施例一起训练或结合使用的神经 网络的每一层的权重参数和/或输入/输出数据。在至少一个实施例中，训练 逻辑715可以包括或耦合至代码和/或数据存储705，用于存储图形代码或 其他软件以控制定时和/或顺序，其中权重和/或其他参数信息将被加载以配 置包括整数和/或浮点单元(统称为算术逻辑单元(ALU))的逻辑。在至 少一个实施例中，诸如图形代码之类的代码基于代码所对应的神经网络的 架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中， 代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在 一起，包括处理器的L1、L2或L3高速缓存或系统存储器。在至少一个实 施例中，代码和/或数据存储705的任何部分可以在一个或更多个处理器或 其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，数据存储 805可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如， 闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储705是处 理器的内部还是外部的选择，例如，是由DRAM、SRAM、闪存还是其他 存储类型组成的，取决于片上可用存储、进行训练和/或推理功能的延迟要 求、在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种 组合。
在至少一个实施例中，代码和/或数据存储701和代码和/或数据存储 705可以是分开的存储结构。在至少一个实施例中，代码和/或数据存储701 和代码和/或数据存储705可以是相同的存储结构。在至少一个实施例中， 代码和/或数据存储701和代码和/或数据存储705可以是部分相同的存储结 构和部分分离的存储结构。在至少一个实施例中，代码和/或数据存储701 和代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括 在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于一个 或更多个算术逻辑单元(“ALU”)710，包括整数和/或浮点单元，以至少 部分地基于训练和/或推理代码(例如，图形代码)或由其指示执行逻辑和 /或算术操作，其结果可以产生存储在激活存储720中的作为储在代码和/ 或数据存储701和代码和/或数据存储705中输入/输出和/或权重参数数据 功能的激活(例如，来自神经网络内的层或神经元的输出值)。在至少一个实施例中，存储在激活存储720中的激活是根据由ALU 710响应于执行指 令或其他代码执行的线性代数和/或基于矩阵的数学生成的，其中将存储在 代码和/或数据存储805的权重值和代码和/或数据存储801与其他值(例如 偏差值、梯度信息、动量值或其他参数或超参数)一起用作操作数，这些 值中的任意或者全部可以存储在代码和/或数据存储705或代码和或数据存 储701或其他片上或片下存储器。
在至少一个实施例中，一个或更多个处理器或其他硬件逻辑设备或电 路中包括一个或更多个ALU 710，而在另一实施例中，一个或更多个ALU 710可以在使用它们的处理器或其他硬件逻辑设备或电路(例如，协处理 器)的外部。在至少一个实施例中，ALU 710可以被包括在处理器的执行 单元之内，或者以其他方式被包括在处理器的执行单元可以访问的一套 ALU中，该套ALU可以在同一处理器内或者分布在不同类型的不同处理 器之间(例如，中央处理器、图形处理单元、固定功能单元等)。在至少一 个实施例中，代码和/或数据存储701，代码和/或数据存储705和激活存储 720可以在同一处理器或其他硬件逻辑装置或电路上，而在另一实施例中， 它们可以在不同的处理器或其他硬件逻辑装置或电路中，或相同和不同处 理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激 活存储720中的任何部分可以与其他片上或片外数据存储包括在一起，包 括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练 代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并 可以使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提 取和/或处理。
在至少一个实施例中，激活存储720可以是高速缓存存储器、DRAM、 SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施 例中，激活存储720可以完全或部分在一个或更多个处理器或其他逻辑电 路之内或之外。在至少一个实施例中，激活存储720是处理器的内部还是 外部的选择，例如，或者是由DRAM、SRAM、闪存或某种其他存储类型组成的，取决于片上可用存储、进行训练和/或推理功能的延迟要求、在推 理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合。在 至少一个实施例中，图7a中所示的推理和/或训练逻辑715可以与专用集 成电路(“ASIC”)(例如来自谷歌的
图7b示出了根据至少一个实施例的各种推理和/或训练逻辑715。在至 少一个实施例中，推理和/或训练逻辑715可以包括但不限于硬件逻辑，其 中计算资源是专用的或以其他方式专用地与对应于神经网络内的一层或更 多层神经元的权重值或其他信息结合使用。在至少一个实施例中，图7b 中所示的推理和/或训练逻辑715可以与专用集成电路(ASIC)(例如Google 的
在至少一个实施例中，代码和/或数据存储701和705以及相应的计算 硬件702和706中的每一个分别对应于神经网络的不同层，从而提供产生 来自代码和/或数据存储701和计算硬件702的一个“存储/计算对701/702” 的激活作为对代码和/或数据存储705和计算硬件706的“存储/计算对 705/706”的输入，以镜像神经网络的概念组织。在至少一个实施例中，每 个存储/计算对701/702和705/706可以对应于一个以上的神经网络层。在 至少一个实施例中，在推理和/或训练逻辑715中可以包括在存储计算对 701/702和705/706之后或与之并行的附加存储/计算对(未示出)。
数据中心
图8示出了示例数据中心800，其中可以使用至少一个实施例。在至 少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、 软件层830和应用程序层840。
在至少一个实施例中，如图8所示，数据中心基础设施层810可以包 括资源协调器812、分组的计算资源814和节点计算资源(“节点C.R.”) 816(1)-816(N)，其中“N”代表任何完整的正整数。在至少一个实施 例中，节点C.R.816(1)-816(N)可以包括但不限于任何数量的中央处 理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、 图形处理器等)、存储设备(例如，动态只读存储器)、存储器设备(例如， 固态或磁盘驱动器)、网络输入/输出(“NW I/O”)设备、网络交换机、虚 拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R. 816(1)-816(N)中的一个或更多个节点C.R.可以是具有上述计算资源 的一个或更多个的服务器。
在至少一个实施例中，分组的计算资源814可以包括容纳在一个或更 多个机架(未示出)中的节点C.R.的单独分组，或者容纳在各个地理位置 (也未示出)的数据中心中的许多机架的单独分组。分组的计算资源814 内的节点C.R.的单独分组可以包括可以配置成或分配为支持一个或更多个 工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中， 可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个 或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机的 任意组合。
在至少一个实施例中，资源协调器812可以配置成或以其他防水工会 控制一个或更多个节点C.R.816(1)-816(N)和/或分组的计算资源814。 在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件 设计基础设施(“SDI”)管理实体。在至少一个实施例中，资源编排器可 以包括硬件、软件或其某种组合。
在至少一个实施例中，如图8所示，框架层820包括作业调度器822、 配置管理器824、资源管理器826和分布式文件系统828。在至少一个实施 例中，框架层820可以包括用于支持软件层830的软件832和/或应用程序 层840的一个或更多个应用程序842的框架。在至少一个实施例中，软件 832或一个或更多个应用程序842可分别包括基于Web的服务软件或应用 程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供 的服务或应用程序。在至少一个实施例中，框架层820可以是但不限于一 种免费和开放源软件网络应用框架，例如可以利用分布式文件系统828用 于大型扩展数据处理(例如“大数据”)的Apache Spark TM(以下称为 “Spark”)。在至少一个实施例中，作业调度器822可以包括Spark驱动器， 以促进对数据中心800的各个层所支持的工作负荷的调度。在至少一个实施例中，配置管理器824可以能够配置不同的层(例如，包括Spark的软 件层830和框架层820)和用于支持大规模数据处理的分布式文件系统828。 在至少一个实施例中，资源管理器826能够管理映射到或分配用于支持分 布式文件系统828和作业调度器822的集群或分组计算资源。在至少一个 实施例中，集群或分组计算资源可以包括在数据中心基础设施层810处的 分组计算资源814。在至少一个实施例中，资源管理器826可以与资源协 调器812协调以管理这些映射或分配的计算资源。
在至少一个实施例中，包括在软件层830中的软件832可以包括由节 点C.R.816(1)-816(N)、分组计算资源814和/或框架层820的分布式 文件系统828的至少一部分使用的软件。一种或更多种类型的软件可以包 括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件 和流视频内容软件。
在至少一个实施例中，应用程序层840中包括的一个或更多个应用程 序842可以包括由节点C.R.816(1)-816(N)的至少一部分、分组的计 算资源814和/或框架层820的分布式文件系统828使用的一种或更多种类 型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量 的基因组学应用程序，认知计算和机器学习应用程序，包括训练或推理软 件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与 一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器824、资源管理器826和资源协调 器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和 类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中， 自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配 置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心800可以包括工具、服务、软件或其 他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器 学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如， 在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和 计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在 至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心800所描述的资源，使用对 应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、 GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上 述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训 练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理 和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图8中 使用，至少部分地基于使用神经网络训练操作、神经网络功能和/或架构或 本文所述的神经网络用例计算出的权重参数来推理或预测操作。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以 用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执 行此更新而不会导致应用程序的任何停机或任何重大停机。
计算机系统
图9是示出根据至少一个实施例示例性计算机系统的框图，该示例性 计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它 们的某种形成有处理器的组合900，该处理器可以包括执行单元以执行指 令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机 系统900可以包括但不限于组件，例如处理器902，其执行单元包括逻辑 以执行用于过程数据的算法。在至少一个实施例中，计算机系统900可以 包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation of Santa Clara,California)获得的
实施例可以用在其他设备中，例如手持设备和嵌入式应用。手持设备 的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相 机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式 应用可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络 计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换 机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统900可包括但不限于处理器902， 该处理器902可包括但不限于一个或更多个执行单元908，以根据本文描 述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机 系统900是单处理器台式机或服务器系统，但是在另一实施例中，计算机 系统900可以是多处理器系统。在至少一个实施例中，处理器902可以包 括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算 (“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组 合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个 实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可 以在处理器902与计算机系统900中的其他组件之间传输数据信号。
在至少一个实施例中，处理器902可以包括但不限于1级(“L1”)内 部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902可 以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓 存存储器可以驻留在处理器902的外部。根据特定的实现和需求，其他实 施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存 器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数 寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执 行单元908，其也位于处理器902中。在至少一个实施例中，处理器902 还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指 令的微代码。在至少一个实施例中，执行单元908可以包括用于处理封装 指令集909的逻辑。在至少一个实施例中，通过将封装指令集909包括在 通用处理器902的指令集中，以及要执行指令的相关电路，可以使用通用 处理器902中的封装数据来执行许多多媒体应用程序使用的操作。在一个 或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的 数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需 要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的 一个或更多个操作。
在至少一个实施例中，执行单元908也可以用在微控制器、嵌入式处 理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中， 计算机系统900可以包括但不限于存储器920。在至少一个实施例中，存 储器920可以被实现为动态随机存取存储器(“DRAM”)设备、静态随机 存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个实 施例中，存储器920可以存储由处理器902可以执行的由数据信号表示的 一个或更多个指令919和/或数据921。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线910和存 储器920。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器 控制器集线器(“MCH”)916，并且处理器902可以经由处理器总线910 与MCH 1216通信。在至少一个实施例中，MCH 916可以提供到存储器920 的高带宽存储器路径918以用于指令和数据存储以及用于图形命令、数据 和纹理的存储。在至少一个实施例中，MCH 916可以在处理器902、存储 器920和计算机系统900中的其他组件之间启动数据信号，并且在处理器 总线910、存储器920和系统I/O922之间桥接数据信号。在至少一个实施 例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少 一个实施例中，MCH 916可以通过高带宽存储器路径918耦合到存储器 920，并且图形/视频卡912可以通过加速图形端口(Accelerated Graphics Port)(“AGP”)互连914耦合到MCH 916。
在至少一个实施例中，计算机系统900可以使用系统I/O 922作为专有 集线器接口总线来将MCH 916耦合到I/O控制器集线器(“ICH”)930。在 至少一个实施例中，ICH 930可以通过本地I/O总线提供与某些I/O设备的 直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将 外围设备连接到存储器920、芯片组和处理器902的高速I/O总线。示例 可以包括但不限于音频控制器929、固件集线器(“快闪BIOS”)928、无 线收发器926、数据存储924、包含用户输入和键盘接口925的遗留(legacy) I/O控制器923、串行扩展端口927(例如，通用串行总线(USB))和网 络控制器934。数据存储装置924可以包括硬盘驱动器、软盘驱动器、 CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的系 统，而在其他实施例中，图9可以示出示例性片上系统(“SoC”)。在至 少一个实施例中，图中示出的设备可以与专有互连、标准化互连(例如， PCIe)或其某种组合互连。在至少一个实施例中，计算机系统900的一个 或更多个组件使用计算快速链路(CXL)互连来互连。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关的推理和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图9中 使用，用于至少部分地基于使用神经网络训练操作、神经网络功能和/或架 构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于 执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此 更新而不会导致应用程序的任何停机或任何重大停机。
图10是示出根据至少一个实施例的用于利用处理器1010的电子设备 1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限 于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、 台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电 子设备。
在至少一个实施例中，系统1000可以包括但不限于通信地耦合到任何 合适数量或种类的组件、外围设备、模块或设备的处理器1010。在至少一 个实施例中，处理器1010使用总线或接口耦合，诸如1℃总线、系统管理 总线(“SMBus”)、低引脚数(LPC)总线、串行外围接口(“SPI”)、 高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行 总线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。 在至少一个实施例中，图10示出了系统，该系统包括互连的硬件设备或“芯 片”，而在其他实施例中，图10可以示出示例性片上系统(“SoC”)。在至 少一个实施例中，图10中所示的设备可以与专有互连线、标准化互连(例 如，PCIe)或其某种组合互连。在至少一个实施例中，图10的一个或更多 个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图10可以包括显示器1024、触摸屏1025、触 摸板1030、近场通信单元(“NFC”)1045、传感器集线器1040、热传感器 1046、快速芯片组(“EC”)1035、可信平台模块(“TPM”)1038、BIOS/ 固件/闪存(“BIOS，FW Flash”)1022、DSP1060、驱动器1020(例如，固 态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”) 1050、蓝牙单元1052、无线广域网单元(“WWAN”)1056、全球定位系统 (GPS)1055、相机(“USB 3.0相机”)1054(例如，USB 3.0相机)和/ 或实现在例如LPDDR3标准低功耗双倍数据速率(“LPDDR”)存储单元 (“LPDDR3”)1015。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过以上讨论的组件通信地耦合 到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器 (“ALS”)1042、罗盘1043和陀螺仪1044可以可通信地耦合到传感器集 线器1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1046 和触摸板1030可以通信地耦合到EC1335。在至少一个实施例中，扬声器1063、耳机1064和麦克风(“mic”)1065可以通信地耦合到音频单元(“音 频编解码器和D类放大器”)1064，其又可以通信地耦合到DSP1060。在 至少一个实施例中，音频单元1064可以包括例如但不限于音频编码器/解 码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”) 1057可以通信地耦合到WWAN单元1056。在至少一个实施例中，组件(诸 如WLAN单元1050和蓝牙单元1052以及WWAN单元1056)可以被实 现为下一代形式因素(NGFF)。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理 和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图10 中使用，用于至少部分地基于使用神经网络训练操作、神经网络功能和/ 或体系架构或本文描述的神经网络用例计算的权重参数来推理或预测操 作。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于 执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此 更新而不会导致应用程序的任何停机或任何重大停机。
图11是根据至少一个实施例的处理系统的框图。在至少一个实施例 中，系统1100包括一个或更多个处理器1102和一个或更多个图形处理器 1108，并且可以是单个处理器台式机系统、多处理器工作站系统或具有大 量处理器1102或处理器核心1107的服务器系统。在至少一个实施例中， 系统1100是结合在片上系统(SoC)集成电路中的处理平台，以用于移动、 手持或嵌入式设备。
在至少一个实施例中，系统1100可以包括或结合在基于服务器的游戏 平台、游戏控制台(包括游戏和媒体控制台)、移动游戏控制台、手持游戏 控制台或在线游戏控制台。在至少一个实施例中，系统1100是移动电话、 智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理 系统1100还可以包括可穿戴设备，与可穿戴设备耦合或集成在可穿戴设备 中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实 设备。在至少一个实施例中，处理系统1100是电视或机顶盒设备，其具有 一个或更多个处理器1102以及由一个或更多个图形处理器1108生成的图 形界面。
在至少一个实施例中，一个或更多个处理器1102各自包括一个或更多 个处理器核心1107，以处理指令，该指令在被执行时执行针对系统和用户 软件的操作。在至少一个实施例中，一个或更多个处理器核心1107中的每 一个被配置为处理特定指令集1109。在至少一个实施例中，指令集1109 可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或通过超长 指令字(VLIW)进行计算。在至少一个实施例中，处理器核心1107可各 自处理不同的指令集1109，该指令集1109可包括有助于仿真其他指令集 的指令。在至少一个实施例中，处理器核心1107还可以包括其他处理设备， 例如数字信号处理器(DSP)。
在至少一个实施例中，处理器1102包括高速缓存存储器1104。在至 少一个实施例中，处理器1102可以具有单个内部高速缓存或多个级别的内 部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102的各个 组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例 如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，这可以 使用已知的高速缓存一致性技术在处理器核心1107之间共享。在至少一个 实施例中，处理器1102中附加包括寄存器文件1106，其可以包括用于存 储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、 状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1106 可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口 总线1110耦合，以在处理器1102与系统1100中的其他组件之间传输通信 信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1110 在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版 本。在至少一个实施例中，接口1110不限于DMI总线，并且可以包括一 个或更多个外围组件互连总线(例如，PCI、PCI Express)、存储器总线或 其他类型的接口总线。在至少一个实施例中，一个或更多个处理器1102 包括集成存储器控制器1116和平台控制器集线器1130。在至少一个实施 例中，存储器控制器1116促进存储器设备与系统1100的其他组件之间的 通信，而平台控制器集线器(PCH)1130通过本地I/O总线提供到I/O设 备的连接。
在至少一个实施例中，存储设备1120可以是动态随机存取存储器 (DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变 存储器设备或具有适当的性能用作进程存储器的一些其他存储器设备。在 至少一个实施例中，存储器设备1120可以操作为系统1100的系统存储器， 以存储数据1122和指令1121，以在一个或更多个处理器1102执行应用程序或进程时使用。在至少一个实施例中，存储器控制器1116还与可选的外 部图形处理器1112耦合，该外部图形处理器1112可以与处理器1102中的 一个或更多个图形处理器1108通信以执行图形和媒体操作。在至少一个实 施例中，显示设备1111可以连接至一个或更多个处理器1102。在至少一 个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，例 如在移动电子设备或膝上型设备或通过显示接口(例如，DisplayPort等) 附接的外部显示设备中。在至少一个实施例中，显示设备1111可以包括头 戴式显示器(HMD)，例如用于虚拟现实(VR)应用程序或增强现实(AR) 应用程序中的立体显示设备。
在至少一个实施例中，平台控制器集线器1130使外围设备能够经由高 速I/O总线连接到存储器设备1120和处理器1102。在至少一个实施例中， I/O外围设备包括但不限于音频控制器1146、网络控制器1134、固件接口 1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如， 硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经 由存储接口(例如，SATA)或经由外围总线，例如外围组件互连总线(例 如，PCI、PCIExpress)来连接。在至少一个实施例中，触摸传感器1125 可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中， 无线收发器1126可以是Wi-Fi收发器，蓝牙收发器或诸如3G、4G或长期 演进(LTE)收发器之类的移动网络收发器。在至少一个实施例中，固件 接口1128使能与系统固件的通信，并且可以是例如统一的可扩展固件接口 (UEFI)。在至少一个实施例中，网络控制器1134可以使能到有线网络的 网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总 线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清音频 控制器。在至少一个实施例中，系统1100包括用于将遗留(例如，个人系 统2(PS/2))设备耦合到系统的可选遗留I/O控制器1140。在至少一个实 施例中，平台控制器集线器1130还可以连接到一个或更多个通用串行总线 (USB)控制器1142，该控制器连接输入设备，诸如键盘和鼠标1143组 合、摄像头1144或其他USB输入设备。
在至少一个实施例中，存储器控制器1116和平台控制器集线器1130 的实例可以被集成到分立的外部图形处理器中，例如外部图形处理器1112。 在至少一个实施例中，平台控制器集线器1130和/或存储器控制器1116可 以在一个或更多个处理器1102的外部。例如，在至少一个实施例中，系统 1100可以包括外部存储器控制器1116和平台控制器集线器1130，其可以 被配置为存储器控制器集线器和与一个或更多个处理器1102通信的系统 芯片组内的外围控制器集线器。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理 和/或训练操作。下面结合图7A或图7B提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以 被合并到图形处理器1500中。例如，在至少一个实施例中，本文描述的训 练和/或推理技术可以使用体现在图形处理器中的一种或更多种ALU。此 外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A 或图7B所示的逻辑以外的逻辑来完成。在至少一个实施例中，权重参数 可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，该权重参 数配置图形处理器的ALU以执行一种或更多种机器学习算法、神经网络架 构、用例或本文描述的训练技术。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以 用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执 行此更新而不会在切换中导致应用程序的任何停机或任何重大停机。
图12是根据至少一个实施例的具有一个或更多个处理器核心 1202A-1202N、集成存储器控制器1214和集成图形处理器1208的处理器 1200的框图。在至少一个实施例中，处理器1200可以包括直到并包括由 虚线框表示的附加核心1202N的附加核心。在至少一个实施例中，每个处 理器核心1202A-1202N包括一个或更多个内部高速缓存单元
1204A-1204N。在至少一个实施例中，每个处理器核心还可以访问一个或 更多个共享的高速缓存单元1206。
在至少一个实施例中，内部高速缓存单元1204A-1204N和共享高速缓 存单元1206代表处理器1200内的高速缓存存储器层次结构。在至少一个 实施例中，高速缓存存储器单元1204A-1204N可以在每个处理器核心中包 括至少一级指令和数据高速缓存，并且包括一个或更多个级别的共享中级 高速缓存，例如级别2(L2)、级别3(L3)、级别4(L4)或其他级别的 高速缓存，其中外部存储器之前的最高级别的高速缓存被归类为LLC。在 至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元1206和 1204A-1204N之间的一致性。
在至少一个实施例中，处理器1200还可以包括一组一个或更多个总线 控制器单元1216和系统代理核心1210。在至少一个实施例中，一个或更 多个总线控制器单元1216管理一组外围总线，例如一个或更多个PCI或 PCI Express总线。在至少一个实施例中，系统代理核心1210为各种处理 器组件提供管理功能。在至少一个实施例中，系统代理核心1210包括一个 或更多个集成存储器控制器1214，以管理对各种外部存储器设备(未示出) 的访问。
在至少一个实施例中，一个或更多个处理器核心1202A-1202N包括对 同时多线程的支持。在至少一个实施例中，系统代理核心1210包括用于在 多线程处理期间协调和操作核心1202A-1202N的组件。在至少一个实施例 中，系统代理核心1210可以附加包括功率控制单元(PCU)，该功率控制 单元包括逻辑和组件，以调节处理器核心1202A-1202N和图形处理器1208 的一个或更多个功率状态。
在至少一个实施例中，处理器1200附加地包括图形处理器1208，用 于执行图形处理操作。在至少一个实施例中，图形处理器1208与共享高速 缓存单元1206和系统代理核心1210耦合，系统代理核心1210包括一个或 更多个集成存储器控制器1214。在至少一个实施例中，系统代理核心1210 还包括显示控制器1211，用于驱动图形处理器输出到一个或更多个耦合的 显示器。在至少一个实施例中，显示控制器1211也可以是经由至少一个互 连与图形处理器1208耦合的独立模块，或者可以被集成在图形处理器1208 内。
在至少一个实施例中，基于环(ring)的互连单元1212用于耦合处理 器1200的内部组件。在至少一个实施例中，可以使用替代的互连单元，例 如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器 1208经由I/O链接1213与环形互连1212耦合。
在至少一个实施例中，I/O链接1213代表多种I/O互连中的至少一种， 包括便于各种处理器组件与高性能嵌入式存储器模块1218(例如eDRAM 模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心 1202A-1202N和图形处理器1208中的每一个使用嵌入式存储器模块1218 作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心1202A-1202N是执行通用指令集架 构的同构核心。在至少一个实施例中，处理器核心1202A-1202N在指令集 架构(ISA)方面是异构的，其中一个或更多个处理器核心1202A-1202N 执行通用指令集，而处理器核心1202A-1202N中的一个或更多个其他核心 执行通用指令集或不同指令集的子集。在至少一个实施例中，就微架构而 言，处理器核心1202A-1202N是异构的，其中具有相对较高功耗的一个或 更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实 施例中，处理器1200可以在一个或更多个芯片上实现或被实现为SoC集 成电路。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理 和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以 被合并到处理器1200中。例如，在至少一个实施例中，本文描述的训练和 /或推理技术可以使用在图形处理器1512中体现的一个或更多个ALU、一 个或更多个图形核心1202A-1202N或图12中的其他组件。此外，在至少 一个实施例中，可以使用除图7A或图7B中所示的逻辑以外的逻辑来完成 本文所述的推理和/或训练操作。在至少一个实施例中，权重参数可以存储 在片上或片外存储器和/或寄存器(示出或未示出)中，该权重参数配置图 形处理器1200的ALU以执行一种或更多种机器学习算法、神经网络架构、 用例或本文描述的训练技术。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以 用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执 行此更新而不会在切换中导致应用程序的任何停机或任何重大停机。
虚拟化的计算平台
图13是根据至少一个实施例的用于生成和部署图像处理和推理管线 的过程1300的示例数据流程图。在至少一个实施例中，过程1300可以被 部署为与一个或更多个设施1302处的成像设备、处理设备和/或其他设备 类型一起使用。过程1300可以在训练系统1304和/或部署系统1306内执 行。在至少一个实施例中，训练系统1304可以被用于执行在部署系统1306 中使用的机器学习模型(例如，神经网络、对象检测算法、计算机视觉算 法等)的训练、部署和实现。在至少一个实施例中，部署系统1306可被配 置为在分布式计算环境中卸载处理和计算资源，以减少设施1302处的基础 设施要求。在至少一个实施例中，在应用程序执行期间，管线中的一个或 更多个应用程序可以使用或调用部署系统1306的服务(例如，推理、可视 化、计算、AI等)。
在至少一个实施例中，在高级处理和推理管线中使用的一些应用程序 可以使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一 个实施例中，可以使用在设施1302处生成的数据1308(例如，成像数据) 在设施1302处训练机器学习模型(并且数据1308被存储在设施1302处的 一个或更多个图片归档(archiving)和通信系统(PACS)服务器上)，可 以使用来自另外一个或更多个设施的成像或测序数据1308或其组合来训 练机器学习模型。在至少一个实施例中，训练系统1304可以用于提供应用 程序、服务和/或其他资源，以生成用于部署系统1306的工作的、可部署 的机器学习模型。
在至少一个实施例中，模型注册表1324可以由对象存储器支持，该 对象存储器可以支持版本控制和对象元数据。在至少一个实施例中，可以 从云平台内通过例如云存储(例如，图14的云1426)兼容的应用程序编 程接口(API)来访问对象存储器。在至少一个实施例中，模型注册表1324 内的机器学习模型可以由与API交互的系统的开发者或合作伙伴上传、列 出、修改或删除。在至少一个实施例中，API可以提供对方法的访问，该 方法允许具有适当凭证的用户将模型与应用程序相关联，使得可以将模型 作为应用程序的容器化实例的执行的一部分来执行。
在至少一个实施例中，训练管线1404(图14)可以包括设施1302正 在训练他们自己的机器学习模型或者具有需要被优化或更新的现有机器学 习模型的场景。在至少一个实施例中，可以接收由一个或更多个成像设备、 测序设备和/或其他设备类型生成的成像数据1308。在至少一个实施例中， 一旦接收到成像数据1308，AI辅助注释1310就可以用于帮助生成与成像 数据1308相对应的注释，以用作机器学习模型的地面真实数据。在至少一个实施例中，AI辅助注释1310可以包括一个或更多个机器学习模型(例 如，卷积神经网络(CNN))，可以对其进行训练以生成对应于某些类型的 成像数据1308的注释(例如，来自某些设备)。在至少一个实施例中，然 后可以直接使用AI辅助注释1310，或者可以使用注释工具对其进行调整 或微调以生成地面真实数据。在至少一个实施例中，AI辅助注释1310、标记的临床数据1312或其组合可以用作训练机器学习模型的地面真实数据。 在至少一个实施例中，训练的机器学习模型可以被称为输出模型1316，并 且可以由部署系统1306使用，如本文所述。
在至少一个实施例中，训练管线1404(图14)可以包括场景，其中 设施1302需要机器学习模型以用于对部署系统1306中的一个或更多个应 用程序执行一个或更多个处理任务，但是设施1302当前可能没有这样的机 器学习模型(或可能没有出于此目的而被优化的、有效或高效的模型)。在 至少一个实施例中，可以从模型注册表1324中选择现有的机器学习模型。 在至少一个实施例中，模型注册表1324可以包括经训练以对成像数据执行 各种不同推理任务的机器学习模型。在至少一个实施例中，可以已经在来 自与设施1302不同的设施(例如，位于远程的设施)的成像数据上训练模 型注册表1324中的机器学习模型。在至少一个实施例中，机器学习模型可 能已经在来自一个位置、两个位置或任何数量的位置的成像数据上进行训 练。在至少一个实施例中，当在来自特定位置的成像数据上进行训练时， 训练可以在该位置进行，或者至少以保护成像数据的机密性或限制成像数 据从外部(off-premises)传输的方式进行。在至少一个实施例中，一旦在 一个位置上训练了模型或部分地训练了模型，就可以将机器学习模型添加 到模型注册表1324。在至少一个实施例中，然后可以在任意数量的其他设 施处对机器学习模型进行重新训练或更新，并且在模型注册表1324中使经 重新训练或更新的模型可用。在至少一个实施例中，然后可以从模型注册 表1324中选择机器学习模型，并被称为输出模型1316，并且其可以被用 于部署系统1306中以为部署系统的一个或更多个应用程序执行一个或更 多个处理任务。
在至少一个实施例中，训练管线1404(图14)，场景可以包括设施 1302，其需要机器学习模型以用于为部署系统1306中的一个或更多个应用 程序执行一个或更多个处理任务，但是设施1302当前可能没有这样的机器 学习模型(或可能没有出于此目的而被优化的、有效或有效的模型)。在至 少一个实施例中，由于总体上的差异、用于训练机器学习模型的训练数据 的鲁棒性、训练数据的异常的多样性和/或训练数据的其他问题，从模型注册表1324中选择的机器学习模型可能无法针对在设施1302处生成的成像 数据1308进行微调或优化。在至少一个实施例中，AI辅助注释1310可以 用于帮助生成与成像数据1308相对应的注释，以用作用于训练或更新机器 学习模型的地面真实数据。在至少一个实施例中，标记的数据1312可以用 作用于训练机器学习模型的地面真实数据。在至少一个实施例中，重新训 练或更新机器学习模型可以被称为模型训练1314。在至少一个实施例中， 模型训练1314–例如，AI辅助注释1310、标记的临床数据1312或其组合 –可以用作重新训练或更新机器学习模型的地面真实数据。在至少一个实 施例中，训练的机器学习模型可以被称为输出模型1316，并且可以由部署 系统1306使用，如本文所述。
在至少一个实施例中，部署系统1306可以包括软件1318、服务1320、 硬件1322和/或其他组件、特征和功能。在至少一个实施例中，部署系统 1306可以包括软件“栈”，使得软件1318可以构建在服务1320的顶部上 并且可以使用服务1320来执行一些或全部处理任务，并且服务1320和软 件1318可以在硬件1322的顶部构建并使用硬件1322执行部署系统1306 的处理、存储和/或其他计算任务。在至少一个实施例中，软件1318可以 包括任意数量的不同容器，其中每个容器都可以执行应用程序的实例化。 在至少一个实施例中，每个应用程序可以在高级处理和推理管线中执行一 个或更多个处理任务(例如，推理、对象检测、特征检测、分段、图像增 强、校准等)。在至少一个实施例中，除了接收和配置成像数据以供每个容 器使用和/或在通过管线进行处理之后(例如，将输出转换回可用数据类型)供设施1302使用的容器之外，还可以基于对处理成像数据1308期望或要 求的不同容器的选择来定义高级处理和推理管线。在至少一个实施例中， 软件1318内的容器的组合(例如，构成管线的容器)可以被称为虚拟仪器 (如本文中更详细描述的)，并且虚拟仪器可以利用服务1320和硬件1322 执行对在容器中实例化的应用程序的部分或全部处理任务。
在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来 自部署系统1306的用户的请求)以特定格式接收输入数据(例如，成像数 据1308)。在至少一个实施例中，输入数据可以代表由一个或更多个成像 设备生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施 例中，数据可以作为数据处理管线的一部分进行预处理，以准备数据以供 一个或更多个应用程序处理。在至少一个实施例中，可以在管线的一个或更多个推理任务或其他处理任务的输出上执行后处理，以为下一应用程序 准备输出数据和/或为传输和/或用户使用准备输出数据(例如，作为对推理 请求的响应)。在至少一个实施例中，推理任务可以由一个或更多个机器学 习模型来执行，例如经训练或部署的神经网络，其可以包括训练系统1304 的输出模型1316。
在至少一个实施例中，数据处理管线的任务可以封装在一个或更多个 容器中，每个容器表示能够引用机器学习模型的应用程序和虚拟化计算环 境的离散的、全功能的实例。在至少一个实施例中，容器或应用程序可以 被发布到容器注册表的私有(例如，有限访问)区域中(本文更详细地描 述)，并且经训练或部署的模型可以被存储在模型注册表1324中并且与一 个或更多个应用程序相关联。在至少一个实施例中，应用程序的图像(例 如，容器图像)可以在容器注册表中可用，并且一旦被用户从容器注册表 中选择以部署在管线中，则可以使用图像来生成应用程序的实例化的容器， 用于由用户的系统使用。
在至少一个实施例中，开发人员(例如，软件开发人员、临床医生、 医生等)可以开发、发布和存储用于对所提供的数据执行图像处理和/或推 理的应用程序(例如，作为容器)。在至少一个实施例中，可以使用与系统 相关联的软件开发工具包(SDK)来执行开发、发布和/或存储(例如，以 确保开发的应用程序和/或容器符合系统或与系统兼容)。在至少一个实施 例中，可以使用可以支持至少一些服务1320作为系统(例如，图14的系 统1400)的SDK在本地(例如，在第一设施处，在来自第一设施的数据 上)测试开发的应用程序。在至少一个实施例中，由于DICOM对象可以 包含一到数百个图像或其他数据类型中的任何一个，并且由于数据的变化， 开发人员可负责管理(例如，设置构造用于、将预处理构建到应用程序中 等)提取和准备传入数据。在至少一个实施例中，一旦由系统1400验证(例 如，为了准确性)，则应用程序可以在容器注册表中可用，以供用户选择和 /或实现以针对用户的设施(例如，第二设施)处的数据执行一个或更多个 处理任务。
在至少一个实施例中，开发人员然后可以通过网络共享应用程序或容 器，以供系统(例如，图14的系统1400)的用户访问和使用。在至少一 个实施例中，可以将完成并经验证的应用程序或容器存储在容器注册表中， 并且可以将相关联的机器学习模型存储在模型注册表1324中。在至少一个 实施例中，请求实体-其提供推理或图像处理请求-可以浏览容器注册表和/ 或模型注册表1324，以获取应用程序、容器、数据集、机器学习模型等， 选择期望的元素组合以包含在数据处理管线中，并提交成像处理请求。在 至少一个实施例中，请求可以包括执行请求所必需的输入数据(和相关联 的患者数据，在一些示例中)，和/或可以包括对要在处理请求时执行的一 个或更多个应用程序和/或机器学习模型的选择。在至少一个实施例中，然 后可以将请求传递到部署系统1306的一个或更多个组件(例如，云)以执 行对数据处理管线的处理。在至少一个实施例中，由部署系统1306进行的 处理可以包括从容器注册表和/或模型注册表1324中引用选择的元素(例 如，应用程序、容器、模型等)。在至少一个实施例中，一旦管线生成结果， 则结果可以被返回给用户以供参考(例如，用于在本地、内部(on-premises) 工作站或终端上执行的查看应用程序套件中进行查看)。
在至少一个实施例中，为了帮助处理或执行管线中的应用程序或容 器，可以利用服务1320。在至少一个实施例中，服务1320可以包括计算 服务、人工智能(AI)服务、可视化服务和/或其他服务类型。在至少一个 实施例中，服务1320可以提供软件1318中的一个或更多个应用程序所共 有的功能，因此可以将功能抽象为可以被应用程序调用或利用的服务。在 至少一个实施例中，由服务1320提供的功能可以动态且更有效地运行，同 时还通过允许应用程序并行处理数据(例如，使用并行计算平台1430(图 14))来很好地缩放。在至少一个实施例中，不是要求共享服务1320所提 供的相同功能的每个应用程序都具有服务1320的相应实例，而是可以在各 种应用程序之间和之中共享服务1320。在至少一个实施例中，作为非限制 性示例，服务可以包括可以用于执行检测或分段任务的推理服务器或引擎。 在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型 训练和/或重新训练能力。在至少一个实施例中，可以进一步包括数据增强 服务，该数据增强服务可以提供GPU加速的数据(例如，DICOM、RIS、 CIS、REST兼容、RPC、原始等)提取、调整大小、缩放和/或其他增强。 在至少一个实施例中，可以使用可视化服务，该可视化服务可以添加图像 渲染效果(例如，射线追踪、光栅化、去噪、锐化等)，以向二维(2D) 和/或三维(3D)模型中添加真实感。在至少一个实施例中，可以包括虚拟 仪器服务，其为虚拟仪器的管线内的其他应用程序提供波束形成、分段、 推理、成像和/或支持。
在至少一个实施例中，在服务1320包括AI服务(例如，推理服务) 的情况下，可以通过调用(例如，作为API调用)推理服务(例如，推理 服务器)以作为应用程序执行的一部分执行一个或更多个机器学习模型， 或其处理，来执行一个或更多个机器学习模型。在至少一个实施例中，在 另一应用程序包括用于分段任务的一个或更多个机器学习模型的情况下， 应用程序可以调用推理服务来执行机器学习模型，该机器学习模型用于执 行与分段任务相关联的一个或更多个处理操作。在至少一个实施例中，可 以简化实现包括分段应用程序和异常检测应用程序的高级处理和推理管线 的软件1318，因为每个应用程序可以调用相同的推理服务来执行一个或更 多个推理任务。
在至少一个实施例中，硬件1322可以包括GPU、CPU、图形卡、AI/ 深度学习系统(例如，AI超级计算机，例如NVIDIA的DGX)、云平台或 其组合。在至少一个实施例中，可以使用不同类型的硬件1322为部署系统 1306中的软件1318和服务1320提供有效的、特定目的的支持。在至少一 个实施例中，可以实现对GPU处理的使用以进行本地(例如，在设施1302处)、在AI/深度学习系统内、在云系统中和/或在部署系统1306的其他处 理组件中的处理，以提高图像处理和生成的效率、准确性和功效。在至少 一个实施例中，作为非限制性示例，可以针对关于深度学习、机器学习和/ 或高性能计算的GPU处理来优化软件1318和/或服务1320。在至少一个实 施例中，部署系统1306和/或训练系统1304的至少一些计算环境可以利用 GPU优化的软件(例如，NVIDIA的DGX系统的硬件和软件组合)在数 据中心一个或更多个超级计算机或高性能计算系统中执行。在至少一个实 施例中，硬件1322可包括可被调用以并行执行数据处理的任意数量的 GPU，如本文所述。在至少一个实施例中，云平台还可包括针对深度学习 任务、机器学习任务或其他计算任务的GPU优化执行的GPU处理。在至 少一个实施例中，可以使用一个或更多个AI/深度学习超级计算机和/或 GPU优化的软件(例如，如在NVIDIA的DGX系统上提供的)作为硬件 抽象和缩放平台来执行云平台(例如，NVIDIA的NGC)。在至少一个实 施例中，云平台可以在多个GPU上集成应用程序容器集群系统或协调系统 (例如，KUBERNETES)，以实现无缝缩放和负载平衡。
图14是根据至少一个实施例的用于生成和部署成像部署管线的示例 系统1400的系统图。在至少一个实施例中，系统1400可以用于实现图13 的过程1300和/或其他过程，包括高级处理和推理管线。在至少一个实施 例中，系统1400可以包括训练系统1304和部署系统1306。在至少一个实 施例中，可以使用软件1318、服务1320和/或硬件1322来实现训练系统 1304和部署系统1306，如本文所述。
在至少一个实施例中，系统1400(例如，训练系统1304和/或部署系 统1306)可以在云计算环境中(例如，使用云1426)实现。在至少一个实 施例中，系统1400可以关于医疗服务设施在本地实现，或者作为云和本地 计算资源两者的组合来实现。在至少一个实施例中，可以通过制定的安全 措施或协议将对云1426中的API的访问限制为授权用户。在至少一个实 施例中，安全协议可以包括可以由认证(例如，AuthN，AuthZ，Gluecon 等)服务签名的网络令牌，并且可以携带适当的授权。在至少一个实施例 中，虚拟仪器的API(在此描述的)或系统1400的其他实例话可以被限制 到已经被审核或被授权用于交互的一组公共IP。
在至少一个实施例中，系统1400的各个组件可以使用包括但不限于 局域网(LAN)和/或广域网(WAN)在内的各种不同网络类型中的任何 一种经由有线和/或无线通信协议在彼此之间和之中进行通信。在至少一个 实施例中，可以在一个或更多个数据总线、无线数据协议(Wi-Fi)、有线 数据协议(例如以太网)等上传送系统1400的设施和组件之间的通信(例 如，用于发送推理请求，用于接收推理请求的结果等)。
在至少一个实施例中，训练系统1304可以执行训练管线1404，类似 于本文相对于图13所描述的那些。在至少一个实施例中，在部署系统1306 要在部署管线1410中使用一个或更多个机器学习模型的情况下，训练管线 1404可以用于训练或重新训练一个或更多个(例如，预训练的)模型，和 /或实现一个或更多个预训练模型1406(例如，无需重新训练或更新)。在 至少一个实施例中，作为训练管线1404的结果，可以生成一个或更多个输 出模型1316。在至少一个实施例中，训练管线1404可以包括任何数量的 处理步骤，诸如但不限于成像数据(或其他输入数据)的转换或适应。在 至少一个实施例中，对由部署系统1306使用的不同机器学习模型，可以使 用不同的训练管线1404。在至少一个实施例中，类似于关于图13所描述 的第一示例的训练管线1404可用于第一机器学习模型，类似于关于图13 所描述的第二示例的训练管线1404可用于第二机器学习模型，并且类似于 关于图13所描述的第三示例的训练管线1404可用于第三机器学习模型。 在至少一个实施例中，可以根据每个相应的机器学习模型的要求来使用训 练系统1304内的任务的任何组合。在至少一个实施例中，机器学习模型中 的一个或更多个可以已经被训练并且准备好用于部署，因此机器学习模型 可以不由训练系统1304进行任何处理，并且可以由部署系统1306来实现。
在至少一个实施例中，一个或更多个输出模型1316和/或一个或更多 个预训练模型1406可以包括取决于实现方式或实施例的任何类型的机器 学习模型。在至少一个实施例中，但不限于，系统1400使用的机器学习模 型可以包括使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴 素贝叶斯(
在至少一个实施例中，训练管线1404可以包括AI辅助注释，如本文 至少关于图15B更详细地描述的。在至少一个实施例中，可以通过任意数 量的技术来生成标记数据1312(例如，传统注释)。在至少一个实施例中， 可以在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标 记程序、适合于为地面真实生成注释或标签的另一种类型的程序内生成标 签或其他注释，和/或在一些示例中可以手工绘制。在至少一个实施例中， 地面真实数据可以是合成产生的(例如，从计算机模型或渲染产生的)，真 实产生的(例如，从真实世界数据设计和产生的)，机器自动化的(例如， 使用特征分析和学习以从数据中提取特征，然后生成标签)，人工注释的(例 如，贴标机、或注释专家、定义标签的位置)和/或其组合。在至少一个实 施例中，对于成像数据1308(或机器学习模型使用的其他数据类型)的每个实例，可以存在由训练系统1304生成的相应的地面真实数据。在至少一 个实施例中，AI辅助注释可以作为部署管线1410的一部分执行；补充或 代替训练管线1404中包括的AI辅助注释。在至少一个实施例中，系统1400 可以包括多层平台，该多层平台可以包括诊断应用程序(或其他应用程序 类型)的软件层(例如，软件1318)，其可以执行一项或更多项医学成像 和诊断功能。在至少一个实施例中，系统1400可以通信地耦合到(例如， 经由加密的链路)一个或更多个设施的PACS服务器网络。在至少一个实 施例中，系统1400可以被配置为访问和引用来自PACS服务器的数据，以 执行诸如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其 他操作之类的操作。
在至少一个实施例中，软件层可以被实现为安全、加密和/或认证的 API，通过该API，可以从一个或更多个外部环境(例如，设施1302)援 用(invoke)(例如，调用(calle))应用程序或容器。在至少一个实施例 中，应用程序然后可以调用或执行一个或更多个服务1320，以执行与各个 应用程序相关联的计算、AI或可视化任务，并且软件1318和/或服务1320 可以利用硬件1322来以有效和高效的方式执行处理任务。
在至少一个实施例中，部署系统1306可以执行部署管线1410。在至 少一个实施例中，部署管线1410可以包括可以顺序地、非顺序地或以其他 方式应用于成像数据(和/或其他数据类型)的任何数量的应用程序，成像 数据由成像设备、测序设备、基因组设备等生成-包括如上所述的AI辅助 注释。在至少一个实施例中，如本文所述，用于个体设备的部署管线1410 可以被称为用于设备的虚拟仪器(例如，虚拟超声仪、虚拟CT扫描仪、 虚拟测序仪等)。在至少一个实施例中，对于单个设备，取决于从设备生成 的数据中期望的信息，可以有一个以上的部署管线1410。在至少一个实施 例中，在期望从MRI机器检测到异常的情况下，可以存在第一部署管线 1410，并且在期望从MRI机器的输出进行图像增强的情况下，可以存在第 二部署管线1410。
在至少一个实施例中，图像生成应用程序可以包括处理任务，该处理 任务包括使用机器学习模型。在至少一个实施例中，用户可能期望使用他 们自己的机器学习模型，或者从模型注册表1324中选择机器学习模型。在 至少一个实施例中，用户可以实现他们自己的机器学习模型或选择用于包 含在执行处理任务的应用程序中的机器学习模型。在至少一个实施例中， 应用程序可以是可选的和可定制的，并且通过定义应用程序的构造，针对特定用户的应用程序的部署和实现被呈现为更加无缝的用户体验。在至少 一个实施例中，通过利用系统1400的其他特征(例如，服务1320和硬件 1322)，部署管线1410可以甚至更加用户友好，提供更容易的集成并且产 生更准确、有效和及时的结果。
在至少一个实施例中，部署系统1306可以包括用户界面1414(例如， 图形用户界面、网络界面等)，该用户界面1414可以用于选择要包括在一 个或更多个部署管线1410中的应用程序，布置应用程序，修改或更改应用 程序或参数或其构造，在设置和/或部署期间使用一个或更多个部署管线 1410并与之交互，和/或以其他方式与部署系统1306进行交互。在至少一 个实施例中，虽然并未关于训练系统1304示出，但用户界面1414(或不 同的用户界面)可用于选择用于在部署系统1306中使用的模型，在训练系 统1304中选择用于训练或重新训练的模型，和/或用于以其他方式与训练 系统1304互动。
在至少一个实施例中，除了应用程序协调系统1428之外，还可以使 用管线管理器1412来管理一个或更多个部署管线1410的应用程序或容器 与服务1320和/或硬件1322之间的交互。在至少一个实施例中，管线管理 器1412可以被配置为促进从应用程序到应用程序、从应用程序到服务1320 和/或从应用程序或服务到硬件1322的交互。在至少一个实施例中，尽管 被示为包括在软件1318中，但这并不旨在是限制，并且在一些示例中(例 如，如图13所示)，管线管理器1412可以被包括在服务1320中。在至少 一个实施例中，应用程序协调系统1428(例如，Kubernetes、DOCKER等) 可包括容器协调系统，该容器协调系统可以将应用程序分组为作为逻辑单 元进行协调、管理、缩放和部署的多个容器。在至少一个实施例中，通过 将来自一个或更多个部署管线1410的应用程序(例如，重建应用程序、分 段应用程序等)与各个容器相关联，每个应用程序可以在自包含的环境中 (例如，在内核级别)执行以提高速度和效率。
在至少一个实施例中，每个应用程序和/或容器(或其图像)可以被单 独开发、修改和部署(例如，第一用户或开发人员可以开发、修改和部署 第一应用程序，第二用户或开发人员可以开发、修改和部署与第一用户或 开发人员分开的第二应用程序)，这可允许聚焦于并专注于单个应用程序和 /或一个或更多个容器的任务，而不会受到另一个或更多个应用程序或另一 个或更多个容器的任务的阻碍。在至少一个实施例中，管线管理器1412和应用程序协调系统1428可以辅助不同容器或应用程序之间的通信和协 作。在至少一个实施例中，只要每个容器或应用程序的预期输入和/或输出 是系统已知的(例如，基于应用程序或容器的构造)，则应用程序协调系统 1428和/或管线管理器1412可以促进每个应用程序或容器之中和之间的通 信以及每个应用程序或容器之中和之间的资源共享。在至少一个实施例中， 由于一个或更多个部署管线1410中的一个或更多个应用程序或容器可以共享相同的服务和资源，因此应用程序协调系统1428可以协调、负载平衡 并确定各种应用程序或容器之间和之中的服务或资源的共享。在至少一个 实施例中，调度器可以用于跟踪应用程序或容器的资源需求、这些资源的 当前使用或计划使用以及资源可用性。因此，在至少一个实施例中，调度 器可以鉴于系统的需求和可用性而将资源分配给不同的应用程序，并且在 应用程序之间以及应用程序之中分配资源。在一些示例中，调度器(和/ 或应用程序协调系统1428的其他组件)可以基于施加在系统上的约束(例 如，用户约束)，例如服务质量(QoS)，对数据输出需求的紧迫性(例如， 以确定是执行实时处理还是延迟处理)等，来确定资源可用性和分配。
在至少一个实施例中，由部署系统1306中的应用程序或容器利用并 由其共享的服务1320可以包括计算服务1416、AI服务1418、可视化服务 1420和/或其他服务类型。在至少一个实施例中，应用程序可以调用(例如， 执行)服务1320中的一个或更多个服务以执行针对应用程序的处理操作。 在至少一个实施例中，应用程序可以利用计算服务1416来执行超级计算或 其他高性能计算(HPC)任务。在至少一个实施例中，可利用一个或更多 个计算服务1416来执行并行处理(例如，使用并行计算平台1430)，以基 本同时地通过一个或更多个应用程序和/或单个应用程序的一个或更多个 任务来处理数据。在至少一个实施例中，并行计算平台1430(例如，NVIDIA 的CUDA)可以实现在GPU(GPGPU)(例如，GPU 1422)上的通用计算。 在至少一个实施例中，并行计算平台1430的软件层可以提供对GPU的虚 拟指令集和并行计算元件的访问，以执行计算内核。在至少一个实施例中， 并行计算平台1430可以包括存储器，并且在一些实施例中，可以在多个容 器之间和之中，和/或在单个容器内的不同处理任务之间和之中共享存储 器。在至少一个实施例中，可以为多个容器和/或容器内的多个进程生成进 程间通信(IPC)调用，以使用来自并行计算平台1430的共享存储器区段的相同数据(例如，其中应用程序的多个不同阶段或多个应用程序正在处 理相同的信息)。在至少一个实施例中，不是复制数据并将数据移动到存储 器中的不同位置(例如，读/写操作)，而是可以将存储器相同位置中的相 同数据用于任何数量的处理任务(例如，在相同时间、在不同时间等)。在 至少一个实施例中，由于作为处理的结果数据被用来生成新数据，因此可 以在各种应用程序之间存储和共享数据的新位置的信息。在至少一个实施 例中，数据的位置以及更新或修改的数据的位置可以是容器中如何理解有 效载荷的定义的一部分。
在至少一个实施例中，可以利用AI服务1418来执行推理服务，以执 行与应用程序相关联的一个或更多个机器学习模型(例如，任务为执行应 用程序的一个或更多个处理任务)。在至少一个实施例中，AI服务1418可 以利用AI系统1424来执行一个或更多个机器学习模型(例如，诸如CNN 之类的神经网络)以用于分段、重构、对象检测、特征检测、分类和/或其 他推理任务。在至少一个实施例中，一个或更多个部署管线1410的应用程 序可以使用来自训练系统1304的输出模型1316中的一个或更多个和/或应 用程序的其他模型来对成像数据执行推理。在至少一个实施例中，使用应 用程序协调系统1428(例如，调度器)进行推理的两个或更多个示例可以 是可用的。在至少一个实施例中，第一类别可以包括可以实现更高服务水 平协议的高优先级/低延迟路径，例如用于在紧急情况下对紧急请求执行推 理，或者在诊断期间用于放射线医生。在至少一个实施例中，第二类别可 以包括标准优先级路径，该标准优先级路径可以用于可能不紧急的请求或 者可以在稍后的时间执行分析的请求。在至少一个实施例中，应用程序协 调系统1428可以基于用于AI服务1418的不同推理任务的优先级路径来分 配资源(例如，服务1320和/或硬件1322)。
在至少一个实施例中，共享存储可以被安装到系统1400内的AI服务 1418。在至少一个实施例中，共享存储可以操作为高速缓存(或其他存储 设备类型)，并且可以被用于处理来自应用程序的推理请求。在至少一个实 施例中，当提交推理请求时，部署系统1306的一组API实例可以接收到 请求，并且可以选择一个或更多个实例(例如，用于最佳匹配、用于负载 平衡等)以处理请求。在至少一个实施例中，为了处理请求，可以将请求 输入数据库中，如果尚未在高速缓存中，则可以从模型注册表1324中定位 机器学习模型，验证步骤可以确保将适当的机器学习模型加载到高速缓存 (例如，共享存储)，和/或模型的副本可以保存到高速缓存中。在至少一 个实施例中，如果应用程序尚未运行或如果没有足够的应用程序实例，则 可使用调度器(例如，管线管理器1412的调度器)来启动在请求中引用的应用程序。在至少一个实施例中，如果尚未启动推理服务器以执行模型， 则可以启动推理服务器。每个模型可以启动任意数量的推理服务器。在至 少一个实施例中，在推理服务器被聚类到其中的拉出(pull)模型中，只要 负载平衡是有利的，就可以高速缓存模型。在至少一个实施例中，推理服 务器可以被静态地加载到对应的分布式服务器中。
在至少一个实施例中，可以使用在容器中运行的推理服务器来执行推 理。在至少一个实施例中，推理服务器的实例可以与模型(以及可选地， 与模型的多个版本)相关联。在至少一个实施例中，如果当接收到对模型 执行推理的请求时不存在推理服务器的实例，则可以加载新实例。在至少 一个实施例中，当启动推理服务器时，可以将模型传递给推理服务器，使 得可以使用相同的容器来服务于不同的模型，只要推理服务器作为不同的 实例运行即可。
在至少一个实施例中，在应用程序执行期间，可以接收针对给定应用 程序的推理请求，并且可以加载(如果尚未加载的话)容器(例如，托管 推理服务器的实例)，以及可以调用启动程序。在至少一个实施例中，容器 中的预处理逻辑可以对传入的数据进行加载、解码和/或执行任何附加的预 处理(例如，使用一个或更多个CPU和/或一个或更多个GPU)。在至少一 个实施例中，一旦准备好数据进行推理，容器就可以根据需要对数据进行 推理。在至少一个实施例中，这可以包括对一个图像(例如，手部X射线) 的单个推理调用，或者可以要求对数百个图像(例如，胸部CT)进行推理。 在至少一个实施例中，应用程序可以在完成之前总结结果，其可以包括但 不限于单个置信度得分、像素水平分割、体素水平分割、生成可视化或生 成文本以总结发现。在至少一个实施例中，可以为不同的模型或应用程序分配不同的优先级。例如，某些模型可能具有实时(TAT<1分钟)优先级， 而其他模型可能具有较低的优先级(例如TAT<10分钟)。在至少一个实施 例中，可以从请求机构或实体测量模型执行时间，并且该模型执行时间可 以包括伙伴网络遍历时间以及在推理服务上的执行。
在至少一个实施例中，服务1320和推理应用程序之间的请求传送可 以被隐藏在软件开发工具包(SDK)的后面，并且可以通过队列来提供鲁 棒的传输。在至少一个实施例中，经由用于个体应用程序/租户ID组合的 API将请求放置在队列中，并且SDK将从队列中拉出请求并将请求提供给 应用程序。在至少一个实施例中，可以在SDK从中拾取队列的环境中提供 队列的名称。在至少一个实施例中，通过队列的异步通信可能是有用的， 因为它可以允许应用程序的任何实例在可用时拾取工作。结果可以通过队 列传回，以确保没有数据丢失。在至少一个实施例中，队列还可以提供对 工作进行分割的能力，因为最高优先级的工作可以进入与应用程序的大多 数实例连接的队列，而最低优先级的工作可以进入与单个实例连接的队列， 其按收到的顺序处理任务。在至少一个实施例中，应用程序可以在云1426 中生成的GPU加速的实例上运行，并且推理服务可以在GPU上执行推理。
在至少一个实施例中，可以利用可视化服务1420来生成用于查看应 用程序和/或一个或更多个部署管线1410的输出的可视化。在至少一个实 施例中，可视化服务1420可以利用GPU 1422来生成可视化。在至少一个 实施例中，可视化服务1420可以实现渲染效果，例如射线追踪，以生成更 高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图 像渲染、3D体渲染、3D体重建、2D断层摄影切片、虚拟现实显示、增强 现实显示等。在至少一个实施例中，可以使用虚拟化环境生成虚拟交互式 显示或环境(例如，虚拟环境)用于系统用户(例如，医生，护士，放射 线医生等)进行交互。在至少一个实施例中，可视化服务1420可以包括内 部可视化器，电影艺术(cinematics)和/或其他渲染或图像处理能力或功能 (例如，射线追踪，光栅化，内部光学器件等)。
在至少一个实施例中，硬件1322可以包括GPU 1422、AI系统1424， 云1426和/或用于执行训练系统1304和/或部署系统1306的任何其他硬件。 在至少一个实施例中，GPU1422(例如，NVIDIA的TESLA和/或QUADRO GPU)可以包括任意数量的GPU，这些GPU可用于执行计算服务1416、 AI服务1418、可视化服务1420、其他服务和/或软件1318的任何特征或功能的处理任务。例如，对于AI服务1418，GPU 1422可用于对成像数据 (或机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的 输出进行后处理和/或执行推理(例如，以执行机器学习模型)。在至少一 个实施例中，云1426、AI系统1424和/或系统1400的其他组件可以使用 GPU1422。在至少一个实施例中，云1426可以包括用于深度学习任务的GPU优化平台。在至少一个实施例中，AI系统1424可以使用GPU，并且 可以使用一个或更多个AI系统1424来执行云1426(或者至少负责深度学 习或推理的一部分)。同样，尽管硬件1322被示为离散的组件，但这并不 旨在是限制，并且硬件1322的任何组件可以与硬件1322的任何其他组件 组合或被其利用。
在至少一个实施例中，AI系统1424可以包括被配置用于推理、深度 学习、机器学习和/或其他人工智能任务的专用计算系统(例如，超级计算 机或HPC)。在至少一个实施例中，除了CPU、RAM、存储器和/或其他组 件、特征或功能之外，AI系统1424(例如，NVIDIA的DGX)可以包括 还可以使用多个GPU 1422执行的GPU优化的软件(例如，软件栈)。在 至少一个实施例中，可以在云1426中(例如，在数据中心中)实现一个或 更多个AI系统1424，以执行系统1400的一些或全部基于AI的处理任务。
在至少一个实施例中，云1426可以包括GPU加速的基础设施(例如， NVIDIA的NGC)，其可以提供用于执行系统1400的处理任务的GPU优 化的平台。在至少一个实施例中，云1426可以包括一个或更多个AI系统 1424，用于执行系统1400的一个或更多个基于AI的任务(例如，作为硬 件抽象和缩放平台)。在至少一个实施例中，云1426可以与利用多个GPU的应用程序协调系统1428集成，以实现应用程序和服务1320之间和之中 的无缝缩放和负载平衡。在至少一个实施例中，云1426可以承担执行系统 1400的至少一些服务1320的任务，包括计算服务1416、AI服务1418和/ 或可视化服务1420，如本文所述。在至少一个实施例中，云1426可以执 行小批推理和大批推理(例如，执行NVIDIA的TENSOR RT)，提供加速的并行计算API和平台1430(例如，NVIDIA的CUDA)，执行应用程序 协调系统1428(例如，KUBERNETES)，提供图形渲染API和平台(例如， 用于射线追踪、2D图形、3D图形和/或其他渲染技术以产生更高质量的电 影艺术)，和/或可以为系统1400提供其他功能。
图15A示出了根据至少一个实施例的用于训练、重新训练或更新机器 学习模型的过程1500的数据流程图。在至少一个实施例中，过程1500可 以使用作为非限制性示例的图14的系统1400来执行。在至少一个实施例 中，过程1500可以利用系统1400的服务1320和/或硬件1322，如本文所 述。在至少一个实施例中，由过程1500生成的改良的模型1512可以由部 署系统1306针对部署管线1410中的一个或更多个容器化应用程序重新执 行。
在至少一个实施例中，模型训练1314可以包括使用新的训练数据(例 如，诸如客户数据集1506之类的新的输入数据，和/或与输入数据相关联 的新的地面真实数据)来重新训练或更新初始模型1504(例如，预训练模 型)。在至少一个实施例中，为了重新训练或更新初始模型1504，可以重 置或删除初始模型1504的一个或更多个输出层或损失层，和/或使用经更 新的或新的一个或更多个输出层或损失层替换。在至少一个实施例中，初 始模型1504可以具有从先前训练中保留的先前微调的参数(例如，权重和 /或偏差)，因此训练或重新训练1314可能不会花费如从头开始训练模型那 么多的时间或处理量。在至少一个实施例中，在模型训练1314期间，通过 重置或替换初始模型1504的一个或更多个输出层或损失层，可以在新的客 户数据集1506(例如，图13的图像数据1308)上生成预测时，基于与一 个或更多个输出层或损失层的准确性相关联的损失计算来为新的数据集更 新和重新调整参数。
在至少一个实施例中，可以将预训练模型1406存储在数据存储或注 册表中(例如，图13的模型注册表1324)。在至少一个实施例中，预训练 模型1406可能已经至少部分地在除了设施执行过程1500之外的一个或更 多个设施处被训练。在至少一个实施例中，为了保护患者、受试者的隐私 和权利，或不同设施的客户，预训练模型1406可能已使用在内部生成的客 户或患者数据在内部进行了训练。在至少一个实施例中，可以使用云1426 和/或其他硬件1322来训练预训练模型1406，但是机密的、受隐私保护的 患者数据可以不被传送到云1426的任何组件，不可由云1426的任何组件 使用或不可被云1426的任何组件访问(或其他外部硬件)。在至少一个实 施例中，在使用来自一个以上设施的患者数据来训练预训练模型1406的情 况下，在来自另一设施的患者或客户数据上进行训练之前，可以针对每个设施分别对预训练模型1406进行训练。在至少一个实施例中，例如在客户 或患者数据已发布隐私问题(例如，通过放弃、用于实验用途等)，或客户 或患者数据包含在公共数据集中的情况下，来自任何数量的设施的客户或 患者数据可用于在内部和/或外部，例如在数据中心或其他云计算基础设施 中训练预训练模型1406。
在至少一个实施例中，当选择用于部署管线1410中的应用程序时， 用户还可以选择要用于特定应用程序的机器学习模型。在至少一个实施例 中，用户可能不具有模型以使用，因此用户可以选择要与应用程序一起使 用的预训练模型1406。在至少一个实施例中，未优化预训练模型1406以 在用户设施的客户数据集1506上生成准确结果(例如，基于患者多样性、 人口统计学、所使用的医学成像设备的类型等)。在至少一个实施例中，在 将预训练的模型1406部署到部署管线1410中以与一个或更多个应用程序 一起使用之前，可以对预训练模型1406进行更新、重新训练和/或微调以 用于相应的设施。
在至少一个实施例中，用户可以选择要被更新、重新训练和/或微调的 预训练模型1406，并且预训练模型1406可以被称为用于过程1500中的训 练系统1304的初始模型1504。在至少一个实施例中，客户数据集1506(例 如，成像数据、基因组数据、测序数据或设施中的设备生成的其他数据类 型)可用于在初始模型1504上执行模型训练1314(可包括但不限于，转 移学习)以生成改良的模型1512。在至少一个实施例中，可以由训练系统 1304生成与客户数据集1506相对应的地面真实数据。在至少一个实施例 中，可以至少部分地由临床医生、科学家、医生、从业人员在设施中生成 地面真实数据(例如，如图13中标记的临床数据1312)。
在至少一个实施例中，在一些示例中可以使用AI辅助注释1310来生 成地面真实数据。在至少一个实施例中，AI辅助注释1310(例如，使用 AI辅助注释SDK实现)可以利用机器学习模型(例如，神经网络)来生 成针对客户数据集的建议或预测的地面真实数据。在至少一个实施例中， 用户1510可以在计算设备1508上的用户界面(图形用户界面(GUI))内使用注释工具。
在至少一个实施例中，用户1510可以经由计算设备1508与GUI交互 以编辑或微调(自动)注释。在至少一个实施例中，多边形编辑特征可以 用于将多边形的顶点移动到更精确或微调的位置。
在至少一个实施例中，一旦客户数据集1506具有相关联的地面真实 数据，则地面真实数据(例如，来自AI辅助注释、手动标记等)可以在模 型训练1314期间用于生成改良的模型1512。在至少一个实施例中，客户 数据集1506可以被应用到初始模型1504任意次数，并且地面真实数据可 以被用于更新初始模型1504的参数，直到对于改良的模型1512达到可接 受的精度水平为止。在至少一个实施例中，一旦生成了改良的模型1512， 就可以在用于执行关于医学成像数据的一个或更多个处理任务的设施处的 一个或更多个部署管线1410内部署改良的模型1512。
在至少一个实施例中，可以将改良的模型1512上传到模型注册表 1324中的预训练模型1406，以由另一设施选择。在至少一个实施例中，他 的过程可以在任意数量的设施处完成，使得可以在新数据集上任意次数地 进一步改进改良的模型1512，以生成更通用的模型。
图15B是根据至少一个实施例的，利用预训练注释模型来增强注释工 具的客户端服务器架构1532的示例说明。在至少一个实施例中，可以基于 客户端-服务器架构1532来实例化AI辅助的注释工具1536。在至少一个 实施例中，成像应用程序中的注释工具1536可以帮助放射线医生，例如， 识别器官和异常。在至少一个实施例中，成像应用程序可以包括软件工具， 作为非限制性示例，该软件工具帮助用户1510识别原始图像1534(例如， 在3DMRI或CT扫描中)的特定感兴趣器官上的一些极限点，并接收特 定器官的所有2D切片的自动注释结果。在至少一个实施例中，结果可以 作为训练数据1538存储在数据存储中，并且可以用作(例如但不限于)用 于训练的地面真实数据。在至少一个实施例中，当计算设备1508发送用于 AI辅助注释1310的极限点时，深度学习模型例如可以接收该数据作为输 入并返回分割器官或异常的推理结果。在至少一个实施例中，预实例化的 注释工具，例如图15B中的AI辅助注释工具1536B，可以通过对诸如注 释辅助服务器1540之类的服务器进行API调用(例如，API调用1544) 来增强，该服务器可以包括例如存储在注释模型注册表中的一组预训练模 型1542。在至少一个实施例中，注释模型注册表可以存储预训练模型1542(例如，机器学习模型，诸如深度学习模型)，其被预训练以对特定器官或 异常执行AI辅助注释。这些模型可以通过使用训练管线1404来进一步更 新。在至少一个实施例中，随着添加新的标记的临床数据1312，可以随着 时间的推移改进预安装的注释工具。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于 执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此 更新而不会导致应用程序的任何停机或任何重大停机。
其他变型在本公开的精神内。因此，尽管所公开的技术易于进行各种 变构和替代构造，但是某些示出的实施例由此在附图中示出并且已经在上 面进行了详细描述。然而，应当理解，无意将本发明限制为所公开的特定 形式或形式，相反，其意图是涵盖落入本发明的精神和范围内的所有修改、 替代构造和等同形式，如所附权利要求所定义的。
在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文 中)术语“一”、“一个”和“所述”以及类似指代的使用应被解释为涵盖 单数和复数，除非本文另有说明或与上下文明显矛盾，而不是术语的定义。 除非另外指出，否则术语“包括”、“具有”、“包含”和“含有”应解释为 开放式术语(即，意思是“包括但不限于”)。术语“连接”(未经修改且指 的是物理连接)，应理解为完全或部分地包含在，附加到或连接在一起，即 使有某物介入。本文中数值范围的引用仅旨在用作一种简写方法，除非本 文另有说明，否则分别指代落入该范围内的每个单独值，并且每个单独值 都被并入说明书中，就如同在此单独引用一样。术语“集合”(例如，“项 目的集合)”或“子集”的使用，除非上下文另有说明或与之矛盾，否则应 解释为包含一个或更多个成员的非空集合。此外，除非上下文另有说明或 与之矛盾，否则相应集合的术语“子集”不是必需表示相应集合的适当子 集，但是该子集和相应集合可以相等。
连接的语言，例如“A、B和C中的至少一个”或“A、B和C至少 一个”形式的短语，除非另有明确说明或与上下文明显矛盾否则，否则可 以作为通常使用与上下文一起理解以呈现项目、条款等，可以是是A或B 或C，也可以是A和B以及C的集合的任何非空子集。例如，在具有三个 成员的集合的示例性示例中，连接短语“A、B和C中的至少一个”和“A， B和C中的至少一个”是指以下任意集合：{A}、{B}、{C}、{A，B}、{A， C}、{B，C}、{A，B，C}。因此，这种连接语言通常并不旨在暗示某些实 施例需要至少一个A、至少一个B和至少一个C，他们每一个用于呈现。 另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态 (例如，“多个项目”表示复数个项目)。多个至少是两个项目，但是当明 确地或通过上下文指示时可以是更多。此外，除非另有说明或从上下文中 另外可知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
可以以任何合适的顺序来执行本文描述的过程的操作，除非本文另有 指示或与上下文明显矛盾。在一个实施例中，诸如本文描述的那些过程(或 其变型和/或组合)的过程在一个或更多个计算机系统中的一个控制下通过 硬件或其组合执行，一个或更多个计算机系统配置有可执行指令并且被实 现为在一个或更多个处理器上共同执行的代码(例如，可执行指令、一个 或更多个计算机程序或一个或更多个应用程序)。在一个实施例中，代码以 计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由 一个或更多个处理器执行的多个指令的计算机程序。在一个实施例中，计 算机可读存储介质是非暂时性计算机刻度存储介质，其不包括暂时信号(例 如，传播的瞬态电或电磁传输)但包括瞬时信号的收发器内的非暂时性数 据存储电路(例如，缓冲器、高速缓存和队列)。在一个实施例中，代码(例 如，可执行代码或源代码)被存储在其上存储有可执行指令(或其他存储 器以存储可执行指令)的一组一个或更多个非暂时性计算机可读存储介质 上，该可执行指令在被计算机系统的一个或更多个处理器执行时(即，作 为被执行的结果)，使计算机系统执行本文所述的操作。在一个实施例中， 该组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介 质，以及多个非暂时性计算机可读存储介质中的一个或更多个单独的非暂 时性存储介质缺少全部代码，而多个非暂时性计算机可读存储介质共同存储所有代码。在一个实施例中，可执行指令被执行，使得不同的指令被不 同的处理器执行-例如，非暂时性计算机可读存储介质存储指令，并且主 CPU执行一些指令，而图形处理器单元执行其他指令。在一个实施例中， 计算机系统的不同组件具有独立处理器，以及不同处理器执行指令的不同 子集。
因此，在一个实施例中，计算机系统配置成实现单独或共同执行本文 所述的过程的操作的一个或更能多个服务，并且这样的计算机系统配置有 能够使操作的执行的适用的硬件和/或软件。此外，实现本公开的实施例的 计算机系统是单个设备，并且在另一实施例中，是一种分布式计算机系统， 其包括以不同方式操作的多个设备，使得该分布式计算机系统执行本文所 述的操作，并且使得单个设备不执行所有操作。
除非另外要求，本文提供的任何和所有示例或示例性语言(例如，“诸 如”)的使用仅旨在更好地阐明本发明的实施例，而不对本发明的范围构成 限制。本说明书中的语言不应解释为表示任何未要求保护的要素对于实施 本发明是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均以引用 的方式并入本文，其程度如同每个参考文献被单独且具体地指示以引用方 式并入本文一样，并在此全文进行阐述。
在说明书和权利要求书中，可以使用术语“耦合”和“连接”及其派 生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定 示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接 物理或电接触。“耦合”也可能意味着两个或多个元素彼此不直接接触，但 仍彼此协作或交互。
除非另有说明，否则应理解，在整个说明书中，诸如“处理”、“计算 处理”、“计算”、“确定”等术语均指计算机或计算系统或类似的电子计算 设备的动作和/或过程，这些电子设备将在计算系统的寄存器和/或存储器中 表示为物理量(例如电子)的数据(例如电子)操作和/或转换为类似地表 示为计算系统的存储器、寄存器或其他此类信息存储器、传输或显示设备 中的物理量的其他数据。
在类似的方式中，术语“处理器”可以指处理来自寄存器和/或存储器 的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其 他电子数据的任何设备或设备的一部分。作为非限制性示例，“处理器”可 以是中央处理单元(CPU)或图形处理单元(GPU)。“计算平台”可以包 括一个或更多个处理器。如本文所使用的，“软件”过程可以包括例如随时 间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每 个过程可以指代多个过程，以依次或并行，连续或间歇地执行指令。术语 “系统”和“方法”在本文中可互换使用，以达到一种该系统可以体现一 种或更多种方法并且该方法可以被认为是系统的程度。
在本文档中，可以参考获得、获取、接收或将模拟或数字数据输入子 系统、计算机系统或计算机实现的机器。可以以多种方式来完成获得、获 取、接收或输入模拟和数字数据的过程，例如通过接收作为函数调用或对 应用程序接口的调用的参数的数据。在一些实施方式中，获得、获取，接 收或输入模拟或数字数据可以通过经由串行或并行接口传输数据来完成。 在另一个实施方式中，获得、获取、接收或输入模拟或数字数据的过程可 以通过经由计算机网络将数据从提供实体转移到获取实体来完成。也可以 参考提供、输出、传输、发送或呈现模拟或数字数据。在各种示例中，提 供、输出、传输、发送或呈现模拟或数字数据的过程可以通过将数据作为 函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数 进行传输来完成。
尽管以上讨论阐述了所描述的技术的示例实施方式，但是其他架构可 以用于实现所描述的功能，并且意图在本公开的范围内。此外，尽管出于 讨论目的在上面定义了具体的职责分配，但是根据情况，各种功能和职责 可能以不同的方式分配和划分。此外，尽管已经以结构特征和/或方法动作 专用的语言描述了主题，但应理解，所附权利要求书中定义的主题不必限 于所描述的特定特征或动作。而是，将特定特征和动作公开为实现权利要求的示例性形式。
机译： 机器学习模型的实时更新
机译： 机器学习模型的实时更新
机译： 机器学习模型的实时更新
