对机器学习模型创作和部署的主动监测和学习

摘要

本发明题为“对机器学习模型创作和部署的主动监测和学习”。本发明描述了用于执行对机器学习(ML)模型创作和部署工作流程的主动监测和学习的技术。在一个实施方案中，方法包括由包括处理器的系统将在训练数据集上训练的主ML模型应用于从所述训练数据集中排除的数据样本，以基于所述数据样本生成推断。所述方法还包括由所述系统采用一种或多种主动监测技术来与所述应用相关联地调节所述主ML模型的性能，其中所述一种或多种主动监测技术包括以下中的至少一者：执行所述主ML模型相对于所述数据样本的模型范围评估，或使用所述主ML模型的域适配版本来生成所述推断。

说明书

相关专利申请

本申请要求2019年8月9日提交的标题为“ACTIVE SURVEILLANCE AND LEARNINGFOR DEEP NEURAL NETWORK(DNN)MODEL AUTHORING AND DEPLOYMENT”的美国临时申请序列号62/885,182的优先权，该临时申请的全部内容以引用方式并入本文。

技术领域

本申请整体涉及医疗保健工作流程中的人工智能(AI)集成，并且更具体地涉及用于执行对机器学习(ML)模型创作和部署工作流程的主动监测和学习的计算机实现的技术。

发明内容

以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，提供了用于执行对机器学习(ML)模型创作和部署工作流程的主动监测和主动学习的系统、计算机实现的方法、装置和/或计算机程序产品。本发明所公开的技术的各种实施方案相对于用于在医疗保健领域中执行对ML模型创作和部署工作流程的此类主动监测和学习的技术来进行举例说明。然而，应当理解，本发明所公开的技术不限于所述医疗保健领域，并且能够应用于在各种类型的工作流程中采用ML模型的其他领域。

在一些实施方案中，提供了主动监测技术，所述主动监测技术采用一个或多个主动或自动化(无需手动参与)元素来促进部署在现场的ML模型的性能和使用测量结果的汇总。在这些实施方案的一个或多个具体实施中，提供了主动监测方法，所述主动监测方法包括由包括处理器的系统将在训练数据集上训练的主ML模型应用于从所述训练数据集中排除的数据样本，以基于所述数据样本生成推断。所述方法还包括由所述系统采用一种或多种主动监测技术来与所述应用相关联地调节所述主ML模型的性能，其中所述一种或多种主动监测技术包括以下中的至少一者：执行所述主ML模型相对于所述数据样本的模型范围评估，或使用所述主ML模型的域适配版本来生成所述推断。

在一些实施方案中，所述模型范围评估能够用于确定所述数据样本是否在所述训练数据集的范围内，并且所述方法能够包括由所述系统基于所述数据样本在所述范围内的第一确定来将所述主ML模型应用于所述数据样本中的一个数据样本，或者基于所述数据样本不在所述范围内的第二确定来将所述主ML模型的所述域适配版本应用于所述一个数据样本。在一些具体实施中，所述模型范围评估包括确定针对所述数据样本的置信度得分，所述置信度得分表示所述主ML模型在新数据样本上的性能的置信度水平。对于这些具体实施，所述方法能够包括基于确定所述置信度水平小于阈值置信度水平来针对数据样本使用所述主ML模型的所述域适配版本，以及基于确定所述置信度水平大于或等于所述阈值置信度水平来针对所述数据样本使用主ML模型。

在各种实施方案中，所述主动监测方法还包括由所述系统将分别针对所述数据样本确定的所述推断和所述置信度得分呈现给一个或多个实体，以及由所述系统从一个或多个实体接收关于所述推断的准确性的反馈。所述方法还能够包括由所述系统生成所述主ML模型和所述主ML模型的所述域适配版本的性能评估信息，以及由所述系统将所述性能评估信息发送到外部系统，所述性能评估信息包括所述置信度得分和所述反馈，所述外部系统监控在不同站点部署的多个ML模型的性能。附加地或另选地，所述系统能够将数据样本、分别针对所述数据样本确定的所述推断以及分别与所述数据样本相关联的性能评估信息存储在所述外部系统能够访问的数据库中。对于这些实施方案，所述外部系统能够访问所述数据库中的信息，并采用所述信息来评估和监控所述相应模型的所述性能。

就这一点而言，一个或多个附加实施方案涉及供应商平台仪表板，所述供应商平台仪表板汇总来自不同客户端站点的反馈并提供所述模型在所述不同站点表现如何的全局监控。根据这些实施方案，方法能够包括由操作地耦接到处理器的系统接收在不同站点部署的不同组的机器学习模型的性能量度，其中所述不同组的所述机器学习模型包括相同模型的已适配所述不同站点的目标域的至少一个不同版本。所述方法还包括由所述系统生成监测仪表板，所述监测仪表板呈现所述不同站点的所述性能量度。在一些具体实施中，当所述性能量度在所述不同组的所述机器学习模型经过一段使用时期后在所述不同站点处生成时，所述性能量度能够被接收，并且所述方法还包括由所述系统在所述使用时期内更新所述监测仪表板。

所述方法还能够包括由所述系统基于所述性能量度来监控包括在所述不同组中的相应模型的性能，以及由所述系统确定所述相应模型的所述性能是否下降到低于定义的性能水平。所述方法还能够包括由所述系统基于确定所述相应模型中的一个模型的所述性能下降到低于所述定义的性能水平来发起针对所述模型的模型更新过程。

另外的实施方案还提供了用于模型更新的主动学习技术，所述主动学习技术改善了对来自至少一个站点的至少一个部署的主ML模型的反馈的采用。在这些实施方案的一个或多个具体实施中，方法能够包括由操作地耦接到处理器的系统接收策展数据集，所述策展数据集包括数据样本和带注释数据，所述数据样本基于将范围模型应用于所述数据样本而被确定为在主ML模型的范围之外，所述带注释数据是关于推断结果的准确性，所述推断结果分别基于将所述主ML模型应用于所述数据样本或将所述主ML模型的域适配扩展应用于所述数据样本而生成。所述方法还能够包括由所述系统采用所述策展数据集来生成所述主ML模型的更新版本以及以下中的至少一者：所述域适配扩展的更新版本或所述范围模型的更新版本。

在一些实施方案中，在接收所述策展数据集之前，所述方法能够包括由所述系统接收包括所述数据样本的中间策展数据集，以及由所述系统经由图形用户界面将所述中间策展数据集呈现给一个或多个实体以促进对所述数据样本进行注释，从而导致生成所述带注释数据。对于这些实施方案，能够汇总所述数据样本和所述带注释数据以生成所述策展数据集。

在一些实施方案中，所述数据样本与目标域相关联，并且基于来自源域的第一训练数据来训练所述主ML模型。对于这些实施方案，所述域适配扩展和所述范围模型能够分别包括基于来自所述目标域的第二训练数据训练的网络。例如，在一个具体实施中，所述主ML模型的所述域适配扩展包括所述主ML模型的与域适配部件组合的一个或多个部件，其中所述域适配部件包括相对于所述主ML模型的基于来自目标域的第二训练数据训练的不同特征提取网络。

所述主动学习方法还能够包括由所述系统基于定义的性能标准来评估所述主ML模型的所述更新版本、所述域适配扩展的所述更新版本和所述范围模型的所述更新版本的性能，以及由所述系统迭代地更新所述主ML模型的所述更新版本、所述域适配扩展的所述更新版本或所述范围模型的所述更新版本中的一者或多者，直到不满足所述定义的性能标准。在一些具体实施中，所述数据样本与部署所述主ML模型的实体(例如，特定站点)相关联，并且所述方法还包括由所述系统基于确定已满足所述定义的性能标准来将以下中的一者或多者发送到所述实体：所述主ML模型的所述更新版本、所述域适配扩展的所述更新版本或所述范围模型的所述更新版本。

所述策展数据集还能够包括分别与所述推断结果相关联的关于所述推断结果的准确性的带注释数据。在一些实施方案中，能够从将所述主ML模型或所述域适配扩展部署到所述数据样本以生成所述推断结果的实体接收所述策展数据集(包括所述带注释数据)。

附加地或另选地，所述主动学习方法能够包括由所述系统将所述范围模型应用于候选数据样本以确定针对所述候选数据样本的置信度得分，所述置信度得分表示所述主ML模型在所述候选数据样本上的性能准确性的置信度水平，其中所述数据样本包括在所述候选数据样本中。所述方法还能够包括由所述系统基于所述数据样本具有低于阈值得分的置信度得分来从所述候选数据样本中选择所述数据样本，由所述系统将所述主ML模型或所述主ML模型的所述域适配扩展中的至少一者应用于所述数据样本以生成所述推断结果。对于这些实施方案，所述方法还能够包括在采用所述策展数据集来生成所述主ML模型的更新版本、所述范围模型的所述更新版本和/或所述主ML模型的所述域适配扩展的所述更新版本之前，由所述系统促进将所述带注释数据应用于所述推断结果。

在一些实施方案中，结合所公开的计算机实现的方法描述的元素能够以不同形式体现，诸如计算机系统、计算机程序产品或另一种形式。

附图说明

图1示出了根据本发明所公开的主题的一个或多个实施方案的示例性非限制性系统的框图，该系统有助于执行对ML模型创作和部署流程的主动监测和学习。

图2呈现了根据本发明所公开的主题的一个或多个实施方案的对抗区分域适配方法的示例性图示。

图3呈现了根据本发明所公开的主题的一个或多个实施方案的有助于评估部署站点处的模型性能的示例性站点仪表板。

图4提供了根据本发明所公开的主题的一个或多个实施方案的有助于对ML模型部署工作流程的主动监测的示例性非限制性系统的图示。

图5呈现了根据本发明所公开的主题的一个或多个实施方案的有助于评估多个部署站点处的模型性能的示例性供应商仪表板。

图6提供了根据本发明所公开的主题的一个或多个实施方案的有助于对ML模型创作工作流程的主动学习的示例性非限制性系统的图示。

图7A呈现了根据本发明所公开的主题的一个或多个实施方案的示例性非限制性主动监测工作流程的流程图。

图7B呈现了根据本发明所公开的主题的一个或多个实施方案的主动监测工作流程的示例性性能评估和报告过程的流程图。

图8呈现了根据本发明所公开的主题的一个或多个实施方案的另一个示例性非限制性主动监测工作流程的流程图。

图9呈现了根据本发明所公开的主题的一个或多个实施方案的用于DNN模型创作的示例性主动学习工作流程的流程图。

图10呈现了根据本发明所公开的主题的一个或多个实施方案的用于ML模型创作的另一个示例性主动学习工作流程的流程图。

图11示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的示例性非限制性过程的流程图。

图12示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的示例性非限制性过程的流程图。

图13示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的另一个示例性非限制性过程的流程图。

图14示出了根据本发明所公开的主题的一个或多个实施方案的用于监控在不同站点部署的不同组的ML模型的性能的示例性非限制性过程的流程图。

图15示出了根据本发明所公开的主题的一个或多个实施方案的用于执行针对ML模型部署工作流程的主动学习的示例性非限制性过程的流程图。

图16示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动学习的另一个示例性非限制性过程的流程图。

图17示出了其中可有助于本文所述的一个或多个实施方案的示例性非限制性操作环境的框图。

具体实施方式

以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。

本主题公开提供了有助于执行对DNN模型创作和部署工作流程的主动监测和主动学习的系统、计算机实现的方法、装置和/或计算机程序产品。人工智能(AI)和机器学习(ML)是一个快速发展的技术领域，影响着各行各业。机器学习技术(诸如深度神经网络(DNN))的进步最近已在各种ML领域中表现出令人印象深刻的性能，有时甚至超过了人类，这些ML领域包括计算机视觉、语音、自然语言处理(NPL)、生物信息学、药物设计、医学图像分析等。例如，ML可用于医学成像以自动表征图像中的特征，从而提高放射科医生的效率，最小化误差，并且帮助他们使他们的报告对他们所服务的患者更定量且更有用。这些成就由于计算能力的显著提高以及大规模带注释数据集的可用性而成为可能，从而导致比传统模型更好的推断性能。

然而，ML模型的数据驱动性质导致推断阶段期间的挑战。具体地，基于数据驱动的机器学习方法的基本问题之一在于最终模型推断能力被用于开发模型的训练数据的范围所限制。例如，在各种领域中，AI模型通常由特定模型开发实体训练和开发，该实体诸如开发ML模型以供多个客户端系统使用的供应商。例如，在医疗保健领域，供应商通常包括专门开发用于医疗保健系统(诸如医院、医学成像中心等)的ML工具的软件开发系统。根据该示例，医疗保健系统(例如，医院、医学成像中心等)对应于客户端系统。术语“供应商”、“供应商站点”、“供应商系统”或它们的变型用于指生成、更新ML模型并将该ML模型提供给一个或多个客户端系统以用于部署的供应商实体或系统。术语“客户端”、“客户端站点”、“客户端系统”或它们的变型在本文中通常用于指在现场接收和部署ML模型的客户端系统。

根据上述用于ML模型开发和部署的供应商-客户端系统架构，供应商创建的模型的范围受该供应商使用的训练数据的限制。根据模型的性质和正在处理的数据，要让供应商训练数据在部署在现场时全面理解模型将遇到的所有变化，就算不是不可能的话，也会是非常困难的。例如，在来自一个医院的临床数据上训练的ML模型可能对来自另一个医院的相同类型的数据表现没那么好。就这一点而言，供应商/模型开发人员不能访问世界上已经拍摄的每个可能的医学图像，并且随着患者和采集技术随时间推移而演变，新的医学图像和特征将不断演变。因此，用于定期监控客户端站点处部署的模型的性能并随时间推移根据客户端站点处的数据的特定细微差别和变化来更新模型的技术对于真实世界应用的ML模型的成功集成是至关重要的。

本发明所公开的主题提供了用于监控和评估部署在现场的ML模型的性能以及用于随时间推移更新和定制该ML模型以考虑到在现场观察到的新数据类型的半自动化机制。本发明所公开的技术具体涉及通过将一个或多个主动或自动化元素(例如，不涉及手动干预的元素)集成到ML模型性能监控和/或主动学习工作流程中来提高现有ML模型性能监控和主动学习技术的效率和准确性。

就这一点而言，用于ML模型性能监控和更新的现有技术是被动过程，从某种意义上说100％的监测和/或更新是通过人为/手动观察和交互来执行的。这些技术不仅效率低下，而且易于自然产生人为误差。根据本发明所公开的技术，将一个或多个主动ML元素(例如，ML模型/算法)集成到监控过程和更新过程两者中，所述主动ML元素相对于被动监控技术有助于减少手动/人为参与的量。这些一个或多个主动ML元素是除部署的主ML模型本身之外的。该主ML模型可包括被配置为在各个域中执行各种类型的推断任务(例如，包括分类任务、分段任务、检测任务、回归任务等)的各种类型的ML模型(例如，神经网络模型、深度学习神经网络模型、决策树模型、支持向量机(SVM)模型、回归分析模型、贝叶斯网络模型、启发式模型等)。

在一些实施方案中，该一个或多个主动ML元素可包括模型范围评估元素，该模型范围评估元素采用一个或多个基于ML的模型范围模型来评估部署的ML模型相对于新数据或未见的数据(例如，从用于训练ML模型的训练数据集中排除的数据样本)的范围。例如，在一些具体实施中，该一个或多个模型范围模型可包括置信度评估模型，该置信度估计模型被配置为评估ML模型对新数据/未见的数据进行推断的置信度。对于这些实施方案，该置信度评估模型可生成针对未见的数据样本的置信度得分，该置信度得分反映ML模型基于该未见的数据生成准确推断结果的性能能力的置信度水平。在其他具体实施中，该一个或多个模型范围模型可包括离群值检测模型，该离群值检测模型被配置为确定未见的数据样本是在部署的ML模型的范围内还是在其范围外。例如，离群值检测模型可包括基于ML的模型，该基于ML的模型被配置为相对于用于训练部署的ML模型的训练数据集的特征来评估未见的数据样本的特征，并且确定该未见的数据样本是在该训练数据集的范围内还是在其范围外。

附加地或另选地，用于提高主ML模型部署监控工作流程和主ML模型更新工作流程的准确性和效率的一个或多个ML元素可包括域适配元素，该域适配元素提供一种或多种域适配技术来提高训练模型对于来自相对于训练数据样本的不同域的数据样本的准确性。如应用于域适配，训练数据集在本文中通常称为源域，而模型部署站点(例如，客户端站点)处的未见的数据样本的域称为目标域。就这一点而言，域适配是指用于保持或提高ML模型针对目标域的数据样本的准确性的技术，其中该ML模型是在来自源域的数据样本上训练的。

在一些实施方案中，域适配元素可以是或可包括主ML的域适配版本，该域适配版本相对于主ML模型采用不同的特征提取器网络，但采用该主ML模型的其他原始网络元素(例如，DNN层)。对于这些实施方案，可开发域适配的特征提取器网络，该域适配特征提取器网络使用对来自目标域的数据样本的对抗训练来针对目标域进行定制。因此，所得的特征提取器可因此被定制为提取仅包括在目标域中而非源域中的至少一些特征。

如下文更详细所述，上述ML元素(例如，模型范围和/或域适配)中的一者或两者可被集成到监控工作流程和更新工作流程两者中。就这一点而言，本发明所公开的主题涉及两个部分，即主动监测部分和主动学习部分。

主动监测部分涉及用于在(例如，在客户端站点的)ML模型部署工作流程中执行主动监测的技术。从更高层面来讲，本发明所公开的主动监测技术涉及使用上述主动元素(例如，模型范围评估和/或域适配)中的一个或多个来监控并评估客户端站点处部署的主ML模型的性能，以及生成并存档该客户端站点处部署的主ML模型的性能评估和使用测量结果。

在一个或多个实施方案中，主动监测方法可包括在主ML模型的部署站点处访问或接收新的/未见的数据样本以供该主ML模型处理。通过使用一个或多个置信度评估模型，可评估相应的新数据样本以确定主ML模型对相应的数据样本进行推断的置信度得分。在一些实施方案中，主动监测方法还可包括应用主ML模型的域适配版本而不是原始ML模型，以基于相应的数据样本来生成推断。主ML模型的域适配版本可被配置为针对传入的未见的数据进行适配调节。例如，可预先基于一组训练数据样本来生成(例如，由供应商站点)主ML模型的域适配版本，该组训练数据样本来自与新数据样/未见的数据样本相同的目标域(例如，来自客户端站点)并且/或者已知与该新数据样本/未见的数据样本具有确定程度的相似性。在其他实施方案中，该方法可涉及将域适配版本应用于仅接收低置信度得分(或以其他方式被确定为离群数据样本)的那些数据样本。对于这些实施方案，系统可将主ML模型应用于与高置信度得分相关联(或以其他方式确定为内围数据样本)的传入数据样本，并且将该主ML模型的域适配版本应用于与低置信度得分相关联的数据样本。

在一些实施方案中，主动监测技术还可涉及将推断的输出连同针对相应数据样本的评估的置信度得分呈现给一个或多个实体(例如，用户、系统管理员、域专家等)以提供关于模型的性能准确性的反馈。该方法还可涉及将经处理的数据样本连同接收的用户反馈、主ML输出和针对相应数据样本的评估的置信度得分存储在档案数据库中。随后可在主动学习过程中采用该存储的数据。

本发明所公开的主题的主动学习部分涉及用于执行对ML模型更新和创作工作流程(例如，在供应商站点处)的主动学习的技术。在各种实施方案中，主动学习过程不仅可涉及更新主ML模型以针对(例如，部署ML模型的客户端站点的)特定目标域表现更好(例如，在准确性和/或特异性方面)，而且涉及更新与客户端站点处的主ML模型结合使用的一个或多个主动监测元素(例如，模型范围评估模型和/或域适配主ML模型)。本发明所公开的主题还描述了将主动监测部分和主动学习部分两者绑定在连续环路中的新颖工作流程，其中主动学习过程使用主动监测过程的输出，以便通过该主动监测过程的附加主动元素来更新不仅是主ML模型本身。定期更新的主ML模型和更新的主动ML元素可进一步集成到客户端站点处的主动监测过程中。

本发明所公开主题的各种实施方案相对于用于在医疗保健领域中执行对ML模型创作和部署工作流程的主动监测和主动学习的技术来进行举例说明。然而，应当理解，本发明所公开的技术不限于医疗保健领域，并且可应用于在各种类型的工作流程中采用AI/ML模型的其他领域。例如，本发明所公开的技术可用于主动监测在多个领域中使用的部署的AI/ML模型的性能，所述领域包括计算机视觉、语音、自然语言处理(NPL)、生物信息学、药物设计、医学图像分析等。本发明所公开的技术还可用于促进基于使用本发明所公开的主动学习技术来主动更新部署的ML模型。

术语“图像处理模型”在本文中用来指被配置为对图像执行图像处理或分析任务的AI/ML模型。图像处理或分析任务可变化。在各种实施方案中，图像处理或分析任务可包括(但不限于)：分割任务、图像重建任务、对象识别任务、运动检测任务、视频跟踪任务、光流任务等。本文所述的图像处理模型可包括二维(2D)图像处理模型以及三维(3D)图像处理模型。图像处理模型可采用各种类型的AI/ML算法，包括(但不限于)：深度学习模型、神经网络模型、深度神经网络模型(DNN)、卷积神经网络模型(CNN)等。

术语“基于图像的推断输出”在本文中用来指图像处理模型被配置为生成的确定或预测。例如，基于图像的推断输出可包括分割掩码、经重建图像、适应图像、带注释图像、分类、值等。基于图像的推断输出可基于模型的类型和该模型被配置为执行的特定任务而变化。基于图像的推断输出可包括可被呈现(例如，视觉数据对象)、存储、用作另一处理任务的输入等的数据对象。术语“基于图像的推断输出”、“推断输出”、“推断结果”、“推断”、“输出”、“预测”等在本文中可互换使用，除非上下文确定这些术语之间需要进行特定区分。

如本文所用，“医学成像处理模型”是指被定制为对一个或多个医学图像执行图像处理/分析任务的图像处理模型。例如，医学成像处理/分析任务可包括(但不限于)：器官分割、异常检测、解剖特征表征、医学图像重建、诊断等。由医学图像处理模型处理/分析的医学图像的类型可包括使用各种类型的成像模态捕获的图像。例如，医学图像可包括(但不限于)：放射常治疗(图像)、X射线图像、数字放射摄影(DX)X射线图像、X射线血管造影(XA)图像、全景X射线(PX)图像、计算机断层摄影(CT)图像、乳房X线摄影(MG)图像(包括断层合成设备)、磁共振成像(MRI)图像、超声(US)图像、彩色流多普勒(CD)图像、正电子发射断层摄影(PET)图像、单光子发射计算机断层摄影(SPECT)图像、核医学(NM)图像等。医学图像可包括二维(2D)图像以及三维(3D)图像。

术语“源域模型”、“源模型”、“源图像处理模型”、“源域图像处理模型”等在本文中可互换使用，以指在来自特定域(在本文中称为源域)的图像上训练的图像处理模型。包括在该源域中的图像在本文中称为“源域图像”或“源图像”。术语“目标域模型”、“目标模型”、“目标图像处理模型”、“目标域图像处理模型”等在本文中可互换使用，以指被配置为执行与对应的源域模型相同或类似的图像处理任务但针对来自不同但类似的域(在本文中称为“目标域”)的图像的成像处理模型。包括在目标域中的图像在本文中称为“目标域图像”或“目标图像”。

就这一点而言，源域(SD)图像和目标域(TD)图像可包括具有一些一致的变化的类似图像。这些一致的变化可基于不同的捕获模态、采集协议、断层摄影以及影响图像质量(IQ)或外观的其他因素。在一些具体实施中，SD图像和TD图像包括从相同对象捕获的在至少一个视觉外观属性方面不同的图像。在其他具体实施中，SD图像和TD图像包括相同解剖身体部位(例如，相同器官)的医学图像，但在捕获模态方面不同。例如，相对于放射治疗(RT)图像(例如，CT扫描、MRI扫描等)，SD图像和TD图像可相对于具有或不具有造影剂注射而变化。RT图像也可相对于不同的捕获电压而变化。例如，对于不同应用，可在70千伏(kV)至约140kV范围内的不同千伏电压下捕获RT图像，这可引起所得图像质量的变化。在另一个示例中，SD图像和TD图像可包括相对于序列强度变化的MRI图像。

术语“优化的基于图像的推断输出”在本文中用来指已针对目标域图像进行了适配或调整的基于图像的推断输出。在各种实施方案中，“优化的基于图像的推断输出”是指基于目标域图像生成的SD模型推断输出，该目标域图像已被校正或调整以考虑到归因于域变化的误差。术语“优化的基于图像的推断输出”、“优化的推断输出”、“优化的推断结果”、“优化的推断”“优化的输出”、“优化的预测”等在本文中可互换使用，除非上下文确定这些术语之间需要进行特定区分。

现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。

现在转到附图，图1示出了根据本发明所公开的主题的一个或多个实施方案的示例性非限制性系统100的框图，该系统有助于执行对ML模型创作和部署流程的主动监测和学习。本文描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。

例如，系统100包括模型部署模块104以及主动监测和学习模块124，这些模块可分别为并包括计算机可执行部件。与模型部署模块104相关联的计算机可执行部件可包括模型范围评估部件106、模型应用部件108、站点仪表板部件109、性能评估部件110和报告部件111。模型部署模块104还可包括(和/或操作地耦接到)范围模型(SM)112

模型部署模块104和与其相关联的部件/模型(例如，模型范围评估部件106、模型应用部件108、站点仪表板部件109、性能评估部件110、报告部件111、范围模型112

在各种实施方案中，模型部署模块104可以是或对应于在部署场景(而不是训练和开发场景)中执行任务特定ML的系统。例如，在一些示例性具体实施中，任务特定ML模型可包括医学成像处理模型，该医学成像处理模型被配置为处理医学图像并且执行诊断任务、图像重建任务、器官分割任务等。根据该示例，医院系统等可采用模型部署模块104来促进放射科工作流程和相关应用。然而，应当理解，ML模型和部署使用案例的类型可变化并且不限于医学领域。在一些实施方案中，模型部署模块104还可使用合适的呈现机构(例如，用于在设备显示器上呈现的图形用户界面等)和/或用于附加处理的另一计算系统/设备向最终用户(例如，医学成像示例中的临床医生/放射科医生)提供模型结果。

除了仅应用任务特定ML并提供结果之外，模型部署模块104还可有助于在ML模型部署工作流程中执行主动监测。就这一点而言，模型部署模块104可在部署站点(在本文中也称为客户端站点)处提供主动监测技术，所述主动监测技术有助于生成关于ML模型在现场遇到的数据样本上的表现程度的模型性能量度(在部署站点)，包括由该ML模型处理的数据样本是否在用于训练该模型的训练数据集的范围内以及在何种程度上在该训练数据集的范围内。如下文更详细所述，模型部署模块104(或更具体地，模型范围评估部件106)可采用范围模型(范围模型112

在整个说明书中，与相应模型相关联的下标编号用于指示该模型的特定版本(例如，版本1、版本2等)，其中每个后续版本编号被认为是前一版本的更新版本。在所示的实施方案中，模型部署模块104包括每个模型的用下标编号1表示的版本，以指示它们是由特定模型部署模块104部署的相应模型的“第一”版本。然而，由模型部署模块104部署的相应模型的特定版本可随时间推移而改变。具体地讲，如下文更详细所述，在各种实施方案中，主动监测和学习模块124可采用主动学习技术来生成更新的模型集138，该更新的模型集包括由模型部署模块104的实例在特定站点处部署的对应模型的当前版本的更新/改进版本。主动监测和学习模块124可定期执行模型更新，并向模型部署模块104提供更新版本以替换正在部署的当前模型。这些更新版本分别称为范围模型112

在整个说明书中，主ML模型114和DA-ML模型116，无论下标编号如何，分别表示被配置为对特定类型的输入样本(例如，新数据样本102)执行特定应用或任务的ML模型、算法或架构。ML模型/算法/架构的特定类型、新数据样本102的类型和主ML模型114(和DA-ML模型116)的特定任务/功能可以变化。例如，主ML模型114(和DA-ML模型116)可以是或包括深度学习模型、神经网络模型、深度神经网络模型(DNN)、卷积神经网络模型(CNN)、决策树模型、SVM模型、回归分析模型、贝叶斯网络模型、启发式模型和其他类型的机器学习模型中的一者或多者。主ML模型114(和DA-ML模型116)可被配置为执行各种推断任务，诸如分类任务、分段任务、检测任务、回归任务等。在一个或多个示例性具体实施中，主ML模型114(和DA-ML模型116)可以是或对应于图像处理模型，诸如被配置为处理医学图像并执行分类/诊断任务、分割任务、图像重建任务等的医学图像处理模型。对于这些具体实施，新数据样本102可包括医学图像。然而，应当理解，本发明所公开的主题不限于图像处理模型或医学图像处理模型。

术语“未见的数据”或“新数据”是指在训练和开发期间所部署的ML模型(例如，范围模型112

在一个或多个实施方案中，DA-ML模型116可包括具有附加域适配元素或扩展的主ML模型114的版本，所述附加域适配元素或扩展提供一种或多种域适配技术以提高主ML模型114对包括在新数据样本102中的数据样本的准确性，所述数据样本被从用于训练和开发主ML模型114的训练数据集中排除或者以其他方式未充分表示。域适配是指用于有效地适配对来自源域的数据样本训练的模型以推断来自新目标域的数据样本的技术。针对域适配的理想方法是，在训练模型本身的同时，所使用的数据应当是源域和目标域的无偏表示。

在一些实施方案中，DA-ML模型116可以是或对应于主ML模型114的“域适配”DA版本。对于这些实施方案，可使用来自与主ML模型114一起使用和/或将使用的特定目标域的至少一些数据样本来训练主ML模型114的一个或多个部件(例如，主ML模型114的一个或多个网络、一个或多个网络的部分、一个或多个层等)。例如，当应用于医学图像处理模型时，目标域可包括来自其中将部署主ML模型114的特定客户端站点(例如，医院、医学成像系统等)的医学图像，所述医学图像可相对于供应商用于训练和开发ML模型114的训练图像而不同。对于该实施方案，DA-ML模型116可包括主ML模型114的相同部件中的一者或多者，所述相同部件使用相对于用于训练与被包括在主ML模型114中的相同的一个或多个部件的训练数据集不同的训练集来训练。即，不同的训练数据集可包括假定相对于训练数据集与新数据样本102具有更高程度对应性的训练数据样本。在一些具体实施中，用于训练DA-ML模型116的训练数据集可包括数据样本102的一部分

在一些实施方案中，主ML模型114可包括特征提取网络和在特征提取网络下游的一个或多个附加网络。假定新数据样本102与目标域相关联并且基于来自源域的第一训练数据训练主ML模型114的特征提取网络，则DA-ML模型116可包括基于来自目标域的第二训练数据训练的不同特征提取网络。例如，在这些实施方案的一些具体实施中，可使用对抗区分来训练主ML模型114的特征提取网络，以从源域训练数据集和目标域训练数据集两者提取相同或类似的特征。然后，可将所得的特征提取网络视为域适配特征提取网络，并与DA-ML模型116一起使用。附加地或另选地，DA-ML模型116的特征提取网络可使用对抗区分来进一步训练以提取专用于源域的一个或多个特征。

例如，图2呈现了根据本发明所公开的主题的一个或多个实施方案的对抗区分域适配方法200的示例性图示。在各种实施方案中，主ML模型114和DA-ML模型116(无论下标编号如何)包括不同的特征提取网络(在本文中也通常称为特征提取器)和相同的任务特定网络(也称为任务DNN)。根据这些实施方案，主ML模型114的特征提取器和任务DNN两者可用来自源域的相同训练数据集来训练，从而产生源特征提取器202和源任务DNN(例如，任务DNN203)。在此上下文中，对抗区分域适配涉及使用鉴别器网络206来针对新的或未见的数据调整ML模型的特征提取器部分，使得输出更接近于在训练期间所见的。一旦特征提取器已经适配，则适配的特征提取器可替换DA-ML模型116中的源特征提取器以生成主ML模型114的“域适配”版本。

例如，如图2所示，对抗区分域适配可包括三个阶段，即预训练阶段、适配阶段和推断阶段。在预训练阶段，在源域训练数据集201上训练源特征提取器202和任务DNN 203。在适配阶段，鉴别器网络206然后被用于在来自目标域(例如，其中正在部署或将部署主ML模型114的特定客户端站点)的第二训练数据集204上训练目标特征提取器205。在推断阶段，现在训练的目标特征提取器205替换源特征提取器，并与使用源域训练数据集训练的任务DNN 203组合，以生成DA-ML模型116。

就这一点而言，再次参考图1，在一些实施方案中，DA-ML模型116包括主ML模型114中包括的特征提取器的不同版本，但包括相同的任务特定DNN。就这一点而言，DA-ML模型116和主ML模型114两者可包括在来自源域的第一训练数据集上训练的任务特定DNN。然而，DA-ML模型116可包括在针对期望目标域定制的第二训练数据集上训练的特征提取器的不同版本。就这一点而言，第二训练数据集可包括相对于第一训练数据集与新数据样本102具有更高程度对应性的数据样本。在另一示例中，第二训练数据集可包括新数据样本102的子集或由提供新数据样本102的相同源提供的其他未见的数据样本。附加地或另选地，可使用包含来自目标域的样本的训练数据集来训练DA-ML模型116的特征提取器和任务DNN部分两者。

在其他实施方案中，DA-ML模型116可包括后处理域适配元素和/或预处理域适配元素，其可与主ML模型114组合使用以实现主要DL模型114对于目标域的域适配。例如，在这些实施方案的一个具体实施中，DA-ML模型116可包括后处理ML，该后处理ML被训练以调整和校正主ML模型114的输出以考虑当主ML模型114被应用于来自目标域的数据样本时出现的误差。在各种实施方案中，后处理模型可包括由编码器网络和解码器网络组成的形状自动编码器(SAE)。对于这些实施方案，编码器网络可将主ML模型114的推断输出变换成特征空间中的潜在表示，其然后由解码器网络解码以生成优化的或“域适配”输出(例如，校正的分割掩码、更准确的分类等)。取决于训练数据的可用性，可使用无监督和/或半监督机器学习技术对仅来自源域和/或来自源域和目标域两者的具有基准真值示例的训练数据来训练后处理模型。

在另一个实施方案中，使用上述技术生成的受过训练的SAE的编码器网络可用于生成对抗网络(GAN)架构中，以针对目标域重新调谐主ML模型114，从而产生与ML模型114的DA版本相对应的DA-ML模型116。例如，编码器网络可用于GAN网络架构中，以针对来自目标域的数据样本的相同或增强的准确性来适配主ML模型114。就这一点而言，使用GAN框架，受过训练的形状编码器可用作鉴别器网络以帮助利用对抗方法重新训练源域模型(即，生成器)的参数/权重。该形状编码器还可充当另一基于特征的鉴别器的约束，该鉴别器然后更新源域模型以将源域输入数据样本和目标域输入数据样本匹配到特征空间，同时对目标域施加形状约束。这样做通过利用对网络的附加形状约束来调谐算法的稳定性，导致更好的模型收敛。

现在参考范围模型(SM)，在各种实施方案中，范围模型112(无论版本如何)可包括被配置为相对于用于训练主ML模型114的训练数据集(以及任选地用于训练DA-ML模型116的另一训练数据集)来评估新数据样本102的范围的ML模型。例如，在一些实施方案中，范围模型112可以包括被配置为确实确定针对新数据样本102的置信度得分的一个或多个ML模型，该置信度得分表示ML模型在新数据样本102上的性能的置信度水平。范围模型112的ML模型/架构的类型可以变化。例如，范围模型112可以是或包括深度学习模型、神经网络模型、DNN、CNN、决策树模型、SVM模型、回归分析模型、贝叶斯网络模型、启发式模型和其他类型的机器学习模型中的一者或多者。在一些实施方案中，范围模型112还可采用与任务特定(例如，离群值检测)网络耦合的特征提取网络。

范围模型112可采用各种技术来确定针对新数据样本102的置信度得分，该置信度得分反映ML模型114在新数据样本102上的推断性能准确性的置信度水平。例如，范围模型112可采用具有利用蒙特卡罗采样、贝叶斯深网络等估计的预测间隔的推断丢弃。在另一示例中，范围模型112可确定置信度得分，该置信度得分使用模型softmax层的输出来确定阈值以优化灵敏度，同时保持给定置信度水平下的精度。例如，该方法可涉及通过找到来自最终softmax激活层的输出概率与真实概率之间的差来测量未见示例的置信度得分。

在其他实施方案中，范围模型112可包括离群值检测模型，该离群值检测模型被配置为确定新数据样本102是在用于训练主ML模型114(和/或DA-ML模型116)的训练数据集的范围内还是范围外。对于这些实施方案，二进制置信度得分可与相应的新数据样本相关联，其反映该新数据样本是内围值还是离群值。例如，在一个或多个实施方案中，离群值检测模型可包括基于将训练数据集投影到标准特征空间上而开发的模型。根据这些实施方案，为了测量图像数据集之间的相似性，离群值检测模型能够通过在标准特征空间(例如，基于VGG16网络的ImageNet)上正确预测的训练数据样本来生成。然后基于标准特征空间训练并构建离群值检测模型以识别内围值数据样本。此类内围值样本被认为是如由来自训练数据集的投影特征定义的主ML模型114的置信样本。例如，在一个或多个实施方案中，使用基于标准特征空间训练的特征提取器算法、模型或网络(例如，VGG等)，可与到标准特征空间上的投影相关联地为相应训练数据样本提取训练特征向量。然后可基于训练特征向量来开发和训练离群值检测模型，以识别相对于训练数据集为内围值的未见数据样本。就这一点而言，在基于训练特征向量开发和训练离群值检测模型之后，可将未见或新的数据样本单独地投影到标准特征空间上以生成数据样本的特征向量。该特征向量可进一步通过受过训练的离群值检测器模型，以将数据样本分类为离群值或内围值。主ML模型114可被认为在对内围值样本的预测上是可信的，因为那些样本被预期为类似于训练数据集。否则，预期主ML模型114不可信，并且因此由主ML模型114基于离群值数据样本生成的预测是不可靠的。

在所示的实施方案中，模型部署模块104可包括模型范围评估部件106，以有利于使用范围模型112来相对于主ML模型114的范围评估新数据样本102的范围。就这一点而言，模型范围评估部件106可被配置为将范围模型112应用于相应的新数据样本102并生成输出，该输出提供对新数据样本在用于训练主ML模型114的训练数据集范围内的程度的度量/指示。例如，在一些具体实施中，范围模型112的输出可包括置信度得分，该置信度得分指示要在相应数据样本上准确推断的主ML模型114中的置信度水平。附加地或另选地，在其中范围模型112包括离群值检测模型的具体实施中，范围模型112的输出可包括将数据样本分类为离群值(例如，在训练数据集的范围之外)或内围值(例如，在训练数据集的范围之内)。

模型部署模块104的模型应用部件108可被配置为将主ML模型114和/或DA-ML模型116应用于相应的新数据样本102以生成推断输出/结果(例如，诊断、器官分割掩码、重建图像等)。在一些实施方案中，模型部署模块104可被配置为将主ML模型114和DA-ML模型两者应用于新数据样本102。对于这些实施方案，可比较两个模型的输出(例如，通过如下所述的性能评估部件110)以有利于根据范围模型112结果来评估相应模型的性能准确性。在另一个实施方案中，模型应用部件108可被配置为仅将主ML模型114或DA-ML模型116应用于所有接收的数据样本。

附加地或另选地，模型应用部件108可被配置为基于范围模型112的结果将主ML模型114或DA-ML模型116选择性地应用于输入数据样本。对于这些实施方案，模型范围评估部件106可被配置为在新数据样本102中的每一个被传递到模型应用部件108以使用主ML模型114或DA-ML模型116进行处理之前使用范围模型112来处理这些新数据样本中的每一个。

例如，在一些具体实施中，模型应用部件108可被配置为将DA-ML模型116应用于被认为在主ML模型114范围之外的那些新数据样本，因为它们接收到低置信度得分(例如，相对于阈值置信度得分)或以其他方式基于范围模型112的结果被确定为离群值数据样本。模型应用部件108可另选地仅将主ML模型114应用于被确定为在主ML模型范围内的那些数据样本(例如，基于由范围模型112接收高置信度得分和/或确定该数据样本是内围值数据样本)。在其中DA-ML模型116提供后处理域适配的其他具体实施中，对于被确定为在主ML模型114的范围之外的那些数据样本，模型应用部件108可应用主ML模型114和DA-ML模型116两者(例如，应用主ML模型114以生成推断输出，然后将DA-ML模型应用于推断输出以生成经校正/优化的推断输出)。

在各种实施方案中，为相应数据样本102生成的经处理的数据样本102'和/或范围模型112、主ML模型114和/或DA-ML模型116的结果可存储在本地档案数据库120(或另一合适的数据存储器)中。模型部署模块104还可向主动监测和学习模块124提供对包括在本地档案数据库中的信息的访问，以用于执行主动监测和模型更新，如下文更详细所述。附加地或另选地，模型部署模块104可将针对相应数据样本102生成的经处理的数据样本102'和/或范围模型112、主ML模型114和/或DA-ML模型116的结果发送到主动监测和学习模块124，其继而可将所接收的数据添加到全局档案数据库122。

站点仪表板部件109可生成呈现主ML模型114和/或DA-ML模型116的推断结果的交互式仪表板。该交互式仪表板在本文中被称为站点仪表板。就这一点而言，站点仪表板可包括图形用户界面(GUI)，该图形用户界面以有组织且有用的方式将推断结果和相关信息呈现给与部署站点相关联的实体。在一些实施方案中，除了由主ML模型114和/或DA-ML模型116生成的对相应新数据样本102的推断输出之外，站点仪表板还可包括针对每个数据样本确定的范围模型112结果(例如，一个或多个置信度得分和/或作为离群值或内围值的分类)。

站点仪表板还可呈现经处理的数据样本102'并提供用于从一个或多个实体(审查器)接收关于模型结果的反馈的机制。例如，在一些具体实施中，站点仪表板部件109可提供具有关于模型输出的一个或多个定义的审查问题的审查提示，该审查问题可用预定义的可选响应选项和/或开放文本来回答。审查问题可根据主ML模型114的推断任务而变化。在一个或多个实施方案中，审查问题可包括关于模型输出的准确性的至少一个问题。例如，审查问题可要求用户提供陈述推断结果是正确还是不正确的二进制反馈。在另一示例中，审查问题可要求用户使用定义的评级/评分量表来对模型结果的准确性进行评级。在一些实施方案中，站点仪表板还可提供用于审查的机制，以提供关于推断结果中的所识别的错误和/或对错误的校正的反馈。就这一点而言，站点仪表板可允许用户利用识别或指示正确的模型输出应当是什么的基准真值信息来手动注释经处理的数据样本102'。所接收的用户反馈和数据样本注释信息可进一步存储在本地档案数据库120中和/或发送到主动监测和学习模块124，以用于执行主动监测和模型更新，如下文更详细所述。

图3呈现了根据本发明所公开的主题的一个或多个实施方案的有利于评估部署站点处的模型性能的示例性站点仪表板300。站点仪表板300呈现可由站点仪表板部件109生成的有利于使用模型部署模块104查看在客户端站点部署的一个或多个ML模型的结果的一个示例性GUI。站点仪表板300还可有利于接收关于结果的用户反馈。在各种实施方案中，可使用合适的查看和可视化软件和硬件将站点仪表板300呈现给与部署站点相关联的一个或多个实体。

在所示的实施方案中，站点仪表板300可呈现由部署站点处的一个或多个ML模型(例如，范围模型112、主ML模型114和/或DA-ML模型116)处理的数据样本302。站点仪表板还提供结果窗口304，该结果窗口提供关于相应模型的结果的信息。例如，结果窗口可包括识别范围模型112应用于数据样本302的结果的信息，诸如表示数据样本302在用于训练主ML模型114的训练数据集范围内的程度的范围得分(例如，置信度得分)。范围结果还可包括指示数据样本302是被分类为离群值还是内围值的信息。结果窗口304还可包括由主ML模型114和/或DA-ML模型116(无论应用何种模型)生成的实际模型输出。例如，模型结果可包括数据样本302的分类(例如，医学病症诊断)、分割掩码(例如，器官分割掩码)、图像重建等。模型结果将基于数据样本302的类型和ML模型的类型而变化。

站点仪表板300还可包括注释窗口308，该注释窗口可在其中输入数据样本和/或模型输出数据包括图像的具体实施中提供用注释信息来标记图像数据样本。例如，注释窗口308可提供具有可选标记工具的工具栏310，该工具栏可用于标记输入图像302'以指示输出和/或输出图像304'以指示输出中的任何错误。

站点仪表板300还可包括反馈窗口306，该反馈窗口提供与模型结果的准确性相关的审查问题。审查问题可包括预定义的可选答案选项和/或允许用户以自由形式提供文本描述/答案。在一些具体实施中，一旦用户已完成审查表单和/或数据样本注释，用户就可选择提交反馈，并且可更新站点仪表板300以向用户呈现下一个经处理的数据样本和相关联的模型结果以供审查。经由站点仪表板300接收的数据样本的反馈可进一步与存储在本地档案数据库120中的数据样本相关联、包括在一个或多个评估报告118中和/或由性能评估部件110(和/或性能评估部件110')使用。

再次参考图1，在一些实施方案中，模型部署模块104还可包括性能评估部件110和报告部件111，以有利于评估所应用的ML模型(例如，主ML模型114或DA-ML模型116)在新数据样本上的性能并且在关于模型性能的信息内生成评估报告118。在一些实施方案中，性能评估部件110可基于范围模型112的结果和所接收的用户反馈来生成相应模型的性能量度。具体地，性能评估部件110可生成识别内围值和离群值数据样本的量的性能量度。在其中范围模型112生成针对相应数据样本的置信度得分的具体实施中，性能评估部件110还可生成关于置信度得分的分布的性能量度。性能评估部件110还可评估所接收的关于推断输出的准确性的用户反馈，并且生成关于其准确度的主ML模型114和DA-ML模型116的性能量度。性能评估部件110还可生成关于主ML模型114和DA-ML模型的应用频率的使用量度。

在其中模型应用部件108将主ML模型114和DA-ML模型116两者应用于输入数据样本的一些实施方案中，性能评估部件110还可基于结果的比较来评估相应模型的性能。就这一点而言，在其中数据样本被范围模型112确定为离群值或者以其他方式与低置信度得分相关联的具体实施中，数据样本的DA-ML模型116的结果应当比主ML模型114的结果更准确。性能评估部件110因此可根据用户反馈评估两个结果，以确定DA-ML模型116是否如其所期望的那样提供离群值数据样本的改进结果。性能评估部件110还可为DA-ML模型116提供测量DA-ML模型116是否以及在何种程度上提供相对于主ML模型114的离群值数据样本的改进结果的一个或多个性能量度。在一些实施方案中，由性能评估部件110确定的模型性能量度可被包括在站点仪表板中。

模型部署模块104还可包括报告部件111以生成一个或多个评估报告118，该评估报告包括汇总和跟踪范围模型112、主ML模型114和DA-ML模型在部署站点处的使用和性能的信息。例如，报告部件111可被配置为根据定义的计划表(例如，一小时一次、一天一次、一周一次、一个月一次等)和/或在请求时生成评估报告118。评估报告118可包括但不限于识别针对每个数据样本所确定的推断结果和范围模型结果的信息、所接收的用户反馈和/或注释信息、和/或由性能评估部件110所确定的性能和使用量度。

在一些实施方案中，报告部件111可将评估报告118存储在本地档案数据库120中。模型部署模块104还可向主动监测和学习模块124提供对包括在本地档案数据库中的评估报告118的访问，以用于执行主动监测和模型更新，如下文更详细所述。附加地或另选地，模型部署模块104可响应于评估报告118(或包括评估报告118的任何信息)的生成(例如，一小时一次、一天一次、一周一次、一个月一次等)而将其发送到主动监测和学习模块124。

主动监测和学习模块124可进一步采用包括在评估报告118中和/或存储在本地档案数据库120中的信息，以有利于监视部署在多个客户端站点的模型的性能，并且当观察到差的性能时更新模型。具体地，在各种实施方案中，多个部署站点可使用模型部署模块104的本地部署实例。模型部署模块104的每个实例可采用包括范围模型112、主ML模型114和DA-ML模型116的模型集，其中至少每个DA-ML模型116包括针对客户端站点的输入数据集定制的版本。各个站点可各自采用模型部署模块104的特征和功能来处理其相应的输入数据集，并向主动监测和学习模块124提供其评估报告118和相关联的信息(例如，其经处理的数据样本、其模型结果、其接收的用户反馈、其性能量度等)。在一些实施方案中，主动监测和学习模块124可聚合从每个客户端站点接收的信息，并且以提供在每个客户端站点处部署的相应模型集的性能的全局视角的方式将该信息呈现在仪表板中。

就这一点而言，图4提供了根据本发明所公开的主题的一个或多个实施方案的有助于主动监测和学习多个部署站点的示例性非限制性系统400的图示。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在所示的实施方案中，被识别为站点1-K(其中K可包括任何整数)的多个不同客户端站点可各自包括模型部署模块104的实例，该模型部署模块用于执行关于在相应站点处部署的模型在该相应站点的相应数据样本(分别被识别为站点1数据样本102-1、站点2数据样本102-2和站点K数据样本102-K)上的性能的主动监测。就这一点而言，站点1可包括用于执行关于部署的模型的性能的主动监测的模型部署模块104，该部署的模型包括范围模型112

在其中主ML模型114包括例如医学成像处理模型的一个示例性具体实施中，不同站点可包括不同医学成像中心或医院，并且每个站点处的相应DA-ML模型可针对每个医学成像中心或医院特有的医学图像进行定制。相应的模型部署模块104还可有助于生成特定站点的评估报告和/或评估信息(分别识别为站点1评估报告118-2、站点2评估报告118-2和站点K评估报告118-K)。就这一点而言，特定站点的评估报告可包括(但不限于)针对相应数据样本所确定的推断结果和范围模型结果、所接收的用户反馈和/或注释、和/或由性能评估部件110所确定的模型性能和使用量度。在一些实施方案中，相应站点还可发送或以其他方式提供具有相应评估报告的经处理的数据样本。相应站点还可向主动监测和学习模块124发送或以其他方式提供该相应站点的特定站点的评估报告和相关信息。例如，在一些实施方案中，可收集特定站点的评估报告和相关联的信息(以及任选地，每个站点的经处理的数据样本)并将该评估报告和相关联的信息汇总到全局档案数据库122中。主动监测和学习模块124还可访问全局档案数据库122以检索用于执行主动监测和模型更新的归档信息。

就这一点而言，重新参考图1，在一些实施方案中，主动监测和学习模块124可包括供应商仪表板部件126，该供应商仪表板部件生成仪表板，该仪表板呈现关于站点中的每个处的模型集的性能的不同站点的模型性能量度。该仪表板在本文中被称为供应商仪表板。就这一点而言，供应商仪表板可包括GUI，该GUI以有组织且有用的方式向与供应商相关联的一个或多个实体呈现不同部署站点的模型性能信息，该方式有助于随时间推移跟踪和监控相应站点处的模型性能。例如，在一些实施方案中，供应商仪表板部件126可生成一个或多个图表、曲线图、表格等，这些图表、曲线图、表格比较在每个部署站点部署的相应模型的性能量度。供应商仪表板部件126还可在接收/确定新性能量度时随时间推移定期更新图表、曲线图、表格等。在一些实施方案中，供应商仪表板部件126可基于其相应的模型性能量度来为每个部署站点生成一个或多个图表、曲线图、表格等，该相应的模型性能量度跟踪其模型集中的相应模型随时间推移的性能量度的变化。

如上所述，在一些实施方案中，在每个站点部署的相应模型的模型性能量度可包括在评估报告118中。对于这些实施方案，供应商仪表板部件126可从所接收的评估报告118中提取每个站点的性能量度，并采用所提取的性能量度来生成呈现在供应商仪表板中的图表、曲线图、表格等。附加地或另选地，主动监测和学习模块124可使用性能评估部件110'生成在相应站点部署的相应模型的模型性能量度。例如，性能评估部件110'可提供与性能评估部件110相同或类似的特征和功能。就这一点而言，在一些实施方案中，性能评估部件110可从模型部署模块104移除，并且模型性能评估可替代地使用性能评估部件110'在主动监测和学习模块124处执行。对于这些实施方案，对于每个部署站点，性能评估部件110'可基于包括(但不限于)主ML模型114和DA-ML模型116的范围模型结果和推断结果的信息根据指示推断结果的准确性的用户反馈来确定模型性能量度。性能评估部件110'可访问每个部署站点的信息，该信息包括在与每个站点相关联的全局档案数据库122和/或本地档案数据库120中。

图5呈现了根据本发明所公开的主题的一个或多个实施方案的有助于评估多个部署站点处的模型性能的示例性供应商仪表板500。供应商仪表板500呈现可由供应商仪表板部件126生成的一个示例性GUI，该供应商仪表板有助于使用其相应的模型部署模块104查看在不同客户端站点部署的ML模型集的性能量度。供应商仪表板500中表示五个不同的客户端站点，分别被标识为站点1、站点2、站点3、站点4和站点5。在各种实施方案中，可使用合适的查看和可视化软件和硬件将供应商仪表板500呈现给与供应商站点相关联的一个或多个实体(例如，执行主动监测和学习模块124的实体)。

在所示的实施方案中，供应商仪表板500包括曲线图502，该曲线图绘制了在相应站点部署的推断模型的平均总准确率。例如，在一些具体实施中，平均总准确率可对应于包括在客户端站点部署的相应模型集中的所有三个模型(例如，范围模型112、主ML模型114和DA-ML模型116)的组合平均准确率。附加地或另选地，曲线图502中测得的准确率可对应于主ML模型114和DA-ML模型116、仅主ML模型114、仅DA-ML模型116的平均准确率。在一些具体实施中，可针对不同模型中的每一个的准确率生成不同的曲线图。

供应商仪表板500还包括样本分发信息506。该样本分发信息提供了迄今为止在站点中的每一个处使用ML模型处理的数据样本的总数目。样本分布信息506还提供离群值数据样本和内围值数据样本的总百分比。样本分布信息506可实时、每天、每周等更新。

供应商仪表板500还包括为不同站点中的每一者提供可选图标的站点信息窗口504。在各种实施方案中，对站点图标的选择可导致生成和呈现特定站点的仪表板，该仪表板提供关于针对每个站点跟踪的模型性能和使用的更详细信息。

供应商仪表板500还包括条形图508，该条形图比较每个站点处的主ML模型和DA-ML模型两者的每周准确率。就这一点而言，可分别测量每个站点的主ML模型和DA-ML模型的每周准确率。

再次参考图1，在一些实施方案中，主动监测和学习模块124还可包括监控部件128，该监控部件基于性能量度来监测在每个(或在一些具体实施中，一个或多个)部署站点部署的模型的性能。在一些实施方案中，监控部件128还可基于每个模型和/或每个模型集和/或部署站点/场景的监控和一个或多个定义的性能标准来确定模型(例如，包括在一组模型中的任一个模型)何时性能不佳和/或以其他方式需要更新。例如，一个或多个定义的性能可接收性标准可包括但不限于：离群值数据样本的最大量、针对数据样本的最小平均置信度得分、主ML模型114的最小性能准确性水平和/或DA-ML模型116的最小性能准确度水平。可基于相应部署站点的需要和偏好来定制性能可接收性标准。

就这一点而言，在一些实施方案中，对于每个(或在一些具体实施中一个或多个)客户端站点，监控部件128可被配置为评估包括在评估报告118中的性能量度和/或以其他方式由性能评估部件110和/或性能评估部件110'确定的性能量度，以确定新数据样本102是否在部署的主ML模型114的范围内以及在该范围内的程度。在一些具体实施中，监控部件128还可基于被确定为在主ML模型114的范围之外的新数据样本102的量(例如，如果新数据样本的X％在范围之外，则可能需要更新)和/或该新数据样本在范围之外的程度(基于置信度得分或另一量度)来确定何时需要对主ML模型114和/或DA-ML模型116进行更新。监控部件128还可评估主ML模型114和/或DA-ML模型116的性能准确性量度，以确定相应模型的性能准确度是否和/或何时下降到低于期望的性能水平并因此引起性能不佳。

在一些实施方案中，监控部件128可生成关于性能量度低于期望性能标准的模型和/或模型集的通知。例如，基于确定模型性能不佳，监控部件128可生成识别模型并指示该模型性能不佳的通知。在另一示例中，监控部件128可生成关于未能满足定义范围要求(例如，基于离群值数据样本的量、平均置信度得分等)的部署站点的数据集的通知。监控部件128还可在供应商仪表板中呈现通知，向与供应商相关联的一个或多个实体提供通知(例如，使用合适的电子通知机制)，并且/或者向与部署性能不佳模型和/或数据集的部署站点相关联的一个或多个实体提供通知(例如，使用合适的电子通知机制)。

附加地或另选地，基于确定在客户端站点部署的模型集中的一个或多个模型(其中该模型集包括范围模型112、主ML模型114和DA-ML模型116)性能不佳和/或客户端站点的数据集未能满足如上所述的范围要求，监控部件128可指示主动监测和学习模块124发起基于主动学习的模型更新过程，以生成一个或多个性能不佳模型的更新版本。在其他实施方案中，主动监测和学习模块124可被配置为定期(例如，根据定义的更新计划表，而不管性能量度是否指示模型/模型集性能不佳)执行基于主动学习的模型更新过程。

就这一点而言，除了上述供应商仪表板和主动监控功能之外，主动监测和学习模块124还可被配置为生成和/或有助于更新和改进一个或多个部署站点的范围模型112、主ML模型114和/或DA-ML模型116中的一者或多者。因此，主动监测和学习模块124可改进对来自至少一个部署站点的至少一个部署的ML模型(例如，ML模型114和/或DA-ML模型116)的反馈的采用。

本文所述的主动学习/模型更新过程涉及采用主动学习技术来使用新的训练/测试数据重新训练和更新特定部署站点的模型(例如，SM、主ML模型114和/或DA-ML模型116)中的一者或多者。在一些实施方案中，新的训练/测试数据可包括由模型或模型在其上已表现性能较差的特定部署站点提供的经处理的数据样本102'。对于这些实施方案，主动监测和学习模块124可访问包括在全局档案数据库122和/或本地档案数据库120中的识别被确定为离群值和/或以其他方式与低置信度得分(例如，小于阈值置信度得分)相关联的经处理的数据样本102'的信息。主动监测和学习模块124还可从全局档案数据库122或本地档案数据库120(或它们可被存储的任何地方)提取离群值数据样本，并且采用采样的离群值数据来更新/重新训练一个或多个模型。

在其他实施方案中，包括在新的训练/测试数据中的数据样本可包括由特定部署站点提供的未被相应模型(例如，范围模型112、主ML模型114和/或DA-ML模型116)处理的新数据样本。在这些实施方案的一些具体实施中，样本准备部件130还可使用范围模型112过滤新数据样本，以生成离群值数据样本的子集，并使用这些离群值数据样本作为用于模型更新的新的训练/测试集。在其他实施方案中，新的训练/测试数据可包括由其他部署站点提供的新的和/或经处理的数据样本。就这一点而言，主动监测和学习模块可生成更全面的训练/测试数据集，该数据集用于更新提供来自不同部署站点的不同数据样本的分布的模型中的一者或多者。

在一些具体实施中，包括在要用于模型更新的新训练/测试数据集中的样本中的至少一些还可包括附加信息或以其他方式与附加信息相关联(例如，包括在那些数据样本的评估报告118中)，该信息包括但不限于模型结果(例如，主ML模型114和/或DA-ML模型116的所应用的当前版本的推断结果)、置信度得分、用户反馈信息(例如，关于推断结果的准确性的所应用的注释)、注释信息(例如，基准真相注释)等。

附加地或另选地，主动监测和学习模块124可由至少一个人类专家促进对包括在新的训练/测试数据集中的数据样本中的至少一些的策展或注释，以生成训练/测试数据样本的带注释数据。例如，至少一个人类专家可提供数据样本的GT注释、关于推断结果准确性的注释信息等。主动监测和学习模块124还可有助于更新部署的ML模型114的版本、部署的范围模型112的版本、和/或使用包括带注释数据样本和任选地类似于带注释数据样本的附加未带注释训练/测试数据样本(例如，来自相同站点的离群值数据样本或类似于来自另一站点的数据样本)的新训练/测试数据集的部署的DA-ML模型116的版本。在一些具体实施中，测试数据样本可包括特定站点的归档数据样本的随机选择的子集。

主动监测和学习模块124还可使用更新模型的一个或多个定义的性能标准来评估更新模型。如果不满足一个或多个性能标准，则主动监测和学习模块124还可继续迭代地更新模型(例如，范围模型112、主ML模型114和/或DA-ML模型116)，或者将用于发送的最终模型输出到客户端站点以更新客户端站点处的相应模型的当前部署的版本。在系统100所示的实施方案中，满足性能标准的最终更新的模型被共同分组为更新的模型集138。

为了有助于基于主动学习模型更新，主动监测和学习模块124可包括样本准备部件130、注释部件132、模型更新部件134和更新的模型评估部件136。

在一个或多个实施方案中，样本准备部件130可提取或以其他方式接收新的训练/测试数据样本和相关的相关联信息(如果可用)(例如，注释、用户反馈、置信度得分、离群值/内围值分类等)，并为主动学习处理准备数据样本和相关联的信息。

在其中数据样本先前未被范围模型112、主ML模型114和/或DA-ML模型116的当前版本处理的一些实施方案中，样本准备部件130可使用模型的当前版本处理数据样本以生成中间策展数据集。(另选地，样本准备部件130可被配置为处理包括在检索到的新训练/测试数据集中的所有数据样本，以便以这种方式更新模型，即使这些数据样本先前是使用模型的当前版本在部署站点处理过的)。对于这些实施方案，样本准备部件130可将范围模型112的当前版本(例如，范围模型112

注释部件132还可有助于将手动注释应用于中间策展数据样本(例如，由一个或多个专家)，从而将中间策展数据样本转换成准备用于模型训练和/或测试的带注释数据样本。就这一点而言，注释部件132可向一个或多个专家实体提供中间策展数据以用于手动查看和生成相应数据样本的注释信息。注释部件132还可接收所应用的注释信息。

该注释信息可包括指示相应模型的性能的准确性的信息。例如，注释可包括陈述审查者认为模型输出是否准确以及其准确程度的信息。在模型输出不准确的一些具体实施中，注释还可包括基准真相信息，该基准真相信息提供正确的输出结果并且/或者指示或识别与模型的推断输出不准确的内容。例如，当应用于由主ML模型114生成的不准确的图像分割任务时，注释数据可包括标记输入图像的信息，该信息中应该是正确的分割掩码。在另一示例中，当应用于由主ML模型114和/或DA-ML模型116生成的医学图像的分类任务和不准确诊断时，注释数据可包括与陈述正确诊断的医学图像相关联的信息。

模型更新部件134还可采用包括带注释数据样本的策展数据集来训练和更新范围模型112的当前版本、主ML模型114的当前版本和/或DA-ML模型116的当前版本中的一者或多者。更新的模型评估部件136还可根据现有机器学习测试和验证过程使用测试数据样本(例如，由客户端站点提供)基于相应模型的定义的性能标准(例如，定义的准确性阈值/水平)来评估相应模型的更新版本的性能。如果不满足定义的性能标准，则主动监测和学习模块124还可使用新的数据样本集(例如，新的归档数据集)迭代地继续更新过程，直到不满足定义的性能标准。如果满足定义的性能标准，则更新的模型评估部件136还可接收相应模型的更新版本，从而将更新版本接收为更新模型集138。基于对更新的模型集的接收，主动监测和学习模块124还可将更新的模型(例如，更新的范围模型112

图6提供了根据本发明所公开的主题的一个或多个实施方案的有助于对ML模型创作工作流程的主动学习的示例性非限制性系统的图示600。系统600具体地展示了有助于由集中式供应商针对多个模型部署站点执行主动学习和模型更新的示例性系统架构。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在所示的实施方案中，集中式供应商站点可包括主动监测和学习模块124以及全局档案数据库122。在该实施方案中，全局档案数据库122可包括来自相应站点的经处理的数据样本102'及其相关联的评估报告信息。在一些具体实施中，全局档案数据库122还可包括来自相应部署站点的附加的未经处理的数据样本。就这一点而言，主动检测和学习模块124可访问和检索如包括在全局档案数据库122中的特定站点(例如，站点1至站点K)中的每一者的归档数据样本和相关联的评估报告信息(例如，如果可用)，这些特定站点在图4中分别被标识为站点1归档数据-1、站点2归档数据-2和站点K归档数据-K。主动监测和学习模块124还可采用特定站点的归档数据来为站点中的每一者生成更新的模型集，该更新的模型集分别包括针对每个站点定制的范围模型112、主ML模型114和/或DA-ML模型116的更新版本。

例如，在所示的实施方案中，主动监测和学习模块124可基于站点1归档数据602-1(例如，站点1数据样本和相关联的评估报告信息(如果可用))来生成站点1的更新模型集138-1，其中站点1的更新的模型集138-1包括站点1的范围模型112的第二(更新)版本(被识别为范围模型112

图7A呈现了根据本发明所公开的主题的一个或多个实施方案的用于在客户端站点执行的示例性非限制性主动监测工作流程700的流程图。在一个或多个实施方案中，主动监测工作流程700可由模型部署模块104执行和/或促进。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

参考图7A，在702处，可使用DA-ML模型116

在704处，还可使用范围模型112

就这一点而言，主动监测工作流程700将域适配构建结合到ML模型中以有助于提高推断结果706的准确性。主动监测工作流程700还生成并提供针对相应数据样本的置信度得分，该置信度得分提供系统对主ML模型114在相应新数据样本的性能能力的置信程度的指示。因此，可更容易地识别和标记与较低或较差置信度得分(或离群值)相关联的数据样本，以用于在主动学习工作流程中更新ML模型114的更深的评估和使用。概括地说，主动监测工作流程700涉及在客户端站点处接收新数据样本102，并且代替将主ML模型114应用于新数据样本(或除此之外)，将DA-ML模型116

图7B呈现了根据本发明所公开的主题的一个或多个实施方案的主动监测工作流程的示例性性能评估和报告过程的流程图701。在所示的实施方案中，客户端站点和供应商站点两者均可评估并且可根据一个或多个实施方案使用独立仪表板来提供主动监测元素。

例如，相对于客户端或部署站点，在710处，可经由站点仪表板300将推断结果和范围模型结果呈现给客户端站点处的一个或多个用户，并且可任选地接收关于推断结果的性能准确性的用户反馈。例如，在710处，客户端站点处的审查者可检查由主ML模型114和/或DA-ML模型116生成的推断输出，并且提供指示推断输出是否正确及其正确程度的反馈。在一些具体实施中，审查者还可注释数据样本以指示不正确的推断输出中的误差(例如，其中正确的分割区域应在图像上的边界框，指出校正不正确的模型生成的诊断等)。

在712处，客户端站点处的系统(例如，使用报告部件111)可基于所接收的用户反馈和模型输出(例如，推断结果和范围结果)来生成一个或多个评估报告118。例如，可生成关于在限定时间段内(例如，一天一次、一周一次、一月一次等)和/或针对定义数量的数据样本(例如，每N个数据处理过的数据样本)的模型性能的评估报告。在一些实施方案中，与生成评估报告712相关联，客户端站点处的性能评估部件110还可确定并生成模型性能量度以包括在714处的评估报告中。附加地或另选地，性能量度可由主动监测和学习模块124确定(例如，使用性能评估部件110')。在716处，客户端站点处的模型部署模块104还可将生成的评估报告118发送到供应商站点处的主动监测和学习模块124。客户端站点还可将评估报告118连同经处理的数据样本一起存储在本地档案数据库120中。

在供应商站点，使用主动监测和学习模块124可将评估报告118存储在全局档案数据库122中。如参考图4所述，主动监测和学习模块124可汇总从全局档案数据库122中的多个客户端站点接收的评估报告信息。在718处，供应商仪表板部件126还可生成并呈现分别在供应商仪表板中的不同站点部署的模型的性能量度。在其中性能量度不包括在评估报告中的一些具体实施中，供应商站点处的性能评估部件110'可基于包括在评估报告中的信息来确定性能量度。在720处，监控部件128(和/或人工审查者)可基于供应商仪表板中呈现的信息来评估和监控模型的性能。在722处，监控部件128(和/或人工审查者)可确定单个模型在任何站点处的性能和/或模型集在任何站点处的性能是否不满足定义的性能标准。如果不满足定义的性能标准，则系统可在随时间推移接收到新信息时继续监控模型的性能。然而，如果在722处，系统确定模型性能未能满足定义的性能标准，则在724处，系统可针对性能不佳的模型或模型集启动/执行模型更新。

图8呈现了根据本发明所公开的主题的一个或多个实施方案的用于在客户端站点执行的另一示例性非限制性主动监测工作流程800的流程图。在一个或多个实施方案中，主动监测工作流程800可由模型部署模块104执行和/或促进。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

参考图6，在802处，可由模型部署模块104初始接收新数据样本102，并且可由模型范围评估部件106使用范围模型112来评估新数据样本102中的每一个，以相对于主ML模型114的范围确定新数据样本的范围，从而生成模型范围结果804。模型范围结果804可包括例如针对每个新数据样本的置信度得分，该置信度得分指示数据样本在训练数据集范围内的程度和/或数据样本作为离群值或内围值的分类。在806处，模型范围评估部件106可基于相对于定义的阈值的置信度得分和/或离群值/内围值分类来确定每个新数据样本是否在主ML模型114的范围内。在808处，模型应用部件108可将主ML模型114应用于内围值数据样本以生成推断结果812。在810处，模型应用部件108可替代地将DA-ML模型116应用于那些离群值数据样本以生成推断结果812。主动监测工作流程800可进一步根据710和712继续，如参考图7A和7B所述的。

图9呈现了根据本发明所公开的主题的一个或多个实施方案的用于ML模型创作的示例性主动学习工作流程900的流程图。在一个或多个实施方案中，主动学习工作流程900可由主动监测和学习模块124执行和/或促进。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

根据主动学习工作流程900，在902处，主动监测和学习模块124可接收或以其他方式访问(例如，在全局档案数据库122和/或本地档案数据库120中)用于站点(例如，客户端站点K)的归档数据，该数据包括用于更新主ML模型114、范围模型112和/或DA-ML模型116中的一者或多者的至少一些已经注释的数据样本和/或相关联的评估报告信息。在904处，主动监测和学习模块124可执行数据样本准备(例如，使用样本准备部件130)。在所示的实施方案中，数据样本准备可涉及使用模型范围过滤来过滤数据样本，以选择在客户端站点处部署的主ML模型114的当前版本的范围之外的那些数据样本的子集。

例如，基于主动学习的ML模型更新通常用于改善ML对ML往往对其表现出较差的性能的数据样本的性能。通常，这种较差性能可归因于数据样本被排除在训练数据集中或以其他方式在训练数据集中未充分表示(例如，模型未看到的数据样本的类型)。根据所公开的主动学习技术的一些实施方案，来自特定客户端站点(例如，站点K)的在该客户端站点处部署的主ML模型114的范围之外的数据样本可基于如基于范围模型112在该客户端站点处的应用而确定的这些数据样本的相关联置信度得分或离群值分类来在全局档案数据库122中识别。

就这一点而言，参考图9，根据图1，在904处，使用与全局档案数据库122中包括的相应数据样本相关联的评估报告，样本准备部件130可识别并检索被归类为离群值和/或以其他方式与低置信度得分(例如，相对于阈值置信度得分)相关联的数据样本的子集。主动监测和学习模块124还可采用这些离群值数据样本、基于与相应数据样本相关联的注释信息来重新训练和更新主ML模型114以及DA-ML模型116和/或范围模型112，其中注释信息识别或指示相应模型根据这些离群值数据样本的推断输出是否不准确和/或如何不准确/为何不准确。根据主动学习工作流程900，此类注释信息可先前与全局档案数据库122中的相应数据样本相关联(例如，如与客户端站点和/或供应商站点处的用户评论反馈相关联地接收的)。

例如，在一些具体实施中，全局档案数据库122中包括的数据样本可与提供了基准真相和/或识别或指示范围模型112在相应数据样本上的性能的准确性(例如，置信度得分是否与主ML模型推断输出的准确度相关以及相关程度如何)的注释数据相关联。此外，包括在应用了主ML模型114的全局档案数据库中的数据样本还可与关于主ML模型114对那些数据样本的性能的准确性的注释数据相关联。例如，这些数据样本可与指示由主ML模型114针对相应数据样本生成的推断结果是否准确以及其准确程度如何，以及如果推断结果不准确，那么准确的推断结果应为何的信息相关联。同样，对于应用了DA-ML模型116的那些数据样本，那些数据样本也可与关于DA-ML模型116对那些数据样本的性能的准确性的注释数据相关联。例如，这些数据样本可与指示由DA-ML模型116针对相应数据样本生成的推断结果是否准确以及其准确程度如何，以及如果推断结果不准确，那么准确的推断结果应为何的信息相关联。

根据主动学习工作流程900，数据样本准备904可导致生成策展数据集906，该数据集包括来自客户端站点K的离群值数据样本及其关于上述推断输出的模型性能准确性和错误/校正的相关联的带注释数据。在908处，模型更新部件134随后可采用策展数据集906来更新以下中的一者或多者：在910处，部署在客户端站点的主ML模型114

在918处，更新的模型评估部件136还可使用测试数据样本916执行更新的模型测试。在一些实施方案中，测试数据样本916可包括从策展数据集906中随机选择和移除的离群值数据样本的子集(例如，其中移除的测试数据样本未用于908处的模型更新)。附加地或另选地，测试数据样本916可包括来自客户端站点的一组新的数据样本。就这一点而言，更新的模型评估部件136可使用测试数据样本916以：在920处，测试主ML模型的性能；在922处，测试DA-ML模型的性能；以及在924处，测试范围模型的性能。在928处，更新的模型评估部件136可对照已定义的性能标准(例如，已定义的准确性要求等)评估相应的更新的模型输出926，来确定是否已满足已定义的性能标准。如果在928处，已满足已定义的性能标准，则在930处，更新的模型评估部件136可接受更新的模型集138。更新的模型集138还可作为模型更新被发送回客户端站点，并且模型部署模块104可被配置为采用更新的模型集138而不是范围模型112、主ML模型114和/或DA-ML模型116的先前版本。然而，如果在928处，更新的模型评估部件136确定尚未满足更新的模型性能标准，则主动学习周期可继续，并且可使用从全局档案数据库122中提取的一组新的训练/测试数据样本和相关联的评估报告来重复主动学习工作流程900，直到满足更新的性能标准。

图10呈现了根据本发明所公开的主题的一个或多个实施方案的用于ML模型创作的另一个示例性主动学习工作流程1000的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

主动学习工作流程1000类似于主动学习工作流程900，在策展数据集906的生成方面具有差异。就这一点而言，在908处使用策展数据集906的模型更新、在918处的模型测试以及主动学习工作流程1000的继续主动学习过程可以与参考主动学习工作流程900所述相同或类似的方式进行。然而，主动学习工作流程1000在策展数据集906的生成方面不同于主动学习工作流程900。具体地讲，利用主动学习工作流程900，关于相应模型(例如，范围模型112、主ML模型114和/或DA-ML模型116)基于离群值数据样本和/或基准真相信息的输出的准确性和不准确性的带注释数据已经与如从全局档案数据库122和/或本地档案数据库120接收的离群值数据样本相关联。利用主动学习工作流程1000，主动监测和学习模块124有助于生成该注释信息(例如，使用注释部件132)。

具体地讲，在1002处，主动监测和学习模块124可接收用于站点的归档数据，该归档数据包括来自该站点的数据样本或以其他方式表示主ML模型114的特定目标域的数据样本。在一些具体实施中，数据样本可包括由客户端站点提供的未经处理的数据样本。就这一点而言，在1002处接收的新数据样本可包括从客户端站点接收的先前未被模型部署模块104或主动监测与学习模块124着手处理的数据样本。

在1004处，样本准备部件130可为主动学习周期准备新的数据样本。在一个或多个实施方案中，这最初可涉及在1006处执行模型范围过滤以识别和提取离群值数据样本1008。在一些实施方案中，样本准备部件130可通过将范围模型112的当前版本应用于相应的新数据样本以生成置信度得分和/或以其他方式识别和提取离群值来执行模型范围确定。在1010处，数据样本准备还可涉及将主ML模型114的当前版本应用于离群值数据样本1008以生成主ML模型的推断输出。在1012处，数据准备还可涉及将DA-ML模型116的当前版本应用于离群值数据样本1008以生成DA-ML模型116的推断输出。离群值数据样本和基于主ML模型114的当前版本和/或DA-ML模型116的当前版本的应用而生成的推断输出可被收集并聚合为中间策展数据1014。然后在1016处，注释部件132可有利于将中间策展数据1014呈现给一个或多个审查实体(例如，一个或多个人/专家)以(视情况而定)生成关于相应模型的性能准确性的注释并将其应用于相应策展数据样本，识别模型输出的准确性和不准确性，提供基准真相等，从而导致生成策展数据集906。模型更新和测试随后可如参考主动学习工作流程900所述来进行。

图11示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的示例性非限制性过程1100的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1102处，包括处理器的系统(例如，系统100、系统400和/或系统600)可将在训练数据集上训练的主ML模型(例如，主ML模型114)应用于从训练数据集中排除的数据样本(例如，新数据样本102)以(例如，使用模型部署模块104)基于数据样本来生成推断。在1104处，系统可采用更多主动监测技术来与该应用相关联地调节主ML模型114的性能，其中该一种或多种主动监测技术包括以下中的至少一者：执行主ML模型相对于数据样本的模型范围评估(例如，使用模型范围评估部件106和/或范围模型112

图12示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的示例性非限制性过程1200的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1202处，包括处理器的系统(例如，系统100、系统400和/或系统600)可接收从用于训练主ML模型(例如，ML模型114

图13示出了根据本发明所公开的主题的一个或多个实施方案的用于执行对ML模型部署工作流程的主动监测的另一个示例性非限制性过程1100的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1302处，包括处理器的系统(例如，系统100、系统400和/或系统600)可接收用于输入到主ML模型(例如，主ML模型114

在一些实施方案中，系统还可(例如，使用报告部件111)生成模型的评估报告(例如，评估报告118)，该评估报告包括(例如，使用性能评估部件110)为模型确定的性能量度和/或主动监测和学习模块124可用来生成性能量度的信息(例如，范围模型结果、主ML模型114和/或DA-ML模型116的推断结果)、数据样本、用户提供的反馈/注释等)。系统还可向主动监测和学习模块124发送/提供评估报告，以用于(例如，经由监控部件128)监控模型随时间推移的性能。在各种实施方案中，系统还可(例如，在本地档案数据库120和/或全局档案数据库122中)存储经处理的数据样本102'以及包括但不限于以下各项的信息：基于相应数据样本生成的推断结果，识别用于生成推断结果的ML模型的特定版本的信息、置信度得分信息、使用/性能量度，以及与数据样本和推断结果相关联的用户反馈。在一些具体实施中，用户反馈可以包括关于对应数据样本的推断结果的性能准确性的数据样本/推断结果对中的至少一些的带注释数据。所存储的信息可进一步被主动监测和学习模块124访问，并且根据本发明所公开的主动学习技术用于继续模型更新。

图14示出了根据本发明所公开的主题的一个或多个实施方案的用于监控在不同站点部署的不同组的ML模型的性能的示例性非限制性过程1400的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1402处，操作地耦接到处理器的系统(例如，系统100)可(例如，使用主动监测和学习模块124)接收部署在不同站点(例如，站点1-K)的不同组的ML模型的性能量度，其中不同组的ML模型包括相同模型的已适配不同站点的目标域的至少一个不同版本(例如DA-ML模型116

在一个或多个实施方案中，系统可在性能量度在不同组的ML模型的使用期间内在不同站点生成时接收这些性能量度，并且系统可在使用期间更新监测仪表板。例如，系统可在使用期间接收由相应站点报告的性能量度。报告计划表/定时频率可以是变化的。例如，在一些具体实施中，站点可根据定义的计划表(例如，一天一次、一周一次、一个月一次等)报告性能量度。在另一个具体实施中，站点可实时报告性能量度(例如，响应于性能评估部件110进行的确定/生成)。

在一些实施方案中，过程1400还可包括由系统(例如，使用监测部件128)基于性能量度来监控包括在不同组中的相应模型的性能，并且基于该监控来确定相应模型的性能是否下降到低于定义的性能水平。对于这些实施方案，过程1400还可包括由系统基于确定相应模型中的模型的性能下降到低于定义的性能水平来发起用于该模型的模型更新过程(例如，主动学习工作流程900、主动学习工作流程1000等)。

图15示出了根据本发明所公开的主题的一个或多个实施方案的用于执行针对ML模型部署工作流程的主动学习的示例性非限制性过程1500的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1502处，操作地耦接到处理器的系统(例如，系统100)可(例如，经由主动监测和学习模块124)接收策展数据集(例如，策展数据集906)，该策展数据集包括基于将范围模型(例如，范围模型112

图16示出了根据本发明所公开的主题的一个或多个实施方案的用于执行针对ML模型部署工作流程的主动学习的示例性非限制性过程1600的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在1602处，包括处理器的系统(例如，系统100)可接收与实体相关联的新数据样本(例如，用于特定客户端站点的新数据样本和/或经处理的数据样本102')。在1604处，系统可处理数据样本以生成中间策展数据(例如，中间策展数据1014)，该中间策展数据包括基于将主ML模型(例如，主ML模型114)或主ML模型的域适配版本(例如，DA-ML模型116)应用于被确定为在ML模型范围之外的数据样本子集而生成的推断结果。在1606处，系统可促进将手动注释应用于关于推断结果的准确性的中间策展数据，从而导致将中间策展数据转换成策展数据集(例如，策展数据集906)。在1608处，系统可采用策展数据集来生成以下各项中的至少一者：ML模型的更新版本(例如，ML模型114

应当指出的是，为了简化说明，在一些情况下，计算机实现的方法在本文中被描绘和描述为一系列动作。应当理解和认识到，本发明不受所示出的动作和/或动作顺序的限制，例如，动作可以以各种顺序和/或同时发生，并且具有本文未呈现和描述的其他动作。此外，可能不需要所有示出的动作来实现根据所公开的主题的计算机实现的方法。此外，本领域技术人员将理解并意识到，该计算机实现的方法可以另选地通过状态图或事件表示为一系列相互关联的状态。另外，应当进一步认识到，在下文以及整个说明书中公开的计算机实现的方法能够存储在制品上，以便有利于将此类计算机实现的方法传输和转移到计算机。如本文中所用，术语“制品”旨在涵盖可从任何计算机可读设备或存储介质访问的计算机程序。

图17可为本发明所公开的主题的各个方面提供非限制性背景，其旨在提供对其中可实现本发明所公开的主题的各个方面的合适环境的一般描述。图17示出了其中可有助于本文所述的一个或多个实施方案的示例性非限制性操作环境的框图。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。

参考图17，用于实现本公开的各个方面的合适操作环境1700还可包括计算机1702。计算机1702还可包括处理单元1704、系统存储器1706和系统总线1708。系统总线1708将包括但不限于系统存储器1706的系统部件耦接到处理单元1704。处理单元1704可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可用作处理单元1704。系统总线1708可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线以及/或者使用各种可用总线架构的本地总线，包括但不限于工业标准架构(ISA)、微通道架构(MCA)、扩展ISA(EISA)、智能驱动电子设备(IDE)、VESA本地总线(VLB)、外围部件互连件(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、火线(IEEE 17124)和小型计算机系统接口(SCSI)。

系统存储器1706还可包括易失性存储器1710和非易失性存储器1712。基本输入/输出系统(BIOS)(包含在计算机1702内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器1712中。计算机1702还可包括可移除/不可移除、易失性/非易失性计算机存储介质。图17示出了例如磁盘存储装置1714。磁盘存储装置1714还可包括但不限于如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存存储器卡或记忆棒的设备。磁盘存储装置1714还可包括单独的存储介质或与其他存储介质组合的存储介质。为了便于将磁盘存储装置1714连接到系统总线1708，通常使用可移除或不可移除的接口，诸如接口1716。图17还描绘了充当用户和合适的操作环境1700中所述的基本计算机资源之间的中介的软件。这种软件还可包括例如操作系统1718。可存储在磁盘存储装置1714上的操作系统1718用于控制和分配计算机1702的资源。

系统应用程序1720利用操作系统1718通过例如存储在系统存储器1706或磁盘存储装置1714上的程序模块1722以及程序数据1724对资源的管理。应当认识到，本公开可以用各种操作系统或操作系统的组合来实现。用户通过输入设备1736将命令或信息输入到计算机1702中。输入设备1736包括但不限于诸如鼠标、轨迹球、触控笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等的指向设备。这些和其他输入设备经由接口端口1730通过系统总线1708连接到处理单元1704。接口端口1730包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备1734使用与输入设备1736相同类型的端口中的一些端口。因此，例如，USB端口可用于向计算机1702提供输入，并将信息从计算机1702输出到输出设备1734。提供输出适配器1728以示出存在如监视器、扬声器和打印机的一些输出设备1734，以及需要特殊适配器的其他输出设备1734。通过举例说明而非限制的方式，输出适配器1728包括在输出设备1734和系统总线1708之间提供连接手段的视频和声卡。应当指出的是，其他设备和/或设备的系统提供输入能力和输出能力两者，诸如远程计算机1740。

计算机1702可使用到一个或多个远程计算机(诸如，远程计算机174)的逻辑连接在联网环境中操作。远程计算机1740可以是计算机、服务器、路由器、网络PC、工作站、基于微处理器的设备、对等设备或其他公共网络节点等，并且通常还可包括相对于计算机1702描述的元素中的许多或全部元素。出于简洁的目的，对于远程计算机1740仅示出了一个存储器存储设备1742。远程计算机1740通过网络接口1738逻辑连接到计算机1702，然后经由通信连接1732物理连接。网络接口1738涵盖有线和/或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。LAN技术包括光纤分布式数据接口(FDDI)、铜质分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点到点链路、如综合业务数字网络(ISDN)及其上的变体的电路交换网络、分组交换网络和数字用户线(DSL)。通信连接1732是指用于将网络接口1738连接到系统总线1708的硬件/软件。虽然为了清楚说明而在计算机1702内示出了通信连接1732，但是该通信连接也可在计算机1702外部。仅出于举例的目的，用于连接到网络接口1738的硬件/软件还可包括内部技术和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器，以及以太网卡。

本文所述的一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法、装置和/或计算机程序产品。计算机程序产品可包括其上具有计算机可读程序指令以用于致使处理器执行一个或多个实施方案的各方面的计算机可读存储介质(或多个计算机可读存储介质)。计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介质的更具体示例的不完全列表还可包括以下各项：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)，以及上述项的任何适当组合。如本文所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。就这一点而言，在各种实施方案中，如本文所用的计算机可读存储介质可包括非暂态和有形计算机可读存储介质。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。用于执行一个或多个实施方案的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或以一种或多种编程语言(包括面向对象的编程语言，诸如Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行一个或多个实施方案的各方面。

本文参考根据实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述一个或多个实施方案的各方面。应当理解，流程图图示和/或框图的每个框，以及流程图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可存储在计算机可读存储介质中，其可指示计算机、可编程数据处理装置和其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。也可将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以致使一系列操作动作在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本文所述的各种实施方案的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所指出的功能可不按图中所指出的顺序发生。例如，实际上可基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框，具体取决于所涉及的功能性。还需要说明的是，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

虽然上文已经在一个或多个计算机上运行的计算机程序产品的计算机可执行指令的一般语境中描述了主题，但本领域的技术人员将认识到，本公开也可以或可以与其他程序模块结合实现。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，PDA、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。例如，在一个或多个实施方案中，计算机可执行部件可从可包括一个或多个分布式存储器单元或由一个或多个分布式存储器单元构成的存储器执行。如本文所用，术语“存储器”和“存储器单元”可互换。此外，本文所述的一个或多个实施方案可以分布式方式执行计算机可执行部件的代码，例如，多个处理器组合或协同工作以执行来自一个或多个分布式存储器单元的代码。如本文所用，术语“存储器”可涵盖一个位置处的单个存储器或存储器单元，或者一个或多个位置处的多个存储器或存储器单元。

如本申请中所用，术语“部件”、“系统”、“平台”、“接口”等可指代并且可包括计算机相关实体或与具有一个或多个特定功能性的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可驻留在进程或执行的线程内，并且部件可位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如，来自一个部件的数据，该部件在本地系统、分布式系统和/或网络(诸如，经由信号与其他系统的互联网)中与另一个部件交互)。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件所提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是可通过电子部件而非机械零件提供特定功能性的装置，其中电子部件可包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。

如本文所用，术语“促进”是在“促进”一个或多个动作或操作的系统、设备或部件的语境中，相对于其中多个部件和/或多个设备可参与一些计算操作的复杂计算环境的性质。可涉及或可不涉及多个部件和/或多个设备的动作的非限制性示例包括发送或接收数据、在设备之间建立连接、为了获得结果而确定中间结果(例如，包括采用ML和/或ML技术来确定中间结果)等。就这一点而言，计算设备或部件可通过参与完成操作的任何部分来促进该操作。因此，当本文描述部件的操作时，应当理解，在操作被描述为由部件促进的情况下，操作可任选地通过一个或多个其他计算设备或部件的协作来完成，所述其他计算设备或部件诸如但不限于：传感器、天线、音频和/或视觉输出设备、其他设备等。

此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“X采用A或B”旨在表示任何自然的包含性置换。也就是说，如果X采用A；X采用B；或者X采用A和B两者，则在任何前述情况下都满足“X采用A或B”。此外，本说明书和附图中使用的冠词“一”和“一个”通常应解释为是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文中所用，利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。

如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、分立栅极或晶体管逻辑、分立硬件部件、或被设计为执行本文所述的功能的其任意组合。另外，处理器可利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件用于指代“存储器部件”、体现在“存储器”中的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。以举例说明而非限制的方式，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存存储器、或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。例如，易失性存储器可以包括RAM，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，RAM能以多种形式提供，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。另外，本文所公开的系统或计算机实现的方法的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。

上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。

已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。