通过细化模型输出来训练人工智能

摘要

人工智能的改进训练。通过将输入数据集应用于人工智能(AI)来获取原始输出数据。这样的原始输出数据有时难以解释。本文中定义的原理提供了一种系统性方法以细化针对各种AI模型的输出。AI模型集合表征结构被用于细化AI模型输出的目的，以便更加有用。对于多个并且也许是大量AI模型中的每个AI模型，表征结构表示由于AI模型向输入数据的应用而产生的输出数据的细化。在从AI模型获取输出数据之后，可以应用适当的细化。然后，可以对经细化的数据进行语义索引以提供语义索引。表征结构还可以提供定制信息以允许对照语义索引进行直观查询。

说明书

背景技术

计算系统和相关联的网络极大地改变了我们的世界。计算系统现在能够参与各种级别的人工智能。人工智能是一个非生命实体(诸如语音系统、语音设备或它们的组合)接收并且解释数据以向数据的至少一部分添加结构的过程。

人工智能可以对其接收的数据进行分类。作为相对直观的示例，将经常提及“图像示例”和“视频示例”，其中输入到人工智能的数据分别是图像或视频。在图像示例中，人工智能可以获取原始图像数据，确定被表示在图像中的对象是什么，标识对象，并且可能确定这些对象的属性。例如，人工智能可以确定对象的位置、取向、形状、大小等。人工智能还可以确定对象与其他对象的关系(诸如相对位置)，和/或组织具有类似特性的对象。人工智能还可以输出关于其确定的置信度。在视频示例中，人工智能也可能做出预测，诸如两个对象是否会发生碰撞，可能还具有关于这些预测的置信度。人工智能还可以估计对象的位置。

技术尚未达到通用智能的水平，其中任何数据都可以按照任何方式解释。但是，所使用的AI模型经过定制之后可以基于特定种类的数据进行特定种类的确定。一些AI模型的功能可能非常特殊，诸如根据X射线数据确定焊缝是否会断裂。一些AI模型可能更通用，诸如标识图像中的对象。传统上，有很多工具可用于开发新的AI模型。当前，有大量常规AI模型可用，每种模型都是为改变特异性而定制的，并且每种模型具有不同的质量。此外，可用AI模型的数目正在快速增长。

本文中要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的实施例。而是，本背景仅提供以说明可以在其中训练(exercise)本文中描述的一些实施例的一个示例性技术领域。

发明内容

本文中描述的至少一些实施例涉及人工智能的改进训练。通过将输入数据集应用于人工智能(AI)模型来获取原始输出数据。这样的原始输出数据有时难以解释。例如，针对视频识别而定制的AI模型可能会随着时间的流逝而识别对象、关系、置信度等的列表。某些信息(例如，笔的存在)可能根本没有任何关联。实际上，原始输出可能包含不相关或不那么相关的大量数据。本文中定义的原理提供了一种系统性方法以细化针对各种AI模型的输出。

人工智能(AI)模型集合表征结构被用于细化AI模型输出的目的，从而更加有用。对于并且也许是大量AI模型中的每个AI模型，表征结构表示由于将输入数据集应用于AI模型而产生的输出数据的细化。细化可以涉及去除、变换或优先化原始输出数据。例如，细化可以涉及过滤掉一些AI模型输出。细化可以涉及截断、转换、组合和/或以其他方式变换AI模型输出的各部分。细化可以涉及通过可能对输出进行排序或排名，对AI模型输出的各部分进行标记等等来对输出的各部分进行优先化。对于每个AI模型或模型类型，可以规定有不同的细化。对于每个模型/数据组合，甚至可以指定有不同的细化，包括具有相关联的输入数据集或输入数据集类型的AI模型或模型类型。在从AI模型获取输出数据之后，可以应用适当的细化。细化例如可以带来典型用户将从应用于给定数据的给定AI模型中发现最相关的内容。可以通过特定于AI模型的提示和/或通过所学习的数据来增强或修改实际执行的细化。

在一些实施例中，然后，可以对经细化的数据进行语义索引以提供语义索引，该语义索引随后可以由用户查询或者可以用于向用户建议查询。表征结构还可以包括一个或多个运算符和/或术语的集合，这些运算符和/或术语可以由查询引擎用来对照语义索引进行查询或者可以被包括在呈现给用户的建议查询中。通过向查询引擎提供这些运算符和/或术语，用户可以更有效地使用该查询引擎从语义索引中提取期望信息。

表征结构还可以包括可以由可视化引擎用来将响应可视化给用户以对照语义索引进行查询的一个或多个可视化的集合。这样的可视化可以是对于给定语义索引能够最有效和直观地表示对用户的查询的输出的可视化。因此，表征结构还可以提供用于有效地与从AI模型的细化输出生成的语义索引进行交互的机制。随着新的AI模型和/或数据集类型变为可用，可以轻松扩展表征结构。

提供本“发明内容”以便以简化的形式介绍概念的选择，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

为了描述用于获取本发明的上述和其他优点和特征的方式，将通过参考在附图中示出的本发明的特定实施例来对以上简要描述的本发明进行更具体的描述。理解了这些附图仅描绘本发明的典型实施例并且因此不应当被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：

图1示出了可以在其中采用本文中描述的原理的示例计算机系统；

图2示出了其中将输入数据集应用于AI模型以生成输出数据的环境；

图3示出了环境，该环境示出了多个输入数据集类型和多个AI模型类型；

图4示出了根据本文中描述的原理的可以用于细化由于被应用于AI模型的(多个)输入数据集而产生的原始输出数据的人工智能(AI)模型集合表征结构；

图5示出了根据本文中描述的原理的用于计算系统训练人工智能的方法；以及

图6示出了通过执行图5的方法而完成的处理流程。

具体实施方式

本文中描述的至少一些实施例涉及人工智能的改进训练。通过将输入数据集应用于人工智能(AI)模型来获取原始输出数据。这样的原始输出数据有时难以解释。例如，针对视频识别而定制的AI模型可能会随着时间的流逝而识别对象、关系、置信度等的列表。某些信息(例如，笔的存在)可能根本没有任何关联。实际上，原始输出可能包含不相关或不那么相关的大量数据。本文中定义的原理提供了一种系统性方法以细化针对各种AI模型的输出。

人工智能(AI)模型集合表征结构被用于细化AI模型输出的目的，从而更加有用。对于并且也许是大量AI模型中的每个AI模型，表征结构表示由于将输入数据集应用于AI模型而产生的输出数据的细化。细化可以涉及去除、变换或优先化原始输出数据。例如，细化可以涉及过滤掉一些AI模型输出。细化可以涉及截断、转换、组合和/或以其他方式变换AI模型输出的各部分。细化可以涉及通过可能对输出进行排序或排名，对AI模型输出的各部分进行标记等等来对输出的各部分进行优先化。对于每个AI模型或模型类型，可以规定有不同的细化。对于每个模型/数据组合，甚至可以指定有不同的细化，包括具有相关联的输入数据集或输入数据集类型的AI模型或模型类型。在从AI模型获取输出数据之后，可以应用适当的细化。细化例如可以带来典型用户将从应用于给定数据的给定AI模型中发现最相关的内容。可以通过特定于AI模型的提示和/或通过所学习的数据来增强或修改实际执行的细化。

在一些实施例中，然后，可以对经细化的数据进行语义索引以提供语义索引，该语义索引随后可以由用户查询，或者可以用于向用户建议查询。表征结构还可以包括一个或多个运算符和/或术语的集合，这些运算符和/或术语可以由查询引擎用来对照语义索引进行查询或者可以被包括在呈现给用户的建议查询中。通过向查询引擎提供这些运算符和/或术语，用户可以更有效地使用该查询引擎从语义索引中提取期望信息。

表征结构还可以包括可以由可视化引擎用来将响应可视化给用户以对照语义索引进行查询的一个或多个可视化的集合。这样的可视化可以是对于给定语义索引能够最有效和直观地表示对用户的查询的输出的可视化。因此，表征结构还可以提供用于有效地与从AI模型的细化输出生成的语义索引进行交互的机制。随着新的AI模型和/或数据集类型变为可用，可以轻松扩展表征结构。

因为本文中描述的原理在计算系统的上下文中操作，所以将参考图1描述计算系统。然后，将参考图2至图6描述训练人工智能的原理。

计算系统现在越来越采用各种各样的形式。例如，计算系统可以是手持设备、家电、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心、甚至是传统上不被认为是计算系统的设备，诸如可穿戴设备(例如，眼镜、手表、手环等)。在本说明书和权利要求书中，术语“计算系统”被广义地定义为包括包含至少一个物理且有形的处理器以及能够在其上具有可以由处理器执行的计算机可执行指令的物理且有形的存储器的任何设备或系统(或它们的组合)。存储器可以采用任何形式，并且可以取决于计算系统的性质和形式。计算系统可以分布在网络环境上，并且可以包括多个组成计算系统。

如图1所示，在它的最基本配置中，计算系统100通常包括至少一个硬件处理单元102和存储器104。存储器104可以是物理系统存储器，其可以是易失性、非易失性、或两者的某种组合。术语“存储器”在本文中还可以用于指代非易失性大容量存储装置，诸如物理存储介质。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。

计算系统100在其上具有通常称为“可执行组件”的多个结构。例如，计算系统100的存储器104被示出为包括可执行组件106。术语“可执行组件”是计算领域的本领域普通技术人员公知为可以作为软件、硬件或它们的组合的结构的结构的名称。例如，当以软件实现时，本领域普通技术人员将理解，可执行组件的结构可以包括可以在计算系统上执行的软件对象、例程、方法，而无论这种可执行组件是否存在于计算系统的堆中，或者可执行文件是否存在于计算机可读存储介质上。

在这种情况下，本领域普通技术人员将认识到，可执行组件的结构存在于计算机可读介质上，使得在由计算系统的一个或多个处理器(例如，由处理器线程)执行时，计算系统被引起执行功能。这样的结构可以由处理器直接计算机可读取(可执行组件是二进制文件时正是这种情况)。备选地，该结构可以被构造为可解释和/或编译(无论是在单个阶段还是在多个阶段)，以便生成由处理器直接可解释的这样的二进制文件。当使用术语“可执行组件”时，对可执行组件的示例结构的这样的理解完全在计算领域的普通技术人员的理解范围之内。

术语“可执行组件”也被本领域普通技术人员公知为包括在硬件中排他性地或几乎排他性地实现的结构，诸如在现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专用电路内。因此，术语“可执行组件”是用于计算领域的普通技术人员公知的结构的术语，而无论是以软件、硬件还是组合而被实现。在本说明书中，也可以使用术语“组件”或“顶点”。如本说明书中使用的，并且在这种情况下，该术语(无论该术语是否被一个或多个修饰符修饰)也意图与术语“可执行组件”同义，或者是这样的“可执行组件”的特定类型，并且因此还具有计算领域的普通技术人员公知的结构。

在下面的描述中，参考由一个或多个计算系统执行的动作来描述实施例。如果这样的动作以软件实现，则响应于已经执行构成可执行组件的计算机可执行指令，(执行该动作的相关联的计算系统的)一个或多个处理器指导计算系统的操作。例如，这样的计算机可执行指令可以体现在形成计算机程序产品的一个或多个计算机可读介质上。这样的操作的一个示例涉及数据的操纵。

计算机可执行指令(和所操纵的数据)可以存储在计算系统100的存储器104中。计算系统100还可以包含通信通道108，该通信通道108允许计算系统100通过例如网络110与其他计算系统通信。

尽管并非所有计算系统都需要用户接口，但是在一些实施例中，计算系统100包括用于与用户接口的用户接口112。用户接口112可以包括输出机构112A以及输入机构112B。本文中描述的原理不限于精确的输出机构112A或输入机构112B，因为这将取决于设备的性质。然而，输出机构112A可以包括例如扬声器、显示器、触觉输出、全息图、虚拟现实等。输入机制112B的示例可以包括例如麦克风、触摸屏、全息图、虚拟现实、相机、键盘、其他指示器输入的鼠标、任何类型的传感器等。

本文中描述的实施例可以包括或利用包括计算机硬件(诸如例如一个或多个处理器和系统存储器)的专用或通用计算系统，如下面更详细地讨论的。本文中描述的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，实施例可以包括至少两种明显不同种类的计算机可读介质：存储介质和传输介质。

计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算系统访问的任何其他物理和有形存储介质。

“网络”被定义为使得能够在计算系统和/或组件和/或其他电子设备之间传输电子数据的一个或多个数据链路。当信息通过网络或另一通信连接(硬连线、无线或硬连线或无线的组合)传输或提供给计算系统时，计算系统会将该连接正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且可以由通用或专用计算系统访问的网络和/或数据链路。上述的组合也应当被包括在计算机可读介质的范围内。

此外，在到达各种计算系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以从传输介质自动传输到存储介质(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口组件(例如，“NIC”)内的RAM中，并且然后最终传输到计算系统RAM和/或计算系统处的易失性较小的存储介质。因此，应当理解，可读介质可以被包括在也(或者甚至主要地)利用传输介质的计算系统组件中。

计算机可执行指令包括例如当在处理器上执行时引起通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组的指令和数据。备选地或附加地，计算机可执行指令可以将计算系统配置为执行特定功能或功能组。计算机可执行指令可以是例如在处理器直接执行之前经过某种转换(诸如编译)的二进制文件或甚至指令，例如诸如汇编语言等中间格式指令、或甚至源代码。

本领域技术人员将认识到，本发明可以在具有很多类型的计算系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费类电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如眼镜或手表)等。本发明也可以在分布式系统环境中实践，在分布式系统环境中，通过网络链接(通过硬连线数据链接、无线数据链接、或通过硬连线和无线数据链接的组合)的本地和远程计算系统均执行任务。在分布式系统环境中，程序组件可以位于本地和远程存储器存储设备中。

本领域技术人员还将意识到，本发明可以在由一个或多个数据中心或其部分支持的云计算环境中实践。云计算环境可以是分布式的，尽管这不是必需的。当是分布式的时，云计算环境可以在组织内在国际上分布，和/或具有跨多个组织而拥有的组件。

在本说明书和所附权利要求中，“云计算”被定义为用于使得能够对可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池进行按需网络访问的模型。“云计算”的定义不限于在适当部署时可以从这样的模型中获取的其他众多优势中的任何一个。

例如，当前在市场中使用云计算以便提供对可配置计算资源的共享池的无处不在和方便的按需访问。此外，可配置计算资源的共享池可以经由虚拟化快速供应，并且以较少的管理工作量或服务提供商交互来释放，并且然后相应地进行缩放。

云计算模型可以包括各种特征，诸如按需、自助服务、广泛的网络访问、资源池、快速弹性、测量的服务等。云计算模型也可以采用各种应用服务模型的形式，例如软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。云计算模型也可以使用诸如私有云、社区云、公共云、混合云等不同部署模型来部署。在本说明书和权利要求书中，“云计算环境”是在其中采用云计算的环境。

图2示出了其中将输入数据集201应用于AI模型210以生成输出数据211的环境200。AI模型的示例是机器学习模型，其中AI模型通过体验来学习。AI模型的另一示例是基于规则的模型，其中AI模型本身并不学习，而是响应于规则和参数。

输出数据211被表示为云，以表示AI模型210可能会生成难以筛选以找到相关信息的大量数据。例如，针对视频识别而定制的AI模型可能会随着时间的流逝而识别对象、关系、置信度等的列表。某些信息(例如，笔的存在)可能根本没有任何关联。实际上，原始输出可能包含不相关或不那么相关的大量数据。本文中定义的原理提供了一种系统性方法以细化针对各种AI模型的输出。这一点至关重要，因为这将有助于从众多可枚举的且数目迅速增长的AI模型输出的解释数据。因此，改善了AI模型的效率。

图3示出了环境300，该环境300示出了多个输入数据集类型310和多个AI模型类型320。在所示的实施例中，示出了三种输入数据集类型，包括输入数据集类型311、312和313。但是，省略号314表示可以有任何数目(并且也许是可枚举的且数目迅速增长)的输入数据集类型可用于在环境300中使用。此外，AI模型类型320被示出为包括四个AI模型类型321、322、323和324。但是，省略号325表示可以有任何数目(并且也许是可枚举的且数目迅速增长)的AI模型类型可用于在环境300中使用。

在每个输入数据集类型310中，可以有一个或多个输入数据集或输入数据集子类型可用。例如，在第一输入数据集类型311内，可以有多个输入数据集311A、311B和311C。省略号311D表示第一输入数据集类型311可以有任何数目的输入数据集。取而代之，输入数据集311A、311B或311C中的任何一个可以是表示输入数据集类型311中的更特定类型的输入数据集子类型。因此，输入数据集类型311通常可以是输入数据集类型的概念层级中的根节点，其中层级中的叶节点可以包含一个或多个输入数据集。这可以适用于任何输入数据集类型320。

在所有附图中，输入数据集类型以较大的形状表示，而该输入数据集类型的输入数据集(或输入数据集子类型)由相同形状的较小形式表示。例如，输入数据集类型311被表示为较大的指向上的三角形，并且该类型311的输入数据集311A、311B和311C由较小的指向上的三角形表示。

在第二输入数据集类型312(表示为较大的正方形)内，还有多个输入数据集312A和312B或输入数据集子类型(表示为较小的正方形)。在第三输入数据集类型313(表示为较大的圆圈)内，还有多个输入数据集313A至313D或输入数据集子类型(表示为较小的圆圈)。椭圆311D、312C和313E表示对于任何给定的输入数据集类型，可以有任何数目的输入数据集或输入数据集子类型。

现在转向AI模型类型320，在每种AI模型类型内，可以有一个或多个AI模型或AI模型子类型可用。例如，在第一AI模型类型321内，可以有多个AI模型321A和321B。省略号321C表示第一AI模型类型321可以有任何数目的AI模型。取而代之，AI模型321A和321B中的任何一个可以是表示AI模型类型321中的更特定类型的AI模型子类型。因此，AI模型类型321通常可以是AI模型类型的概念层级中的根节点，其中层级中的叶节点可以包含一个或多个AI模型。这可以适用于任何AI模型类型320。

同样，在所有附图中，AI模型类型以较大的形状表示，而该AI模型类型的AI模型(或AI模型子类型)由相同形状的较小形式表示。例如，AI模型类型321被表示为较大的指向下的三角形，而AI模型321A和321B由较小的指向下的三角形表示。

在第二AI模型类型322(表示为平行四边形)内，还有多个AI模型模型322A和322B或AI模型子类型(表示为较小的平行四边形)。在第三AI模型类型323(表示为椭圆形)内，还有多个AI模型323A至323D或AI模型子类型(表示为较小的椭圆形)。在第四AI模型类型324(表示为菱形)内，有AI模型324A或AI模型子类型(表示为较小的菱形)。椭圆321C、322C、323E和324B表示对于任何给定的AI模型类型，可以有任何数目的AI模型或AI模型子类型。

重点是存在其中有大量可用输入数据集和大量AI模型的环境300。输入数据集可以按类型或子类型分类。此外，AI模型可以按类型或子类型分类。因此，输入数据集类型的层级仅仅是概念性的，AI模型的层级也是如此。环境300可以是例如全球环境，诸如互联网。然而，环境300也可以是其中多个AI模型可用于应用于输入数据集的任何环境。

箭头330表示对于任何给定的输入数据集类型，该输入数据集类型的输入数据集可以应用于AI模型类型的AI模型。在该示例中，输入数据集类型311的输入数据集可以应用于AI模型类型321的AI模型(如箭头331所示)。备选地或附加地，输入数据集类型312的输入数据集可以应用于AI模型类型321的AI模型(如箭头332所示)。输入数据集类型312的输入数据集也可以应用于AI模型类型322的AI模型(如箭头333所示)，以及应用于AI模型类型323的AI模型(如箭头334所示)。输入数据集类型313的输入数据集可以应用于AI模型类型323的AI模型(如箭头335所示)，以及应用于AI模型类型324的AI模型(如箭头336所示)。

更一般地，箭头330表示输入数据集类型和AI模型类型的操作组合。以更精细的粒度，还可以存在输入数据集和AI模型类型的操作组合，其中对于每种AI模型类型，每种输入数据集类型都有操作组合可用。类似地，也可以存在输入数据集类型和特定AI模型的操作组合。以最精细的组合粒度，可以存在输入数据集和AI模型的操作组合。概括地说，在环境300中，存在(一方面)输入数据集、输入数据集子类型和/或输入数据集类型、以及(另一方面)AI模型、AI模型子类型和/或AI模型类型的操作组合。这样的操作组合在下文中通常也可以称为“数据/模型组合”。

图4示出了可以用于细化由于被应用于AI模型的(多个)输入数据集而产生的原始输出数据的人工智能(AI)模型集合表征结构400(在下文中也称为“表征结构”)。例如，还参考图2，表征结构400可以用于细化由于将输入数据集201应用于AI模型210而产生的输出数据211。

对于多个AI模型中的每个AI模型，表征结构400表示被应用于AI模型的输入数据集的结果的细化。这可以通过在表征结构的基础上具有本文中将被称为“操作AI模型表示”(该术语的含义将在下面进一步描述)的内容来执行。图4示出了表征结构400包括多个操作AI模型表示410，包括操作AI模型表示411至414。然而，省略号415表示表征结构400可以包括任何数目(并且可能是可枚举数目)的操作AI模型表示。

表征结构400还包括用于每个操作AI模型表示的细化定义420。细化定义420因此包括与操作AI模型表示411相关联的细化定义421、与操作AI模型表示412相关联的细化定义422、与操作AI模型表示413相关联的细化定义423和与操作AI模型表示414相关联的细化定义424。省略号425表示对于每个操作AI模型表示410可以存在细化定义。

AI模型表示411至414仅作为示例提供，仅作为描述术语“操作AI模型表示”的某个广度的起点。例如，操作AI模型表示411被示出为标识单个AI模型类型(在这种情况下，来自图3的AI模型类型321)。这表示，操作AI模型表示不是数据/模型组合，而仅仅是AI模型表达式。在这种情况下，该AI模型表达式是AI模型类型的标识，而没有引用任何输入数据集类型。这表示，不管应用于AI模型类型321的AI模型的输入数据集如何，细化定义421都与该AI模型相关联。AI模型表达式可以包括一个或多个AI模型类型、一个或多个AI模型子类型、和/或一个或多个AI模型。因此，AI模型表达式可以非常精确且紧凑地定义任何数目的AI模型的集合。

另一方面，操作AI模型表示412被示出为标识单个输入数据集类型(在这种情况下，来自图3的输入数据集类型312)。这表示，该操作AI模型表示412也不是数据/模型组合，而仅仅是输入数据集表达式。在这种情况下，该输入数据集表达式是对输入数据集类型的标识，而没有引用任何AI模型表达式。这表示，不管将该输入数据集类型312的输入数据集应用于哪个AI模型，细化定义422都与该输入数据集相关联。输入数据集表达式可以包括一个或多个输入数据集类型、一个或多个输入数据集子类型、和/或一个或多个输入数据集。因此，输入数据集表达式可以非常精确且紧凑地定义任何数目的输入数据集的集合。

操作AI模型表示413由数据/模型组合表示。具体地，AI模型表示413包括输入数据集类型313和AI模型类型323的组合。回想一下，在图3中，如箭头335所示，这是操作数据/模型组合。该操作AI模型表示413表示，细化423与包括应用于AI模型类型323的AI模型的输入数据集类型313的输入数据集的所有组合的数据/模型组合相关联。

操作AI模型表示414也由数据/模型组合表示。具体地，AI模型表示414包括输入数据集类型313和AI模型类型324的组合。回想一下，在图3中，如箭头336所示，这是操作数据/模型组合。该操作AI模型表示414表示，细化424与包括应用于AI模型类型324的AI模型的输入数据集类型313的输入数据集的所有组合的数据/模型组合相关联。

更一般而言，操作AI模型表示可以包括数据/模型组合，其中(多个)输入数据集由特定输入数据集表达式定义并且(多个)AI模型由特定AI模型表达式。在这种情况下，当将满足输入数据集表达式的输入数据集应用于满足AI模型表达式的AI模型时，可以应用相关联的细化。因此，即使存在大量输入数据集和AI模型，也可以非常精确且紧凑地定义数据/模型组合。此外，可以紧凑且精确地定义操作AI模型表示410。

现在将参考图5来继续图4的描述。图5示出了用于计算系统训练人工智能的方法500。方法500可以由图1的计算系统100在图3的环境300中使用图4的表征结构400来执行。方法500可以由计算系统100借助于包括一个或多个计算机可读存储介质的计算机程序产品来执行，该计算机可读存储介质上存在可执行指令，该可执行指令被构造为使得在由计算系统100的(多个)处理器102执行时引起计算系统100执行方法400。

方法500包括访问人工智能(AI)模型集合表征结构的至少一部分，该表征结构针对多个AI模型中的每个AI模型表示被应用于AI模型的数据的结果的细化(动作501)。例如，计算系统可以访问图4的表征结构400的至少一部分。

此外，方法500获取被应用于AI模型的(多个)输入数据集的结果(动作502)。图6示出了通过方法500的执行而完成的处理流程600。处理流程以从AI模型获取的结果601开始。这些获取的结果601被表示为云，因为它是图2的输出数据211的示例。再次，所获取的结果601可能难以解释以提取期望信息。

并行示出了访问表征结构(动作501)和从AI模型获取结果(动作502)。这并不表示这些动作必须并行发生。相反，这样做是为了表示在执行动作501和502时不需要时间顺序或关系。访问表征结构(动作501)可以在从AI模型获取结果(动作502)之前发生，在从AI模型获取结果期间发生，在从AI模型获取结果之后发生，或者以上各项中的任何一个或全部。可以在需要时访问，高速缓存和处理表征结构的某些部分，以完成方法500。

然后，方法500标识应用于输出数据的适用的操作AI模型表示(动作503)。例如，假定通过将输入数据集201应用于AI模型210来生成输出数据601(如图2所示)。如果AI模型210具有AI模型类型321，则操作AI模型表示411是适用的。如果输入数据集201具有输入数据集类型312，则操作AI模型表示412是适用的。如果输入数据集201具有输入数据集类型313，并且AI模型210具有AI模型类型323，则操作AI模型表示413是适用的。如果输入数据集201具有输入数据集类型313，并且AI模型210具有AI模型类型324，则操作AI模型表示414是适用的。

然后至少部分基于被表示在表征结构中的细化来细化所获取的结果(动作504)。细化可以涉及被计算以使AI模型输出数据更相关的任何过程。由于相关性可以特定于输入数据集表示和/或AI模型表示(即，给定的操作AI模型表示)，因此可以为每个操作AI模型表示表达不同的细化。仅作为示例，细化可以涉及原始输出数据的去除、变换或优先化。例如，细化可以涉及过滤掉一些AI模型输出。细化可以涉及截断、转换、组合和/或以其他方式变换AI模型输出的各部分。细化可以涉及通过可能对输出进行排序或排名，对AI模型输出的各部分进行标记等等来对输出的各部分进行优先化。

细化可以根据适用的细化定义来执行。例如，如果操作AI模型表示413是适用的，则可以执行细化定义423的关联细化。但是，该细化可以根据特定于AI模型的提示来修改。这些提示可以由特定AI模型的作者提供。在一个实施例中，当作者创建AI模型时，AI模型与包装器相关联，在包装器中提供有细化提示，可能与指定关于输入数据集表达式的提示一样具体。还可以基于在应用于AI模型的输入数据集上获取的结果的先前细化通过机器学习分析来修改或增强细化。这个获悉的信息可能具有广泛的应用，甚至在全球范围内都有应用，但从用户级别甚至到每个用户和每个情况级别，都可能是非常精细的。

经细化的数据比AI模型的原始输出数据包含更多相关和细化信息。然后，对经细化的数据进行语义索引以生成语义索引(动作505)。在图6中，索引器620对经细化的数据进行操作以生成语义索引621。该语义索引621处于用户可以理解并且进行推理的语义空间中。此外，由于细化过程，在语义索引内表示的信息非常相关。此外，由于可以对各种各样的输入数据集/AI模型组合执行方法500，因此可以重复方法500，以便为用户提供对人工智能结果的高度精细的语义访问，而无论可用的输入数据集和AI模型的数目如何。

在任何情况下，一旦创建语义索引(动作505)，就可以使用语义索引(动作510)。可以使用语义索引的方式有很多，特别是在语义索引是基于细化的智能而生成的情况下。仅作为示例，语义索引可以用于引起一个或多个运算符/术语的集合的至少一部分被传送给查询引擎(动作511)。然后，当用户对照查询引擎发出查询时，查询引擎可以启用这些运算符，并且理解这些术语。例如，在图6中，查询引擎630可以通过查询接口625与语义索引交互。这些运算符和术语也可以作为运算符/术语430被包括在表征结构400内。例如，操作AI模型表示411至413分别与运算符/术语集431、432和433相关联。因此，表征结构400可以用于快速确定用于与语义索引接口的适当的操作和术语。

作为另一示例，语义索引可以用于引起一个或多个运算符/术语的集合的至少一部分被传送给建议引擎(动作512)，该建议引擎然后可以向用户形成相关的建议查询。例如，在图6中，建议引擎650可以接收运算符和术语并且确定用于呈现给用户的适当的建议查询。

作为又一示例，语义索引可以用于确定特定查询的结果的适当可视化。这些(多个)可视化也可以作为可视化440被包括在表征结构400内。例如，操作AI模型表示412至414分别与可视化集442、443和444相关联。因此，表征结构400可以用于快速确定用于向用户呈现查询结果的适当的可视化。

在不脱离本发明的精神或基本特征的情况下，本发明可以按照其他特定形式来实施。所描述的实施例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是前面的描述指示。落在权利要求的等同含义和范围内的所有改变均应当被包含在其范围之内。