用于生成AR/VR数字内容的数字图像适合性确定

摘要

描述了用于生成增强现实/虚拟现实(AR/VR)数字内容的图像适合性确定技术。接收二维数字图像。使用机器学习，做出关于由二维数字图像捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。如果对象适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供指示，并且提供在AR/VR环境中观看对象的选项。如果对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供指示为何捕获的对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正以使得其适合生成AR/VR数字内容的意见。

说明书

相关申请的交叉引用

本申请要求于2019年10月8日提交的并且题为“Digital Image SuitabilityDetermination to Generate AR/VR Digital Content”的美国申请16/596,394的优先权，该美国申请要求于2018年10月9日提交的并且题为“Innovations in E-Commerce”的美国临时申请62/743,468的优先权，这两个申请的全部公开内容通过引用并入本文。

背景技术

已经开发了增强和虚拟现实(AR/VR)环境来增加计算装置的用户可用的功能的数量。在增强现实环境中，AR/VR数字内容用于“增强”用户对其中设置有计算装置的物理环境的直接观看。例如，配备有数字摄像机的移动装置(例如，移动电话或平板计算机)可以用于观看真实世界场景，并且使用AR/VR数字内容作为虚拟对象或部件来增强真实世界场景。在VR环境中，物理环境可以被重新创建(即，“虚拟化”)并由用户观看，其中，AR/VR数字内容用于生成在该环境中观看的对象。在这两种情况下，AR/VR环境可以利用计算装置、使用AR/VR数字内容支持沉浸式用户体验。

然而，用于生成AR/VR数字内容的常规技术面临各种挑战。这些挑战包括如何以适合作为AR/VR环境的一部分(例如，看起来“好像它真的在那里”)呈现的形式来生成AR/VR数字内容、如何对AR/VR数字内容进行建模以及如何确定AR/VR数字内容在环境内的大小和位置。用于生成AR/VR数字内容的源是否适合这样做，进一步加剧了这些挑战。因此，用于生成AR/VR数字内容的常规技术通常限于由使用复杂工具的老练用户使用，或者迫使不老练的用户重复地尝试创建适合的AR/VR数字内容。因此，如使用常规技术和系统生成的AR/VR数字内容受限于不能在广泛的场景中使用，这些场景的示例包括社交媒体系统、产品和服务陈列、数字服务等。

发明内容

为了克服这些问题，利用数字图像适合性确定来生成用于在AR/VR环境中显示的AR/VR数字内容。首先，接收对象的二维数字图像，并且使用计算机视觉和机器学习技术，做出关于对象的图像是适合还是不适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。如果对象的数字图像被确定为适合生成用于在AR/VR环境中显示的AR/VR数字内容，则生成对象的AR/VR数字内容，并且将所生成的AR/VR数字内容提供给用户以在AR/VR环境中显示。如果确定对象的二维数字图像不适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供对象的图像不适合生成AR/VR数字内容的指示，以及/或者关于如何改进对象的后续数字图像以使其适合生成用于在AR/VR环境中显示的AR/VR数字内容的意见。另外，可以提供对对象的后续数字图像进行自动校正的选项，或者可以自动地并且在没有用户干预的情况下捕获包括校正的后续图像，以确保适合生成用于在AR/VR环境中显示的AR/VR数字内容。

另外，提供了用于在在线市场中提供非模态端到端AR/VR体验的技术。在非模态AR/VR环境中，用户可以搜索物品、选择物品、添加多个物品、删除物品、缩放物品、移动物品以及以其他方式修改和操纵物品、以及接收推荐、购买物品等，所有这些操作都在AR/VR环境内。

本发明内容以简化形式介绍了将在下面的具体实施方式中进一步描述的一系列构思。因此，本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用作对确定所要求保护的主题的范围的帮助。

附图说明

参照附图描述具体实施方式。附图中表示的实体可以指示一个或更多个实体，并且因此在论述中可以对单数形式或复数形式的实体互换地进行引用。

图1是能够操作用于采用数字图像适合确定技术来生成本文中描述的AR/VR数字内容的示例实现中的环境的图示。

图2描绘了图1的机器学习训练系统的生成机器学习模型来指示数字图像用于生成AR/VR数字内容的适合性的操作的示例。

图3描绘了图1的机器学习训练系统的生成机器学习模型来指示何时输入数字图像不适合生成AR/VR数字内容以及/或者如何对后续数字图像中对象的捕获进行校正以生成AR/VR数字内容的操作的示例。

图4描绘了采用如在图2的示例中训练的AR/VR适合性机器学习模型来确定输入数字图像用于生成AR/VR数字内容的适合性的AR/VR数字内容系统的操作的示例。

图5描绘了用于启动数字图像的捕获的用户界面的输出和包括在数字图像中的对象是否适合生成AR/VR数字内容的指示的输出以及AR/VR数字内容的生成的示例。

图6描绘了在客户端装置本地处实现图4的AR/VR数字内容系统的示例。

图7是描绘在不实际生成AR/VR数字内容的情况下确定数字图像用于生成AR/VR数字内容的适合性的示例实现中的过程的流程图。

图8描绘了图1的AR/VR数字内容系统采用如在图3的示例中训练的意见机器学习模型来生成关于输入数字图像用于生成AR/VR数字内容的适合性的意见的操作的示例800。

图9描绘了用于发起对数字图像的捕获的用户界面的输出和意见的输出的示例。

图10是描绘其中意见机器学习模型生成指示为何数字图像不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中AR/VR数字内容的生成进行校正的意见的示例实现中的过程的流程图。

图11描绘了示出在图1的客户端装置上显示的其中多个生成的AR/VR数字内容的物品被添加至AR/VR环境的非模态AR/VR环境的用户界面的输出的示例。

图12是描绘其中多个输入数字图像被确定为适合生成多个用于在AR/VR环境中显示的AR/VR数字内容的示例实现中的过程的流程图。

图13示出了包括以下示例装置的各种部件的示例系统：该示例装置可以被实现为如所描述的任何类型的计算装置，以及/或者参照图1至图12利用该示例装置来实现本文中描述的技术的实施方式。

具体实施方式

描述了解决常规技术在生成AR/VR数字内容时的挑战和低效的技术和系统。在一个示例中，这些技术和系统被配置成确定数字图像(例如，二维数字图像)用于生成作为AR/VR环境的一部分来呈现的AR/VR数字内容的适合性。以这种方式，通过在实际生成AR/VR数字内容之前确定数字图像是否适合，可以提高AR/VR数字内容的生成的计算效率和用户效率。还描述了以下示例：在该示例中，本文中描述的技术和系统被配置成输出用于指示为何由数字图像捕获的对象不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正的意见。描述了以下其他示例：在这些示例中，在自动地执行校正并且没有用户干预的情况下捕获后续图像，提供了用户能够选择用于校正数字图像的自动校正图像的选项等。

例如，用户可以与移动装置交互，以使用作为移动装置的一部分而结合的数字摄像机来捕获对象的数字图像。然后，AR/VR数字内容系统可以采用机器学习模型来确定如由数字图像捕获的对象是否适合生成AR/VR数字内容，而无需实际尝试生成AR/VR数字内容。这种适合性的确定还可以解决其中AR/VR内容要被设置(包括AR/VR环境的相应部分)的AR/VR环境以及AR/VR数字内容与在AR/VR环境中显示的其他AR/VR数字内容一起显示的适合性。以这种方式，移动电话的计算资源的操作效率可以比常规技术提高，常规技术可能涉及重复尝试捕获数字图像以获得适合生成AR/VR数字内容的数字图像，并且直到做出数字图像适合的确定之前不使用该数字图像。

另外，AR/VR数字内容系统可以被配置成输出指示为何AR/VR数字内容不适合生成AR/VR数字内容的意见以及/或者指示如何校正对象的捕获的意见。例如，意见可以由一个或更多个机器学习模型生成，所述一个或更多个机器学习模型识别“为何”数字图像不适合，例如，被旋转、不良背景、光照、遮挡、角度、缩放、分辨率等。在一个示例中，基于意见提供了自动校正对象的捕获的选项。在另一示例中，可以发起对数字图像中的对象的后续捕获，其中，意见的校正的实现自动地发生，并且无需用户干预，例如，图像滤波器、摄像机设置等。同样，这用于提高实现这些技术以生成AR/VR数字内容的计算装置的用户效率和操作效率。对这些技术和其他技术的进一步论述包括在下面的部分中。

在以下论述中，描述了可以采用本文中描述的技术的示例环境。还描述了可以在示例环境以及其他环境中执行的示例过程。因此，示例过程的执行不限于示例环境并且示例环境不限于示例过程的执行。

图1是能够操作用于采用数字图像适合性确定技术来生成本文中描述的AR/VR数字内容的示例实现中的数字媒体环境100的图示。示出的环境100包括经由网络106彼此通信地耦接的服务提供者系统102和用户的客户端装置104。实现服务提供者系统102和客户端装置104的计算装置可以以各种方式来配置。

例如，计算装置可以被配置为台式计算机、膝上型计算机、移动装置(例如，假设针对客户端装置104示出的手持式配置例如平板计算机或移动电话)等。因此，计算装置的范围可以从具有大量存储器和处理器资源的全资源装置(例如，个人计算机、游戏机)到具有有限存储器和/或处理资源的低资源装置(例如，移动装置)。另外，计算装置可以表示多个不同的装置，例如针对服务提供者系统102示出并且关于图13所描述的、被商业用来“在云端”执行操作的多个服务器。

如该示例中所示的服务提供者系统102包括机器学习训练系统108，机器学习训练系统108被配置成生成(例如，训练)用于由AR/VR数字内容系统112使用的机器学习模型110。例如，机器学习模型110可以被配置为使用具有训练数字图像116的训练数据114被训练为分类器的神经网络(例如，卷积神经网络)。例如，训练数字图像116可以包括用于推断可用于将后续数字图像分类(例如，作为概率)为具有或不具有期望输出的模式的期望输出的良好示例和不良示例两者。机器学习模型110被训练成输出数字图像具有或不具有(例如，在0至1的尺度上)训练特性的分数(即，概率)。机器学习模型110一旦经过训练，然后就可以由AR/VR数字内容系统112以各种方式加以利用。

例如，AR/VR数字内容系统112包括可以采用机器学习模块110来确定数字图像用于生成AR/VR数字内容124的适合性的内容评估模块118。这样做，训练数据114包括具有数字图像在捕获适合生成AR/VR数字内容的对象时的良好示例和不良示例的训练数字图像116。

如关于图2示出和进一步描述的，训练数据114可以包括数字图像在捕获数字图像中能够容易识别的对象的良好示例。另一方面，不良示例包括以例如由于背景、光照等而难以区分对象的方式捕获对象的数字图像。因此，如关于图4进一步描述的，机器学习模型110一旦经过训练，然后就可以被内容评估模块118用来确定后续数字图像用于生成AR/VR数字内容的适合性。以这种方式，可以在不实际尝试生成AR/VR数字内容的情况下确定数字图像的适合性，从而通过不必要地消耗不适合的数字图像上的资源以及减少由不适合的AR/VR数字内容的生成引起的用户受挫来提高计算装置的操作效率。

在另一情况下，AR/VR数字内容系统112包括被配置成利用机器学习模型110来生成意见的内容意见模块120。意见可以以多种方式被配置，例如以指示为何由数字图像捕获的对象不适合生成AR/VR数字内容以及/或者如何对后续数字图像中对象的捕获进行校正。因此，在这种情况下，如关于图3所示和描述的，训练数据114被配置成指示为何对象不适合的示例或者如何校正对象捕获的已知方式的示例。因此，如关于图8至图10示出和描述的，机器学习模型110一旦经过训练，就被配置成输出数字图像基于相应的原因而不适合的分数(例如，概率)或者如何对后续数字图像中对象的捕获进行校正。

以这种方式，AR/VR数字内容系统112可以通过使用内容评估模块118来确定数字图像用于生成AR/VR数字内容的适合性，并且通过使用内容意见模块120来生成指示为何数字图像不适合的意见以及/或者指示如何校正后续数字图像中的捕获的意见。例如，客户端装置104的用户可以与通信模块126(例如，浏览器、网络使能的应用)交互，以经由网络106与服务提供者系统102进行通信。通信模块126包括用户界面模块128，用户界面模块128被配置成输出包括用户可选选项的用户界面以发起对输入数字图像130的捕获，例如作为数字图像的实时流的一部分。

输入数字图像130然后由通信模块126通过网络106传送至AR/VR数字内容系统112。在该示例中，首先采用内容评估模块118来确定输入数字图像130(例如，作为二维数字图像)用于生成AR/VR数字内容的适合性。如果内容评估模块118指示输入数字图像130不适合，则响应于该确定，采用内容意见模块120来生成关于为何由输入数字图像130捕获的对象不适合的意见以及/或者如何对后续数字图像中对象的捕获进行校正的意见。然后，可以经由网络106传送意见，以用于在由用户界面模块128生成的用户界面中例如连同数字图像一起输出。

如果内容评估模块118指示输入数字图像130是适合的，则也可以输出该适合性的指示，以用于在由用户界面模块128生成的用户界面中进行观看。在示例中，该指示是用户能够选择的，以用于使AR/VR内容生成模块122使用输入数字图像130生成AR/VR数字内容124。这可以包括将输入数字图像130映射到被定尺寸成用于作为AR/VR环境的一部分进行呈现的模型。这还可以包括将AR/VR数字内容124配置用于二维呈现，并且因此节省客户端装置104的计算资源并支持实时操作。例如，通过将对象与相应的预计算的3D模型相匹配、“从零开始”生成3D模型等，还构想了其中AR/VR数字内容124生成为三维模型的其他示例。尽管该示例描述了由服务提供者系统102远程实现AR/VR数字内容系统112，但是如图6所示，该功能也可以全部或部分地由客户端装置104结合。

在下面的论述中，图2和图3以及相应的论述描述了分别由内容评估模块118和内容意见模块120使用的训练机器学习模型110的示例200至300。图4至图7包括内容评估模块118使用经训练的机器学习模型110来确定输入数字图像130用于生成AR/VR数字内容的适合性的示例400至700。图8至图10包括由内容意见模块120使用经训练的机器学习模型110来生成以下意见的示例800至900：指示为何由输入数字图像130捕获的对象可能不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正的意见。

通常，可以在本部分中描述的示例过程的背景下采用关于以上和以下示例描述的功能、特征和构思。此外，关于本文件中不同的附图和示例描述的功能、特征和构思可以彼此互换，并且不限于在特定的附图或过程的背景下实现。此外，与本文中不同的代表性过程及相应附图相关联的框可以一起应用和/或以不同的方式组合。因此，关于本文中不同的示例环境、装置、部件、附图和过程描述的各个功能、特征和构思可以以任何合适的组合来使用，并且不限于本说明书中列举的示例所表示的特定组合。

图2描绘了图1的机器学习训练系统108的生成机器学习模型110来指示数字图像用于生成AR/VR数字内容的适合性的操作的示例200。图3描绘了图1的机器学习训练系统108的生成机器学习模型110来指示何时输入数字图像不适合生成AR/VR数字内容以及/或者指示如何对后续数字图像中对象的捕获进行校正以生成AR/VR数字内容的操作的示例300。

以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图2至图8。

在图2中，机器学习训练系统108采用模型生成模块202来训练图1的机器学习模型110作为AR/VR适合性机器学习模块204。在该示出的示例中，AR/VR适合性机器学习模型204被配置为卷积神经网络(CNN)206，尽管也构想了其他类型的模型，包括统计模型、决策树等。卷积神经网络206通常包括输入层和输出层以及一个或更多个隐藏层。隐藏层可以包括对传递至后续层的输入进行卷积(例如，使用点积)的卷积层，卷积层的示例包括池化层、标准化层、全连接层等。反向传播被用作训练模型的一部分，以基于训练期间对CNN 206的处理的结果或者该结果与期望结果的比较来迭代地调整形成层的节点(即，神经元)的权重。

因此，为了训练AR/VR适合性机器学习模型204，模型生成模块202从数字图像存储装置208接收具有多个训练数字图像116的训练数据114。在该示例中，训练数字图像116包括相应的数字图像是否适合(即，良好的还是不良的)生成AR/VR数字内容的指示(例如，标签)。例如，训练数据114可以基于生成AR/VR数字内容的尝试来生成，尝试由用户手动标记为生成适合的AR/VR数字内容。

例如，良好的训练数字图像212可以包括指示其适合生成AR/VR数字内容的对于AR/VR良好的标签216。在示出的示例中，良好的训练数字图像212在白色背景上捕获对象(例如，灯)，该白色背景易于识别、具有包括在数字图像中的整个对象(未被遮挡)、被聚焦、具有适当的分辨率(即，缩放)和光照。因此，良好的训练数字图像212可以用于训练AR/VR适合性机器学习模型204，以将数字图像分类为适合生成AR/VR数字内容。

另一方面，不良训练数字被用于训练CNN 206来识别不适合生成AR/VR数字内容的数字图像。继续上面的示例，不良训练数字图像214在复杂背景上捕获对象(例如，再次是灯)使得难以将对象与背景区分开，被遮挡并且被部分地捕获使得对象的整体在数字图像中不可观看，以及可以具有使该训练数字图像不适合生成AR/VR数字内容的其他特性，例如，如上所述的光照、聚焦、分辨率等。因此，不良训练数字图像214可以包括使其不适合生成AR/VR数字内容的多个特性。因此，这些训练数字图像212、214中的每一个被分配有相应的标签——例如，在该示例中分别是对于AR/VR良好的标签216和对于AR/VR不良的标签218——以训练模型。

通过使用良好的和不良的训练数字图像，AR/VR适合性机器学习模型204被训练以生成指示各个数字图像用于生成AR/VR数字内容的的适合性的程度的分数(例如，概率)。该分数可以与阈值(如以下部分中关于图4至图7更详细描述的，阈值可以是用户定义的，)进行比较，以指示相应的数字图像是否适合生成AR/VR数字内容。

在图3中，机器学习训练系统108采用模型生成模块202来训练图1的机器学习模型110作为意见机器学习模块302。类似于上面示出的示例，意见机器学习模型302被配置为卷积神经网络(CNN)304，尽管也构想了其他类型的模型，包括统计模型、决策树等。卷积神经网络304包括输入层和输出层以及一个或更多个隐藏层。隐藏层可以包括对传递至后续层的输入进行卷积(例如，使用点积)的卷积层，卷积层的示例包括池化层、标准化层、全连接层等。反向传播被用作训练模型的一部分，以基于训练期间对CNN 304的处理的结果或者该结果与期望结果的比较来迭代地调整形成层的节点(即，神经元)的权重。

为了训练意见机器学习模型302，如上地，模型生成模块202从数字图像存储装置208接收具有多个训练数字图像116的训练数据114。然而，在该示例中，训练数字图像116被配置成识别为何数字图像不适合生成AR/VR数字内容的原因以及/或者如何对后续数字图像中对象的捕获进行校正。因此，在该示例中，CNN 304被训练成识别训练数字图像110中的误差，并且相应地对这些图像进行分类以生成意见。

在一个示例中，意见机器学习模块302被配置为分类器，以生成训练数字图像具有使其不适合生成AR/VR数字内容的特定特性或若干特性的单个分数(例如，概率)或组合分数(例如，概率元组)。因此，模型生成模块202可以针对这些特性中的每一个生成意见机器学习模型302。例如，意见机器学习模型302可以被训练成基于旋转的训练数字图像306来识别旋转、使用不良背景训练数字图像308来识别复杂背景、通过使用不良光照训练数字图像310来识别不足光照、通过使用遮挡的训练数字图像312来识别对象的不足观看等、识别其他特性例如角度、缩放、分辨率、聚焦等。也可以采用良好的示例和不良的示例来训练意见机器学习模型302以区分相应的特性，例如数字图像中的良好的和不良的旋转对象。如关于图2所描述的，标签用于区分这些示例。

通过使用良好的和不良的训练数字图像，意见机器学习模型302被训练成生成以下分数(例如，概率)：该分数指示数字图像具有一个或更多个使其不适合生成AR/VR数字内容的相应缺陷的可能性。例如，可以将该分数与阈值(如以下部分中关于图8至图10更详细描述的，阈值可以是用户定义的)进行比较以控制意见的输出，例如，以指示“为何”相应的数字图像不适合生成AR/VR数字内容以及/或者指示“如何”校正后续数字图像的输出以生成适合的AR/VR数字内容。

图4描绘了采用如在图2的示例200中训练的AR/VR适合性机器学习模型来确定输入数字图像130用于生成AR/VR数字内容的适合性的AR/VR数字内容系统的操作的示例400。图5描绘了以下示例500：分别示出了用于启动数字图像的捕获的用户界面的输出的第一步502、和包括在数字图像中的对象是否适合生成AR/VR数字内容的指示的输出的第二步504、以及AR/VR数字内容的生成的第三步506。图6描绘了在客户端装置104本地处实现AR/VR数字内容系统112的示例600。图7描绘了在不实际生成AR/VR数字内容的情况下确定数字图像用于生成AR/VR数字内容的适合性的示例实现中的过程700。

以下的论述描述了可以利用描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。该过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作的所示的顺序。在以下论述的部分中，将可互换地参照图4至图7。

在该示例中开始，由AR/VR数字内容系统112接收数字图像(框702)。在图4的示例400中，由服务提供者系统102通过网络106从客户端装置104接收输入数字图像130。例如，可以将输入数字图像130接收作为到社交网络服务、产品陈列服务、数字内容创建服务或任何其他数字图像共享服务的上传。

在图6的示例600中，客户端装置104采用在客户端装置104本地处的数字摄像机装置602来捕获输入数字图像130，然后该输入数字图像130被作为输入提供给AR/VR数字内容系统112。例如，如图4的第一步502所示，客户端装置104使用显示装置510输出用户界面508。用户界面508包括由数字摄像机装置602捕获的“实时视图”，在这种情况下，“实时视图”包括要用于生成AR/VR数字内容的对象512。在用户界面508中包括选项514，例如通过检测用户的手516对选项514的经由触摸屏功能的选择，用户能够选择该选项514来发起对输入数字图像130的捕获。

然后，由AR/VR数字内容系统112做出关于由数字图像(例如，二维数字图像)捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。使用机器学习模型110例如AR/VR适合性机器学习模型204来执行该确定(框704)。例如，AR/VR数字内容系统112可以首先采用背景去除模块402来从输入数字图像130中去除背景，从而留下对象的视图。这可以以多种方式来执行，例如通过使用基于对象识别、显著性(saliency)等的掩模(mask)。

去除了背景的输入数字图像130然后被提供给内容评估模块118。内容评估模块118包括如关于图2所述被训练以计算适合性分数406的AR/VR适合性机器学习模型204。适合性分数指示包括在数字图像中的对象适合生成用于在AR/VR环境中显示的AR/VR数字内容的程度(框706)。

例如，适合性分数406可以描述在“0”与“1”之间的概率，该概率指示(例如，去除了背景的)输入数字图像130被分类为适合生成AR/VR数字内容的程度。然后由AR/VR数字内容系统102的结果处理模块408将适合性分数406与阈值(例如，阈值可以是用户定义的)进行比较，以确定由输入数字图像130捕获的对象512是否适合生成AR/VR数字内容(框708)。以这种方式，可以根据需要调整阈值，以解决输入数字图像130用于生成AR/VR数字内容的不同适合性程度，即，AR/VR数字内容在被呈现时在视觉上看起来令人满意以及/或者“好像它真的在那里”的不同程度。

在一个示例中，由结果处理模块408使用确定的结果来输出用于在用户界面中显示的指示，该指示指明关于对象是否适合作为AR/VR数字内容在AR/VR环境中显示的确定的结果(框710)。例如，指示生成模块410可以用于生成用于在用户界面508中显示的指示518。例如，图5的第二步504处的用户界面508与输入数字图像130同时显示，并且指示图像适合生成AR/VR数字内容。

指示518还能够选择(例如，使用触摸屏功能来经由用户的手516接收输入)用于启动AR/VR数字内容的生成。作为响应，AR/VR内容生成模块122可以生成AR/VR数字内容124以用于输出，例如作为电子商务网站的一部分的产品或服务陈列412的一部分、用作社交媒体帖子等。

作为生成AR/VR数字内容124的一部分，AR/VR内容生成模块122计算对象512的大小和形状，使得当对象512被呈现为AR/VR环境520的一部分时，具有相应的大小和形状以看起来“好像它真的在那里”，其示例在图5的第三步506处示出。在一个示例中，AR/VR数字内容124是从二维输入数字图像130生成的，也具有二维，并且因此减少了计算和网络资源的消耗，以及支持用户界面508中的实时输出。在另一示例中，由输入数字图像130捕获的对象512被三维建模(例如，对应于现有模型、“从零开始”等)，以用于由用户界面模块128在用户界面508中输出。还构想了各种其他示例。在一个示例中，AR/VR数字内容在确定适合性时自动地生成，而无需接收用户输入。

在另一示例中，适合性的确定还基于AR/VR环境，在该AR/VR环境中，AR/VR数字内容要被设置。如上所述，结果的良好的和不良的示例可以用于训练机器学习模型110。在该示例中，结果不仅解决了输入数字图像130是否适合在AR/VR环境中显示的问题，还解决了AR/VR环境本身以及甚至环境的一部分的问题，使得AR/VR数字内容在生成时视觉上看起来令人满意并且像“它确实在那里”。例如，AR/VR环境的一部分的明亮光照条件可以使得暗点亮的AR/VR数字内容不适合在AR/VR环境中显示。因此，可以输出指示AR/VR数字内容不适合在AR/VR环境中显示的意见以及/或者校正可以自动地并且在没有用户干预的情况下进行。观看AR/VR数字内容的用户然后可以例如通过使用指示、通过比较生成的与由输入数字图像130捕获的对象不同的AR/VR数字内容等意识到这些变化。

在另一示例中，适合性的确定还可以处理包括在AR/VR环境中的其他AR/VR数字内容。例如，如关于图11进一步描述的，适合性可以作为搜索的一部分被利用来意见与AR/VR数字内容的其他物品一致的并且因此适合与那些物品一起显示的AR/VR数字内容的物品。这可以基于多种因素，包括AR/VR数字内容的类型(例如，厨房物品、家具)、AR/VR数字内容的其他物品的使得这些物品在视觉上一致的显示特性等。

在输入数字图像不适合生成AR/VR数字内容的情况下，可以采用内容意见模块120来生成指示关于为何输入数字图像130不适合的意见以及/或者指示如何对后续数字图像中对象512的捕获进行校正的意见。另外，内容意见模块120可以用于自动地并且在没有用户干预的情况下向数字摄像机602传送校正指令和图像重新捕获(recapture)请求。下一部分描述其示例。

图8描绘了AR/VR数字内容系统的采用如在图3的示例300中训练的意见机器学习模型来生成关于输入数字图像130用于生成AR/VR数字内容的适合性的意见的操作的示例800。图9描绘了用于发起对数字图像的捕获的用户界面的输出和意见的输出的示例900的第一步902和第二步094。图10描绘了其中意见机器学习模型生成指示为何数字图像不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中AR/VR数字内容的生成进行校正的意见的示例实现中的过程1000。

以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图8至图10。

像前面的示例一样，由AR/VR数字内容系统112接收数字图像(框1002)。在图9的示例800中，由服务提供者系统102通过网络106从客户端装置104接收输入数字图像130。例如，可以将输入数字图像130接收作为到社交网络服务、产品陈列服务、数字内容创建服务或任何其他数字图像共享服务的上传。还构想了包括作为客户端装置104的一部分的数字摄像机被用于生成输入数字图像并且由AR/VR数字内容系统112接收输入数字图像的其他示例。

例如，如图9的第一步902处所示，客户端装置104采用数字摄像机装置来捕获输入数字图像130，然后该输入数字图像130作为输入被提供给AR/VR数字内容系统112。如前所述，客户端装置104使用显示装置510输出用户界面508。用户界面508包括由数字摄像机装置捕获的“实时视图”，在这种情况下，“实时视图”包括要用于生成AR/VR数字内容的对象512。在用户界面508中包括选项514，例如通过检测用户的手516经由触摸屏功能对选项514的选择，用户能够选择该选项514来发起对输入数字图像130的捕获。

如前一部分所述，然后由AR/VR数字内容系统112做出关于由数字图像(例如，二维数字图像)捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。使用AR/VR适合性机器学习模型204来执行该确定。例如，AR/VR数字内容系统112可以首先采用背景去除模块402来从输入数字图像130去除背景，从而留下对象的视图。这可以以多种方式来执行，例如通过使用基于对象识别、显著性等的掩模。

去除了背景的输入数字图像130然后被提供给内容评估模块118。内容评估模块118包括如关于图2所述被训练以计算适合性分数406的AR/VR适合性机器学习模型204。适合性分数指示包括在数字图像中的对象适合生成用于在AR/VR环境中显示的AR/VR数字内容的程度。在该示例中，做出由数字图像捕获的对象不适合生成用于在增强现实/虚拟现实(AR/VR)环境中显示的AR/VR数字内容的确定(框1004)。

因此，由结果处理模块408的内容意见模块120使用该确定的结果来使用如关于图3所描述的那样被训练的意见机器学习模型302生成意见(即，意见结果802)(框1006)。因此，在该示例中，响应于输入数字图像130不适合的确定，自动地并且在没有用户干预的情况下生成意见。还构想了在没有这样的确定的情况下生成意见的其他示例。

内容意见模块120包括一个或更多个意见机器学习模型302，一个或更多个意见机器学习模型302中的每一个被配置成识别关于为何由数字图像捕获的对象不适合生成AR/VR数字内容(框1008)以及/或者如何对后续数字图像中对象的捕获进行校正(框1010)的一个或更多个特性。例如，意见机器学习模型302可以包括被训练成检测数字图像内的对象的旋转的旋转模型804，旋转使数字图像不适合生成AR/VR数字内容。同样，背景模型806可以被训练成检测背景，背景使数字图像中的对象被检测为不适合生成AR/VR数字内容，即，难以将对象与背景区分开。其他示例包括识别光照条件的光模型808、可用于检测对象是否被遮挡的被遮挡对象模型810、角度模型812、缩放模型814、分辨率模块816和对象检测模型818，这些模型各自识别关于为何输入数字图像130——并且更具体地，包括在数字图像中的对象512——不适合生成AR/VR数字内容的相应特性。

“为何”输入数字图像130中的对象不适合生成AR/VR数字内容的确定也可用于指示“如何”对后续数字图像中对象的捕获进行校正。例如，如图9的第二步904所描绘的，输出指示“为何”数字图像不适合生成AR/VR数字内容的意见906，例如由于背景而引起“不能检测到对象”以及“对象被遮挡”。意见906还包括关于“如何”对后续数字图像的捕获进行校正的指示，例如“尝试不同的背景”以及“尝试捕获帧中的整个对象”。

这可以根据用于检测特性的模型和/或以较大特异性(specificity)训练的模型推断。例如，通常可以训练意见机器学习模型302来识别可能使输入数字图像130中的对象不适合生成AR/VR数字内容的光照条件(例如，暗、太亮)。在另一情况下，第一意见机器学习模型302可以被训练来检测过度曝光，而第二意见机器学习模型302可以被训练来检测缺少光，即“太暗”。以这种方式，可以以期望的特异性的程度来实现意见结果802。指示生成模块410然后被配置成对意见结果802进行处理以输出用于在用户界面(例如由客户端装置104的用户界面模块129生成的用户界面)中显示的意见(框1012)。在图9的第二步904的示出的示例中，意见与输入数字图像130的显示同时呈现，然而也构想了其他示例。

可替选地或另外地，当做出由数字图像捕获的对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定时，内容意见模块120可以将用于自动校正对象的后续数字图像使得其将适合生成AR/VR数字内容的指令直接传送至数字摄像机装置602。“自动校正图像”按钮908被示出为与关于为何当前图像不适合以及可以如何对当前图像进行校正的意见906同时呈现。因此，用户516具有使用触摸屏功能选择自动校正图像按钮908的选项。

在又一实现方式中，内容意见模块122可以向数字摄像机装置602自动地发送用于自动校正的校正指令(如使用将内容意见模块120通信地耦接至数字摄像机装置602的箭头所示)，捕获实现校正的后续图像，并且在用户界面中在显示装置510上自动地并且在没有用户干预的情况下显示经校正的图像。例如，如果用户516捕获用于生成AR/VR数字内容的对象的其中对象没有被充分照亮的图像，则内容意见模块可以向数字摄像机装置602自动地发送如下指令：使用更多的光来重新捕获对象的图像，并且在显示装置510上显示所重新捕获的图像。然后，在显示装置510上将能够观看到对象的正确照亮的、重新捕获的数字图像。另外，可以自动地并且在没有用户干预(例如，图像滤波器、数字摄像机装置602的显示设置、数字图像后处理技术等)的情况下进行其他自动校正，并且显示经校正的后续图像供用户观看。例如，可以使数字图像更亮或更暗，可以放大图像捕获以获得对象的更详细的图像捕获，可以应用各种滤波器例如颜色协调，可以调整焦点，可以使对象自动地居中等。

以这种方式，本文中描述的技术被实现成克服了常规AR/VR生成技术的限制，以及提供了可以通过成功地将对象的2D图像投影到AR/VR环境中的处理来帮助引导用户的直观的体验。例如，客户端装置104配备有用于显示实况摄像机馈送的数字摄像机装置602。已被确定为适合AR/VR环境的2D对象的图像可以被投影到实况摄像机馈送中，以增强实况摄像机馈送，并且显示在物理对象被添加至真实世界的情况下“真实世界”将会是什么样子。使用2D图像针对用户创建“伪3D”AR/VR体验，这提供了3D AR/VR体验的好处，并且减轻在AR/VR环境中使用完整3D对象模型时所经历的繁琐交互和装置低效。

例如，用户可能希望将作品或艺术品添加至他们家中的裸露墙壁。使用他们的移动电话，用户可以打开显示裸露墙壁的实况摄像机馈送，选择梵高印刷品的图像，并且将其放置在实况摄像机馈送中的墙壁上，从而向用户显示在他们将梵高印刷品的真实物理版本挂在他们的墙壁上的情况下他们的墙壁将会是什么样子。然而，为了在AR/VR环境中投影梵高印刷品的图像，必须满足特定的要求，使得数字图像适合在AR/VR环境中观看。

AR/VR适合性机器学习模型204用于确定数字图像在AR/VR环境中显示的适合性。以这种方式，数百万或数十亿个对象的图像可以被分类为适合包括在AR/VR环境中。例如，在虚拟市场中，卖方可以列出待售物品，如果卖方打算利用电子商务的这种日益流行的特征，则期望卖方提供物品的适合在AR/VR环境中投影的图像。因此，提供数字图像适合或不适合的指示通知卖方关于提供给市场的对象的数字图像是否适合在AR/VR环境中显示。还可以将意见生成作为提供关于如何改进数字图像的指令，使得由后续数字图像捕获的对象然后可以适合在AR/VR环境中显示。可替选地或另外地，可以提供用于对对象的后续数字图像的捕获进行自动校正的选项，或者可以如上所述的自动地并且在没有用户干预的情况下发起实现了校正的后续捕获。

这是对常规AR/VR技术的改进，常规AR/VR技术通常使用对象的复杂的3D模型，并且不具有用于确定对象是否适合在AR/VR环境中显示的处理。另外，用户没有关于要采取什么步骤来确保对象适合显示的指示，由于需要多个步骤来校正这一点，因此这在计算上和用户上都是低效的。

图11描绘了示出在客户端装置104上显示的其中多个生成的AR/VR数字内容的对象被添加至AR/VR环境的非模态AR/VR环境的用户界面的输出的示例1100。图12描绘了其中多个输入数字图像被确定为适合生成多个用于在AR/VR环境中显示的AR/VR数字内容的过程1200。

以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图11至图12。

从该示例开始，访问虚拟市场的客户端装置104使用由数字摄像机装置捕获的实况摄像机馈送来启动AR/VR环境(框1202)。AR/VR环境可以在虚拟市场中的多个点处启动。例如，在对象搜索视图中，摄像机图标可以存在于搜索栏中，并且当被选择时，启动AR/VR环境，并且先前启动的搜索可以继续搜索适合在AR/VR环境中显示的对象。在另一示例中，AR/VR环境可以从观看对象页面启动。如果所选对象的数字图像已经被认为适合生成如上所论述的AR/VR数字内容，则可以从观看对象页面启动AR/VR环境，并且在AR/VR环境中示出所观看的对象。在又一示例中，AR/VR环境可以从对象推荐陈列启动。如果推荐陈列中的对象的数字图像已经被认为适合生成AR/VR数字内容，则可以提供选择该对象并且在AR/VR环境中观看它的选项。

在AR/VR环境被启动之后，虚拟市场中的任何进一步的动作都可以在AR/VR环境中进行，即，非模态地进行。图11示出了发生在AR/VR环境中的虚拟市场中的第一步操作1102、第二步操作1104和第三步1106的示例。在第一步1102处，类似于图5的第三步506，第一对象(例如，图5的灯512)已经被选择(框1204)并且在实况摄像机馈送AR/VR环境中显示(框1206)。

响应于针对第二对象的搜索请求(框1208)，第二步1104描绘了基于搜索的另外的对象推荐的陈列。通过检测由用户的手516经由触摸屏功能对第二对象(咖啡杯1110)的选择(框1210)，咖啡杯1108被选择用于在AR/VR环境中显示。第三步1106描绘了被添加至AR/VR环境(框1212)并且被放置在AR/VR环境的实况摄像机馈送中的“真实”桌子上的灯512旁边的咖啡杯1108。在该示例中，这还包括自动重新布置对象，然而还构想了其他示例。

因此，AR/VR内容的第二对象相对于AR/VR环境内的实况摄像机馈送的输出是非模态的。灯512和咖啡杯1108可以在AR/VR环境中被修改或操纵。例如，这些对象可以在桌子上被手动地重新布置，这些对象中的一个可以被去除，第三对象可以被搜索和添加等，所有这些操作都在现有的AR/VR环境中。另外，任一对象或两者可以被添加至购物车，并且在AR/VR环境中被购买。可替选地，用户可以在他们选择的任何操作点处退出AR/VR环境。

如前所述，适合性的确定还可以处理包括AR/VR环境中包括的其他AR/VR数字内容的AR/VR环境，并且因此可以用作非模态实况摄像机馈送的一部分。例如，适合性可以作为搜索的一部分被利用来意见与AR/VR数字内容的其他物品一致并且因此适合与那些物品一起显示的AR/VR数字内容的物品。这可以基于多种因素，包括AR/VR数字内容的类型(例如，厨房物品、家具)、AR/VR数字内容的其他物品的使得这些物品在视觉上彼此一致的显示特性等。

例如，如图11所示，可以执行搜索以定位与灯512相关的物品，包括对也属于由灯512展示的一般主题的咖啡杯的选择。当作为AR/VR数字内容生成时，这些物品也可被选择为与灯512在视觉上一致，例如，包括相似的光照、阴影、亮度、颜色等。以这种方式，适合性可以用于基于AR/VR环境本身的特性以及在AR/VR环境中显示的其他物品(例如，灯512)的特性来意见AR/VR数字内容的物品。还构想了其他示例。

非模态AR/VR环境是对常规技术的改进，在非模态AR/VR环境中，用户能够进行搜索、从推荐中选择、将多个对象放在同一AR/VR环境中、缩放多个对象、重新布置多个对象、添加和删除多个对象、将一个或更多个对象添加至购物车以及完成购买。因此，非模态AR/VR环境不仅仅是对象视图模式，而是作为整体的虚拟市场。常规技术通常限于AR/VR环境中的单个对象，并且通常不提供其中可以在非模态AR/VR环境内进行多个动作的端到端体验。本文中描述的非模态AR/VR环境提高了实现以下这些技术的计算装置的用户效率和操作效率：这些技术被实现为在虚拟市场中提供端到端的购物体验。

图13在1300处示出了通常包括以下示例计算装置1302的示例系统：该示例计算装置1302表示可以实现本文中描述的各种技术的一个或更多个计算系统和/或装置。这通过包括着色三维数字模型116来示出。计算装置1302可以是例如服务提供者的服务器、与客户端相关联的装置(例如，客户端装置)、片上系统和/或任何其他适合的计算装置或计算系统。

如示出的示例计算装置1302包括处理系统1304、一个或更多个计算机可读介质1306以及彼此通信地耦接的一个或更多个I/O接口1308。尽管未示出，但是计算装置1302还可以包括将各种部件彼此耦接的系统总线或其他数据和命令传递系统。系统总线可以包括如下不同总线结构中的任一种或其组合：例如，存储器总线或存储器控制器、外围总线、通用串行总线以及/或者利用各种总线架构中的任何一种的处理器总线或局部总线。还可以构想各种其他示例，例如，控制和数据线。

处理系统1304表示使用硬件执行一个或更多个操作的功能。因此，处理系统1304被示出为包括可以被配置为处理器、功能框等的硬件元件1310。这可以包括以硬件实现为使用一个或更多个半导体形成的专用集成电路或其他逻辑器件。硬件元件1310不受形成它们的材料或其中所采用的处理机制的限制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这样的背景下，处理器可执行指令可以是电子可执行指令。

计算机可读存储介质1306被示出为包括存储器/存储装置1312。存储器/存储装置1312表示与一个或更多个计算机可读介质相关联的存储器/存储装置的容量。存储器/存储装置部件1312可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置部件1312可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如，闪速存储器、可移动硬盘驱动器、光盘等)。如下面进一步描述的，计算机可读介质1306可以以各种其他方式被配置。

输入/输出接口1308表示允许用户向计算装置1302输入命令和信息并且还允许使用各种输入/输出装置将信息呈现给用户和/或其他部件或装置的功能。输入装置的示例包括键盘、光标控制装置(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置成检测物理触摸的电容性传感器或其他传感器)、摄像机(例如，其可以采用可见波长或不可见波长例如红外频率以将移动识别为不涉及触摸的手势)等。输出装置的示例包括显示装置(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应装置等。因此，如下面进一步描述的，计算装置1302可以以各种方式被配置以支持用户交互。

本文可以在软件、硬件元件或程序模块的一般背景下描述各种技术。通常，这样的模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、部件、数据结构等。本文中使用的术语“模块”、“功能”和“部件”通常表示软件、固件、硬件、或其组合。本文中描述的技术的特征与平台无关，意指可以在具有各种处理器的各种商业计算平台上实现本技术。

所描述的模块和技术的实现方式可以被存储在一些形式的计算机可读介质上或者在一些形式的计算机可读介质上传送。计算机可读介质可以包括可以由计算装置1302访问的各种介质。通过示例并非限制的方式，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

“计算机可读存储介质”可以指与仅信号传输、载波或信号本身相比能够实现信息的持久和/或非暂态存储的介质和/或装置。因此，计算机可读存储介质指的是非信号承载介质。计算机可读存储介质包括硬件例如易失性介质和非易失性介质、可移动介质和不可移动介质和/或以适合信息(例如，计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的存储的方法或技术实现的存储装置。计算机可读存储介质的示例可以包括但不限于：RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、硬盘、磁带盒、磁带、磁盘存储装置或其他磁性存储装置、或其他存储装置、有形介质、或适合存储所需信息且可以由计算机访问的制品。

“计算机可读信号介质”可以指被配置成例如经由网络将指令传送至计算装置1302的硬件的信号承载介质。信号介质通常可以在诸如载波、数据信号、或其他传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息递送介质。术语“调制数据信号”意指以对信号中的信息进行编码的方式设置或改变其特性中的一个或更多个的信号。通过示例而非限制的方式，通信介质包括有线介质(例如有线网络或直接有线连接)以及无线介质(例如声学介质、RF介质、红外介质以及其他无线介质)。

如先前所描述的，硬件元件1310和计算机可读介质1306表示以硬件形式实现的可以在一些实施方式中被采用以实现本文中描述的技术的至少一些方面(例如执行一个或更多个指令)的模块、可编程器件逻辑和/或固定器件逻辑。硬件可以包括集成电路或片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及在硅或其他硬件中的其他实现。在该背景下，硬件可以操作为执行由硬件实施的指令和/或逻辑定义的程序任务的处理装置，以及操作为用于存储供执行的指令的硬件，例如先前描述的计算机可读存储介质。

还可以采用前述的组合来实现本文中描述的各种技术。因此，软件、硬件、或可执行模块可以被实现为实施在某种形式的计算机可读存储介质上以及/或者由一个或更多个硬件元件1310实施的一个或更多个指令和/或逻辑。计算装置1302可以被配置成实现与软件模块和/或硬件模块相对应的特定指令和/或功能。因此，可以例如通过使用计算机可读存储介质和/或处理系统1304的硬件元件1310来至少部分地以硬件实现能够由计算装置1302作为软件执行的模块的实现。指令/或功能可以由一个或更多个制品(例如，一个或更多个计算装置1302和/或处理系统1304)可执行/可操作用于实现本文中描述的技术、模块和示例。

本文中描述的技术可以由计算装置1302的各种配置支持，并且不限于本文中描述的技术的特定示例。如下所述，还可以通过使用分布式系统，例如经由平台1316在“云”1314上，全部或部分地实现该功能。

云1314包括和/或表示用于资源1318的平台1316。平台1316对云1314的硬件(例如，服务器)和软件资源的基础功能进行抽象化。资源1318可以包括在远离计算装置1302的服务器上执行计算机处理时可以利用的应用和/或数据。资源1318还可以包括在因特网上和/或通过诸如蜂窝网或Wi-Fi网络的订户网络提供的服务。

平台1316可以对资源和功能进行抽象化，以将计算装置1302与其他计算装置连接。平台1316还可以用于对资源的缩放(scaling)进行抽象化，以向对于经由平台1316实现的资源1318遇到的需求提供对应的缩放级别。因此，在互连的装置实施方式中，本文中描述的功能的实现可以分布在整个系统1300中。例如，可以在计算装置1302上以及经由对云1314的功能进行抽象化的平台1316来部分地实现功能。

尽管已经用特定于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求书中限定的发明不必限于所描述的特定特征或动作。而是，特定特征和动作被公开为实现所要求保护的本发明的示例形式。