使用人工智能的语音帮助系统

摘要

一种用于游戏协助的方法。在后端服务器处通过网络接收与游戏应用程序的玩家的多个玩游戏过程相关的信息。接收来自玩所述游戏应用程序的第一玩家的查询，其中所述查询与所述第一玩家的第一玩游戏过程相关。从所述信息确定第一玩家的第一玩游戏过程的当前游戏情景。基于与所述多个玩游戏过程相关的所述信息生成对所述查询和所述当前游戏情景的响应。将所述响应传递回所述第一玩家的装置。

说明书

技术领域

本公开涉及游戏应用程序。除其他外，本公开描述了用于响应于与游戏应用程序相关的用户查询来提供游戏协助的方法和系统。

发明背景

随着处理能力的提高，视频游戏变得更加复杂和扩展。但是，随着复杂性的增加，用户可能会发现浏览和/或完成视频游戏越来越困难。例如，视频游戏可能会变得更加扩展，并且包括数百万甚至数万亿可供用户使用的可用选项。这样，用户甚至可能无法尝试这些可用选项中的每一个，或者甚至无法了解这些选项中的哪些可用。在其他情况下，用户可能会到达视频游戏中似乎无法浏览或解决的点。对于用户而言，这经常发生，在这种情况下，用户由于难以或无法前进通过游戏而变得对游戏越来越沮丧，并最终退出视频游戏。例如，在视频游戏的玩游戏过程中，用户可以尝试通过明显的关口到达游戏世界的另一部分，以便推进玩游戏过程。举例说明，用户可能需要穿过充当关口的瀑布，并且在尝试通过时似乎已经用尽了所有可用选项。然而，即使已知的解决方案是可用且简单的(例如，挑选稳定的岩石并跑着穿过瀑布)，但无论出于什么原因，用户都无法找到正确的路径或操作序列来进入。经过数小时的徒劳之后，用户可能最终会退出游戏，因为用户找不到前进的方式。

正是在这种背景下，出现了本公开的实施方案。

发明内容

本公开的实施方案涉及响应于与游戏应用程序相关的玩家查询提供游戏协助，其中向可能正在或可能不正在显示用户的玩游戏过程的玩家装置提供响应，其中该响应可以在用户的玩游戏过程期间提供协助，并且其中该响应可以独立于用户的任何玩游戏过程提供协助。下文描述了本公开的若干发明性实施方案。

在一个实施方案中，公开了一种用于提供游戏协助的方法。该方法包括在后端服务器处通过网络接收与游戏应用程序的玩家的多个玩游戏过程相关的信息。该方法包括接收来自玩游戏应用程序的第一玩家的查询，该查询与该第一玩家的第一玩游戏过程相关。该方法包括从该信息确定第一玩游戏过程的当前游戏情景。该方法包括基于与该多个玩游戏过程相关的该信息生成对查询和当前游戏情景的响应。例如，该响应可以由深度学习引擎生成，该深度学习引擎被配置为在给定当前游戏情景的情况下将查询与响应进行匹配。该方法包括将该响应发送到该第一玩家的装置。

在另一个实施方案中，公开了一种存储用于提供游戏协助的计算机程序的非暂时性计算机可读介质。该计算机可读介质包括用于在后端服务器处通过网络接收与游戏应用程序的玩家的多个玩游戏过程相关的信息的程序指令。该计算机可读介质包括用于接收来自玩该游戏应用程序的第一玩家的查询的程序指令，该查询与该第一玩家的第一玩游戏过程相关。该计算机可读介质包括用于从该信息确定该第一玩游戏过程的当前游戏情景的程序指令。该计算机可读介质包括用于基于与该多个玩游戏过程相关的该信息来生成对查询和该当前游戏情景的响应的程序指令。例如，该响应可以由深度学习引擎生成，该深度学习引擎被配置为在给定当前游戏情景的情况下将查询与响应进行匹配。该计算机可读介质包括用于将该响应发送到该第一玩家的装置的程序指令。

在又一个实施方案中，公开了一种计算机系统，该计算机系统具有处理器和耦合到该处理器的存储器，该存储器具有存储于其中的指令，该指令在由该计算机系统执行时使该计算机系统执行用于提供游戏协助的方法。该方法包括在后端服务器处通过网络接收与游戏应用程序的玩家的多个玩游戏过程相关的信息。该方法包括接收来自玩游戏应用程序的第一玩家的查询，该查询与该第一玩家的第一玩游戏过程相关。该方法包括从该信息确定第一玩游戏过程的当前游戏情景。该方法包括基于与该多个玩游戏过程相关的该信息生成对查询和当前游戏情景的响应。例如，该响应可以由深度学习引擎生成，该深度学习引擎被配置为在给定当前游戏情景的情况下将查询与响应进行匹配。该方法包括将该响应发送到该第一玩家的装置。

从以下结合附图的详细描述中，本公开的其他方面将变得显而易见，附图以示例的方式示出了本公开的原理。

附图说明

通过结合附图参考以下描述，可以最好地理解本公开，在附图中：

图1A示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统，其中该游戏应用程序可以在本地计算装置上或通过云游戏网络执行。

图1B示出了根据本公开的一个实施方案的响应于用户在玩游戏应用程序的玩家的玩游戏过程期间由游戏控制器接收到的口头查询而提供游戏协助的系统，其中该游戏应用程序可以在本地计算装置上或通过云游戏网络执行。

图1C示出了根据本公开的一个实施方案的示例神经网络，该神经网络用于为在HMD中观看VR场景的一个或多个用户构建扫视运动模型。

图2A示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统。

图2B示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统，该游戏应用程序是在玩家本地执行的。

图2C示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统，该游戏应用程序是通过云游戏网络执行的。

图3A示出了根据本公开的一个实施方案的数据流程图，该数据流程图示出了在用户与后端服务器之间的数据流，该后端服务器在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助，其中游戏应用程序可以在本地计算装置上或通过云游戏网络执行。

图3B示出了根据本公开的一个实施方案的玩游戏应用程序的玩家的玩游戏过程以及包括游戏情景数据和全局情景数据的信息的周期性收集。

图3C是根据本公开的一个实施方案的示出用于在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的方法中的步骤的流程图，其中游戏应用程序可以在本地计算装置上或通过云游戏网络执行。

图3D是根据本公开的一个实施方案的示出用于通过通信会话将玩家连接到专家来在玩游戏应用程序的玩家的玩游戏过程期间提供实时协助的方法中的步骤的流程图。

图3E是根据本公开的一个实施方案的示出通过通信会话将玩家连接到专家来在玩游戏应用程序的玩家的玩游戏过程期间提供实时协助的系统或方法中的数据流的数据流程图。

图4A示出了根据本公开的一个实施方案的伴侣移动装置的主页屏幕，该伴侣移动装置被配置为向玩本地游戏控制台或云游戏网络上执行的游戏应用程序的玩家提供游戏协助。

图4B示出了根据本公开的一个实施方案的在图4A的被配置为提供游戏协助的伴侣移动装置上的快速搜索按钮的选择以及响应于快速搜索按钮的查询而提供的信息在与移动装置分开的显示器上的呈现。

图4C示出了根据本公开的一个实施方案的在图4A的被配置为提供游戏协助的伴侣移动装置与显示器之间的交互，该显示器呈现玩游戏应用程序的玩家的玩游戏过程并将玩家引导到移动装置以获取所请求的信息。

图4D示出了根据本公开的一个实施方案的被配置为向用户提供游戏协助的伴侣移动装置，该玩家当前未玩游戏应用程序，但是可以向后端服务器呈现与游戏应用程序相关的查询以获得支持。

图4E示出了根据本公开的一个实施方案的伴侣移动装置11，该伴侣移动装置被配置为向用户提供游戏协助以支持玩家的玩游戏过程。

图5A至图5B示出了根据本公开的一个实施方案的使用伴侣移动装置用于与在单独的显示器上呈现的游戏应用程序的玩游戏过程相关的游戏协助。

图6A至图6G示出了根据本公开的一个实施方案的使用伴侣移动装置用于与在单独的显示器上呈现的游戏应用程序的玩游戏过程相关的游戏协助，以浏览响应于查询而提供的一系列连接的信息层。

图7示出了根据本公开的一个实施方案的使用伴侣移动装置用于与在单独的显示器上呈现的游戏应用程序的玩家玩游戏过程相关的游戏协助，其中呈现了通过通信会话将玩家连接到专家的选项。

图8A至图8G示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于获取资产的查询而提供的一系列连接的信息层。

图9A至图9C示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于打败对手的查询而提供的一系列连接的信息层。

图10A至图10D示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于查找对象或位置的查询而提供的一系列连接的信息层。

图11A至图11B示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于具有主要意图和次要意图的查询(诸如完成工作的要求，例如，见到General Tullius)而提供的一系列连接的信息层。

图12A至图12C示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于学习如何完成工作的查询而提供的一系列连接的信息层。

图13A至图13B示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于了解关于游戏应用程序的一些事情(例如，关于敌方战士的信息)的查询而提供的一系列连接的信息层。

图14示出了可用于执行本公开的各种实施方案的各方面的示例装置的部件。

图15是根据本公开的实施方案的示出头戴式显示器的部件的图。

图16是根据本公开的各种实施方案的游戏系统的框图。

具体实施方式

虽然出于说明目的，以下详细说明包含许多具体细节，但是本领域的普通技术人员将会了解，以下细节的许多变化和更改在本公开的范围内。因此，在阐明以下所描述的本公开的各个方面时，此描述的随附权利要求的概括性没有任何损失，并且不对此权利要求施加任何限制。

一般而言，本公开的各种实施方案描述了在玩家玩游戏应用程序的玩游戏过程期间或独立于玩游戏过程提供游戏协助的系统和方法。例如，当玩家卡在游戏应用程序的一部分上时，玩家可以通过对后端游戏协助服务器的查询来请求帮助。该查询可以是任何格式，或者是格式的组合，包括音频、文本、视频等。游戏协助服务器被配置为基于从中提出查询的当前游戏情景将查询与经建模响应进行匹配。该匹配由深度学习引擎执行，例如，由游戏协助服务器或由提供人工智能(AI)以包括深度学习的第三方执行。可以以任何格式或格式的组合(包括音频、文本、视频等)将响应呈现给用户。以这种方式，改进了玩家的游戏体验。在游戏应用程序的玩游戏过程期间，玩家可以出于任何原因随时生成查询。玩家可能希望获得关于游戏应用程序的某些方面的更多信息，诸如角色信息、策略信息、游戏应用程序的整体受欢迎程度、排定的通过云游戏服务以多玩家格式与朋友一起玩的时间、获得关于正在玩同一游戏应用程序或另一游戏应用程序的社交网络朋友的信息(例如，发现朋友正在玩什么游戏应用程序、获得关于该游戏应用程序的信息、获得关于该游戏应用程序的购买信息等)、获得关于如何克服阻止玩家在游戏应用程序中前进的某些障碍的信息等。由此，玩家对游戏应用程序具有更沉浸的体验，使得不仅仅是以打开即用的方式玩游戏应用程序，也就是说，玩家可以用与玩游戏过程同时呈现的信息(例如，音频、文本、视频等)来增强他或她的玩游戏过程，和/或通过在玩游戏过程期间与被配置为向玩家提供心理和信息支持的自动化游戏助手(例如，游戏管家/导航员)的正在进行的对话来增强他或她的玩游戏过程。此外，游戏控制台的作用在提供更完整和更丰富的信息集方面得到了扩展，可从该信息集中构建信息模型以用于对查询进行响应。也就是说，为了确定关于游戏应用程序和/或玩家的情景信息，可以在玩家的玩游戏过程期间从游戏控制台传递低级操作系统(OS)信息。也就是说，不仅使用关于玩游戏过程的信息，而且还使用与玩法相关的信息来填写情景信息，以用于对一个或多个查询进行响应。OS级别信息可以包括按钮序列、按钮致动速度、游戏速度、玩家玩的时间、玩家玩的时长、玩家玩的游戏等。而且，游戏控制台能够向一个或多个装置分配游戏协助功能。例如，由后端游戏协助服务器而不是游戏控制台执行响应建模以及查询与响应的匹配。另外，游戏控制台能够将由游戏协助服务器传递的响应分配到一个或多个其他装置以呈现给玩家。例如，可以与当前玩游戏过程同时地在显示器上提供响应，或者可以将响应提供给与呈现玩游戏过程的显示器协同作用的伴侣装置(例如，移动电话)，或者通过专用于提供独立于玩游戏过程的音频的响应的一组单独扬声器(例如，独立的扬声器、位于游戏控制器上的扬声器等)来提供响应。以这种方式，对游戏应用程序的玩游戏过程的干扰最小，因为没有音频混合，没有视频混合或视频混合最小等。

通过对各种实施方案的以上一般理解，现在将参考各种附图来描述实施方案的示例细节。

在整个说明书中，对“游戏应用程序”的引用旨在表示通过输入命令的执行定向的任何类型的交互式应用程序。仅出于说明的目的，交互式应用程序包括用于游戏、文字处理、视频处理、视频游戏处理等的应用程序。此外，术语视频游戏和游戏应用程序是可互换的。

图1A示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家5的玩游戏过程期间提供游戏协助的系统100A，其中该游戏应用程序可以在本地计算装置100上或通过云游戏网络执行(为了清楚起见未示出)。可以结合玩游戏过程来提供游戏协助，诸如当玩家5请求关于游戏应用程序中的对象的信息时，或者请求协助克服游戏应用程序中的障碍时。在其他实施方案中，可以独立于玩游戏过程而提供游戏协助，诸如当玩家处于不涉及任何玩游戏过程的环境中(例如，在工作中、乘坐出租车、乘坐公共交通工具等)，但有兴趣做出关于游戏应用程序或通常关于游戏环境的查询时。

特别地，如图1A所示，游戏应用程序可以在玩家5的客户端装置100处本地执行，或者可以在云游戏网络或游戏云系统的后端游戏服务器(未示出)处运行的后端游戏执行引擎处执行。

另外，客户端装置100充当系统100A的后端处的游戏协助服务器140的前端。特别地，客户端装置100包括客户端游戏协助模块120，其被配置为从玩家5接收查询并且在后端游戏协助服务器140的合作下将对那些查询的响应传递回玩家5，如下文将描述的。客户端装置100处的用户界面110通过接收查询(例如，文本)并呈现响应(例如，音频、视频等)来支持客户端游戏协助模块120。

而且，游戏协助模块120与客户端自动语音识别(ASR)引擎125合作以任选地将查询从第一格式转换为第二格式。例如，查询可以以来自玩家5的音频形式出现，并且ASR引擎125被配置为将音频查询转换为更适合下游装置处理(例如，分析、传输等)的文本格式。ASR引擎125还可以被配置为将文本转换为音频，使得以音频广播以文本接收的响应。

客户端装置100被配置用于请求通过诸如互联网的网络150访问游戏应用程序，并且用于渲染由游戏执行引擎111或后端游戏服务器205执行的视频游戏或游戏应用程序的实例(参见图2)并将渲染的实例(例如，音频和视频)传递到与玩家5相关联的显示装置12和/或头戴式显示器(HMD)102。例如，玩家5可能正在通过客户端装置100与在云游戏处理器201上执行的游戏应用程序实例进行交互。如图所示，游戏执行引擎111被配置用于游戏应用程序的本地执行，如前所述。客户端装置100可以接收来自各种类型的输入装置(诸如游戏控制器6、平板计算机11、键盘)的输入和由摄像机、鼠标、触摸板等捕获的示意动作。客户端装置100可以是至少具有存储器和处理器模块的任何类型的计算装置，该处理器模块能够通过网络150连接到游戏服务器205。客户端装置100的一些示例包括个人计算机(PC)、游戏控制台、家庭影院装置、通用计算机、移动计算装置、平板计算机、电话或可以与游戏服务器205交互以执行视频游戏的实例的任何其他类型的计算装置。在实施方案中，HMD 102可以被配置为执行客户端装置100的功能。

客户端装置100可以与充当与玩家5的接口的本地查询代理115交互。例如，查询代理115包括被配置用于接收和/或记录来自玩家5的音频的传声器131。以这种方式，可以通过查询代理115将玩家5呈现的口头查询181输入到系统100A中。在一个实施方案中，查询代理115以相同格式将查询182传递到客户端装置100的客户端游戏协助模块120，而无需任何转换。在另一个实施方案中，客户端装置100还包括ASR引擎141C，以将查询从第一格式转换为第二格式(例如，音频到文本、文本到音频等)，然后以第二格式将查询182传递到客户端游戏协助模块120。

在其他实施方案中，可以通过另一通信路径来呈现查询181。例如，查询可以是文本或视频的形式，并且通过移动装置11或显示器12(例如，通过键盘等)或通过HMD 102的接口来接收。查询181可以直接(例如，从移动装置11)或通过用户界面110传递到客户端装置。在另一个实施方案中，查询181'通过网络150从移动装置11(或另一类型的装置)直接传递到游戏协助服务器140。类似地，响应195'被直接传递回移动装置或任何其他装置。

特定格式(例如，第一或第二文本或音频格式)的查询181通过网络150从客户端游戏协助模块120传递到后端游戏协助服务器100A，该后端游戏协助服务器被配置用于响应于查询向玩家5提供游戏协助。游戏协助服务器140包括ASR引擎141B，其任选地被配置为将查询181从一种格式转换为另一种格式。例如，ASR引擎141B可以将查询从音频转换为文本(例如，使用深度学习引擎执行语音识别)，或者相反。重要的是要注意，转换可以发生在沿着玩家5的查询181所采取的路径的任何点处，包括在游戏协助服务器140处，或者在游戏协助服务器140的下游。在一些实施方案中，因为ASR引擎可能需要大量资源(例如，包括深度学习引擎)，所以ASR引擎可以位于游戏协助服务器140处或执行ASR的另一第三方服务器处。

另外，游戏协助服务器140包括初步情景分析器145，其被配置为至少与查询181相关联地提供游戏情景。包括游戏情景数据(包括低级OS情景数据)和全局情景数据(例如，与用户配置文件相关的信息)的情景数据184被从客户端装置100(例如，部分地由游戏执行引擎111生成)传递到游戏协助服务器140。初步情景分析器145可以确定与查询181相关联的当前情景187(例如，当前游戏情景)。例如，初步情景分析器145可以确定查询181是与第一游戏应用程序相关联地呈现的。可以确定附加的情景，诸如玩家在玩游戏过程中参与了哪个场景或关卡。以这种方式，为查询提供了可能从中匹配或生成响应的一些情景。例如，第一游戏应用程序和第二游戏应用程序通常可以具有相同的障碍(例如，翻越一堵山墙)，而没有附加情景的通用查询(我如何翻越此墙)可能会返回针对错误的游戏应用程序的错误响应。然而，查询连同适当的当前情景187将返回适当的响应。

在一个实施方案中，响应195由包括ASR引擎141A、自然语言处理(NLP)引擎142和机器或深度学习引擎190的第三方人工智能(AI)处理器160生成。特别地，查询181和当前情景187从游戏协助服务器140传递到AI处理器160。如果查询181尚未转换为适合由AI处理器141A处理的适当格式，则启用ASR引擎141A以执行适当的转换(例如，音频/语音到文字等)，诸如使用语音识别技术。在另一个实施方案中，响应195是由游戏协助服务器140生成的，该游戏协助服务器还包括NLP引擎和深度学习引擎。

另外，一旦查询181已经被转换为适当的格式(例如，文本)，则NLP引擎142被配置为解释查询的本质，或者理解玩家5所请求的内容(例如，查询的内容)。例如，NLP引擎可以使用深度学习引擎以文本形式分析查询以确定查询的含义。以这种方式，AI处理器160可以针对给定当前情景187匹配或生成对所解释的查询的合适响应，如下文将描述的。

特别地，基于从玩家5以及玩游戏应用程序的其他玩家收集的情景信息，可以向玩家5呈现预生成的响应195，该响应针对给定当前情景187直接对查询181进行响应。预生成的响应195可以是针对该特定查询181或针对类似查询的经建模响应，如深度学习引擎190所习得的。这样，深度学习引擎190被配置用于将查询181匹配到适当的经建模响应195。特别地，深度学习引擎190被配置为将所解释的查询与响应模型或查询/响应模型进行匹配以便提供对查询的响应。在一个实施方案中，当没有响应(例如，文本、音频、视频等)与查询相匹配时，则可以基于一个或多个最接近的匹配模型来生成新响应。

这样，深度学习引擎190将响应195返回到游戏协助服务器140。响应195可以具有适当的格式。例如，响应195可以具有第一格式，诸如文本。在传递回玩家5期间的某个点，可以将响应195转换为适合于玩家5的格式。在一个实现方式中，在某个点(例如，在AI处理器141A的ASR引擎141A处、在游戏协助服务器140的ASR引擎141B处、在客户端装置100的ASR引擎125处或在本地查询代理115的ASR引擎141C处)将响应195从文本转换为音频。以这种方式，本地查询代理处的扬声器132能够将查询195广播给玩家5。在另一个实现方式中，响应195以文本形式传递回客户端装置100，并传递到与玩家5对接的适当装置上，诸如显示器12、移动装置11、HMD 102等。还支持其他实施方案，诸如经由显示器或通过另一适当装置以视频呈现响应。

图1B示出了根据本公开的一个实施方案的响应于用户在玩游戏应用程序的玩家的玩游戏过程期间由游戏控制器接收到的口头查询而提供游戏协助的系统100B，其中该游戏应用程序可以在本地计算装置上或通过云游戏网络执行。系统100B的功能与图1A的系统100A执行的功能相同，只不过控制器6被配置为本地查询代理。特别地，客户端装置100可以与充当与玩家5的接口的控制器6交互。例如，控制器6包括被配置用于接收和/或记录来自玩家5的音频(例如，以接收查询181)的传声器131'。控制器5可以包括被配置为任选地将查询从第一格式转换为第二格式(例如，音频到文本、文本到音频等)的ASR引擎141C'。另外，控制器6包括被配置为出于玩家5的利益而广播响应195的扬声器132'。

图1C示出了根据本公开的一个实施方案的用于基于游戏应用程序的情景信息和对应查询构建响应模型和/或查询/响应模型的示例神经网络。具体地，例如，AI处理器160中的深度学习或机器学习引擎190被配置为输入，以接收与情景数据、查询和基础响应相关的信息。深度学习引擎190利用人工智能(包括深度学习算法、强化学习或其他基于人工智能的算法)来构建响应模型和/或查询/响应模型。也就是说，在学习和/或建模阶段期间，深度学习引擎190使用输入数据来创建可用于对一个或多个查询进行响应的响应模型和/或查询/响应模型。在一些实施方案中，深度学习引擎190还被配置用于ASR和NLP处理。

特别地，神经网络190表示用于分析数据集以确定对应用户的响应、动作、行为、需要和/或需求的自动化分析工具的示例。不同类型的神经网络190是可能的。在示例中，神经网络190支持深度学习。对应地，可以实现使用监督或无监督训练的深度神经网络、卷积深度神经网络和/或循环神经网络。在另一个示例中，神经网络190包括支持强化学习的深度学习网络。例如，神经网络190被设置为支持强化学习算法的马尔可夫决策过程(MDP)。

通常，神经网络190表示互连节点的网络，诸如人工神经网络。每个节点都从数据中习得一些信息。可以通过互连在节点之间交换知识。向神经网络190的输入激活一组节点。这组节点又激活其他节点，从而传播关于输入的知识。跨其他节点重复此激活过程，直到提供输出为止。

如图所示，神经网络190包括节点的层次。在最低的层次级别，存在输入层191。输入层191包括一组输入节点。例如，在监测正在进行对应扫视的测试用户/对象(例如，眼睛取向数据)期间，这些输入节点中的每一个都映射到通过致动器主动收集或由传感器被动收集的本地数据115。

在最高层次级别，存在输出层193。输出层193包括一组输出节点。输出节点表示与响应的信息(例如，针对给定情景等)有关的决策(例如，预测)。这样，在给定对应情景的情况下，输出节点可以将查询匹配到特定响应。

可以将这些结果与从先前的交互和对测试对象的监测中获得的预定且真实的结果进行比较，以便对深度学习引擎190使用的参数进行细化和/或修改以迭代地确定适当的响应模型和/或查询/响应模型。也就是说，神经网络190中的节点将学习模型的可用于在细化参数时做出此类决策的参数。以这种方式，给定查询可以与不断细化的经建模响应相关联，并且可能关联到新的经建模响应。

特别地，在输入层191与输出层193之间存在隐藏层192。隐藏层192包括“N”个隐藏层，其中“N”是大于或等于1的整数。每个隐藏层又包括一组隐藏节点。输入节点互连到隐藏节点。同样，隐藏节点互连到输出节点，使得输入节点不直接互连到输出节点。如果存在多个隐藏层，则输入节点互连到最低隐藏层的隐藏节点。这些隐藏节点又互连到下一隐藏层的隐藏节点，依此类推。下一最高隐藏层的隐藏节点互连到输出节点。互连连接两个节点。互连具有可以学习的数值权重，使得神经网络190适应于输入并且能够学习。

通常，隐藏层192允许关于输入节点的知识在与输出节点相对应的所有工作之间共享。为此，在一个实现方式中，将变换f通过隐藏层192应用于输入节点。在一个示例中，变换f是非线性的。可获得不同的非线性变换f，包括例如线性整流函数f(x)＝max(0,x)。

神经网络190还使用成本函数c来找到最优解。成本函数测量由神经网络190输出的预测(对于给定输入x，定义为f(x))与地面真值或目标值y(例如，预期结果)之间的偏差。最优解表示一种情况，在这种情况下没有一个解的成本低于最优解的成本。对于可获得此类地面真值标签的数据，成本函数的一个示例是预测与地面真值之间的均方误差。在学习过程期间，神经网络190可以使用反向传播算法来采用不同的优化方法学习使成本函数最小化的模型参数(例如，隐藏层192中节点之间的互连的权重)。这种优化方法的一个示例是随机梯度下降。

在一个示例中，用于神经网络190的训练数据集可以来自同一数据域。例如，对神经网络190进行训练以基于给定的一组输入或输入数据来学习类似查询的模式和/或特性。例如，数据域包括与游戏应用程序中针对给定游戏情景的特定场景相关的查询。在另一个示例中，训练数据集来自不同的数据域，以包括除基线以外的输入数据。这样，神经网络190可以使用其他数据域来识别查询，或者可以被配置为基于那些数据域为给定查询生成响应模型。

图2A示出了根据本公开的一个实施方案的在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统10。例如，可以通过被配置为支持玩游戏过程的用户界面(例如，通过伴侣装置–移动电话–或扬声器、控制器扬声器等)来提供协助。根据本公开的一个实施方案，游戏应用程序可以在本地计算装置上或通过云游戏网络执行。

如图2A所示，游戏应用程序可以在玩家5的客户端装置100处本地执行，或者可以在云游戏网络或游戏云系统的后端游戏服务器205处操作的后端游戏执行引擎211处执行。游戏执行引擎211可以在游戏服务器205的许多游戏处理器201之一内操作。在任一情况下，云游戏网络都被配置为通过提供对查询的响应来向玩家提供游戏协助。例如，游戏服务器205和/或游戏处理器201可以包括被配置用于向玩家5提供游戏协助的游戏协助服务器140，并且可以包括AI处理器160'，如前所述。在一些实施方案中，AI由第三方(例如，图1A至图1B的AI处理器160)执行。

在一个实现方式中，客户端装置100处的用户界面110可以支持游戏协助的提供，使得玩家能够通过用户界面110提出查询，并且与在用户界面110中提供的响应交互(例如，观看、听到、呈现等)。在其他实施方案中，用户界面被提供在不同的装置中，诸如移动装置(例如，电话)或扬声器，如前所述。此外，游戏应用程序可以以单玩家模式或多玩家模式执行，其中本发明的实施方案为两种操作模式提供了多玩家增强(例如，协助、通信等)。

在一些实施方案中，云游戏网络可以包括在主机的管理程序上运行的多个虚拟机(VM)，其中一个或多个虚拟机被配置为利用支持单玩家或多玩家视频游戏的主机的管理程序可用的硬件资源来执行游戏处理器模块201。在其他实施方案中，云游戏网络被配置为支持支持多个用户的多个本地计算装置，其中每个本地计算装置可以诸如在单玩家或多玩家视频游戏中执行视频游戏的实例。例如，在多玩家模式下，当视频游戏在本地执行时，云游戏网络同时接收来自每个本地计算装置的信息(例如，游戏状态数据)，并对应地将该信息分布在本地计算装置中的一个或多个中，使得每个用户都能够在多玩家视频游戏的游戏环境中与其他用户进行交互(例如，通过视频游戏中的对应角色)。以这种方式，云游戏网络协调并组合多玩家游戏环境内的每个用户的玩游戏过程。

如图所示，系统10包括执行游戏处理器模块201的游戏服务器205，该游戏处理器模块提供对多个交互式游戏应用程序的访问。游戏服务器205可以是云中可用的任何类型的服务器计算装置，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机，如前所述。例如，游戏服务器205可以管理支持游戏处理器201的虚拟机。游戏服务器205还被配置为向用户5提供附加服务和/或内容。例如，游戏服务器205可配置为向正在玩对应游戏应用程序或当前不在玩但对与游戏应用程序相关的信息感兴趣的玩家5提供游戏协助。协助可以呈对查询的响应的形式。在一些实施方案中，如果没有响应匹配到给定查询，则游戏服务器可配置为通过通信会话将玩游戏应用程序的玩家连接到专家以提供实时协助，其中游戏服务器被配置为接收对协助的请求，将玩家与适当的专家进行匹配，并在玩家的玩游戏过程期间(诸如通过帮助会话控制器220)建立将玩家实时连接到专家的帮助会话。

客户端装置100被配置用于请求通过网络150(诸如，互联网)访问游戏应用程序，并且用于渲染由游戏服务器205执行并传递到与用户5相关联的显示装置12和/或头戴式显示器(HMD)102的视频游戏或游戏应用程序的实例。例如，用户5可能正在通过客户端装置100与在游戏处理器201上执行的游戏应用程序的实例进行交互。客户端装置100还可以包括被配置用于游戏应用程序的本地执行的游戏执行引擎111，如前所述。客户端装置100可以接收来自各种类型的输入装置(诸如游戏控制器6、平板计算机11、键盘)的输入和由摄像机、鼠标、触摸板等捕获的示意动作。客户端装置100可以是至少具有存储器和处理器模块的任何类型的计算装置，该处理器模块能够通过网络150连接到游戏服务器205。客户端装置100的一些示例包括个人计算机(PC)、游戏控制台、家庭影院装置、通用计算机、移动计算装置、平板计算机、电话或可以与游戏服务器205交互以执行视频游戏的实例的任何其他类型的计算装置。在实施方案中，HMD 102可以被配置为执行客户端装置100的功能。

客户端装置100被配置用于接收渲染的图像，并且用于在显示器12和/或HMD 102上显示渲染的图像。例如，通过网络150，渲染的图像可以由与用户5相关联地在游戏服务器205的游戏执行引擎211上执行的游戏应用程序的实例来传递。在另一个示例中，通过本地游戏处理，渲染的图像可以由本地游戏执行引擎111传递。在任一情况下，客户端装置100被配置为诸如通过用于驱动玩游戏过程的输入命令，与用户5的玩游戏过程相关联地与执行引擎211或111交互。

此外，客户端装置100被配置为与游戏服务器205交互以捕获并存储在玩游戏应用程序时用户5的玩游戏过程的一个或多个游戏情景(例如，低级OS情景)以及全局情景信息。每个游戏情景包括与玩游戏过程相关的信息(例如游戏状态、用户信息等)，并且可以包括与硬件操作相关的低级OS信息(例如，被致动的按钮、致动速度、玩游戏过程的时间等)。更具体地，游戏服务器205的游戏处理器201被配置为生成和/或接收在玩游戏应用程序时用户5的玩游戏过程的游戏和/或OS级别情景。另外，还收集全局情景数据，并且全局情景数据通常与用户配置文件数据相关(例如，玩家玩游戏应用程序的时长、玩家最后一次玩游戏应用程序的时间、玩家请求协助的频率、玩家与其他玩家相比技术如何等)。在另一个实现方式中，包括OS级别情景和全局情景的游戏情景可以由客户端装置100上的本地游戏执行引擎111生成，并通过网络150输出并传递到游戏处理器201。另外，包括OS级别情景和全局情景的游戏情景可以在云网络处由游戏处理器201内的游戏执行引擎211生成，诸如通过游戏情景生成器222。包括OS级别情景和全局情景的游戏情景可以在本地存储在客户端装置100上和/或存储在游戏服务器205的情景配置文件数据库242处。

特别地，每个游戏情景都包括元数据和/或与玩游戏过程相关的信息。可以在玩游戏应用程序的进程中的各个点处(诸如在关卡中间)捕获游戏情景。为了说明，游戏情景可以帮助确定玩家(例如，玩家的角色)曾经在游戏应用程序内的位置、玩家在游戏应用程序中的位置、玩家曾做了什么、玩家或角色已积累哪些资产和技能、向玩家呈现了哪些任务或工作、以及玩家在游戏应用程序内的去向。此外，每个游戏情景中的元数据和信息可以提供和/或被分析以提供与玩家的玩游戏过程相关的支持(诸如在将查询与响应进行匹配时)，其中玩游戏过程具有与查询相关的特定情景，并且匹配的响应最适合回答查询，如通过深度学习确定的。具体地，基于游戏情景，客户端装置100被配置为与游戏服务器205交互以显示用户界面，该用户界面能够显示与查询相关联的响应以在玩家的玩游戏过程期间或独立于任何玩游戏过程而提供游戏协助。在一些实施方案中，通过单独的装置(例如，扬声器)提供响应。

更具体地，游戏情景还包括定义该点处的游戏状态的游戏状态数据。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形叠加、角色在玩家5的玩游戏过程的游戏世界内的位置、玩游戏过程的场景或游戏环境、游戏应用程序的关卡、角色的资产(例如，武器、工具、炸弹等)、角色的类型或种族(例如，巫师、士兵等)、呈现给玩家的当前任务和/或工作、装备、角色的技能集、游戏关卡、角色属性、角色位置、剩余生命数、可用的可能生命总数、盔甲、奖杯、时间计数器值以及其他资产信息等。以这种方式，游戏状态数据允许生成存在于视频游戏中的对应点处的游戏环境。游戏状态数据还可以包括用于渲染玩游戏过程的每个装置的状态，诸如CPU的状态、GPU的状态、存储器的状态、寄存器值、程序计数器值、可编程DMA状态、DMA的缓冲数据、音频芯片状态、CD-ROM状态等。游戏状态数据可以包括低级OS数据，诸如被致动的按钮、致动速度、玩了哪个游戏应用程序以及其他硬件相关数据。游戏状态数据存储在游戏状态数据库245中。

此外，游戏情景可以包括与玩家相关的用户和/或玩家信息。通常，用户/玩家保存的数据包括针对对应玩家使视频游戏个性化的信息。这包括与玩家角色相关联的信息，使得用该玩家可能特有的角色(例如，体型、种族、外观、服装、武器等)渲染视频游戏。这样，用户/玩家保存的数据使得能够生成用于对应玩家的玩游戏过程的角色，其中角色具有对应于与游戏情景相关联的游戏应用程序中的点的状态。

在一个实现方式中，游戏情景与快照信息相关，该快照信息提供使得能够从与对应快照相关联的视频游戏中的点开始执行视频游戏的实例的信息。对在玩家的玩游戏过程期间捕获并存储的特定快照的访问允许使用快照中的信息(诸如游戏状态以及可能与先前描述的游戏情景相关的用户信息)执行游戏应用程序的另一实例。例如，另一用户能够跳入与快照相关联的玩游戏过程的并行版本。在名为“Method And System For Saving ASnapshot of Game Play And Used To Begin Later Execution Of The Game Play ByAny User As Executed On A Game Cloud System”的美国申请序列号15/411,421内提供了关于快照的创建和使用的完整讨论，其全部内容通过引用合并于此。

在一个实施方案中，快照包括在该点处渲染的场景的快照图像。快照图像存储在快照图像数据库246中。可以相对于时间线以缩略图的形式来呈现快照图像，其中快照提供了在用户通过如时间线所示的视频游戏的进程中的对应点处用户的玩游戏过程的各种视图。快照生成器212可以被配置为在玩游戏过程期间生成快照。

在又其他实施方案中，情景数据包括全局情景数据。例如，全局情景数据可以包括玩家的技能或能力、玩家寻求帮助的总体准备程度、玩家玩游戏应用程序的近期性、用户5在玩游戏时选择的游戏难度等。例如，用户/玩家保存的数据还可以包括标识玩家5的用户配置文件数据。用户/玩家保存的数据存储在数据库241或玩家配置文件数据库243中。

另外，可以生成包括与对应玩家相关的信息的玩家配置文件，并将其存储在配置文件数据库243中。配置文件信息可以包括姓名、年龄、住所、帐户信息、来自游戏情景的用户相关信息(例如，存储在数据库241中的用户保存的数据)等。玩家/专家游戏配置文件生成器221被配置为创建和管理玩家配置文件。

如之前所介绍的，游戏处理器201可以包括被配置用于向玩家提供游戏协助的游戏协助服务器140。特别地，游戏协助服务器140接收查询，任选地将查询转换为适当的格式，并将查询发送到AI引擎(例如，包括ASR引擎、NLP引擎和深度学习引擎)以将查询匹配到适当的经建模响应。例如，当玩家请求帮助越过障碍(例如，翻越墙壁)时，游戏协助服务器140在其系统内(例如，通过本地AI处理器160'在本地)处理查询，或者将查询发送到第三方AI处理器160进行处理，如前所述。一旦经建模响应被匹配，该响应就被返回给客户端装置100以进一步分配给例如显示器或扬声器等。在一些实施方案中，游戏协助可以被传递给装置11(例如，平板计算机)以进行显示和交互，其中装置11可以与被配置为执行和/或支持执行游戏应用程序以与用户5交互的客户端装置100(伴侣装置)分开。例如，可以在游戏服务器205与客户端装置100之间建立第一通信信道，并且可以在游戏服务器205与装置11之间建立单独的第二通信信道以传递游戏协助。经建模响应和/或经建模查询/响应可以存储在数据库247中，因为它们是通过深度学习生成的。

图2B示出了系统206B，该系统在使用后端服务器处的游戏协助服务器140玩游戏应用程序的玩家的玩游戏过程期间或玩游戏过程之外提供对玩家的游戏协助，该后端服务器被配置用于将玩家的查询(例如文本、音频、视频等)匹配到适当的响应(例如文本、音频、视频等)。如图2B所示，游戏应用程序在对应玩家本地执行，并且其中后端服务器支持(例如，可通过游戏服务器205访问)可以实现帮助会话的建立和管理。在一个实施方案中，系统206B与图2A的系统10协同工作，以通过在游戏云系统210处提供对查询的响应来向玩家提供游戏协助，如前所述。现在参考附图，相同的附图标记表示相同或对应的部分。

如图2B所示，多个玩家215(例如，玩家5A、玩家5B、…、玩家5N)正在玩多个游戏应用程序，其中每个游戏应用程序在对应用户的对应客户端装置100(例如，游戏控制台)上本地执行。系统206B支持多个玩家215在一个或多个时刻(诸如在一段时间内)的玩游戏过程。另外，多个玩家215中的每一者都可以访问装置11或先前介绍的其他装置(例如，扬声器)，该装置被配置为接收提供游戏协助的信息，如前所述。每个客户端装置100可以被类似地配置为执行对应游戏应用程序的本地执行。例如，玩家5A可能正在对应客户端装置100上玩第一游戏应用程序，其中第一游戏应用程序的实例由对应游戏标题执行引擎111执行。实现第一游戏应用程序的游戏逻辑126A(例如，可执行代码)存储在对应客户端装置100上，并且用于执行第一游戏应用程序。为了说明的目的，可以通过便携式介质(例如，闪存驱动器、光盘等)或通过网络(例如，通过互联网150从游戏提供商下载)将游戏逻辑传递到对应客户端装置100。另外，玩家5B正在对应客户端装置100上玩第二游戏应用程序，其中第二游戏应用程序的实例由对应游戏标题执行引擎111执行。第二游戏应用程序可以与为玩家5A执行的第一游戏应用程序相同或者是不同的游戏应用程序。如前所述，实现第二游戏应用程序的游戏逻辑126B(例如，可执行代码)存储在对应客户端装置100上，并且用于执行第二游戏应用程序。此外，玩家115N正在对应客户端装置100上玩第N个游戏应用程序，其中第N个游戏应用程序的实例由对应游戏标题执行引擎111执行。第N个游戏应用程序可以与第一或第二游戏应用程序相同，或者可以是完全不同的游戏应用程序。如前所述，实现第三游戏应用程序的游戏逻辑126N(例如，可执行代码)存储在对应客户端装置100上，并且用于执行第N个游戏应用程序。

如前所述，每个客户端装置100可以接收来自各种类型的输入装置(诸如游戏控制器、平板计算机、键盘)的输入和由摄像机、鼠标、触摸板等捕获的示意动作。客户端装置100可以是至少具有存储器和处理器模块的任何类型的计算装置，该处理器模块能够通过网络150连接到游戏服务器205。而且，对应玩家的客户端装置100被配置用于生成由在本地或远程执行的游戏标题执行引擎111执行的渲染图像，并且用于在显示器上显示渲染图像。例如，渲染图像可以与在玩家5A的客户端装置100上执行的第一游戏应用程序的实例相关联。例如，对应客户端装置100被配置为与在本地或远程执行的对应游戏应用程序的实例交互，以诸如通过用于驱动玩游戏过程的输入命令来实现对应玩家的玩游戏过程。

在一个实施方案中，客户端装置100针对正在玩游戏应用程序的对应玩家以单玩家模式操作。

在另一个实施方案中，针对每个玩特定游戏应用程序的对应玩家，多个客户端装置100以多玩家模式操作。在那种情况下，经由游戏服务器的后端服务器支持可以诸如通过多玩家处理引擎119来提供多玩家功能。特别地，多玩家处理引擎119被配置用于控制针对特定游戏应用程序的多玩家游戏会话。例如，多玩家处理引擎130与多玩家会话控制器116通信，该多玩家会话控制器被配置为建立和维护与参与多玩家游戏会话的每个用户和/或玩家的通信会话。以这种方式，会话中的玩家可以在多玩家会话控制器116的控制下彼此通信。

此外，多玩家处理引擎119与多玩家逻辑118通信，以便使得能够在每个用户的对应游戏环境内在用户之间进行交互。特别地，状态共享模块117被配置为管理多玩家游戏会话中的每个用户的状态。例如，状态数据可以包括游戏状态数据，该游戏状态数据为特定点处的对应用户定义了(游戏应用程序的)玩游戏过程的状态。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形叠加等。以这种方式，游戏状态数据允许生成存在于游戏应用程序中的对应点处的游戏环境。游戏状态数据还可以包括用于渲染玩游戏过程的每个装置的状态，诸如CPU的状态、GPU的状态、存储器的状态、寄存器值、程序计数器值、可编程DMA状态、DMA的缓冲数据、音频芯片状态、CD-ROM状态等。游戏状态数据也可以从该点识别需要加载可执行代码的哪些部分才能执行视频游戏。游戏状态数据可以存储在图2A的数据库240中，并且可由状态共享模块117访问。

此外，状态数据可以包括用户保存的数据，该数据包括针对对应玩家使视频游戏个性化的信息。这包括与用户所玩角色相关联的信息，以便用该用户可能特有的角色(例如，位置、体型、外观、服装、武器等)渲染视频游戏。以这种方式，用户保存的数据使得能够生成用于对应用户的玩游戏过程的角色，其中该角色具有对应于对应用户当前所体验的游戏应用程序中的点的状态。例如，用户保存的数据可以包括对应用户在玩游戏时选择的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、可用的可能生命总数、盔甲、奖杯、时间计数器值等。例如，用户保存的数据还可以包括标识对应玩家的用户配置文件数据。用户保存的数据可以存储在数据库240中。

以这种方式，使用状态共享数据117和多玩家逻辑118的多玩家处理引擎119能够将对象和角色叠加/插入到参与多玩家游戏会话的用户的每个游戏环境中。例如，第一用户的角色被叠加/插入到第二用户的游戏环境中。这允许在多玩家游戏会话中的用户之间经由他们各自的游戏环境(例如，如屏幕上显示的)中的每一个进行交互。

根据本公开的一个实施方案，经由游戏服务器205的后端服务器支持可以提供支持对应玩家的玩游戏过程的协助，诸如提供与玩家的查询匹配的响应，如将在下面描述的。例如，游戏协助服务器140被配置为与游戏服务器205合作提供游戏协助。特别地，如前所述，游戏协助服务器140与AI处理器160协同工作，以使用深度学习引擎将查询与响应进行匹配。例如，AI处理器160包括：ASR引擎141A，其被配置用于任选地将查询转换为适合使用的格式；以及NLP引擎，其被配置用于解释查询。另外，深度学习引擎190被配置为将查询与先前通过深度学习引擎习得的经建模响应进行匹配。

图2C示出了根据本公开的一个实施方案的在玩云游戏网络上执行的游戏应用程序的玩家的玩游戏过程期间提供游戏协助的系统206C。如图所示，根据本公开的一个实施方案，系统106C向玩云游戏网络上执行的游戏应用程序的多个玩家215(例如，玩家5L、5M、…、5Z)提供游戏控制。在一些实施方案中，云游戏网络可以是游戏云系统210，其包括在主机的管理程序上运行的多个虚拟机(VM)，其中一个或多个虚拟机被配置为利用主机的管理程序可用的硬件资源来执行游戏处理器模块。在一个实施方案中，系统206C与图2A的系统10协同工作以提供与查询相关联的游戏协助。现在参考附图，相同的附图标记表示相同或对应的部分。

如图所示，游戏云系统210包括提供对多个交互式视频游戏或游戏应用程序的访问的游戏服务器205。游戏服务器205可以是云中可用的任何类型的服务器计算装置，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机。例如，游戏服务器205可以管理虚拟机，该虚拟机支持使用户的游戏应用程序的实例实例化的游戏处理器。这样，与多个虚拟机相关联的游戏服务器205的多个游戏处理器被配置为执行与多个用户215的玩游戏过程相关联的游戏应用程序的多个实例。以这种方式，后端服务器支持将多个游戏应用程序的玩游戏过程的媒体流(例如，视频、音频等)提供到多个对应用户。

多个玩家215经由网络150访问游戏云系统210，其中玩家(例如，玩家5L、5M、…、5Z)经由对应客户端装置100'访问网络150，其中客户端装置100'可以被类似地配置为图1A至图1B和图2A至图2B的客户端装置100(例如，包括游戏执行引擎111等)，或者可以被配置为提供与提供计算功能的后端服务器的接口的瘦客户端(例如，包括游戏执行引擎211)。另外，多个玩家215中的每一个都可以访问装置11或先前介绍的任何其他装置(例如，扬声器)，该装置被配置为呈现游戏协助(例如，响应)以回答一个或多个查询，如前所述。特别地，对应玩家5L的客户端装置100'被配置用于请求通过网络150(诸如，互联网)访问游戏应用程序，并且用于渲染由游戏服务器205执行并传递到与对应玩家5L相关联的显示装置的游戏应用程序(例如，视频游戏)的实例。例如，玩家5L可能正在通过客户端装置100'与在游戏服务器205的游戏处理器上执行的游戏应用程序的实例进行交互。更具体地，游戏应用程序的实例由游戏标题执行引擎211执行。如前所述，实现游戏应用程序的游戏逻辑(例如，可执行代码)被存储并且可通过数据存储区140访问，并且用于执行游戏应用程序。如图所示，游戏标题处理引擎211能够使用多个游戏逻辑177来支持多个游戏应用程序。

如前所述，客户端装置100’可以接收来自各种类型的输入装置(诸如游戏控制器、平板计算机、键盘)的输入和由摄像机、鼠标、触摸板等捕获的示意动作。客户端装置100’可以是至少具有存储器和处理器模块的任何类型的计算装置，该处理器模块能够通过网络150连接到游戏服务器205。而且，对应玩家的客户端装置100’被配置用于生成由在本地或远程执行的游戏标题执行引擎211执行的渲染图像，并且用于在显示器上显示渲染图像。例如，渲染图像可以与在玩家5L的客户端装置100'上执行的第一游戏应用程序的实例相关联。例如，对应客户端装置100'被配置为与在本地或远程执行的对应游戏应用程序的实例交互，以诸如通过用于驱动玩游戏过程的输入命令来实现对应玩家的玩游戏过程。

在另一个实施方案中，先前描述的多玩家处理引擎119提供用于控制游戏应用程序的多玩家游戏会话。特别地，当多玩家处理引擎119正在管理多玩家游戏会话时，多玩家会话控制器116被配置为建立和维护与多玩家会话中的每个用户和/或玩家的通信会话。以这种方式，会话中的玩家可以在多玩家会话控制器116的控制下彼此通信。

此外，多玩家处理引擎119与多玩家逻辑118通信，以便使得能够在每个玩家的对应游戏环境内的玩家之间进行交互。特别地，状态共享模块117被配置为管理多玩家游戏会话中的每个玩家的状态。例如，状态数据可以包括游戏状态数据，该游戏状态数据定义了对应玩家115A的(游戏应用程序的)玩游戏过程在特定点处的状态，如前所述。此外，状态数据可以包括用户/玩家保存的数据，该数据包括针对对应玩家使视频游戏个性化的信息，如前所述。例如，状态数据包括与用户角色相关联的信息，使得用该用户可能特有的角色(例如，体型、外观、服装、武器等)渲染视频游戏。以这种方式，使用状态共享数据117和多玩家逻辑118的多玩家处理引擎119能够将对象和角色叠加/插入到参与多玩家游戏会话的用户的每个游戏环境中。这允许在多玩家游戏会话中的用户之间经由他们各自的游戏环境(例如，如屏幕上显示的)中的每一个进行交互。

另外，根据本公开的一个实施方案，经由游戏服务器205的后端服务器支持可以提供支持对应玩家的玩游戏过程的协助，诸如提供对玩家的查询的匹配响应，如将在下面描述的。例如，游戏协助服务器140被配置为与游戏服务器205合作提供游戏协助。特别地，如前所述，游戏协助服务器140与AI处理器160协同工作，以使用深度学习引擎将查询与响应进行匹配。例如，AI处理器160包括：ASR引擎141A，其被配置用于任选地将查询转换为适合使用的格式；以及NLP引擎，其被配置用于解释查询。另外，深度学习引擎190被配置为将查询与先前通过深度学习引擎习得的经建模响应进行匹配。

图3A示出了根据本公开的一个实施方案的数据流程图，该数据流程图示出了在用户与在玩游戏应用程序的玩家的玩游戏过程期间提供游戏协助的后端服务器之间的数据流，其中游戏应用程序可以在本地计算装置上或在云游戏网络上执行。

如图所示，从多个玩家的玩游戏过程中收集的情景信息305可以用于提供对查询的新生成或匹配的响应。如前所述，收集的情景信息305可以包括游戏情景数据315和全局情景数据310。情景信息305与查询182一起被传递到游戏协助服务器140。

游戏情景数据315可以包括与玩游戏过程相关的元数据和/或信息，诸如定义游戏状态的游戏状态数据、与玩家相关的用户/玩家信息以及系统级别数据(例如，OS数据)，如前所述。例如，游戏状态数据包括允许生成存在于视频游戏或游戏应用程序中的对应点处的游戏环境的信息(例如，游戏对象、对象属性、图形叠加、游戏角色、场景/游戏环境、游戏路径信息、比率信息(击杀与死亡的比率和其他因素)、角色位置信息、准确性、完成工作的速率或速度等)。另外，游戏情景数据可以包括用户/玩家信息，该信息包括针对对应玩家使视频游戏个性化的信息(例如，用于用户定制的角色资产：体型、种族、外观服装、武器等)。游戏情景数据可以包括系统级别数据(例如，OS数据)，诸如控制器输入数据、控制器输入致动的速度、游戏输入被致动的次数、用户引起的控制器的运动、游戏控制台被使用的次数以及使用目的(游戏、互联网、流式传输等)、其他与游戏无关的动作等。全局情景数据310可以包括用户的用户配置文件数据，诸如玩家的整体游戏技能、游戏控制器技能和处理特性、用户玩游戏的频率、用户启动和使用控制台进行游戏和/或游戏控制台提供的其他特征的频率、玩视频游戏的日期和时间、对应玩游戏过程的持续时间等。

情景数据305被收集在数据库340B中，AI引擎160可访问该数据库，以用于生成经建模响应并用于将查询匹配到对应响应。如图所示，数据库340B包括针对每个用户/玩家的用户数据和统计数据。例如，数据库305B包括与游戏1、…、N中每个游戏的用户1相关的信息。数据库205B还包括与其他用户相关的信息。此外，数据库205A包括针对游戏应用程序1、…、N中每个游戏应用程序的经建模响应。

基于从请求协助的玩家以及玩同一游戏应用程序的其他玩家收集的情景信息(例如，游戏和全局情景数据)的历史317，可以诸如通过深度学习过程生成经建模响应，以回答与游戏应用程序或与其他一般游戏问题相关的一个或多个查询。特别地，每个游戏应用程序都有自己的一组经建模响应。以这种方式，在给定当前情景数据305A的情况下，可以将通用查询(我如何翻越山墙)与适当响应进行匹配。例如，现在可以将查询匹配到针对对应游戏应用程序的响应，而不是匹配到针对另一个同样在山中具有充当障碍物的一堵墙的游戏应用程序的响应。

此后，当玩家提出查询182时，针对给定当前情景数据305A，可以向发出请求的玩家呈现预生成的或经建模的响应319。在一个实施方案中，在为查询服务的同时暂停玩游戏过程，如暂停识别框320所示。数据收集器被配置为收集当前情景数据305A和查询182(例如，我如何翻越山墙)，并将其传递到游戏协助服务器140。

另外，可以向请求帮助的玩家呈现直接回答帮助请求的新建模的响应(文本、音频、视频等)。例如，请求或查询可以由用户以第一格式(例如，文本、音频、视频等)提出，并且被翻译成提供帮助的服务器理解的格式。在一个实现方式中，查询以音频格式提出并且被翻译成游戏协助服务器可以理解的文本格式(例如，使用语音识别技术)。然后解释重新格式化的请求/查询以理解查询的本质(例如，帮助查询的内容)。

AI引擎160所应用的人工智能(AI)可以用于将经解释的查询和当前情景数据305A与预生成的内容(记录的帮助会话、文本回答、音频回答，视频回答等)进行匹配。AI引擎160包括用于将查询与响应模型和/或查询/响应模型进行匹配以便提供对查询的响应的机器学习或深度学习引擎190。在一个实施方案中，以诸如文本、音频、视频等特定格式来提供经建模响应。此外，在其他实施方案中，预生成的或经建模的响应可以是另一用户与专家之间所记录的帮助会话(例如，音频和视频记录)，其中专家为请求中提供的相同或相关帮助查询提供协助。预生成的响应可以是针对相同或相关帮助查询先前生成的为另一用户提供协助的预生成的响应(例如，文本、音频、视频等)。当没有预生成的响应可用时，可以部分地基于一个或多个最接近的匹配模型，使用AI来生成对查询的新建模的响应(例如，文本回答、音频回答、视频回答等)。

此外，当没有预生成的响应或新生成的响应可用时，本公开的实施方案向请求帮助的用户/玩家提供实时协助(例如，与专家的实时帮助会话)。

图3B示出了根据本公开的一个实施方案的玩游戏应用程序的玩家的玩游戏过程以及包括游戏情景数据和全局情景数据的情景数据的周期性收集。如前所述，情景数据用于提供如通过后端游戏协助服务器实现的对玩家在玩游戏过程期间提出的一个或多个查询的响应。

特别地，在时间线350中示出了玩家的当前会话，该时间线通过游戏应用程序指示玩游戏过程进度。时间线350包括会话的起点301和会话的终点302。在会话期间，玩家的角色执行各种动作和工作。

此外，如时间线350所示，在整个会话中收集情景数据。在一个实施方案中，周期性地和/或在玩游戏过程期间的重要时刻收集情景数据。例如，在时间线350期间的各个点处收集全局情景数据310A至310N，其中全局情景数据可以包括用户的用户配置文件数据以及与用户相关联的其他度量数据，如前所述。另外，在时间线350期间的各个点处收集游戏情景数据315A至315N，其中游戏情景数据可包括与玩游戏过程相关的元数据和/或信息，诸如定义游戏状态的游戏状态数据、与玩家相关的用户/玩家信息以及系统级别数据(例如，OS数据)，如前所述。

如图3B所示，玩家在玩游戏过程期间经历了循环回路370，其中玩家无法前进经过游戏应用程序中的特定点或障碍(例如，打败小头目或头目等)。例如，在屏幕截图360中，玩家无法在第3关末尾打败头目，其中屏幕截图360可能示出了由SONY互动娱乐发行的游戏应用程序《战神》(God of War)中Kratos与巨型头目之间的互动。在《战神》游戏应用程序中，Kratos是希腊神话的斯巴达战士，他的任务是杀死战神Ares。在多次尝试之后，玩家可以发出“我如何打败头目”的查询374，然后将其传递回后端游戏协助服务器，如前所述。连同查询374一起，还传递了可适用的情景数据，使得至少通过深度学习引擎的应用，至少将游戏情景提供给游戏协助服务器，以用于将查询374匹配到适当响应375。

例如，响应375可以指示打败头目的关键是执行“锤击序列”。另外，为了帮助玩家理解该序列，响应375可以包括控制器输入的序列(例如，右按钮、左按钮、A按钮、A按钮、O按钮、X按钮等)。可以通过诸如音频、文本、视频等的一种或多种格式来提供响应。在一个实现方式中，可以通过视觉上示出如何执行锤击序列的教学视频来提供控制器输入的序列。另外，可以呈现虚影手，示出虚影手如何与序列中的每个按钮或致动器交互。

在玩家遵循响应375中提供的指令和/或提示并打败头目之后，使玩家从回路370中解放出来，并且能够推进玩游戏过程的进度，如玩游戏过程时间线350的尾部371所示。例如，在第3关末尾打败头目之后，玩家能够前进到第4关。

通过对通过网络进行通信的游戏协助服务器和客户端装置的各个模块的详细描述，根据本公开的一个实施方案，现在结合图3C的流程图300C描述用于提供支持对应玩家的玩游戏过程的游戏协助的方法，其中游戏应用程序可以在本地计算装置上或在云游戏网络上执行。流程图300C示出了在游戏协助服务器侧所涉及的操作的过程和数据流，以用于通过深度学习引擎将查询与响应进行匹配。该响应可以被传输到玩家的可以与显示玩游戏应用程序的玩家的玩游戏过程的另一装置分开的装置，或者可以被传输到显示玩游戏过程的装置。特别地，流程图300C的方法可以至少部分地由图1A至图1B和图2A至图2C的游戏协助服务器140执行。

在380处，该方法包括通过网络在后端服务器处接收与游戏应用程序的玩家的多个玩游戏过程相关的信息。该信息可以包括情景数据，诸如全局情景数据和游戏情景数据，如前所述。

例如，全局情景数据可以包括用户的用户配置文件数据以及与用户相关联的其他度量数据。作为说明，全局情景数据可以包括玩家配置文件数据；玩家的玩法；玩家的技能水平；玩家当前是否正在玩游戏应用程序；玩家是否在线；游戏应用程序的标题；正在与玩家一起玩的合作玩家；输入控制器致动的频率；玩家的朋友等。

另外，游戏情景数据可以包括与玩游戏过程相关的元数据和/或信息，诸如定义游戏状态的游戏状态数据、与玩家相关的用户/玩家信息以及系统级别数据(例如，OS数据)。例如，游戏状态信息可以定义对应点处的玩游戏过程的状态，以包括角色信息(例如，类型、种族等)、游戏应用程序、角色所处的位置、正在玩的关卡、角色的资产、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形叠加、角色资产(例如，服装、武器等)、装备、角色的技能集、角色在游戏环境/世界中的地理位置、呈现给玩游戏过程中第一角色的当前任务和/或工作；玩游戏过程中第一角色的下一任务、装备、角色的技能集、游戏环境中玩游戏过程的位置等。此外，游戏情景数据可以包括OS级别数据，其中OS级别数据可以包括游戏输入；控制器输入；控制器输入的时间戳等。游戏状态数据可以包括用户/玩家信息，该信息可以包括针对对应玩家使视频游戏个性化的信息，诸如玩家的技能或能力、玩家寻求帮助的总体准备程度、玩家玩游戏应用程序的近期性、用户5在玩游戏时选择的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、可用的可能生命总数、盔甲、奖杯、时间计数器值以及其他资产信息等。通常，游戏状态数据允许生成存在于玩游戏过程中的对应点处的游戏环境。

在382处，该方法包括从玩游戏应用程序的玩家接收查询，其中该查询与玩家的玩游戏过程相关。例如，查询可以请求通知玩家如何解决障碍的信息、关于玩家遇到的游戏环境的一般信息、关于游戏角色的信息、关于玩游戏应用程序的朋友的信息、关于游戏应用程序的信息、玩家相对于其他玩家的表现如何等。

在一些实施方案中，查询被转换为适合于处理的格式。例如，查询从第一格式转换为第二格式。在一个实施方案中，查询以音频、文本、视频格式中的一种来呈现，但也支持其他格式。在一个实现方式中，第一格式是音频，而第二格式是文本，使得查询可以由玩家通过以音频格式传输的传声器系统(例如，独立收发器)来呈现。以这种方式，可以诸如使用NPL引擎解释文本格式的查询以确定查询的内容，如前所述。

在384处，该方法包括确定玩游戏过程的当前游戏情景。情景数据在玩游戏过程期间被不断收集，并且包括全局情景数据和游戏情景数据。可以从情景数据中确定当前游戏情景，并将其用于将查询匹配到适当的响应。特别地，在386处，该方法包括基于与多个玩游戏过程相关的信息来生成对查询和当前游戏情景的响应。例如，当前游戏情景包括游戏应用程序的标题、玩家遇到的当前场景或游戏环境等。以这种方式，可以为通用查询(例如，如何杀死头目)赋予游戏情景以更好地了解查询的内容以及如何最好地响应该查询。作为说明，该查询可能是无法回答的，但是在具有特定游戏应用程序的情景和关卡、以及该关卡的头目的情况下，可以将指示头目弱点的适当响应返回给玩家。

在一个实施方案中，将经解释的查询和游戏应用程序的当前游戏情景作为输入提供给深度学习引擎，该深度学习引擎被配置为将经解释的查询和当前游戏情景与响应进行匹配。先前已对深度学习引擎进行了查询和响应方面的训练，以便生成多个经建模响应和/或查询/响应，其中匹配的响应是游戏应用程序的经建模响应之一。在一个实施方案中，深度学习引擎是第三方AI引擎的一部分。这样，将查询和当前游戏情景传递到第三方AI引擎，该第三方AI引擎可以被配置用于任选地解释查询并将经解释的查询和当前游戏情景与响应进行匹配。

在388处，该方法包括将响应发送到玩家的装置。在一个实施方案中，该装置可以包括与呈现玩游戏过程的显示器分开的伴侣移动装置。例如，伴侣装置可以是移动电话，其可以用于接收查询并将查询传递到后端游戏协助服务器，以及接收响应并将响应呈现给玩家。同样，伴侣装置可以是独立扬声器。例如，伴侣装置可以包括音频、文本和/或视频呈现。在另一个实施方案中，该装置可以是同时显示响应和玩游戏过程的显示器。

在一个实施方案中，当没有可用于匹配的响应时，游戏协助服务器可以找到能够向玩家提供实时(例如，实况)帮助的专家。特别地，可以将当前游戏情景与被分类为专家的其他玩家的游戏情景进行匹配。可以基于情景(例如，全局和/或游戏情景)将最近以类似方式(例如，使用相同的武器杀死查询的头目)玩过游戏应用程序的专家与查询的当前游戏情景进行匹配。例如，可以将(请求帮助的)玩家的当前游戏情景与多个历史专家游戏情景进行比较，以查看专家与玩家的匹配程度。在一个实施方案中，可以通过深度学习引擎来完成匹配。也就是说，该比较确定每个专家的玩游戏过程与第一玩家的玩游戏过程的匹配程度。可以基于各种因素来选择专家，包括最高匹配评级、可用性、专家对所需帮助的广播通知做出响应的敏捷性等。如果玩家同意，则专家经由玩家和专家的装置之间的通信会话连接到玩家，以便专家为玩家提供协助。

图3D是根据本公开的一个实施方案的示出用于通过通信会话将玩家连接到专家来在玩游戏应用程序的玩家的玩游戏过程期间提供实时协助的方法中的步骤的流程图。可以将帮助会话传输到玩家的装置，该装置可以与显示玩游戏应用程序的玩家的玩游戏过程的另一装置分开。

在一些实施方案中，在响应于来自用户的求助而将用户与专家进行匹配之前，从多个玩家和/或专家的玩游戏过程中收集的情景信息可用于提供新生成或重新生成的响应。所收集的情景数据可以包括与玩游戏过程相关的元数据和/或信息，诸如定义游戏状态的游戏状态数据、与玩家相关的用户/玩家信息以及系统级别数据(例如，OS数据)，如前所述。例如，游戏状态数据包括允许生成存在于视频游戏或游戏应用程序中的对应点处的游戏环境的信息(例如，游戏对象、对象属性、图形叠加、游戏角色、场景/游戏环境、游戏路径信息、比率信息(击杀与死亡的比率和其他因素)、角色位置信息、准确性、完成工作的速率或速度等)。用户/玩家信息包括针对对应玩家使视频游戏个性化的信息(例如，用于用户定制的角色资产–体型、种族、外观服装、武器等)。用户/玩家信息还可以包括用户的用户配置文件数据，诸如玩家的整体游戏技能、游戏控制器技能和处理特性、用户玩游戏的频率、用户启动和使用控制台进行游戏和/或游戏控制台提供的其他特征的频率等。另外，系统级别数据(例如，OS数据)包括控制器输入数据、控制器输入致动的速度、玩视频游戏的日期和时间、对应玩游戏过程的持续时间、游戏输入被致动的次数、用户引起的控制器的运动、游戏控制台被使用的次数以及使用目的(游戏、互联网、流式传输等)、其他与游戏无关的动作等。

基于从请求帮助的用户/玩家以及玩视频游戏的其他用户收集的情景信息，可以为用户/玩家呈现直接响应帮助请求的预生成的响应。预生成的响应可以是另一用户与专家之间所记录的帮助会话(例如，音频和视频记录)，其中专家为请求中提供的相同或相关帮助查询提供协助。预生成的响应可以是先前生成的为另一用户提供针对请求中提供的相同或相关帮助查询的协助的预生成的响应(例如，文本、音频、视频等)。另外，可以向请求帮助的用户/玩家呈现直接回答帮助请求的新生成的响应(文本、音频、视频等)。例如，请求或查询可以由用户以第一格式(例如，文本、音频、视频等)提出，并且被翻译成提供帮助的服务器理解的格式。在一个实现方式中，请求以音频格式呈现并且被翻译成帮助服务器可以理解的文本格式(例如，使用语音识别技术)。然后解释重新格式化的请求/查询以理解查询的本质(例如，帮助查询的内容)。人工智能可用于将经解释的查询与预生成的响应进行匹配。

如果没有生成响应，则实现图3D的方法。特别地，在390处，该方法包括通过网络在后端服务器处接收与游戏应用程序的多个玩家的多个玩游戏过程相关的信息。玩家可能当前正在玩游戏应用程序，或者已经玩过游戏应用程序。在一些实施方案中，信息包括玩游戏过程。在一些实施方案中，信息包括生成的与玩游戏过程相关的元数据和/或信息，诸如游戏状态数据。例如，该信息可以包括游戏状态信息和用户/玩家保存的信息，如前所述。该信息可以包括快照信息，快照信息可以提供使得能够从视频游戏中与对应快照相关联的点开始执行视频游戏的实例的信息。例如，游戏状态信息可以定义在对应点处的玩游戏过程的状态，以包括角色信息(例如类型、种族等)、游戏应用程序、角色所处的位置、正在玩的关卡、角色的资产、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形叠加、角色资产、角色的技能集、角色在游戏环境/世界中的地理位置、呈现给玩家的当前任务和/或工作、装备、角色的技能集等。游戏状态数据允许生成存在于玩游戏过程中的对应点处的游戏环境。此外，与玩家相关的用户/玩家信息可以包括针对对应玩家使视频游戏个性化的信息，诸如玩家的技能或能力、玩家寻求帮助的总体准备程度、玩家玩游戏应用程序的近期性、用户5玩游戏时选择的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、可用的可能生命总数、盔甲、奖杯、时间计数器值以及其他资产信息等。

在391处，该方法包括从该信息确定第一玩家的第一玩游戏过程的当前游戏情景。第一游戏情景与第一玩家的玩游戏过程的当前状态相关。具体地，接收与第一玩家的当前玩游戏过程相关的信息。在一种情况下，当前的玩游戏过程是实况的，使得第一玩家当前正在玩游戏应用程序。游戏情景定义了玩游戏过程中的特定点处的游戏环境。当前游戏情景定义了对应玩游戏过程中的当前点处的游戏环境。可以为对应玩游戏过程中的一个或多个点定义游戏情景。例如，游戏情景可以定义玩家的角色、该玩家的各种特性、与该玩家相关联的资产、呈现给玩家的工作等。游戏情景可以基于先前接收到的元数据和/或生成的与玩游戏过程相关的信息或者与它们密切相关。

在392处，该方法包括从该信息中确定已经玩过该游戏应用程序的专家的多个专家玩游戏过程的多个历史专家游戏情景。在一个实现方式中，专家也可能当前正在玩游戏应用程序，并且通过对应玩游戏过程来生成新的历史专家游戏情景。专家玩游戏过程是从被分类为游戏应用程序的专家的玩家生成的。如前所述，通常可以为对应玩游戏过程中的一个或多个点定义游戏情景，诸如为一个或多个专家定义游戏情景。专家玩游戏过程是从多个玩游戏过程中获得的，特别是从被分类为专家的玩家的玩游戏过程中获得的。可以通过自注册、通过资格认证或通过任何其他方法对玩家进行分类。在一个实施方案中，当确定所有玩家的多个玩游戏过程的游戏情景时，已经同时确定了专家游戏情景。这样，一旦将玩家分类为专家，就可以将为专家的对应游戏玩家的游戏情景信息识别为一个或多个专家游戏情景。另外，可以在对应玩游戏过程期间针对多个点确定游戏情景信息。例如，第一专家的游戏情景信息可以包括在玩游戏过程的第一点处的第一游戏情景、在玩游戏过程的第二点处的第二游戏情景、……、以及在玩游戏过程的第N点处的第N个游戏情景。例如，对应专家的玩游戏过程可以具有多个游戏情景，包括关于面对第1关的头目、面对第2关的头目、给定支线任务内的进度的游戏情景等。当已有多个玩家被分类为专家时，可以确定每个专家的游戏情景信息。

经分类的针对特定游戏应用程序的专家组成了多个玩家的集合。如前所述，专家可以是自注册的，诸如没有任何资格标准。在另一个实现方式中，专家可以具有一些资格认证，诸如玩家的技能、完成工作、完成任务、在一段时间内完成游戏的一部分、在一段时间内完成游戏等，如前所述。达到资格认证后，专家可以自注册，和/或可以被自动标记为专家(例如，获得授权)。

玩同一游戏应用程序的不同玩家和/或专家在其对应玩游戏过程内可以具有相同或相似的游戏情景。例如，通过收集全部玩同一游戏应用程序的多个玩家的游戏情景，可以将不同玩家的玩游戏过程对齐为具有拥有相同资产的相似角色、不同玩家的相似玩法、贯穿游戏应用程序的游戏世界的相似路线等。游戏情景信息可以用于将玩家与被分类为专家(例如，自注册、有资格的等)的另一玩家进行匹配，使得专家能够提供对请求协助的玩家的玩游戏过程的协助，如将在下面描述的。

在393处，该方法包括接收与第一玩游戏过程相关的协助查询。也就是说，第一玩家也正在请求协助，或者发出请求通知等。例如，查询可以专门针对如何打败游戏中的特定点(例如，关卡头目、任务、工作等)，或者可以针对获得关于对象的信息(例如，头目的名字、玩游戏过程中遇到的对象)，或者可以针对玩家在游戏应用程序中该点处的总体目标。

另外，第一玩家的当前游戏情景与最接近玩游戏过程中发出请求的点的游戏状态相关。例如，游戏情景可以提供与第一玩家的角色、角色拥有的资产、角色在游戏应用程序中遇到的关卡以及关卡中的场景相关的信息。第一玩家对协助的任何查询或请求将必然与当前游戏情景相关。这样，具有与第一玩家的当前游戏情景紧密匹配的游戏情景的另一玩家(例如，经分类的专家、朋友等)的玩游戏过程可以具有游戏应用程序的对第一玩家有帮助的知识。

在394处，该方法包括将(请求帮助的)第一玩家的当前游戏情景与多个历史专家游戏情景进行比较，以查看专家与第一玩家的匹配程度，诸如相对于相应游戏玩家的游戏情景而言。也就是说，该比较确定每个专家的玩游戏过程与第一玩家的玩游戏过程的匹配程度。在一个实施方案中，针对为特定专家捕获的每个游戏情景进行比较，并且将与第一玩家的第一游戏情景最接近的游戏情景用作该专家的代表。在另一个实施方案中，可以将在特定专家的玩游戏过程期间的各个点处收集的游戏情景信息组合并且用于与第一玩家的第一游戏情景进行比较。在一个实现方式中，确定至少一个专家具有与第一游戏情景匹配的对应历史专家游戏情景。

在395处，该方法包括向第一玩家分配第一专家以获得协助。也就是说，第一专家然后可以向第一玩家提供关于他或她的玩游戏过程的协助。为了从专家池中选择第一专家，可以实现各种选择方法。例如，基于第一玩家和专家组/池中的专家的游戏情景来选择第一专家。

在一个实施方案中，基于游戏情景之间的匹配质量来选择第一专家。例如，匹配的专家游戏情景的集合具有指示对应专家游戏情景与第一游戏情景的匹配质量的匹配值，如将关于图3B进一步描述的。例如，该方法确定具有最高值的第一匹配值。第一匹配值对应于专家游戏情景。在一种情况下，第一匹配值对应于第一专家的第一专家游戏情景。这样，基于游戏情景，选择第一专家用于帮助会话，其中第一专家是专家池中最适合向第一玩家提供帮助的。

在另一个实施方案中，基于可用性因子从专家池中选择第一专家。这提供了将专家匹配到请求帮助的玩家的直接方法。特别地，当首次发布游戏应用程序时，该方法可能是有益的。由于是最近发布的，因此注册的专家可能很少，并且由于缺乏信息，可能难以在专家之间进行任何比较。在一个实现方式中，选择第一可用专家并将其分配给第一玩家用于帮助会话。

在其他实施方案中，基于响应时间选择专家，诸如在竞赛中从最有可能提供帮助的有资格和/或可用的专家那里得到响应，如将在图3B中进一步描述的。在另一个实施方案中，一次轮询多个专家以确定他们是否想要提供协助。在轮询过程期间，分配肯定地响应的第一专家来提供协助，如将在图3B中进一步描述的。

特别地，在396处，该方法包括生成连接第一玩家和第一专家的通信会话。在一个实施方案中，后端服务器处的通信会话管理器充当用于建立和管理通信会话的中介。至少，在第一专家的装置与第一玩家的装置之间建立通信会话。通信会话用于使专家能够向玩家提供协助，诸如通过第一专家与第一玩家之间的帮助会话来提供协助。在一个实施方案中，通信会话被配置用于文本、音频、视频、嵌入式音频和视频等。例如，该方法可以包括建立语音信道中的一个或多个，可以包括在通信会话中建立文本信道，可以包括建立被配置用于视频聊天的视频信道(例如，嵌入式视频)。而且，通信会话管理器可以用于创建新会话以允许不同形式的通信，诸如提供共享屏幕功能、共享游戏功能等。在一个实施方案中，通信会话可以是对等连接或者可以包括充当中间节点的后端服务器。也就是说，一旦由通信会话管理器创建，通信会话就是第一玩家和第一专家的装置之间的直接通信路径。在另一个实施方案中，通信会话可以流过后端服务器。

在一个实施方案中，第一专家可以诸如通过共享屏幕功能来共享第一玩家的屏幕，如前所述。通过查看第一玩家的玩游戏过程，第一专家可以更好地了解第一玩家面临的问题，从而提供更好的帮助。在一个实施方案中，共享屏幕功能是通过通信会话实现的。共享屏幕的请求可以由第一玩家或第一专家做出。例如，第一专家可以请求共享第一玩家的玩游戏过程的视频。在一个实现方式中，请求由后端服务器处的帮助会话控制器接收。请求的通知被发送到第一玩家的装置。例如，可以从帮助会话控制器传递通知。帮助会话控制器从第一玩家的装置接收授权，其中由第一玩家提供授权以与专家共享玩游戏过程的视频。这样，第一玩家的玩游戏过程被流式传输到第一专家的装置。例如，帮助会话控制器能够通过通信会话或通过独立的流式传输信道来促进流式传输。

在另一个实施方案中，第一专家可以诸如通过共享游戏功能来控制第一玩家的玩游戏过程，如前所述。通过共享游戏，专家可以接管对玩游戏过程的控制，例如以完成第一玩家无法执行的目标。共享游戏的请求可以由第一玩家或第一专家做出。例如，接收到来自第一专家的装置的请求，其中该请求要求共享对第一玩家的玩游戏过程的控制。来自专家的请求可以呈来自专家的实现用户的玩游戏过程内的目标的协助建议的形式。请求可以由后端服务器处的帮助会话控制器接收。请求的通知可以由帮助会话控制器生成，并从帮助会话控制器传递到第一玩家的装置。帮助会话控制器从第一玩家的装置接收授权，其中由第一玩家提供授权以与专家共享对玩游戏过程的控制。以这种方式，专家能够通过提交游戏输入命令来控制玩游戏过程。在一个实施方案中，帮助会话控制器从第一专家的装置接收一组输入控制或命令。对来自第一玩家的输入控制器的输入命令强加阻止，使得游戏引擎(例如，本地控制台或后端游戏处理器)阻止源自第一玩家的控制器装置的输入命令，并使源自第一专家的控制器装置的输入命令通过。例如，帮助会话控制器可以向执行针对第一玩家的玩游戏过程的游戏应用程序的处理器(例如，游戏引擎)发送指令，以阻止与第一玩家相关联的输入控制。这样，来自第一专家的控制器装置的一组输入控制被传递到执行针对第一玩家的玩游戏过程的游戏应用程序的处理器(例如，游戏处理器)。此外，控制权可随时传递回第一玩家。例如，如前所述，第一玩家可以具有在任何时候收回对玩游戏过程的控制权的能力(诸如，使用杀死命令)。

图3E是根据本公开的一个实施方案的示出通过通信会话将玩家连接到专家来在玩游戏应用程序的玩家的玩游戏过程期间提供实时协助的系统或方法中的数据流的数据流程图。

如图所示，玩家1(P1)正在玩游戏应用程序。玩家P1可能在他或他的玩游戏过程期间遇到路障，并请求信息和/或协助。例如，如前所述，来自玩家P1的查询是通过用户界面351-P1进行的，并通过网络150传递回后端服务器的帮助会话控制器352。特别地，与帮助会话控制器352合作的匹配引擎353被配置为将玩家P1和专家池354的游戏情景进行匹配。专家池是从多个玩家355中获得的，其中玩家正在玩一个或多个游戏应用程序。池355中的专家全部都已经玩过游戏应用程序，并且例如被注册为游戏应用程序的专家。例如，池355包括一个或多个专家E1、…、E5、…、E103、…、E

游戏情景356被输入到匹配引擎123中以进行比较。例如，输入包括针对玩家P1的游戏情景356-P1、针对专家E1的游戏情景356-E1、针对专家E103的游戏情景356-E103、针对专家E64的游戏情景356-E64、针对专家E5的游戏情景356-E5、…、以及针对专家En的游戏情景356-En。先前描述了由匹配引擎执行的匹配过程。基本上，将玩家P1的游戏情景356-P1与和专家池354相关联的每个游戏情景进行比较。为每个游戏情景确定匹配向量，其中每个匹配向量具有对应匹配值(例如，质量因子或Q因子)，该匹配值指示对应专家游戏情景与玩家P1的游戏情景356-P1的匹配质量。

匹配引擎353被配置为从专家池354中选择一个专家。如图所示，选择专家E5，并将其提供为来自匹配引擎353的输出357。为了生成和管理向玩家P1提供协助的帮助会话的目的，将输出357提供给帮助会话控制器352。如前所述，可以实现一种或多种方法来选择专家。例如，可以通过将阈值应用于匹配值来进一步过滤专家池354，其中考虑选择与满足阈值标准的匹配值相关联的专家。在一个实现方式中，使用最高质量匹配值用于选择专家。也就是说，使用最高匹配值用于选择。在另一个示例中，将帮助会话请求的通知传递给与满足阈值标准的匹配值相关联的专家。可以选择首先对通知进行响应的专家用于帮助会话。在又一个示例中，可以诸如通过随机选择、第一选择等来选择与满足阈值标准的匹配值相关联的任何专家。

在一个实施方案中，匹配引擎353可以从朋友池中选择为专家的朋友，而不是将玩家P1与专家进行匹配。例如，朋友可以是通过一个或多个社交网络建立的社交网络朋友。

帮助会话控制器被配置为建立和管理帮助会话以向玩家P1提供实时协助。例如，在玩家P1的装置(例如，用户界面351-P1)与专家E5的装置(例如，用户界面351-E5)之间生成通信会话。在一个实施方案中，在帮助会话控制器352的通信会话管理器、玩家P1的装置与专家E5的装置之间生成通信会话。在另一个实施方案中，通信会话经生成并建立玩家P1的装置与专家E5的装置之间的直接通信。

可以在通信会话中建立一个或多个通信信道。例如，可以建立语音信道361、文本信道362、屏幕共享信道363和/或共享游戏信道中的一个或多个。如图所示，语音信道361是双向通信路径，使得玩家P1和专家E5可以交谈和收听彼此的语音通信。而且，文本信道362是双向通信路径，使得玩家P1和专家E5可以通过发短信彼此通信。另外，屏幕共享信道363可以是单向通信路径，使得来自玩家P1的玩游戏过程的视频被传递到专家E5的装置以供观看。此外，共享游戏信道364可以是双向通信路径，使得输入控制可以从专家E5传送到玩家P1本地的游戏引擎，或者传送到后端服务器处的另一游戏引擎。

可以建立单独的控制信道以在帮助会话控制器352与用户界面351-P1或用户界面351-E5之间传递控制权或其他信息。例如，可以将指令传递到用户界面351-P1，这些指令阻止源自玩家P1的输入控制，或者通过屏幕共享信道363发送视频。另外，可以在信道365上传递评级信息，从而提供评级信息。例如，在帮助会话之后，玩家P1可以在信道365上提供对帮助会话的评级。另外，玩家P1可以提供对专家E5的整体表现的评级(例如，个性、有用性、控制剧透发布的能力、游戏应用程序的知识深度等)。而且，专家E5可以提供对玩家P1的评级(例如，合作级别、接受帮助的能力、个性、感激等)。

在一个实施方案中，在与玩家P1相关联的第二计算装置上与用户的玩游戏过程同时实现帮助会话。例如，在一个实施方案中，可以存在两个传递信息的通信信道，诸如经建立以将代表用户的玩游戏过程的数据传递到玩家P1的第一计算装置的第一通信信道，以及经建立以将与帮助会话相关联的数据传递到玩家P2的第二计算装置的第二通信信道。例如，第一计算装置可以是本地游戏控制台和/或显示器，并且第二计算装置可以是智能手机。在另一个实施方案中，帮助会话可以与代表用户的玩游戏过程的数据一起传递，诸如通过包括显示玩游戏过程的第一屏幕和显示帮助会话的第二屏幕的分离屏幕。

图4至图13是玩家与一个或多个游戏应用程序相关联地输入查询或相关查询序列的各种示例的图示。玩家可以在玩对应游戏应用程序，或者可以独立于玩游戏应用程序而行动(例如，在旅行中、或在会议中或在课堂上等)。

图4A示出了根据本公开的一个实施方案的伴侣移动装置11的主页屏幕405，该伴侣移动装置11被配置为向玩本地游戏控制台或云游戏网络上执行的游戏应用程序的玩家提供游戏协助。伴侣移动装置11支持在不同于装置11上的显示器的显示器上呈现的玩游戏过程。主页屏幕405包括可以基于玩游戏过程在游戏应用程序中的当前位置而改变的背景图像。例如，出于说明的目的，背面图像可以是在游戏应用程序《地平线零之曙光》(HorizonZero Dawn)中找到的城镇的剪影。

图标401提供对书签的访问。在一个实施方案中，书签可以包括从呈现玩游戏过程的显示器推送的内容。例如，可以从可通过书签访问的屏幕上显示用户界面推送内容，以进行“进一步阅读”。

图标410示出了传声器特征，其使玩家能够通过讲话来输入查询。可以通过触发词来激活游戏协助特征，该触发词指示接下来几句话中的至少一句可能包括查询。通用字段407指示游戏协助特征被打开。但是，可以通过任意数量的方法输入游戏协助特征，包括手动将文本格式的查询敲入到搜索字段(例如，“敲入或说出”气泡)。当无法讲话时(例如，坐在教室里)，可以进行敲入。

快速搜索按钮415允许玩家仅通过选择快速搜索按钮415之一来选择查询。例如，玩家可以在包括查询的各种按钮之间进行选择，诸如“我需要帮助”或“我现在做什么？”或“我错过了什么吗？”例如，快速搜索按钮415D提供查询“最近回血点”。快速搜索按钮可能会随着选择而逐渐变化，以帮助引导玩家而不提供文本指令或音频指令。快速搜索按钮可以充当可以在呈现玩游戏过程的电视或显示器的用户界面中使用的快捷操作的教育工具。

另外，情景卡420提供关于一组主题或对象的信息。例如，情景卡可以提供关于特定位置的信息(例如，猎人小屋)，或者可以提供关于特定角色的信息(例如，Talanah KhanePadish)。在另一个示例中，情景卡420C可以提供关于特定敌方野兽的信息，诸如Redmaw，它是游戏应用程序《地平线零之曙光》中的Thunderjaw野兽。

图4B示出了根据本公开的一个实施方案的图4A的被配置为提供游戏协助的伴侣移动装置11上的快速搜索按钮415D的选择。特别地，图4B示出了当显示玩家对查询的响应时伴侣移动装置与显示器12之间的交互，其中显示器12被配置用于呈现玩家的玩游戏过程。特别地，从伴侣移动装置呈现查询(例如，选择快速搜索按钮415D)以询问“最近回血点”位置，使得用户的角色可以痊愈或获得附加生命等。对快速搜索按钮的查询的响应呈现在与移动装置11分开的显示器12上。例如，移动装置11的屏幕示出查询415D是“最近回血点”，并且还提供指示在显示器12上呈现了响应(地图)的指令435A。特别地，《地平线零之曙光》的游戏环境的地图430示出了当前位置“Aloy”和示出最近回血点位置的标记435B。这样，玩家可以在一个装置上输入查询并在另一装置上接收响应。

图4C示出了根据本公开的一个实施方案的图4A的被配置为提供游戏协助的伴侣移动装置与显示器12之间的交互，该显示器呈现玩游戏应用程序的玩家的玩游戏过程并将玩家引导到移动装置以获取所请求的信息。特别地，玩家可以通过选择图4A的伴侣移动装置11上的快速搜索按钮420C(“Redmaw”)来输入查询。可以通过任何其他方法输入查询，诸如通过独立扬声器或连接到游戏控制台的扬声器等。在一个实施方案中，通过显示器12上的扬声器或通过显示器12上的搜索框输入查询。对查询的响应也可以呈现在伴侣移动装置11的屏幕上。例如，图像450B示出了Redmaw的图片，而窗口450C提供了关于Redmaw的附带信息：“Redmaw是传说中的Thunderjaw……”。

另外，可以在显示玩游戏过程的显示器12上提供指针指令。例如，指令450A指示在伴侣移动装置11上呈现对查询的响应：“我向你的电话发送了关于Redmaw的更多信息。”以这种方式，如果玩家沉迷于玩游戏过程，则温和地提醒玩家响应在伴侣移动装置11上。这样，玩家可以在一个装置上输入查询并在另一装置上接收响应。

图4D示出了根据本公开的一个实施方案的被配置为向用户提供游戏协助的伴侣移动装置，该玩家当前未玩游戏应用程序，但是可以向后端服务器呈现与游戏应用程序相关的查询以获得支持。例如，用户可以在工作中或在旅途中。用户可能需要关于游戏应用程序的一些常规信息，或与玩一个或多个游戏应用程序的社交网络朋友相关的信息，或者可能希望排定与一个或多个朋友的游戏会话。用户也可以请求其他更具体的信息。例如，用户River Hsu可以通过说出诸如“嘿PlayStation”(未示出)之类的触发词，通过移动装置11发起与游戏协助服务器的帮助会话。以这种方式，在预期查询时在本地启动或重新启动游戏协助应用程序(例如，PlayStation Assist)，其中游戏协助应用程序可以提供远程装置之间的对接。然后，用户可以(例如，通过移动装置11上的传声器以口头形式)输入查询460A询问“我什么时候开始玩《战神》的”。然后，接收查询并将其传递到后端游戏协助服务器，该服务器对查询进行处理。例如，后端游戏协助服务器可以实现深度学习引擎，以在给定当前情景的情况下将查询匹配到适当响应。由于查询是在玩游戏应用程序之外显示的，因此情景可能不够充分，并且因此查询可能需要更完整的信息，而不仅仅是一般性的问题。因为查询包括游戏应用程序的标题(例如，《战神》)，所以提供了足够的情景用来匹配查询。这样，基于在游戏应用程序的用户的整个玩游戏过程中从用户收集的信息(例如，全局和游戏情景)，可以匹配和/或生成响应。例如，响应460B可以指示用户是在2017年12月开始玩该游戏应用程序。

另外，输入后续问题作为第二查询470A，询问用户玩了多长时间以及用户完成了游戏的多少。响应470B由游戏协助服务器匹配和/或生成，其中响应指示用户已经玩了总共大约16个小时，并且已经完成了游戏应用程序中大约27％的任务，并且访问了55％的游戏世界(例如，开放世界环境)。

图4E示出了根据本公开的一个实施方案的伴侣移动装置11，该伴侣移动装置被配置为向用户提供游戏协助以支持玩家的玩游戏过程。移动装置11的用户界面包括页眉510，该页眉指示玩游戏过程是针对游戏应用程序《地平线零之曙光》的，并且所提供的信息来自PlayStation Assist应用程序。页脚区域520包括指向PlayStation Assist提供的各种特征的链接，诸如平视显示特征(HUD)、指向向导的链接、指向查询和响应的历史的链接以及指向消息传递的链接。例如，玩家可能正在游戏应用程序的游戏环境的特定位置玩游戏，并输入询问药水和战斗的位置的查询。后端游戏协助服务器通过深度学习引擎使用玩游戏过程的当前情景来处理查询。可以生成包括游戏环境的地图的响应，包括示出游戏环境内玩家角色的中心位置。此外，还相对于玩家角色的位置呈现药水和战斗的位置。

图5A至图5B示出了根据本公开的一个实施方案的使用伴侣移动装置11用于与在单独的显示器上呈现的游戏应用程序的玩游戏过程相关的游戏协助。具体地，移动装置11的屏幕截图包括页眉510，该页眉指示玩游戏过程是针对游戏应用程序《地平线零之曙光》的，并且所提供的信息来自PlayStation Assist应用程序；并且包括页脚区域520，该页脚区域包括指向PlayStation Assist提供的各种特征的链接，诸如平视显示特征(HUD)、指向向导的链接、指向查询和响应的历史的链接以及指向消息传递的链接。页眉510和页脚区域520可以在图6至图7的用户界面中示出。如前所述，玩家River Hsu已经触发了PlayStationAssist应用程序，诸如通过触发词。这样，来自PlayStation Assist的通信515指示应用程序已准备好接受来自玩家的查询。玩家正在玩游戏应用程序，其中玩游戏过程可以呈现在单独的显示器上。这样，查询可以支持玩游戏过程。特别地，玩家的查询517询问“我如何杀死这条龙？”由于查询是与情景数据(包括游戏情景和全局情景数据)一起输入的，因此可以将查询匹配到适当的响应。游戏协助服务器通过PlayStation Assist应用程序生成响应，诸如通过深度学习引擎过程。例如，通过来自PlayStation Assist的通信515引入指示信息可用的响应，或者通过选择按钮525A以获得关于龙的弱点的信息，或者通过选择按钮527以获得关于打败龙的策略的信息。另外，在给定玩游戏过程的游戏情景(例如，玩家角色的当前位置)的情况下，PlayStation Assist可能会提供“向导”以帮助玩家解决与玩游戏过程的时间或地点接近的困难(例如，提供关于即将发生的事情的警告或提供一些提示)。例如，按钮528提供对解释如何获得钢剑的向导的访问。

玩家River Hsu可以选择弱点按钮525A以获得更多信息。如图5B所示，标题525B示出了Thunderjaw龙的弱点。还可以提供附加信息，以提供关于如何与龙战斗的提示。此外，如果玩家想要与Thunderjaw龙相关的更多信息，则按钮530提供指向“策略”的链接，其提供关于如何打败龙的提示，而“抵抗力”则提供关于龙在某些区域中有多强大的信息，其可以提供关于如何打败龙的信息。

图6A至图6G示出了根据本公开的一个实施方案的使用伴侣移动装置用于与在单独的显示器上呈现的游戏应用程序的玩游戏过程相关的游戏协助，以浏览响应于查询而提供的一系列连接的信息层。特别地，如每个图中所示，移动装置11的屏幕截图包括页眉510，该页眉指示玩游戏过程是针对游戏应用程序《地平线零之曙光》的，并且所提供的信息来自PlayStation Assist应用程序。如前所述，页脚区域520包括指向PlayStation Assist提供的各种特征的链接。向玩家提供各种类别的信息，每种类别都可以通过如图6A所示的链接或对应按钮访问。例如，按钮630A提供对游戏应用程序的游戏攻略的访问，在被选择时该按钮提供对与游戏攻略相关的信息树的访问，如图6A至图6G所提供的。

图6B示出了在选择图6A的按钮630A之后在移动装置11的屏幕截图上的一个或多个游戏攻略。按钮630B是使用户返回到图6A的屏幕的后退按钮。如图所示，游戏攻略635包括主线任务游戏攻略、支线任务游戏攻略(可通过按钮640A选择)和使命游戏攻略，其每一个都可通过对应按钮选择。在另一层，图6C示出了一个或多个支线任务及其在选择图6B中的按钮640A之后的游戏攻略。如图所示，支线任务645包括Companion支线任务、College ofWinterhold支线任务(可通过按钮650A选择)和Thieves’Guild支线任务，每一个都可通过对应按钮选择。后退按钮640B使玩家返回到图6B的用户界面。

在另一层，图6D示出了College of Winterhold支线任务的游戏攻略，其中按钮650B使玩家返回到图6C所示的用户界面。特别地，在部分655中提供了分步过程，包括FirstLessons(已完成)、Under Saarthal(可通过按钮660A选择)等，每一个都可通过对应按钮选择。在另一层，图6E示出了“Under Saarthal”步骤的特定游戏攻略(在选择按钮660A之后)，其中按钮660B使玩家返回到图6D中提供的用户界面。提供一般信息，包括完成此步骤需要多长时间以及完成此步骤后获得什么奖励。按钮670A启动游戏攻略。

在另一层，图6F示出了在“Under Saarthal”步骤及其游戏攻略中需要执行的各个动作。图1示出了用于访问步骤信息的“步骤”671部分。例如，示出了游戏攻略的步骤1(会见Tolfir)，并且还示出了步骤2(找到Arnial)。可以根据请求向玩家示出附加部分(例如，向下滚动)。在另一层，图6G示出了对图6F中的“媒体”672的选择，以访问用于查看游戏攻略的选项。例如，可以通过信封673访问完整的游戏攻略，其中可以将该信封邮寄到单独的装置。对于游戏攻略的每个步骤，也可以访问特定步骤或子步骤。如图所示，对于步骤1(会见Tolfir)，可以通过邮寄的(例如，数字)信封访问一个或多个子步骤，并且可以通过邮寄的信封访问步骤2(找到Arnial)的一个或多个子步骤。

图7示出了根据本公开的一个实施方案的使用伴侣移动装置11用于与在单独的显示器上呈现的游戏应用程序的玩家玩游戏过程相关的游戏协助，其中呈现了通过通信会话将玩家连接到专家的选项。具体地，移动装置11的屏幕截图包括页眉510，该页眉指示玩游戏过程是针对游戏应用程序《地平线零之曙光》的，并且所提供的信息来自PlayStationAssist应用程序；并且包括页脚区域520，该页脚区域提供指向PlayStation Assist提供的各种特征的链接，如前所述。

如前所述，玩家River Hsu已经触发了PlayStation Assist应用程序，诸如通过触发词。这样，来自PlayStation Assist的通信720指示应用程序已准备好接受来自玩家的查询。玩家正在玩游戏应用程序，其中玩游戏过程可以呈现在单独的显示器上。这样，查询可以支持玩游戏过程。特别地，玩家的查询735询问关于如何找到“Cauldron Zeta入口”的信息。

通过游戏协助服务器支持的PlayStation Assist应用程序无法将查询匹配到经建模的或生成的响应。来自PlayStation Assist应用程序的通信720指示没有响应可用。但是，如果玩家希望接受实时帮助，专家可用于实时帮助会话。例如，PlayStation Assist应用程序可以通过按钮接口740A将玩家连接到专家Aspen Tokokhan(5星评级)，或者通过按钮接口740B将玩家连接到专家Rain-ah(3星评级)。作为选项选择用于呈现的专家在前面已经描述，并且可能涉及将玩家的当前情景(例如，全局和/或游戏情景)与优选地玩过游戏的专家的类似情景进行匹配。

图8A至图8G示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于获取资产的查询而提供的一系列连接的信息层。特别地，例如，图8A至图8G示出了获取意图过程，其中玩家正在请求关于如何获得资产的信息。信息可以通过游戏协助服务器(诸如通过PlayStation Assist应用程序)生成和/或匹配，并且提供在还显示玩游戏过程的视频/图像的显示器的窗口中，如前所述。如图所示，玩家正在玩游戏应用程序，诸如《天际》

特别地，图8A示出了呈现《天际》徽章(例如，飞龙)的窗口。玩家的玩游戏过程也显示在不同的窗口中(例如，角色接近飞行兽)。游戏协助特征对于用户可用，其中玩家可以通过传声器输入查询，如传声器图标410所示。示出玩家在触发PlayStation Assist应用程序，诸如通过触发词“嘿PlayStation”。输入的查询涉及关于获得钢剑的信息。在将查询匹配到适当响应之后，例如在给定包括全局情景、游戏情景和当前游戏情景的游戏应用程序情景的情况下，支持PlayStation Assist应用程序的游戏协助服务器可以将查询与响应进行匹配。图8B中示出了该响应，其中示出了关于如何获取钢剑的信息。例如，可以通过各种技术来获取钢剑，包括进行掠夺、通过商人、进行制作和通过完成任务。

玩家可以提出补充初始查询的后续或补充请求。例如，玩家可以发出询问如何掠夺钢剑的查询(例如口头)。图8C示出了支持PlayStation Assist应用程序呈现对后续查询的响应的游戏协助服务器。游戏协助服务器可以通过应用深度学习引擎来执行匹配，以将查询匹配到适当响应。例如，在图8C中，关于如何掠夺剑的信息可以包括可以找到剑的位置，诸如在各个关卡的宝箱中。在图8C中提供了用于获得关于可以掠夺剑的固定位置的更多信息的选项。选择之后，图8D中提供了特定的掠夺位置，包括石冢或Alvor的壁炉。

图8E示出了基于初始查询或中间查询与另一个后续或补充请求相关联地呈现的响应。例如，玩家可以发出询问如何购买钢剑的查询(例如口头)。提供了关于出售剑的商人的信息，并且该信息包括最近的商人(在Whiterun城镇的Annie Traveler)以及剑的价格(100个币)。示出了其他商人，包括Adrianne Avenicci和Arnskar Ember-Master。

玩家可以提出补充初始查询的后续或补充请求。例如，玩家可以发出询问如何制作钢剑的查询(例如口头)。图8F示出了支持PlayStation Assist应用程序呈现对后续查询的响应的游戏协助服务器，诸如通过与通过深度学习实现的经建模响应进行匹配。关于如何制作剑的信息包括所需材料以及建造剑的位置—在锻造处。

图8G示出了基于初始查询或中间查询与另一个后续或补充请求相关联地呈现的响应。例如，玩家可以发出询问如何通过任务获得钢剑的查询(例如口头)。提供了关于一个或多个提供钢剑奖励的任务的信息，包括Wolf Queen Awakened任务和Laid to Rest任务。如图所示，可以通过链接访问每个任务的游戏攻略。

图9A至图9C示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于请求关于如何打败对手的信息的查询而提供的一系列连接的信息层。特别地，例如，图8A至图8G示出了打败意图过程，其中玩家正在请求关于如何打败野兽或对手的信息。可以通过游戏协助服务器(诸如通过PlayStation Assist应用程序)生成和/或匹配信息，如前所述。如图所示，玩家正在玩游戏应用程序，诸如《天际》。图9A至图9C中所示的查询和响应涉及该游戏应用程序。

特别地，图9A示出了呈现玩家的玩游戏过程的窗口(例如，角色接近飞行兽—Mirmulni龙)。游戏协助特征对于用户可用，其中玩家可以通过传声器输入查询，如传声器图标410所示。示出玩家在触发PlayStation Assist应用程序，诸如通过触发词“嘿PlayStation”。输入的查询涉及关于打败玩游戏过程中示出的龙(Mirmulni)的信息。在将查询匹配到适当响应之后，例如在给定包括全局情景、游戏情景和当前游戏情景的游戏应用程序情景的情况下，支持PlayStation Assist应用程序的游戏协助服务器可以将查询与响应进行匹配。该响应在图9A中示出，其中示出了关于如何打败Mirmulni龙的信息。例如，在学习关于如何打败龙时可以访问两个部分/类别的信息，包括策略类别和攻击类别。

玩家可以(例如，以口头形式)选择策略类别。示出了关于与Mirmulni龙作战时使用的良好策略的信息，并且该信息包括有帮助的提示(例如，躲藏起来以恢复健康等)。另外，图9B示出了玩家可以通过说明所请求的部分的名称(例如，策略或攻击)来在各部分之间跳转。此外，玩家可以通过说明“关闭帮助”来随时关闭PlayStation Assist应用程序。

图9C包括在攻击部分下方的信息，该信息是响应于玩家在查询中选择该类别(例如，通过口头指令)而提供的。用于攻击的信息包括近战攻击(例如，侧面攻击)、使用魔法(例如，避免火系法术)以及关于弓箭武器的信息(在龙降落时射击)。

图10A至图10D示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于查找对象或位置的查询而提供的一系列连接的信息层。特别地，例如，图10A至图10D示出了寻找意图过程，其中玩家正在请求到某个位置的方向指示。可以通过游戏协助服务器(诸如通过PlayStation Assist应用程序)生成和/或匹配信息，如前所述。如图所示，玩家正在玩游戏应用程序，诸如《天际》。图10A至图10D中所示的查询和响应涉及该游戏应用程序。

特别地，图10A示出了呈现玩家的玩游戏过程的窗口(例如，角色接近河上廊桥)。游戏协助特征对于用户可用，其中玩家可以通过传声器输入查询，如传声器图标所示。示出玩家在触发PlayStation Assist应用程序，诸如通过触发词“嘿PlayStation”。输入的查询涉及关于获得到特定位置(Bleak Falls Barrow)的方向指示的信息。

在将查询匹配到适当响应之后，例如在给定包括全局情景、游戏情景和当前游戏情景的游戏应用程序情景的情况下，支持PlayStation Assist应用程序的游戏协助服务器可以将查询与响应进行匹配。图10B中示出了该响应，其中示出了方向信息。例如，提供了分步指示以从玩游戏过程中显示的当前位置到达Bleak Falls Barrow。另外，也可以提供关于附近宝箱的信息(例如，在塔中)。

玩家可以提出补充初始查询的后续或补充请求。例如，玩家可以发出询问如何退出Bleak Falls Barrow区域的查询(例如口头)。图10C示出了支持PlayStation Assist应用程序呈现对后续查询的响应的游戏协助服务器，诸如通过与通过深度学习实现的经建模响应进行匹配。图10D中提供了关于如何离开的信息。具体地，提供了关于如何通过爬上山洞并通过拉动杠杆进入而离开Bleak Falls Barrow的分步指示。提供了附加信息，包括附近的敌人(例如，Draugr)以及关于附近宝藏的信息。PlayStation Assist应用程序可以具有与玩家的正在进行的对话，但指示提供了响应。另外，玩家可以通过以口头形式指示停止来随时退出PlayStation Assist应用程序。

图11A至图11B示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于具有主要意图和次要意图的查询(诸如完成工作的要求(例如，在Whiterun会见General Tullius))而提供的一系列连接的信息层。例如，在搜索Bleak Falls Barrow期间，还可能要求玩家执行次要任务。这可以通过图标指示。例如，在到Bleak Falls Barrow的方向指示中提供的步骤之一可能要求角色在玩游戏过程中接近General Tullius。玩家可以输入询问谁是General Tullius的查询。支持PlayStationAssist应用程序的游戏协助服务器可以指示提供了响应。另外，玩家可以退出方向指示或继续方向指示以进入和退出次要意图(例如，会见General Tullius)。如图11B所示，提供了关于General Tullius的信息，包括传记信息及其当前位置。此外，玩家可以请求访问示出Whiterun的位置、更具体地说示出General Tullius的位置的地图。

图12A至图12C示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于学习如何完成工作的查询而提供的一系列连接的信息层。特别地，例如，图12A至图12C示出学习意图过程，其中玩家正在请求如何解决难题。可以通过游戏协助服务器(诸如通过PlayStation Assist应用程序)生成和/或匹配信息，如前所述。如图所示，玩家正在玩游戏应用程序，诸如《天际》。图12A至图12C中所示的查询和响应涉及该游戏应用程序。

特别地，图12A示出了呈现玩家的玩游戏过程的窗口(例如，角色面对楔石锁)。游戏协助特征对于用户可用，其中玩家可以通过传声器输入查询，如传声器图标所示。示出玩家在触发PlayStation Assist应用程序，诸如通过触发词“嘿PlayStation”。输入的查询涉及关于如何解锁玩游戏过程中显示的楔石的信息。在将查询匹配到适当响应之后，例如在给定包括全局情景、游戏情景和当前游戏情景的游戏应用程序情景的情况下，支持PlayStation Assist应用程序的游戏协助服务器可以将查询与响应进行匹配。该响应在图12B中示出，其中示出了关于如何解锁楔石的信息。例如，支持PlayStation Assist应用程序的游戏协助服务器可以指示提供了响应，并且提供了速记线索–“查看Arvel的日记”。还提供了指向Arvel的日记的链接，并且在选择时显示适当的日记条目。

玩家可以提出补充初始查询的后续或补充请求。例如，玩家可以发出具体地询问Arvel的日记条目中什么重要的查询(例如口头)。图12C示出了支持PlayStation Assist应用程序呈现对后续查询的响应的游戏协助服务器，诸如通过与通过深度学习实现的经建模响应进行匹配。提供了关于黄金爪就是解决方案的信息。此外，还提供了门代码(例如，熊–飞蛾–猫头鹰)。

图13A至图13B示出了根据本公开的一个实施方案的使用显示器来呈现游戏应用程序的玩家玩游戏过程以及浏览响应于了解关于游戏应用程序的一些事情(例如，关于敌方战士的信息)的查询而提供的一系列连接的信息层。特别地，例如，图13A至图13B示出了理解意图过程，其中玩家正在请求关于对象的信息。可以通过游戏协助服务器(诸如通过PlayStation Assist应用程序)生成和/或匹配信息，如前所述。如图所示，玩家正在玩游戏应用程序，诸如《天际》。图13A至图13B中所示的查询和响应涉及该游戏应用程序。

特别地，图13A示出了呈现玩家的玩游戏过程的窗口(例如，角色遇到未知生物)。游戏协助特征对于用户可用，其中玩家可以通过传声器输入查询，如传声器图标所示。示出玩家在触发PlayStation Assist应用程序，诸如通过触发词“嘿PlayStation”。输入的查询涉及关于未知对象的信息的信息–“那是什么！”。由于生物和玩家角色正在交战，因此暗示了紧急性。在将查询匹配到适当响应之后，例如在给定包括全局情景、游戏情景和当前游戏情景的游戏应用程序情景的情况下，支持PlayStation Assist应用程序的游戏协助服务器可以将查询与响应进行匹配。该响应在图13B中示出，其中示出了关于生物(例如，Draugr)的信息。例如，该信息包括关于该生物的一般信息以及不同类型的Draugr的图像，包括Draugr Thrall、Restless Draugr等。还可能请求附加信息。

图14示出了可用于执行本公开的各种实施方案的各方面的示例装置1400的部件。例如，图14示出了根据一个实施方案的示例性硬件系统，该硬件系统适合于实现一种装置，该装置提供支持用户的服务，诸如响应于与游戏应用程序相关的用户查询而提供游戏协助，其中使用深度学习引擎将查询与经建模响应进行匹配。该框图示出了装置1400，其可以结合或者可以是适合于实践本公开的实施方案的个人计算机、视频游戏控制台、个人数字助理或其他数字装置。装置1400包括用于运行软件应用程序以及任选地运行操作系统的中央处理单元(CPU)1402。CPU 1402可以包括一个或多个同构型或同构型处理核心。例如，CPU1402是具有一个或多个处理核心的一个或多个通用微处理器。另外的实施方案可以使用具有微处理器架构的一个或多个CPU来实现，所述微处理器架构特别适于高度平行和计算密集型应用程序，诸如媒体和交互娱乐应用程序、或者被配置用于响应于与游戏应用程序相关的用户查询而提供游戏协助的应用程序，如前所述。装置1400可以在请求协助的玩家本地(例如，游戏控制台)，或者远离玩家(例如，后端游戏协助处理器)。

存储器1404存储供CPU 1402使用的应用程序和数据。存储装置1406为应用程序和数据提供非易失性存储和其他计算机可读介质并且可包括固定式磁盘驱动器、可移动磁盘驱动器、快闪存储器装置、及CD-ROM、DVD-ROM、Blu-ray、HD-DVD或其他光学存储装置以及信号传输和存储介质。用户输入装置1408将用户输入从一个或多个用户传送至装置1400，用户输入装置的示例可包括键盘、鼠标、操纵杆、触摸板、触摸屏、静态或视频记录器/摄像机、用于识别示意动作的跟踪装置、和/或传声器。网络接口1414允许装置1400经由电子通信网络与其他计算机系统通信，并且可包括在局域网和诸如互联网的广域网上的有线或无线通信。音频处理器1412适于从由CPU 1402、存储器1404和/或存储装置1406提供的指令和/或数据生成模拟或数字音频输出。装置1400的部件，包括CPU 1402、存储器1404、数据存储装置1406、用户输入装置1408、网络接口1410和音频处理器1412，经由一个或多个数据总线1422而连接。

图形子系统1414还与数据总线1422和装置1400的部件连接。图形子系统1414包括图形处理单元(GPU)1416和图形存储器1418。图形存储器1418包括用于存储输出图像的每个像素的像素数据的显示存储器(例如帧缓冲器)。图形存储器1418可以集成在与GPU 1416相同的装置中、作为单独的装置与GPU 1416连接和/或在存储器1404内实现。像素数据可以直接从CPU 1402被提供到图形存储器1418。可替代地，CPU 1402向GPU 1416提供限定所期望的输出图像的数据和/或指令，GPU 1416从该数据和/或指令生成一个或多个输出图像的像素数据。限定所期望的输出图像的数据和/或指令可以存储在存储器1404和/或图形存储器1418中。在实施方案中，GPU 1416包括3D渲染能力以用于从指令和数据生成输出图像的像素数据，从而限定场景的几何形状、光照、着色、纹理、动作和/或摄像机参数。GPU 1416还可以包括能够执行着色器程序的一个或多个可编程执行单元。

图形子系统1414从图形存储器1418周期性地输出图像的像素数据，以显示在显示装置1410上或由投影系统1440投影。显示装置1410可为能够响应于来自装置1400的信号来显示视觉信息的任何装置，包括CRT、LCD、等离子体和OLED显示器。例如，装置1400可以向显示装置1410提供模拟或数字信号。

尽管已经提供了特定的实施方案来演示在玩游戏应用程序的玩家的完游戏过程期间通过实时帮助会话(例如，通过通信会话将玩家连接到专家)或通过所记录的帮助会话(例如，将玩家连接到通过通信会话传输的所记录的帮助会话)提供实时协助，但是这些是以示例而非限制的方式描述的。阅读了本公开的本领域技术人员将认识到落入本公开的精神和范围内的附加实施方案。

应注意，在广阔的地理区域上传递的访问服务(诸如提供对当前实施方案的游戏的访问)通常使用云计算。云计算是一种计算方式，其中动态可扩展和通常虚拟化的资源通过互联网作为服务提供。用户不需要是支持他们的“云”中的技术基础设施方面的专家。云计算可以分为不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的通用应用程序，诸如视频游戏，而软件和数据则存储在云中的服务器上。基于计算机网络图中互联网的描绘方式，术语“云”被用作互联网的隐喻，并且是对它所隐藏的复杂基础设施的抽象概念。

游戏客户端使用游戏处理服务器(GPS)(或简称为“游戏服务器”)来玩单玩家和多玩家视频游戏。在互联网上玩的大多数视频游戏都是经由与游戏服务器的连接来运行的。通常，游戏使用专用的服务器应用程序，该应用程序从玩家收集数据并将其分发给其他玩家。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS在玩家与他们相应的玩游戏装置之间建立通信以在不依赖于集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。这样的服务器通常在位于数据中心的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于PC的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，该等专用服务器通常由拥有游戏标题的软件公司托管，从而允许它们控制和更新内容。

用户用客户端装置访问远程服务，客户端装置至少包括CPU、显示器和I/O。客户端装置可以是PC、移动电话、上网本、PDA等。在一个实施方案中，在游戏服务器上执行的网络识别客户端使用的装置类型并调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来通过互联网访问游戏服务器上的应用程序。

本公开的实施方案可以用包括手持装置、微处理器系统、基于微处理器的或可编程的消费性电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。还可以在分布式计算环境中实践本公开，在分布式计算环境中，通过有线或无线网络链接的远程处理装置执行工作。

应理解，可以针对特定平台和特定相关联的控制器装置开发给定的视频游戏或游戏应用程序。但是，当经由本文所呈现的游戏云系统使此类游戏可用时，用户可能正在用不同的控制器装置访问视频游戏。例如，可能已经为游戏控制台及其相关联的控制器开发了游戏，而用户可能正在利用键盘和鼠标从个人计算机访问基于云的游戏版本。在这种情况下，输入参数配置可以限定从用户可用控制器装置(在这种情况下为键盘和鼠标)生成的输入到对于执行视频游戏可接受的输入的映射。

在另一个示例中，用户可以经由平板计算装置、触摸屏智能手机或其他触摸屏驱动的装置来访问云游戏系统。在这种情况下，客户端装置和控制器装置一起集成在同一装置中，其中输入是通过检测到的触摸屏输入/示意动作的方式提供的。对于此类装置，输入参数配置可以定义对应于视频游戏的游戏输入的特定触摸屏输入。例如，在视频游戏运行期间，按钮、方向块或其他类型的输入元件可能会被显示或叠加，以指示触摸屏上用户可以触摸以生成游戏输入的位置。诸如在特定方向上的滑动或特定触摸动作之类的示意动作也可以被检测为游戏输入。在一个实施方案中，可以例如在开始视频游戏的玩游戏过程之前向用户提供指示如何经由触摸屏提供输入以用于玩游戏过程的指南，以便使用户适应在触摸屏上操作控件。

在一些实施方案中，客户端装置用作控制器装置的连接点。也就是说，控制器装置经由无线或有线连接与客户端装置通信，以将输入从控制器装置传输到客户端装置。客户端装置又可以处理这些输入，并且然后经由网络(例如，经由诸如路由器之类的本地联网装置访问)将输入数据传输到云游戏服务器。然而，在其他实施方案中，控制器本身可以是具有直接经由网络将输入传送到云游戏服务器的能力的联网装置，而无需首先通过客户端装置传送此类输入。例如，控制器可以连接到本地联网装置(诸如上述路由器)以向云游戏服务器发送数据并从云游戏服务器接收数据。因此，尽管仍然可能需要客户端装置接收来自基于云的视频游戏的视频输出并将其呈现在本地显示器上，但是可以通过允许控制器绕过客户端装置直接通过网络将输入发送到云游戏服务器来减少输入延迟。

在一个实施方案中，联网控制器和客户端装置可以被配置为将某些类型的输入直接从控制器发送到云游戏服务器，以及经由客户端装置发送其他类型的输入。例如，其检测不依赖于控制器本身以外的任何附加硬件或处理的输入可以绕过客户端装置经由网络直接从控制器发送到云游戏服务器。此类输入可以包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。但是，利用附加硬件或需要客户端装置进行处理的输入可以由客户端装置发送到云游戏服务器。这些可能包括从游戏环境中捕获的视频或音频，在发送到云游戏服务器之前，客户端装置可以对所述视频或音频进行处理。另外，来自控制器的运动检测硬件的输入可以由客户端装置结合捕获的视频来处理，以检测控制器的位置和运动，随后由客户端装置将所述位置和运动传送到云游戏服务器。应了解，根据各种实施方案的控制器装置还可以从客户端装置或者直接从云游戏服务器接收数据(例如，反馈数据)。

应理解，本文描述的实施方案可以在任何类型的客户端装置上执行。在一些实施方案中，客户端装置是头戴式显示器(HMD)或投影系统。图9是根据本公开的实施方案的示出头戴式显示器102的部件的图。HMD 102可以被配置为响应于与游戏应用程序相关的用户查询来提供和接收游戏协助，其中使用与后端游戏协助服务器相关联的深度学习引擎将查询与经建模响应进行匹配。

头戴式显示器102包括用于执行程序指令的处理器1500。存储器1502被提供用于存储目的，并且可以包括易失性和非易失性存储器。包括显示器1504，所述显示器提供用户可以观看的视觉界面。电池1506被提供作为头戴式显示器102的电源。运动检测模块1508可以包括各种类型的运动敏感硬件中的任一者，诸如磁力计1510、加速度计1512和陀螺仪1514。

加速度计是用于测量加速度和重力感应反作用力的装置。单轴和多轴模型可以用于检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速度计1512来提供重力方向，这给出了两个角度(世界空间俯仰和世界空间翻滚)的绝对参考。

磁力计测量头戴式显示器附近磁场的强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力计1510，以确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属影响，并且提供随实际偏航单调变化的偏航测量结果。磁场可能由于环境中的金属而扭曲，这导致偏航测量结果的扭曲。如有必要，可以使用来自诸如陀螺仪或摄像机之类的其他传感器的信息来校准这种扭曲。在一个实施方案中，加速度计1512与磁力计1510一起使用以获得头戴式显示器102的倾斜度和方位角。

陀螺仪是用于基于角动量原理来测量或维持取向的装置。在一个实施方案中，三个陀螺仪1514基于惯性感测提供关于跨相应轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在没有绝对参考的情况下随时间漂移。这需要周期性地重置陀螺仪，这可以使用其他可用信息来完成，诸如基于对象的视觉跟踪、加速度计、磁力计等进行的位置/取向确定。

提供摄像机1516以用于捕获真实环境的图像和图像流。头戴式显示器102中可以包括一个以上摄像机，包括面向后的摄像机(当用户正在观看头戴式显示器102的显示器时远离用户指向)，以及面向前的摄像机(当用户正在观看头戴式显示器102的显示器时朝向用户指向)。另外，深度摄像机1518可以被包括在头戴式显示器102中以用于感测真实环境中的对象的深度信息。

在一个实施方案中，集成在HMD的前面上的摄像机可以用于提供关于安全警告。例如，如果用户正在接近墙壁或对象，则可以警告用户。在一个实施方案中，可以为用户提供房间中的物理对象的轮廓视图，以警告用户它们的存在。轮廓可以例如是虚拟环境中的叠加。在一些实施方案中，可以向HMD用户提供参考标记的视图，该参考标记叠加在例如地板中。例如，标记可以向用户提供用户正在其中玩游戏的房间的中心的参考。例如，这可以向用户提供用户应该移动到何处才能避免撞到房间中的墙壁或其他对象的视觉信息。触觉警告和/或音频警告也可以提供给用户，以在用户佩戴和玩游戏或用HMD导览内容时提供更高的安全性。

头戴式显示器102包括用于提供音频输出的扬声器1520。而且，可以包括传声器1522以用于捕获来自真实环境的音频，包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1524。在一个实施方案中，触觉反馈模块1524能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。

提供LED 1526作为头戴式显示器102的状态的视觉指示器。例如，LED可以指示电池电量、通电等。提供读卡器1528以使得头戴式显示器102能够从存储卡读取信息和向存储卡写入信息。USB接口1530被包括作为用于实现外围装置的连接或与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在头戴式显示器102的各种实施方案中，可以包括各种类型的接口中的任一者以实现头戴式显示器102的更大连接性。

包括WiFi模块1532以使得能够经由无线联网技术连接到互联网。而且，头戴式显示器102包括用于实现与其他装置的无线连接的蓝牙模块1534。还可以包括通信链路1536以用于连接到其他装置。在一个实施方案中，通信链路1536利用红外传输进行无线通信。在其他实施方案中，通信链路1536可以利用各种无线或有线传输协议中的任一者来与其他装置进行通信。

包括输入按钮/传感器1538来为用户提供输入接口。可以包括各种类型的输入接口中的任一者，诸如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块1540可以被包括在头戴式显示器102中以有助于经由超声波技术与其他装置进行通信。

包括生物传感器1542以使得能够检测来自用户的生理数据。在一个实施方案中，生物传感器1542包括一个或多个干电极以用于通过用户的皮肤检测用户的生物电信号。

包括光电传感器1544以对来自放置在三维物理环境中的发射器(例如，红外基站)的信号进行响应。游戏控制台分析来自光电传感器1544和发射器的信息，以确定与头戴式显示器102相关的位置和取向信息。

另外，包括视线跟踪系统1565并且将其配置为使得能够跟踪用户的视线。例如，系统1565可以包括捕获用户眼睛的图像的视线跟踪摄像机，该图像然后被分析以确定用户的视线方向。在一个实施方案中，关于用户的视线方向的信息可以用于影响视频渲染。可以优先考虑或强调视线方向上的视频渲染，诸如通过提供更大的细节、通过中心凹渲染的更高分辨率、在中心凹区域中显示的更高分辨率的粒子系统效果、在中心凹区域外部显示的更低分辨率的粒子系统效果、或用户正在看的区域中更快的更新。

头戴式显示器102的前述部件仅被描述为可以包括在头戴式显示器102中的示例性部件。在本公开的各种实施方案中，头戴式显示器102可以包括或可以不包括各种前述部件中的一些部件。头戴式显示器102的实施方案可以另外包括当前未描述但所属领域已知的其他部件，以用于有助于如本文所述的本公开的各方面的目的。

本领域技术人员将认识到，在本公开的各种实施方案中，可以结合在显示器上显示的交互式应用程序来利用前述头戴式装置，以提供各种交互式功能。本文描述的示例性实施方案仅通过示例而非限制的方式提供。

图16是根据本公开的各种实施方案的游戏系统1600的框图。游戏系统1600被配置为经由网络1615向一个或多个客户端1610提供视频流，诸如在单玩家模式或多玩家模式中。游戏系统1600通常包括视频服务器系统1620和任选的游戏服务器1625。视频服务器系统1620被配置为以最低服务质量向一个或多个客户端1610提供视频流。例如，视频服务器系统1620可以接收改变视频游戏的状态或视频游戏内的视角的游戏命令，并以最小滞后时间向客户端1610提供反映这种状态变化的更新后的视频流。视频服务器系统1620可以被配置为以多种替代的视频格式(包括尚未定义的格式)提供视频流。此外，视频流可以包括被配置为以各种各样的帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒80帧和每秒820帧。但在本公开的替代实施方案中包括更高或更低的帧速率。

客户端1610(在本文中分别被称为1610A、1610B等)可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、网亭、无线装置、数字键盘、独立装置、手持式玩游戏装置等。通常，客户端1610被配置为接收经编码的视频流(例如，压缩的)，对视频流进行解码，并将所得视频呈现给用户，例如游戏玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将各个视频帧存储在客户端的接收缓冲器中。可以在与客户端1610成一体的显示器上或在诸如监测器或电视机之类的单独装置上向用户呈现视频流。客户端1610任选地被配置为支持一个以上游戏玩家。例如，游戏控制台可以被配置为支持两个、三个、四个或更多个同时玩家。这些玩家中的每一者可以接收单独的视频流，或者单个视频流可以包括专门为每个玩家生成的帧区域，例如基于每个玩家的视角生成的帧区域。客户端1610任选地在地理上是分散的。游戏系统1600中所包括的客户端的数量可以在从一或两个至数千、数万或更大的范围内广泛地变化。如本文中所使用的，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实施方案中，玩游戏装置可以指协作以向用户传递游戏体验的多个计算装置。例如，游戏控制台和HMD可以与视频服务器系统1620协作以传递通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1620接收视频流，并且游戏控制台将视频流或对视频流的更新转发到HMD以进行渲染。

客户端1610被配置为经由网络1615接收视频流。网络1615可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中，视频流经由标准协议(诸如TCP/IP或UDP/IP)来传送。可替代地，视频流经由专有标准进行传送。

客户端1610的典型示例是包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置的个人计算机。解码逻辑可以包括存储在计算机可读介质上的硬件、固件和/或软件。用于对视频流进行解码(和编码)的系统在所属领域中是公知的，并且根据所使用的特定编码方案而变化。

客户端1610可以但不必须进一步包括被配置用于修改接收到的视频的系统。例如，客户端可以被配置为执行进一步的渲染，将一个视频图像叠加在另一个视频图像上，裁剪视频图像等。例如，客户端1610可以被配置为接收各种类型的视频帧，诸如I帧、P帧和B帧，并且将这些帧处理为图像以显示给用户。在一些实施方案中，客户端1610的成员被配置为对视频流执行其他渲染、着色、到3D的转换或类似的操作。客户端1610的成员任选地被配置为接收一个以上音频或视频流。客户端1610的输入装置可以包括例如单手游戏控制器、双手游戏控制器、示意动作识别系统、视线识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像机、尚待开发的输入装置等。

由客户端1610接收到的视频流(以及任选的音频流)由视频服务器系统1620生成并提供。如本文其他地方进一步描述的，该视频流包括视频帧(而音频流包括音频帧)。视频帧被配置(例如，它们包括适当数据结构中的像素信息)成对显示给用户的图像作出有意义的贡献。如本文所使用，术语“视频帧”用于指主要包括被配置成对示出给用户的图像作出贡献(例如，实现所述图像)的信息的帧。本文中关于“视频帧”的大多数教导也可以应用于“音频帧”。

客户端1610通常被配置为从用户接收输入。这些输入可以包括被配置为改变视频游戏的状态或以其他方式影响玩游戏过程的游戏命令。游戏命令可以使用输入装置来接收和/或可以通过在客户端1610上执行的计算指令而自动生成。接收到的游戏命令从客户端1610经由网络1615被传送到视频服务器系统1620和/或游戏服务器1625。例如，在一些实施方案中，游戏命令经由视频服务器系统1620被传送到游戏服务器1625。在一些实施方案中，游戏命令的单独副本从客户端1610传送到游戏服务器1625和视频服务器系统1620。游戏命令的传送任选地取决于命令的标识。任选地，通过用于向客户端1610A提供音频或视频流的不同路线或通信信道，从客户端1610A传送游戏命令。

游戏服务器1625任选地由与视频服务器系统1620不同的实体来操作。例如，游戏服务器1625可以由多玩家游戏的发行者来操作。在该示例中，视频服务器系统1620任选地被游戏服务器1625视为客户端，并且任选地被配置为从游戏服务器1625的视角看来是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1620与游戏服务器1625之间的通信任选地经由网络1615进行。因此，游戏服务器1625可以是将游戏状态信息发送到多个客户端的现有技术多玩家游戏服务器，所述多个客户端中的一个客户端是游戏服务器系统1620。视频服务器系统1620可以被配置为同时与游戏服务器1625的多个实例进行通信。例如，视频服务器系统1620可以被配置为向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一者都可以由不同的游戏服务器1625支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1620的若干在地理上分布的实例被配置为向多个不同的用户提供游戏视频。视频服务器系统1620的这些实例中的每一者都可以与游戏服务器1625的相同实例进行通信。视频服务器系统1620与一个或多个游戏服务器1625之间的通信任选地经由专用通信信道而发生。例如，视频服务器系统1620可以经由高带宽信道连接到游戏服务器1625，所述高带宽信道专用于这两个系统之间的通信。

视频服务器系统1620至少包括视频源1630、I/O装置1645、处理器1650和非暂时性存储装置1655。视频服务器系统1620可以包括一个计算装置或分布在多个计算装置之间。这些计算装置任选地经由诸如局域网之类的通信系统连接。

视频源1630被配置为提供视频流，例如流视频或形成动态图片的一系列视频帧。在一些实施方案中，视频源1630包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置为从玩家接收游戏命令，并基于接收到的命令来维持视频游戏状态的副本。该游戏状态包括对象在游戏环境中的位置，以及通常包括视角。游戏状态还可以包括对象的特性、图像、颜色和/或纹理。

通常基于游戏规则以及诸如移动、转身、攻击、设置焦点、交互、使用等游戏命令来为维持游戏状态。游戏引擎的一部分任选地设置在游戏服务器1625中。游戏服务器1625可以基于使用地理上分散的客户端从多个玩家接收到的游戏命令来维护游戏状态的副本。在这些情况下，游戏状态由游戏服务器1625提供给视频源1630，其中存储游戏状态的副本并执行渲染。游戏服务器1625可以经由网络1615直接从客户端1610接收游戏命令，和/或可以经由视频服务器系统1620接收游戏命令。

视频源1630通常包括渲染逻辑，例如存储在诸如存储装置1655之类的计算机可读介质上的硬件、固件和/或软件。该渲染逻辑被配置为基于游戏状态创建视频流的视频帧。全部或部分渲染逻辑任选地设置在图形处理单元(GPU)中。渲染逻辑通常包括处理阶段，所述处理阶段被配置为基于游戏状态和视角来确定对象之间的三维空间关系和/或应用适当的纹理等。渲染逻辑产生原始视频，然后通常在所述原始视频传送给客户端1610之前对其进行编码。例如，原始视频可以根据以下各项进行编码：Adobe

在替代实施方案中，视频源1630包括视频记录装置，诸如摄像机。该摄像机可以用于生成延迟的视频或实时视频，所述视频可以被包括在计算机游戏的视频流中。所得视频流任选地包括渲染的图像和使用静态或视频摄像机记录的图像两者。视频源1630还可以包括存储装置，所述存储装置被配置为存储要包括在视频流中的先前记录的视频。视频源1630还可以包括被配置为检测对象(例如，人)的运动或位置的运动或定位感测装置，以及被配置为基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。

视频源1630任选地被配置为提供被配置为放置在其他视频上的叠加。例如，这些叠加可以包括命令接口、登录指令、给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络摄像头视频)。在包括触摸屏接口或视线检测接口的客户端1610A的实施方案中，叠加可以包括虚拟键盘、操纵杆、触摸板等。在叠加的一个示例中，玩家的语音被叠加在音频流上。视频源1630任选地还包括一个或多个音频源。

在其中视频服务器系统1620被配置为基于来自一个以上玩家的输入来维持游戏状态的实施方案中，每个玩家都可以具有包括观看的位置和方向的不同视角。视频源1630任选地被配置为基于每个玩家的视角为每个玩家提供单独的视频流。此外，视频源1630可以被配置为向客户端1610中的每一者提供不同的帧大小、帧数据大小和/或编码。视频源1630任选地被配置为提供3D视频。

I/O装置1645被配置用于使视频服务器系统1620发送和/或接收信息，诸如视频、命令、信息请求、游戏状态、视线信息、装置运动、装置位置、用户运动、客户端标识、玩家标识、游戏命令、安全性信息、音频等。I/O装置1645通常包括通信硬件，诸如网卡或调制解调器。I/O装置1645被配置为与游戏服务器1625、网络1615和/或客户端1610进行通信。

处理器1650被配置为执行被包括在本文讨论的视频服务器系统1620的各个部件内的逻辑，例如软件。例如，处理器1650可以用软件指令编程，以便执行视频源1630、游戏服务器1625和/或客户端限定器1660的功能。视频服务器系统1620任选地包括处理器1650的一个以上实例。处理器1650也可以用软件指令编程，以便执行由视频服务器系统1620接收的命令，或协调本文讨论的游戏系统1600的各个元件的操作。处理器1650可以包括一个或多个硬件装置。处理器1650是电子处理器。

存储装置1655包括非暂时性模拟和/或数字存储装置。例如，存储装置1655可以包括被配置为存储视频帧的模拟存储装置。存储装置1655可以包括计算机可读数字存储装置，例如硬盘驱动器、光盘驱动器或固态存储装置。存储装置1655被配置为(例如，通过适当的数据结构或文件系统)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等。存储装置1655任选地分布在多个装置之间。在一些实施方案中，存储装置1655被配置为存储本文其他地方讨论的视频源1630的软件部件。这些部件可以按在需要时准备提供的格式存储。

视频服务器系统1620任选地还包括客户端限定器1660。客户端限定器1660被配置为远程地确定诸如客户端1610A或1610B之类的客户端的能力。这些能力可以包括客户端1610A本身的能力以及客户端1610A与视频服务器系统1620之间的一个或多个通信信道的能力。例如，客户端限定器1660可以被配置为通过网络1615测试通信信道。

客户端限定器1660可以手动或自动确定(例如，发现)客户端1610A的能力。手动确定包括与客户端1610A的用户通信并要求用户提供能力。例如，在一些实施方案中，客户端限定器1660被配置为在客户端1610A的浏览器内显示图像、文本等。在一个实施方案中，客户端1610A是包括浏览器的HMD。在另一个实施方案中，客户端1610A是具有浏览器的游戏控制台，所述浏览器可以显示在HMD上。显示的对象请求用户输入诸如客户端1610A的操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等信息。用户输入的信息被传送回到客户端限定器1660。

自动确定可以例如通过在客户端1610A上执行代理和/或通过将测试视频发送到客户端1610A而发生。所述代理可以包括嵌入在网页中或作为后加件安装的计算指令，诸如java脚本。客户端限定器1660任选地提供代理。在各种实施方案中，代理可以发现客户端1610A的处理能力、客户端1610A的解码和显示能力、客户端1610A与视频服务器系统1620之间的通信信道的滞后时间可靠性和带宽、客户端1610A的显示类型、客户端1610A上存在的防火墙、客户端1610A的硬件、在客户端1610A上执行的软件、客户端1610A内的注册表项等。

客户端限定器1660包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器1660任选地设置在与视频服务器系统1620的一个或多个其他元件分离的计算装置上。例如，在一些实施方案中，客户端限定器1660被配置为确定客户端1610与视频服务器系统1620的一个以上实例之间的通信信道的特性。在这些实施方案中，由客户端限定器发现的信息可以用于确定视频服务器系统1620的哪个实例最适合将流视频传递到客户端1610中的一者。

尽管已经提供了特定实施方案以演示显示器上的目标着陆点的预测和更新，使得用户的眼睛的移动与显示器上中心凹区域在更新后的目标着陆点处的呈现相一致，但是这些是通过示例而非限制的方式描述的。阅读了本公开的本领域技术人员将认识到落入本公开的精神和范围内的附加实施方案。

应理解，可以使用本文公开的各种特征将本文定义的各种实施方案组合或汇编到具体的实现方式中。因此，提供的示例仅仅是一些可能的示例，而不限于通过组合各种元件以定义更多实现方式而可能的各种实现方式。在一些示例中，一些实现方式可以包括更少的元件，而不背离所公开或等同实现方式的精神。

本公开的实施方案可以用包括手持装置、微处理器系统、基于微处理器的或可编程的消费性电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。还可以在分布式计算环境中实践本公开的实施方案，在所述分布式计算环境中，由通过有线或无线网络链接的远程处理装置执行工作。

考虑到以上实施方案，应理解，本公开的实施方案可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理地操纵物理量的那些操作。本文描述的形成本公开的实施方案的一部分的任何操作都是有用的机器操作。本发明的实施方案还涉及用于执行这些操作的装置或设备。可以针对所需目的专门构造所述设备，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可以与根据本文的教导编写的计算机程序一起使用，或者构造更专门的设备来执行所需的操作可能更方便。

本公开还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据此后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

虽然以特定的顺序描述了方法操作，但是应当理解，可以在操作之间执行其他内务操作，或者可以调整操作，使得它们在稍微不同的时间发生，或者可以将操作分布在系统中，只要以期望的方式执行叠加操作的处理，所述系统便允许以与处理相关联的各种间隔发生处理操作。

尽管为了清楚理解的目的，已经对前述公开进行了一些详细的描述，但是将显而易见的是，可在所附权利要求的范围内实践一些改变和修改。因此，本实施方案被认为是说明性的而非限制性的，并且本公开的实施方案不限于本文给出的细节，而可以在所附权利要求的范围和等效物内进行修改。