基于当前游戏场景来实现图形覆盖以供流传输游戏

摘要

一种系统被配置成基于当前游戏状态在流传输游戏中实现图形覆盖。由视频游戏生成的游戏数据被接收，包括具有包含游戏视频帧的视频流的形式的游戏视频。游戏视频被显示在计算设备的显示屏上，以向在该计算设备处玩视频游戏的用户表示视频游戏。视频游戏的至少一个特征至少在游戏数据中被标识。与所标识的至少一个特征相关联的用户界面(UI)控件配置被从用于视频游戏的多个UI控件配置中选择，并且与所选择的UI控件配置相对应的图形覆盖被实现在显示屏中的视频游戏上。

说明书

背景

游戏流传输是一种将视频游戏数据从运行视频游戏应用的第一用户设备(例如“发源”或“源”设备)传送到第二用户设备(例如“玩游戏”或“客户端”设备)以使用户能够使用第二用户设备来玩视频游戏的技术。例如，视频游戏的数据可以从台式计算机流传输到智能电话、平板或具有触摸屏的其他用户设备(例如“触摸设备”)，以使用户能够使用触摸屏来玩视频游戏。这样的视频游戏流传输可以使用户能够在最初视频游戏没有针对其来设计的设备上玩视频游戏。例如，游戏流传输可以使被设计成在视频游戏控制台(例如，Microsoft

为了准许用户在触摸屏设备上玩并非为触摸屏设备设计的视频游戏，图形覆盖(graphical overlay)可被呈现在触摸屏设备上。图形覆盖提供了用户与之交互以玩游戏的触摸屏控件，从而提供了与触摸设备的触摸控件的用户交互至用于视频游戏的源设备的物理控件的映射。例如，视频游戏可针对用户使用手持游戏控制器来与之交互的视频游戏控制台来被设计。视频游戏可以被流传输到触摸设备(诸如智能电话)。如此，图形覆盖可以在触摸设备上被用来呈现用于用户交互的触摸控件。触摸屏控件(例如，图形按钮等)映射到游戏控制器控件(物理按钮、杆等)。当触摸屏上的图形覆盖将所有游戏控制器控件都呈现为触摸控件时，触摸屏可能变得杂乱，并且可能在阻挡用户观看视频游戏的位置上呈现触摸控件。

概述

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。

提供了用于在流传输游戏中实现图形覆盖的方法、系统和计算机程序产品。例如，计算设备可以包括显示屏和接收从源设备流传输的游戏数据的视频游戏流传输客户端。视频游戏流传输客户端包括游戏引擎，该游戏引擎被配置成接收游戏数据并在显示屏上显示游戏视频以向在计算设备处玩视频游戏的用户表示视频游戏。视频游戏流传输客户端进一步包括控件配置确定器，该控件配置确定器包括特征标识器和控件配置选择器。特征标识器被配置成至少在游戏数据中标识视频游戏的至少一个特征。控件配置选择器被配置成从用于视频游戏的多个用户界面(UI)控件配置中选择与所标识的至少一个特征相关联的UI控件配置。游戏引擎在显示屏中的视频游戏上实现与所选择的UI控件配置相对应的图形覆盖。

下文参考附图详细描述各实施例的进一步特征和优点以及各个实施例的结构和操作。需要注意，各方法和系统不限于本文中所描述的特定实施例。本文呈现这些实施例仅用于说明性目的。基于本文包含的示教，附加的实施例对相关领域的技术人员将是显而易见的。

附图简述

合并到本文并构成说明书的一部分的附图解说了本申请的各实施例，并且与说明书一起进一步用于解释各实施例的原理并使相关领域技术人员能够实施和使用这些实施例。

图1示出了根据一示例实施例的用于实现用于流传输视频游戏的图形覆盖的系统的框图。

图2示出了根据一示例实施例的用于训练用于视频游戏特征识别的机器学习模型的流程图。

图3示出了根据一示例实施例的用于基于当前游戏状态在显示屏上选择和实现图形覆盖的流程图。

图4示出了根据一示例实施例的图1的系统的被配置成基于当前视频游戏状态来选择和实现图形覆盖的用户设备的框图。

图5示出了根据一示例实施例的图1的系统的被配置成标识视频游戏中的用来选择图形覆盖的特征的用户设备的框图。

图6示出了根据一示例实施例的用于标识视频游戏中的对象的流程图。

图7示出了根据一示例实施例的图1的系统的被配置成使得能够调谐视频游戏图形覆盖的用户界面控件的用户设备的框图。

图8示出了根据一示例实施例的用于调谐与触摸屏图形覆盖相关联的控件的流程图。

图9是可用于实现各种实施例的示例基于处理器的计算机系统的框图。

当结合其中相同的附图标记标识对应的元素的附图时，本文中描述的各实施例的特征和优点将从以下阐述的详细描述中变得更加显而易见。在附图中，相同的附图标记一般指示等同的、功能上类似的、和/或结构上类似的元素。其中元素首次出现的附图由对应附图标记中最左侧的(诸)数位来指示。

详细描述

引言

本说明书和附图公开了结合了所公开的实施例的特征的一个或多个实施例。各实施例的范围不仅限于本文公开的诸方面。所公开的实施例仅解说了预期的范围，并且所公开的实施例的修改版本也涵盖在内。各实施例由所附权利要求书限定。

说明书中对“一个实施例”、“一实施例”、“一示例实施例”等等的提及指示所描述的实施例可包括特定特征、结构或者特性，但是，每一个实施例可不必包括该特定特征、结构或者特性。此外，这些短语不一定指相同的实施例。此外，当结合某一实施例描述特定特征、结构或特性时，不管是否被明确描述，结合其他实施例来实现该特征、结构或特性被认为是在本领域技术人员的知识范围内。

此外，应当理解，本文中使用的空间描述(例如，“上方”、“下方”、“上”、“左”、“右”、“下”、“顶部”、“底部”、“垂直”、“水平”等)仅用于说明的目的，并且本文描述的结构的实际实现能够按任何取向或方式在空间上布置。

在讨论中，除非另有说明，否则修改本公开的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成是指该条件或特性被限定在对该实施例所意图的应用而言可接受的该实施例的操作的容差以内。

以下描述多个示例性实施例。需要注意，在此提供的任何章节/子章节标题不旨在限制。本文档中描述了各实施例，并且任何类型的实施例可被包括在任何章节/子章节下。此外，在任何章节/子章节中公开的各实施例可与在相同章节/子章节和/或不同章节/子章节中描述的任何其他实施例以任何方式组合。

示例实施例

为了准许用户在触摸屏设备上玩并非为触摸屏设备设计的视频游戏，图形覆盖可被呈现在触摸屏设备上。图形覆盖提供了用户与之交互以玩视频游戏的触摸屏控件，从而将与触摸设备的触摸控件的用户交互映射到用于视频游戏的源设备的物理控件。例如，视频游戏可针对用户使用手持游戏控制器来与之交互的视频游戏控制台来被设计。视频游戏可以被流传输到触摸设备(诸如智能电话)。图形覆盖可被呈现在触摸设备上，以将游戏控制器控件(物理按钮、杆等)与触摸屏控件(例如，图形按钮等)进行映射，以供用户进行触摸交互。

此类图形覆盖常规地按若干种方式来配置。例如，双手指(two-digit)配置能够在用户将其两个拇指施加到触摸屏上的控件的情况下被使用。触摸输入被映射到仅使用这两个手指的手势。然而，被设计成与游戏控制器、鼠标、和/或键盘一起使用的视频游戏可能需要用户并发地操纵许多物理控件。相应地，触摸屏上的双手指配置可能会使某些视频游戏无法玩，因为用户无法提供视频游戏所需的所有输入信号。

在另一常规实现中，一刀切(one-size-fits-all)图形覆盖可被呈现，其包括触摸屏上的针对游戏控制器的每一个控件的控件。然而，因为游戏控制器通常在各个位置处包括许多不同类型的控件，所以这样的控件布局可能呈现用户不需要使用的一些控件，并且占据了整个显示屏的大部分(如果不是全部的话)，这可使一些视频游戏无法玩，因为用户无法看到在控件布局后面的实际视频游戏。相应地，“一刀切”配置从用户体验的角度来看通常是不实际的。

为了试图解决这些问题，图形覆盖的控件布局可针对特定游戏场景来定制。然而，许多视频游戏基于视频游戏中正发生的事情(即，“游戏状态”或“游戏场景”)来切换控件布局。例如，不同的控件集可被用来操作视频游戏的菜单，以使游戏中角色四处走动、驾驶汽车、飞行等。相应地，使用针对一个游戏场景定制的控件集通常是不实际的，因为游戏场景中的改变导致控件与所需控件不完全匹配。

各实施例克服了与视频游戏流传输中的图形覆盖有关的这些和其他问题。在一实施例中，机器学习可被用来确定当前游戏场景，并导致从先前的图形覆盖切换到为所确定的当前游戏场景设计的更合适的图形覆盖。在一替换实施例中，视频游戏的特定的经标识像素布置和/或声音可以标识当前游戏场景，并导致从先前的图形覆盖切换到用于所确定的当前游戏场景的更合适的图形覆盖。

在各实施例中，由视频游戏在第一计算设备处生成的游戏数据可以包括视频帧的视频流形式的游戏视频。该游戏数据可以被流传输到第二计算设备。游戏视频被显示在第二计算设备的显示屏上，以向玩视频游戏的用户表示视频游戏。在玩游戏期间，游戏相关数据(例如，游戏视频帧、游戏音频数据、输入事件流、玩视频游戏期间的硬件使用度量、玩视频游戏期间生成的其他元数据，诸如日志文件内容、API(应用编程接口)访问等)可被分析以标识与当前游戏场景(其可能刚刚从先前的游戏场景改变、或者可能处于改变的过程中)相对应的一个或多个游戏相关特征。响应于该确定，从用于视频游戏的多个用户界面(UI)控件配置中选择与所标识的(诸)特征相关联的UI控件配置。与所选择的UI控件配置相对应的图形覆盖被实现在显示屏中的视频游戏上。图形覆盖被配置成用于该特定当前游戏场景，从而该图形覆盖具有被配置成使游戏玩法在该游戏场景中对于用户而言更高效和令人愉悦的特定所选控件集、控件位置等。用户被允许与图形覆盖交互以在该当前游戏场景中玩视频游戏。

如此，各实施例使得能够基于所标识的游戏相关特征来提供用于特定游戏场景的合适控件。以此方式，针对流传输到触摸设备的视频游戏的用户体验非常接近于针对在为之设计视频游戏的源设备上所玩的视频游戏的用户体验。

在一实施例中，经训练的机器学习模型可被生成并被用来使合适的图形覆盖能够被选择用于游戏场景。在一实施例中，经训练的机器学习模型可以接收游戏相关数据以标识游戏特征，其被用来生成指示(诸)特征实际上被标识以及该游戏已被切换到相关联的游戏场景的置信度水平的置信度分数。

这样的经训练的学习模型可按各种方式来生成。例如，为了生成这样的模型，视频游戏可以在机器学习(ML)应用(诸如TensorFlow

在一些实例(诸如带有赛车游戏)中，图形覆盖可能需要附加修改以准确地模拟原始输入设备(诸如游戏控制器)。各实施例使得能够基于用户输入来控制对所实现的图形覆盖的调谐。例如，与物理游戏控制器输入设备相关联的游戏输入响应曲线可以被线性化。经线性化的游戏输入响应曲线可针对图形覆盖的触摸控件来被调谐，使得经调谐的输入响应曲线与该触摸控件相关联。经调谐的输入响应曲线确定游戏输入在玩游戏期间如何对用户输入进行响应。以此方式，可针对该触摸控件来改善用户体验。

用于生成和利用用于经流传输的视频游戏的图形覆盖的各实施例可按各种方式来实现。例如，图1示出了根据一示例实施例的用于实现用于流传输视频游戏的图形覆盖的系统100的框图。如图1所示，系统100包括训练阶段126中所包括的第一计算设备102(训练设备)、以及玩实况游戏阶段128中所包括的第二计算设备136(游戏源/发源设备)和第三计算设备104(玩游戏/客户端设备)。计算设备102包括视频游戏应用106和机器学习(ML)应用108。计算设备136包括流传输源视频游戏应用140的流传输服务138。计算设备104包括显示屏112和视频游戏流传输客户端114。视频游戏流传输客户端114包括视频游戏事件识别机器语言(VGERML)模型110、控件配置确定器118、游戏引擎120、和控件配置库122。下面进一步详细描述图1。

计算设备102和计算设备136可各自包括任何类型的移动或固定计算设备，诸如台式计算机、服务器、视频游戏控制台等。计算设备104可以是任何类型的移动计算设备(例如，

训练阶段126被用来生成机器学习模型，该机器学习模型在玩实况游戏阶段128期间被用于标识游戏相关数据中的被用来选择供显示的图形覆盖的特征。如图1所示，视频游戏应用106是视频游戏程序(例如，用由一个或多个处理器执行的程序代码实现)。视频游戏应用106可以是任何类型的视频游戏，包括因果游戏、严肃游戏、教育游戏、射击游戏、驾驶游戏等。在执行期间，视频游戏应用106生成训练游戏数据148，其包括表示在玩游戏期间的视频游戏的数据。训练游戏数据148是在训练期间生成的视频游戏的游戏数据，并被呈现给玩游戏的用户。例如，训练游戏数据148可包括供在显示屏上显示的视频数据、供由一个或多个扬声器播放的音频数据、和/或在训练阶段期间生成的其他类型的数据。在训练阶段126期间，视频游戏应用106还从用户所使用的一个或多个用户接口设备(诸如游戏控制器、触摸屏、键盘等)接收用户输入数据134。用户输入数据134指示用户在训练阶段期间在玩视频游戏时所采取的动作(例如，按下按钮、向右移动杆等)。用户输入数据134由视频游戏应用134处理以确定视频游戏如何进行，并因而在呈现给用户的训练游戏数据148的生成时被使用。

ML应用108被配置成接收并处理训练游戏数据148和训练指示146，以生成视频游戏事件识别机器语言(VGERML)模型110。例如，在一实施例中，ML应用108可以基于训练游戏数据148的实际游戏数据和以训练指示146形式提供的训练输入来实现监督式机器学习算法，以生成VGERML模型110。VGERML模型110是被生成以在玩实况游戏阶段128期间用来标识游戏相关数据中的特征的机器学习模型。所标识的特征被用来选择图形覆盖，以供显示并由与源设备(计算设备102)不同的游戏消费设备的用户进行交互。如上面提到的，训练指示146可被手动输入或通过计算机输入。在各实施例中，训练指示146可以指示在训练游戏数据的游戏视频帧中所显示的对象的位置，可以指示训练游戏数据的音频帧中的声音的时序，和/或可以指示其他游戏相关方面。

例如，诸如武器、工具、角色、车辆、其部分(例如，眼睛、头灯、尾灯、牌照等)之类的对象以及其他对象可以在玩游戏期间由视频游戏显示。被确定为对特定游戏场景而言重要的诸如这些之类的对象或其他对象可以由游戏开发者用户在供模型训练的训练游戏玩法期间旗标(或者被自动地旗标)，诸如通过指示它们在游戏视频中的位置(例如，通过用户藉由一点来指示对象的位置、通过在对象周围画框等)。附加地或替换地，训练指示146可以包括对训练游戏数据的音频中的声音的时序的指示。例如，用户可以指示在视频游戏中被视为与特定游戏场景有关的汽车引擎启动的声音、正被使用的武器的声音(例如，电锯运行、开枪射击)、特定角色说话的声音等等的时间。

在更进一步的实施例中，训练指示146可以包括输入事件流。例如，执行模型训练的用户可以指示与特定游戏场景有关的特定输入事件，诸如与用户从清单或屏幕上选择汽车相对应的一个或多个输入事件、与用户选择特定武器相对应的一个或多个输入事件等等。在还有一些其他实施例中，训练指示146可以包括对特定硬件使用的指示。例如，所指示的硬件使用可以包括对以下的指示：与特定游戏活动相对应的某些处理器利用率水平、存储器使用水平、磁盘访问等等、以及日志文件内容、API访问等，与特定游戏场景有关的被渲染到屏幕的特定对象(诸如汽车、卡车、船、直升机、角色等等)。

ML应用108基于训练游戏数据148和训练指示146来生成VGERML模型110。ML应用108可以使用任何合适的技术来生成VGERML 110，包括监督式ML模型生成算法(诸如监督式向量机(SVM))、线性回归、逻辑回归、朴素贝叶斯、线性判别分析、决策树、k最近邻算法、神经网络等。在一实施例中，所生成的VGERML模型110能够提供指示特征是否在游戏数据中被标识的置信度水平。如果置信度水平是足够的(例如，大于50％)，则与其中该特征(或诸特征)被标识的游戏场景相对应的图形覆盖可被选择。

特别地，在ML应用108生成VGERML模型110之际，训练阶段126完成并且玩实况游戏阶段128可以开始。为了启用玩实况游戏阶段128，VGERML模型110被包括在计算设备104的视频游戏流传输客户端114中。视频游戏流传输客户端114是由游戏玩家在计算设备104处用来在玩实况游戏阶段128期间玩视频游戏的经流传输的实例的基于客户端的应用。下面进一步详细描述玩实况游戏阶段128。

如上面提到的，计算设备104能由用户用来玩未被设计成在计算设备104上玩的视频游戏。可以从计算设备(诸如计算设备136)流传输视频游戏。例如，源视频游戏应用140可以在计算设备136(例如，台式计算机、游戏控制台等)上被执行。源视频游戏应用140是可由计算设备136执行以使游戏玩家能够玩视频游戏的视频游戏应用106的实例。此外，计算设备136包括被配置成将源视频游戏应用140的游戏数据144流传输到另一设备(诸如计算设备104)的流传输服务138。特别地，流传输服务138被配置成通过无线和/或有线网络来传送游戏数据144，该有线和/或无线网络可以包括一个或多个网络缆线、局域网(LAN)(诸如无线LAN(WLAN)或“Wi-Fi”)、和/或广域网(WAN)(诸如因特网)。

在一实施例中，计算设备136处的流传输服务138和计算设备104处的视频游戏流传输客户端114一起工作以向计算设备104处的用户呈现在计算设备136处执行的源视频游戏应用140的视频游戏。特别地，流传输服务138将通过执行源视频游戏应用140而生成的游戏数据144(例如，视频和音频数据)流传输到视频游戏流传输客户端114，其向计算设备140处的用户呈现视频游戏。作为回应，视频游戏流传输客户端114将从在计算设备104处与视频游戏交互的用户接收的用户输入数据142流传输到流传输服务138，以作为用户输入事件提供给源视频游戏应用140。以此方式，尽管源视频游戏应用140在第一计算设备(计算设备136)处执行，但是用户能够在第二计算设备(计算设备140)处玩视频游戏，即使视频游戏并非被设计成供在第二计算设备上玩。各实施例可被合并至的服务器-客户端流传输服务的示例包括由Microsoft

在进一步的示例细节中，如图1所示，视频游戏流传输客户端114的游戏引擎120从由流传输服务138流传输的源视频游戏应用140接收游戏数据144。在一实施例中，视频游戏流传输客户端114被配置成向计算设备104的用户呈现视频游戏，包括在计算设备104处呈现视频游戏的视频和音频、以及在计算设备104处接收由用户提供的用户输入事件。例如，在各实施例中，游戏引擎120可以在显示屏112上显示游戏数据144中的视频数据的视频，通过计算设备104的扬声器广播游戏数据144中的音频数据的音频(如果存在的话)，以及从呈现给计算设备104的用户的输入控件接收输入信号。用户输入数据142由游戏引擎120从计算设备104处的一个或多个用户接口(包括显示屏112，其可以是触摸屏)接收。用户输入数据142指示用户在玩实况游戏阶段128期间在玩视频游戏时所采取的动作(例如，触摸显示屏112上的所显示的控件)。如图1所示，游戏引擎120可以将来自输入控件的输入信号作为用户输入数据142传送给源视频游戏应用140。用户输入数据142由源视频游戏应用140处理以确定后续视频游戏执行，并因而在生成呈现给用户的游戏数据144时被使用。

在一实施例中，游戏数据144包括包含游戏视频帧的视频流的形式的游戏视频。显示屏112被配置成显示游戏视频以向在计算设备处玩视频游戏的用户表示视频游戏。例如，并且如图1所示，显示屏112在计算设备104处接收并显示视频游戏视频116。此外，显示屏112可以在视频游戏视频116上显示图形覆盖124。图形覆盖124包括一个或多个图形控件的布置(在本文中被称为用户界面(UI)控件配置)，游戏玩家可以在玩游戏期间在显示屏112上与其交互。

控件配置确定器118被配置成基于视频游戏的当前游戏场景来选择UI控件配置。为了帮助标识游戏场景，控件配置确定器118被配置成标识游戏数据144中的一个或多个特征。如上面提到的，该特征可存在于游戏视频帧、游戏音频数据、提供给视频游戏的输入事件流中，存在于计算设备的硬件使用、日志文件、API等中。

例如，并且如图1所示，控件配置确定器118可以访问VGERML 110以标识特征130。如图1所示，VGERML模型110接收游戏数据144作为输入，并且可附加地从显示屏150接收输入事件150并从计算设备104的任务管理器或其他硬件管理器接收硬件/机器使用数据152。输入事件150包括对由用户在显示屏112处提供的用户输入事件流(UI控件交互)的指示。输入事件150也被游戏引擎120接收以由源视频游戏应用140在用户输入数据142中传送，如本文中别处所描述的。硬件使用数据152包括对玩视频游戏期间的计算设备104的硬件的指示，包括与特定游戏活动相对应的处理器利用率水平、存储器使用水平、磁盘访问、日志文件内容/访问、API访问等等。基于游戏数据144，并且可任选地基于输入事件150和/或硬件使用数据152，VGERML模型110标识特征和相关联的置信度分数130。特征和相关联的置信度分数130可由配置确定器118用于确定游戏场景。

在一实施例中，如果置信度分数具有与阈值的预定关系，则该特征被确定为存在。例如，置信度分数可以具有任何合适的范围，包括0.0(低置信度)到1.0(高置信度)。置信度分数可以与预定阈值(诸如0.5、0.7等)进行比较。如果置信度分数大于阈值，则控件配置确定器118将特征指示为被标识，并且被配置成与控件配置库122对接以选择指示所标识的特征的UI控件配置。例如，并且如图1所示，控件配置确定器118可以从控件配置库122中选择UI控件配置。控件配置库122包括具有可以在玩视频游戏期间被呈现的相关联的图形覆盖的多个控件配置。在图1的示例中，响应于所标识的特征，控件配置确定器118选择对应于图形覆盖124的控件配置132。

替换地，控件配置确定器118可以访问特征至场景图，以基于所标识的特征来标识游戏场景。特别地，可专门搜索以寻找特征至场景图中的一个或多个特征。如果在游戏数据中找到一个或多个特征(例如，特定声音、具有特定属性(诸如特定颜色)的一个或多个特定像素)，则所标识的(诸)特征由特征至场景图直接地映射到对应的当前游戏场景。例如，在示例视频游戏中，当角色被残害时，游戏数据144中的一个或多个特定屏幕像素可改变为黑色。这些黑色像素可以是映射到特征至场景图中的特定游戏场景的特征。游戏数据144可以被应用于特征至场景图，并且这些像素在变黑时可导致该图中所指示的游戏场景中的对应改变(例如，通过选择/映射到对应UI控件配置)。

一旦UI控件配置被选择，控件配置确定器118便被配置成将相关联的图形覆盖124实现为对视频游戏的覆盖。例如，并且如图1所示，控件配置确定器118选择控件配置132，并且将对所选择的控件配置132的指示提供给游戏引擎120。作为响应，游戏引擎120被配置成在显示屏112中将控件配置132的图形覆盖124显示为对视频游戏视频116的覆盖。

例如，如果汽车的尾灯在视频数据中被标识为具有高置信度值(例如，0.8)的特征，则对尾灯的标识可以标识汽车的存在，并因而可以将游戏玩家指示为已选择了要在视频游戏中驾驶的汽车。如此，具有用于驾驶汽车的图形覆盖的控件配置可以基于所标识的尾灯特征被从控件配置库122中选择。图形覆盖可以包括一个或多个图形控件，以用于使汽车转向、给汽车加油门、制动汽车等。在标识出尾灯之际，图形覆盖可被显示在显示屏112上，并且游戏玩家可以与图形覆盖交互以驾驶汽车。

在各实施例中，系统100可按各种方式操作以执行其功能。例如，图2示出了根据一示例实施例的用于生成用于视频游戏事件识别的经训练的机器学习模型的流程图200。在一实施例中，流程图200可以由计算设备102执行。出于解说的目的，继续参考图1来描述图2的流程图200。需要注意，流程图200涉及识别游戏视频数据中的所显示对象，但是在其他实施例中，可以在游戏音频数据中标识声音，可以在用户输入数据中标识输入事件，并且可以在机器使用数据中按类似的方式标识机器使用信息。任何此类数据可被用作用于生成机器学习模型的训练数据。

图2的流程图200以步骤202开始。在步骤202中，视频游戏被执行以生成包括训练视频流的训练游戏数据。例如，参考图1，视频游戏应用106可以在计算设备102中被执行以生成训练游戏数据148。如上面所描述，训练游戏数据148是在训练期间生成的视频游戏的游戏数据，并被呈现给玩游戏的用户。在训练阶段126期间，视频游戏应用106还从用户所使用的一个或多个用户接口设备(诸如游戏控制器、触摸屏、键盘等)接收用户输入数据134。用户输入数据134由视频游戏应用106在执行期间接收，并被用于生成呈现给用户的训练游戏数据148的其他实例。

例如，游戏玩家可以与控件交互以发射游戏中武器。游戏玩家与控件的交互在用户输入数据134中被接收。视频游戏应用106执行视频游戏以合并武器发射及其任何效果，其可以在训练游戏数据148中被输出。

在步骤204中，对训练视频流的游戏视频帧中所显示的对象的训练指示被接收。例如，参考图1，ML应用108接收对训练游戏数据的游戏视频帧中所显示的对象的训练指示。例如，ML应用108可以接收对汽车尾灯的指示、对汽车牌照的指示、和/或对汽车尾部的其他指示以作为训练指示。此类训练指示被提供为与汽车的尾端相关联的特征，以训练机器学习模型来识别汽车的尾端，其可以在用户的角色正要进入汽车进行驾驶时被显示在视频游戏的显示屏上。在这样的境况下，用户可能期望计算设备向显示屏自动显示包括用于驾驶汽车的控件的图形覆盖。

此类训练指示可按任何合适的方式来提供。例如，游戏开发者可以指示对象的屏幕位置/区域以及对象的标识符，以作为训练指示。例如，数据对可被提供为训练指示。游戏开发者可以在视频帧中的显示屏上所显示的汽车尾灯周围绘制矩形，以作为汽车尾灯示例的位置，并且可以将该矩形标识为包括汽车尾灯和/或尾端。如上面所描述，汽车的尾端可以是要在游戏视频中标识为指示游戏玩家已选择汽车以在视频游戏中驾驶的期望特征。

在步骤206中，训练视频流和训练指示被应用于机器学习算法，以生成经训练的机器学习模型。例如，参考图1，ML应用108应用训练视频流和训练指示以生成VGERML模型110。按照上面的示例，VGERML模型110可以是用于汽车相关视频游戏的经训练模型，并因而可以被训练为能够确定角色正要驾驶汽车等等(例如，标识武器、车辆、角色等)。机器学习算法可接收与标识汽车的尾端相关联的许多各种训练指示，以用于学习如何在玩视频游戏期间识别汽车的尾端。

需要注意，VGERML模型110可按各种形式来生成。根据一个实施例，ML应用108可以根据本文别处所提到的或以其他方式已知的合适的监督式机器学习算法来生成VGERML模型110。例如，ML应用108可以实现梯度提升树算法或其他决策树算法以生成和/或训练具有决策树形式的VGERML模型110。决策树可以用输入数据(视频数据、音频数据、输入事件、机器使用数据等)来遍历以标识特征。替换地，应用108可以实现人工神经网络学习算法以将VGERML模型110生成为人工神经元的互连群的神经网络。可以向神经网络呈现输入数据以标识特征。

如上面提到的，VGERML模型110被包括在视频游戏流传输客户端114中，以用于基于当前游戏场景来选择和实现图形覆盖。任何数目的此类经配置的视频游戏流传输客户端114可以在对应用户设备中实现，以在这些用户设备中实现各实施例。视频游戏流传输客户端114可按各种方式操作以执行该功能。例如，图3示出了根据一示例实施例的用于基于当前游戏状态在显示屏上选择和实现图形覆盖的流程图300。出于解说的目的，继续参考图1并参考图4来描述流程图300。图4示出了根据一示例实施例的用于基于当前视频游戏状态来选择和实现图形覆盖的图1的计算设备104的相关部分。

图4的视频游戏流传输客户端114和显示屏112按与以上参考图1所描述的基本类似的方式操作。流程图300可以由视频游戏流传输客户端114来执行。如图4所示，视频游戏流传输客户端114包括控件配置确定器118、游戏引擎120、和存储404。游戏引擎120包括可任选的游戏视频修改器410。控件配置确定器118包括特征标识器406(其包括VGERML模型110)和控件配置选择器408。存储包括图1的控件配置库122。基于以下关于流程图300的讨论，其他结构及操作上的实施例对于相关领域的技术人员将是显而易见的。

流程图300以步骤302开始。在步骤302中，由视频游戏生成的游戏数据被接收，该游戏数据包括具有包含游戏视频帧的视频流的形式的游戏视频。例如，并且参考图1，游戏引擎120接收包括由视频游戏生成的视频游戏视频116的游戏数据144。如图1所示，游戏数据144可以通过流传输服务138从源视频游戏应用140流传输到视频游戏流传输客户端114。

在步骤304中，游戏视频被显示在显示屏上，以向在计算设备处玩视频游戏的用户表示视频游戏。例如，参考图1，视频游戏视频116被从游戏数据144中提取，并由游戏引擎120提供给显示屏112。显示屏112向在计算设备104处玩视频游戏的用户显示视频游戏视频116。

在步骤306中，视频游戏的至少一个特征至少在游戏数据中被标识。例如，参考图3，特征标识器406可以被配置成标识游戏数据中的视频游戏的一个或多个特征。特征标识器406通过使用VGERML模型110来标识视频游戏的特征。如上面所指出，游戏数据144可以包括游戏视频帧流和游戏音频数据。进一步的游戏相关数据可以包括用户输入事件150和硬件使用数据152。在各实施例中，VGERML模型110可以接收以下任何一者或多者以标识视频游戏的特征：游戏数据144的视频数据和/或音频数据、用户输入事件150、和/或硬件使用数据152。如上面所描述，VGERML 110可以生成对特征的指示以及指示所指示的特征存在的可能性的相关联的置信度值。所标识的特征可以是任何视频游戏特征，包括视觉对象或声音。此外，多个特征可被同时标识，或者特征的序列可被标识。

例如，VGERML模型110可以生成特征130，以指示置信度值为0.9的音乐改变至特定音轨的第一特征、以及指示置信度值为0.95的屏幕变暗的第二特征。

替换地，并且如上面所描述，图4的特征标识器406可被配置成直接标识游戏数据中的视频游戏的一个或多个特征，诸如特征至场景图中所包括的特定像素布置(例如，具有特定属性(诸如颜色)的特定像素)和/或声音。例如，一个或多个特定像素的特定颜色和/或特定声音可以由特征至场景图映射到特定游戏场景，从而导致游戏场景的改变(例如，从游戏角色行走改变为角色乘坐汽车)。在这样的情形中，代替使用VGERML模型110，特征至场景图可以由控件配置确定器118使用。特征至场景图将特定游戏数据项(例如，特定像素、声音等的属性)映射到用于相关联的游戏场景的对应UI控件配置。特征至场景图可被手动地构造(例如，由游戏开发者)，或者可以在各实施例中按其他方式来配置。

在步骤308中，与所标识的至少一个特征相关联的用户界面(UI)控件配置被从用于视频游戏的多个UI控件配置中选择，每个UI控件配置定义对视频游戏的对应图形覆盖，该对应图形覆盖被配置成在视频游戏的对应实况游戏场景中与之交互。例如，参考图4，控件配置选择器408可基于特征130来从控件配置库122中选择UI控件配置132。例如，UI控件配置132可以与库122中的特征130相关联，使得当特征130被标识(具有可接受的高置信度)时，UI控件配置132被选择。在一实施例中，UI控件配置132定义/包括图形覆盖124。图形覆盖124被配置成用于在视频游戏的特定场景中的游戏玩法。

需要注意，在一些实施例中，单个经标识的特征可以由控件配置用来选择UI控件配置。例如，如果尾灯是经标识的特征，则用于控制汽车的UI控件配置可被选择。在其他实施例中，多个经标识的特征可以由控件配置用来选择UI控件配置。例如，可能需要标识多个汽车相关特征(例如，尾灯、牌照、后挡风玻璃)，以便选择用于控制汽车的UI控件配置。

在步骤310中，与所选择的UI控件配置相对应的图形覆盖被实现在显示屏中的视频游戏上。例如，参考图3，游戏引擎120可以(经由控件配置选择器408)访问与所选择的UI控件配置132相关联的图形覆盖124。游戏引擎120在显示屏112中将图形覆盖124显示为对视频游戏视频116的覆盖。

相应地，在图形覆盖124被显示在显示屏112中之际，游戏玩家可以与图形覆盖124的所显示控件交互。图形覆盖124与当前游戏场景相对应，其对应于如上面所描述的在游戏相关数据中标识的一个或多个特征的存在。

需要注意，在一实施例中，可存在视频游戏修改器410以修改从视频游戏接收并被显示为视频游戏视频116的视频数据流。例如，在一实施例中，视频游戏修改器410被配置成渲染待显示为视频游戏视频116的一帧(或多帧)的图像。视频游戏修改器410可以将图像合成到接收到的视频帧中，以在视频游戏视频116中创建经修改的视频帧。视频游戏修改器410可以替换地生成完全新的视频帧，该完全新的视频帧被插入视频流中以供显示为视频游戏视频116、和/或替换其中的视频帧。

如上面所描述，在玩视频游戏期间显示的对象可指示游戏场景中的改变，并因而可以是改变游戏覆盖的触发条件。相应地，图6示出了根据一示例实施例的用于标识视频游戏中的对象的流程图600。流程图600可以在流程图300(图3)的步骤306期间执行。出于解说的目的，继续参考图4并参考图5来描述流程图600。需要注意，关于识别游戏视频数据中的所显示对象描述了流程图600，但是在其他实施例中，声音可以在游戏音频数据中被标识为特征。此外，可使用用户输入数据中的输入事件和机器使用数据来标识特征。各实施例涉及用于标识视频游戏的特征的任何组合的任何此类数据。

图5示出了根据一示例实施例的用于标识视频游戏中的用来选择图形覆盖的特征的图1的计算设备104的相关部分的框图。流程图600可以由特征标识器306来执行。基于以下关于流程图600的讨论，其他结构及操作上的实施例对于相关领域的技术人员将是显而易见的。流程图600被描述如下。

流程图600以步骤602开始。在步骤602中，分析显示屏的预定屏幕区域以寻找对象的图像。例如，参考图5，特征标识器302的VGERML模型110可以分析所有显示区域(包括预定屏幕区域518(在显示屏112上示出))中的(图1中的游戏数据144的)游戏视频数据116以寻找所显示的对象。VGERML模型110可以被配置成聚焦在预定屏幕区域518上，这归因于其是已知感兴趣的对象在玩游戏期间关联于游戏场景的改变而显现的位置。例如，预定屏幕区域518可能已在训练VGERML模型110(例如，图2的流程图200)期间被指示为该对象的位置。

例如，如图5所示，预定屏幕区域518可以是当用户控制他们的游戏中角色选择并进入要驾驶的汽车时汽车尾灯显现的预定位置。预定屏幕区域518中所标识的尾灯与进入汽车驾驶场景的游戏高度相关。如此，VGERML模型110可以标识区域518中的汽车尾灯。

在步骤604中，与对象相关联的置信度分数被确定，其指示对象的图像被包含在预定屏幕区域中的概率。例如，参考图5，VGERML模型110确定与对象相关联的置信度分数，其指示对象的图像被包含在预定屏幕区域中的概率。

例如，如图5所示，特征标识器306输出由VGERML模型110生成的特征508。特征508可以指示汽车尾灯被标识出以及相关联的所生成的置信度分数。控件配置选择器408接收特征508，并且如果置信度分数足够高(例如，大于预定阈值)，则控件配置选择器408从库122中选择与所标识的特征相关的UI控件配置。在图5的示例中，控件配置选择器408选择与所标识的汽车尾灯相关的汽车UI控件配置502。

控件配置选择器408将与汽车UI控件配置502相关联的汽车UI覆盖510提供给游戏引擎120。游戏引擎120被配置成在显示屏112中的视频游戏视频116上显示汽车UI覆盖510。如此，用户可以与汽车UI覆盖510的控件交互以通过其游戏中角色来驾驶汽车。汽车UI覆盖510是为视频游戏中的汽车驾驶而定制的，而非通用UI覆盖，由此改善了用户的游戏体验。

如上面提到的，为了容适某些视频游戏，各实施例使得能够调谐由图形覆盖的控件提供的输入响应。游戏开发者可以在UI控件把特定目标输入设备作为目标的过程期间为该UI控件创建死区和定制响应曲线。例如，目标输入设备可以是键盘、鼠标、或游戏控制器。相应地，当实现游戏流传输时，控件的输入响应可能是不正确的，因为在客户端计算设备处的新输入控件(例如，触摸控件)不是最初打算的输入控件(其可以是游戏控制器上的杆)。因而，如下文所描述，系统提供对客户端设备中的UI控件的输入响应的调谐。

例如，二维控件(诸如拇指杆)具有二维调谐曲线(turning curve)，并且可具有诸如径向、椭圆或方形等几何形状。如果视频游戏针对游戏控制器来被调谐，则拇指杆上的水平轴可从-1枢转到+1，以使汽车向左或向右转向。游戏开发者可以将拇指杆中间枢转区域(例如，-.25到+.25)中的区域编程为死区，其中当拇指杆被定位在那里时不发生转向，这可防止转向让用户感到过于焦急。此外，在响应曲线的末尾，更极端的响应可被编程以在用户用拇指杆做出极端移动时实现急转弯。然而，当在不同设备(诸如触摸屏)上使用时，用户将具有不良体验，因为触摸控件将不一定会随拇指杆响应曲线表现得良好。

如此，在一实施例中，控件调谐可被用来使游戏调谐变平，对于游戏内的响应而言控件的统一响应为1到1。在变平之后，可针对客户端控件(诸如触摸屏)来调谐该控件。这种调谐可以包括例如插入具有对应范围的一个或多个死区、剪切曲线的区域、改变响应曲率等。

相应地，在各实施例中，控件配置确定器118可被配置成启用控件调谐。例如，控件配置确定器118可根据图8来操作。图8示出了根据一示例实施例的用于调谐与触摸屏图形覆盖相关联的控件的流程图800。出于解说的目的，继续参考图4和图5并参考图7来描述流程图800。图7示出了根据一示例实施例的用于调谐视频游戏图形覆盖的用户界面控件的图1的计算设备104的相关部分的框图。

流程图800可以由游戏输入响应调谐器720来执行。基于以下关于流程图800的讨论，其他结构及操作上的实施例对于相关领域的技术人员将是显而易见的。流程图800被描述如下。

流程图800以步骤802开始。在步骤802中，与物理游戏控制器输入设备相关联的游戏输入响应曲线被线性化。例如，参考图7的示例，游戏输入响应调谐器720将与汽车UI控件配置706的控件相关联的控件输入响应曲线702线性化。例如，控件输入响应曲线702可能最初已与游戏控制器的杆或按钮相关联，并因而可能不是如上面所描述的那样是线性的。游戏输入响应调谐器720被配置成使控件输入响应曲线702变平以具有1:1(未弯曲)的输入响应。

在步骤804中，针对图形覆盖的触摸输入来调谐经线性化的游戏输入响应曲线。例如，参考图7，游戏输入响应调谐器720使游戏开发者或其他用户能够输入用于图形覆盖的控件输入响应曲线702的调谐信息。在各实施例中，调谐信息可以具有在显示屏112处的触摸输入调整的形式，该显示屏112显示与汽车UI控件配置706相关联的汽车图形覆盖710。可使游戏开发者按任何方式来调整对控件输入响应曲线702的调谐，包括通过由游戏输入响应调谐器720与显示在显示屏112处的一个或多个调谐控件进行交互。游戏输入响应调谐器720使得能够从(步骤802的)经变平的版本来调谐控件输入响应曲线702，以具有任何期望的曲率并且具有一个或多个死区(如果期望的话)。

在步骤806中，经调谐的游戏输入响应曲线与图形覆盖的触摸输入相关联。例如，如图7所示，游戏输入响应调谐器720使控件输入响应曲线702与在汽车UI控件配置702中定义的汽车图形覆盖710的关联控件相关联。

示例计算机系统实现

计算设备102、计算设备104、视频游戏应用106、ML应用108、VGERML模型110、显示屏112、视频游戏流传输客户端114、视频游戏视频116、控件配置确定器118、游戏引擎120、控件配置库122、游戏输入响应调谐器720、存储404、特征标识器406、控件配置选择器408、游戏视频修改器410、流程图200、流程图300、流程图600和流程图800可以用硬件或者与软件和/或固件中的一者或两者相组合的硬件来实现。例如，计算设备102、计算设备104、视频游戏应用106、ML应用108、VGERML模型110、显示屏112、视频游戏流传输客户端114、视频游戏视频116、控件配置确定器118、游戏引擎120、控件配置库122、游戏输入响应调谐器720、存储404、特征标识器406、控件配置选择器408、游戏视频修改器410、流程图200、流程图300、流程图600和流程图800可以被实现为被配置成在一个或多个处理器中执行并存储在计算机可读存储介质中的计算机程序代码/指令。替换地，计算设备102、计算设备104、视频游戏应用106、ML应用108、VGERML模型110、显示屏112、视频游戏流传输客户端114、视频游戏视频116、控件配置确定器118、游戏引擎120、控件配置库122、游戏输入响应调谐器720、存储404、特征标识器406、控件配置选择器408、游戏视频修改器410、流程图200、流程图300、流程图600和流程图800可被实现为硬件逻辑/电路系统。

例如，在一实施例中，计算设备102、计算设备104、视频游戏应用106、ML应用108、VGERML模型110、显示屏112、视频游戏流传输客户端114、视频游戏视频116、控件配置确定器118、游戏引擎120、控件配置库122、游戏输入响应调谐器720、存储404、特征标识器406、控件配置选择器408、游戏视频修改器410、流程图200、流程图300、流程图600和流程图800的任何组合中的一者或多者可一起被实现在SoC中。SoC可以包括集成电路芯片，该集成电路芯片包括处理器(例如，中央处理器(CPU)、微控制器、微处理器、数字信号处理器(DSP)等)、存储器、一个或多个通信接口中的一者或多者、和/或其他电路，并且可任选地执行接收到的程序代码和/或包括嵌入式固件以执行功能。

图9描绘了其中可实现各实施例的计算设备900的示例性实现。例如，计算设备102和计算设备104可各自在类似于固定或移动计算机实施例中的计算设备900的一个或多个计算设备中实现，包括计算设备900的一个或多个特征和/或替代特征。本文中所提供的对计算设备900的描述只是为了说明，并不旨在限制。各实施例也可以在相关领域的技术人员所知的其他类型的计算机系统中实现。

如图9所示，计算设备900包括一个或多个处理器(被称为处理器电路902)、系统存储器904，以及将包括系统存储器904的各种系统组件耦合到处理器电路902的总线906。处理器电路902是用一个或多个物理硬件电子电路设备元件和/或集成电路器件(半导体材料芯片或管芯)实现为中央处理单元(CPU)、微控制器、微处理器、和/或其他物理硬件处理器电路的电子和/或光学电路。处理器电路902可执行存储在计算机可读介质中的程序代码，诸如操作系统930、应用程序932、其他程序934的程序代码等。总线906表示若干类型的总线结构中的任何总线结构中的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口，以及处理器或使用各种总线体系结构中的任一种的局部总线。系统存储器904包括只读存储器(ROM)908和随机存取存储器(RAM)910。基本输入/输出系统912(BIOS)被存储在ROM 908中。

计算设备900还具有以下驱动器中的一者或多者：用于对硬盘进行读写的硬盘驱动器914、用于对可移动磁盘918进行读写的磁盘驱动器916、以及用于对可移动光盘922(诸如CD-ROM、DVD或其他光学介质)进行读写的光盘驱动器920。硬盘驱动器914、磁盘驱动器916、以及光盘驱动器920分别通过硬盘驱动器接口924、磁盘驱动器接口926、以及光盘驱动器接口928连接至总线906。这些驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块及其他数据的非易失存储。虽然描述了硬盘、可移动磁盘和可移动光盘，但是诸如闪存卡、数字视频盘、RAM、ROM之类的其他类型的基于硬件的计算机可读存储介质和其他硬件存储介质也可被用来储存数据。

数个程序模块可被存储在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作系统930、一个或多个应用程序932、其他程序934以及程序数据936。应用程序932或其他程序934可包括例如用于实现以下的计算机程序逻辑(例如，计算机程序代码或指令)：计算设备102、计算设备104、视频游戏应用106、ML应用108、VGERML模型110、显示屏112、视频游戏流传输客户端114、视频游戏视频116、控件配置确定器118、游戏引擎120、控件配置库122、游戏输入响应调谐器720、存储404、特征标识器406、控件配置选择器408、游戏视频修改器410、流程图200、流程图300、流程图600、和流程图800、和/或本文中所描述的其他实施例。

用户可通过输入设备(诸如键盘938和定点设备940)将命令和信息输入到计算设备900中。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、碟型卫星天线、扫描仪、触摸屏和/或触摸平板、用于接收语音输入的语音识别系统、用于接收姿势输入的姿势识别系统，等等。这些及其他输入设备通常通过耦合到总线906的串行端口接口942来连接到处理器电路902，但是也可以通过其他接口(诸如并行端口、游戏端口、或通用串行总线(USB))来进行连接。

显示屏944也经由接口(诸如视频适配器946)来连接到总线906。显示屏944可以在计算设备900外部或纳入其中。显示屏944可显示信息，以及作为用于接收用户命令和/或其他信息(例如，通过触摸、手指姿势、虚拟键盘等)的用户界面。除了显示屏944之外，计算设备900还可包括其他外围输出设备(未示出)，诸如扬声器和打印机。

计算设备900通过适配器或网络接口950、调制解调器952、或用于通过网络建立通信的其他装置连接到网络948(例如，因特网)。可以是内置的或外置的调制解调器952可以经由串行端口接口942连接到总线906，如图9所示，或者可以使用包括并行接口的另一接口类型连接到总线906。

如本文中所使用的，术语“计算机程序介质”、“计算机可读介质”以及“计算机可读存储介质”被用于指物理硬件介质，诸如与硬盘驱动器914相关联的硬盘、可移动磁盘918、可移动光盘922、其他物理硬件介质(诸如RAM、ROM)、闪存卡、数字视频盘、zip盘、MEM、基于纳米的存储设备，以及其他类型的物理/有形硬件存储介质。此类计算机可读存储介质与通信介质相区别且不交叠(不包括通信介质)。通信介质在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或其他数据。术语“已调制数据信号”意指以在信号中对信息进行编码的方式来使其一个或多个特性被设置或改变的信号。作为示例而非限制，通信介质包括无线介质(诸如声学、RF、红外和其他无线介质)以及有线介质。各实施例还涉及与针对计算机可读存储介质的实施例分开且不交叠的这类通信介质。

如以上所指出的，计算机程序和模块(包括应用程序932及其他程序934)可被存储在硬盘、磁盘、光盘、ROM、RAM或其他硬件存储介质上。此类计算机程序也可以经由网络接口950、串行端口接口942或任何其他接口类型来接收。这些计算机程序在由应用执行或加载时使计算机900能够实现本文中所讨论的各实施例的特征。相应地，此类计算机程序表示计算机系统900的控制器。

各实施例还涉及包括存储在任何计算机可读介质上的计算机代码或指令的计算机程序产品。此类计算机程序产品包括硬盘驱动器、光盘驱动器、存储器设备包、便携式记忆棒、存储器卡以及其他类型的物理存储硬件。

附加示例实施例

本文描述了在具有显示屏的计算设备中的一种方法。该方法包括：接收由视频游戏生成的游戏数据，该游戏数据包括具有包含游戏视频帧的视频流的形式的游戏视频；在显示屏上显示游戏视频以向在计算设备处玩视频游戏的用户表示视频游戏；至少在游戏数据中标识视频游戏的至少一个特征；从用于视频游戏的多个用户界面(UI)控件配置中选择与所标识的至少一个特征相关联的UI控件配置，每个UI控件配置定义对视频游戏的对应图形覆盖，该对应图形覆盖被配置成在视频游戏的对应实况游戏场景中与之交互；以及在显示屏中的视频游戏上实现与所选择的UI控件配置相对应的图形覆盖。

在前述方法的一个实施例中，所述标识包括在以下至少一者中标识视频游戏的特征：游戏数据的游戏视频帧、游戏数据的游戏音频数据、提供给视频游戏的输入事件流、或计算设备的硬件使用。

在前述方法的另一实施例中，至少一个特征包括对象，并且所述标识进一步包括：分析显示屏的预定屏幕区域以寻找对象的图像；以及确定与该对象相关联的置信度分数，该置信度分数指示该对象的图像被包含在预定屏幕区域中的概率。

在前述方法的又一实施例中，所述分析包括：将包含该对象的图像的视频流的游戏视频帧的一部分应用于经训练的机器学习模型以生成置信度分数。

在前述方法的又一实施例中，该方法进一步包括：执行视频游戏以生成包括训练视频流的训练游戏数据；接收对在包括训练视频流的训练游戏数据的游戏视频帧中所显示的对象的训练指示；以及将包括训练视频流的训练游戏数据和训练指示应用于机器学习算法，以生成经训练的机器学习模型。

在前述方法的又一实施例中，显示屏幕是触摸屏，并且该方法进一步包括：调谐关联于与用于触摸屏的图形覆盖相对应的所选择的UI控件配置的控件，所述调谐包括：线性化与物理游戏控制器输入设备相关联的游戏输入响应曲线，针对图形覆盖的触摸输入来调谐经线性化的游戏输入响应曲线，以及使经调谐的游戏输入响应曲线与图形覆盖的触摸输入相关联。

在前述方法的又一实施例中，游戏数据包括游戏视频帧，该游戏视频帧包括由计算设备渲染并合成到游戏视频帧中的图像。

本文描述了在计算设备中的一种系统。该系统包括：视频游戏流传输客户端，包括：游戏引擎，其被配置成：接收由视频游戏生成的游戏数据，该游戏数据包括具有包含游戏视频帧的视频流的形式的游戏视频；以及在显示屏上显示游戏视频以向在计算设备处玩视频游戏的用户表示视频游戏；以及控件配置确定器，包括：特征标识器，其被配置成：至少在游戏数据中标识视频游戏的至少一个特征；以及控件配置选择器，其被配置成：从用于视频游戏的多个用户界面(UI)控件配置中选择与所标识的至少一个特征相关联的UI控件配置，每个UI控件配置定义对视频游戏的对应图形覆盖，该对应图形覆盖被配置成在视频游戏的对应实况游戏场景中与之交互；以及在显示屏中的视频游戏上实现与所选择的UI控件配置相对应的图形覆盖。

在前述系统的一个实施例中，特征标识器被进一步配置成：在以下至少一者中标识视频游戏的特征：游戏数据的游戏视频帧、游戏数据的游戏音频数据、提供给视频游戏的输入事件流、或计算设备的硬件使用。

在前述系统的另一实施例中，该至少一个特征包括对象，并且特征标识器被进一步配置成：分析显示屏的预定屏幕区域以寻找对象的图像；以及确定与该对象相关联的置信度分数，该置信度分数指示该对象的图像被包含在预定屏幕区域中的概率。

在前述系统的又一实施例中，特征标识器被配置成：将包含该对象的图像的视频流的游戏视频帧的一部分应用于经训练的机器学习模型以生成置信度分数。

在前述系统的又一实施例中，显示屏是触摸屏，并且视频游戏流传输客户端进一步包括：游戏输入响应调谐器，其被配置成调谐关联于与用于触摸屏的图形覆盖相对应的所选择的UI控件配置的控件，游戏输入响应调谐器被配置成：线性化与物理游戏控制器输入设备相关联的游戏输入响应曲线，针对图形覆盖的触摸输入来调谐经线性化的游戏输入响应曲线，以及使经调谐的游戏输入响应曲线与图形覆盖的触摸输入相关联。

在前述系统的又一实施例中，游戏数据包括游戏视频帧，并且游戏引擎包括游戏视频修改器，其被配置成：渲染图像；以及将图像合成到游戏视频帧中。

一种其上记录有计算机程序逻辑的计算机可读介质，该计算机程序逻辑在由至少一个处理器执行时使该至少一个处理器执行一种方法，该方法包括：接收由视频游戏生成的游戏数据，该游戏数据包括具有包含游戏视频帧的视频流的形式的游戏视频；在显示屏上显示游戏视频以向在计算设备处玩视频游戏的用户表示视频游戏；至少在游戏数据中标识视频游戏的至少一个特征；从用于视频游戏的多个用户界面(UI)控件配置中选择与所标识的至少一个特征相关联的UI控件配置，每个UI控件配置定义对视频游戏的对应图形覆盖，该对应图形覆盖被配置成在视频游戏的对应实况游戏场景中与之交互；以及在显示屏中的视频游戏上实现与所选择的UI控件配置相对应的图形覆盖。

在前述计算机可读介质的一个实施例中，所述标识包括在以下至少一者中标识视频游戏的特征：游戏数据的游戏视频帧、游戏数据的游戏音频数据、提供给视频游戏的输入事件流、或计算设备的硬件使用。

在前述计算机可读介质的另一实施例中，至少一个特征包括对象，并且所述标识进一步包括：分析显示屏的预定屏幕区域以寻找对象的图像；以及接收与该对象相关联的置信度分数，该置信度分数指示该对象的图像被包含在预定屏幕区域中的概率。

在前述计算机可读介质的另一实施例中，所述分析包括：将包含该对象的图像的视频流的游戏视频帧的一部分应用于经训练的机器学习模型以生成置信度分数。

在前述计算机可读介质的另一实施例中，该方法进一步包括：执行视频游戏以生成训练视频流；接收对训练视频流的游戏视频帧中所显示的对象的训练指示；以及将训练视频流和训练指示应用于机器学习算法，以生成经训练的机器学习模型。

在前述计算机可读介质的另一实施例中，显示屏幕是触摸屏，并且该方法进一步包括：调谐关联于与用于触摸屏的图形覆盖相对应的所选择的UI控件配置的控件，所述调谐包括：线性化与物理游戏控制器输入设备相关联的游戏输入响应曲线，针对图形覆盖的触摸输入来调谐经线性化的游戏输入响应曲线，以及使经调谐的游戏输入响应曲线与图形覆盖的触摸输入相关联。

在前述计算机可读介质的另一实施例中，游戏数据包括游戏视频帧，该游戏视频帧包括由计算设备渲染并合成到游戏视频帧中的图像。

结语

尽管上文已描述了本公开的各个实施例，但是应该理解，它们只是作为示例来呈现的，而不作为限制。相关领域的技术人员将理解，可以在形式和细节方面做出各种改变而不偏离如所附权利要求书所定义的应用的精神和范围。相应地，本发明的广度和范围不应受到以上所描述的示例性实施例中的任一个的限制，而只应根据下面的权利要求及其等同物来限定。