用于增强现实角色维持并体现观察者的认知的方法

摘要

提供用于使得增强现实角色能够维持并体现观察者的认知的方法和系统。由用户手持的便携式设备被用来捕获真实环境的图像流，并生成包括虚拟角色的增强现实图像流。在便携式设备上向用户显示该增强现实图像流。当用户控制该便携式设备时，持续跟踪其位置和移动。虚拟角色配置以通过例如调整其凝视以注视在该便携式设备的方向上来展示用户的认知。

说明书

本分案申请是申请日为2011年2月14日、申请号为201180027017.0、 发明名称为“用于增强现实角色维持并体现观察者的认知的方法”的分案申 请。

技术领域

本发明涉及用于使得增强现实角色能够维持并体现观察者的认知的方 法。

背景技术

视频游戏产业的新增部分包括便携式手持设备的使用。这样的便携式设 备的示例包括专用游戏设备，诸如索尼电脑娱乐公司等制造的设备，以及诸 如智能机、PDA、数字多媒体播放器之类的其他类型的便携式设备。因为这 样的便携式设备的计算能力已经增大，所以便携式设备处理越发复杂的程序 和任务的能力也增大了。

例如，如今的便携式设备可以包括集成于单一设备的几个不同类型的硬 件。很多这样的设备可以包括彩色显示器、相机、扬声器和诸如按钮、触摸 屏或手写笔(stylus)之类的输入机构。

在此背景下，提出发明的实施例。

发明内容

本发明的实施例提供用于增强现实角色维持并体现观察者的认知的方 法和系统。应当明白，本发明可以以诸如处理、装置、系统、设备或计算机 可读介质上的方法之类的多种方式来实现。以下描述本发明的几个有创造性 的实施例。

在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的 认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所 述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机 中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真 实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的 位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实 场景；其中指示认知的动作包括调整所述增强现实场景中所述虚拟角色指向 所述便携式设备的观看方向。

在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的 认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所 述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机 中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真 实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的 位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实 场景；其中指示认知的动作包括调整所述增强现实场景中在所述便携式设备 的所述相机指向的位置的方向上所述虚拟角色的观看方向。

在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法， 所述方法包括：通过便携式设备的相机捕获真实世界场景；基于所述真实世 界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式 设备的显示器上绘制所述增强现实场景；追踪所述便携式设备的相机的方 向；响应于追踪的所述相机的方向，调整所述虚拟角色的观看方向；其中当 所述相机的方向指向所述虚拟角色时，那么调整所述虚拟角色的观看方向指 向所述便携式设备；其中当所述相机的方向指向不同于所述虚拟角色的所述 增强现实场景中的对象时，那么调整所述虚拟角色的观看方向指向所述增强 现实场景中的对象。

在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法， 所述方法包括：通过便携式设备的相机捕获真实世界场景；基于所述真实世 界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式 设备的显示器上绘制所述增强现实场景；检测通过所述便携式设备的用户的 手势；响应于检测到的通过所述用户的手势，调整所述虚拟角色的观看方向。

在一个实施例中，提供使得虚拟角色展示用户的位置或活动的认知的方 法。根据该方法，通过检测便携式设备的位置来检测用户的位置。该便携式 设备与用户基本上在同一位置(colocational)，并且由用户控制该便携式设 备的位置和移动。该便携式设备包括相机和显示器。在该相机中捕获真实世 界场景的第一图像流。基于该第一图像流生成第二图像流，该第二图像流包 括增强现实场景，其通过将虚拟角色插入到在第一图像流中捕获的真实世界 场景中来形成。虚拟角色配置以进行指示用户的位置或活动的认知的动作。 第二图像流显示在便携式设备的显示器上。

在一个实施例中，虚拟角色到真实世界场景的插入包括在虚拟角色到在 真实世界场景内识别出的表面上的放置。

根据另一实施例，便携式设备的位置的检测包括第一图像流内的定位器 (anchor)的识别，该定位器在便携式设备的移动期间被跟踪。在各种实施 例中，定位器可以包括真实世界场景内的增强现实标签或特征。

在一个实施例中，指示认知的动作的表演自动发生，而不要求来自用户 的命令。

在一个实施例中，指示认知的动作包括调整虚拟角色的观看方向。

在一个实施例中，观看方向的调整是在便携式设备的位置的方向上，并 且该方法进一步包括随着便携式设备在三维空间中移动而持续地更新观看 方向的调整的方法操作。

在一个实施例中，虚拟角色的观看方向的调整包括虚拟角色的头部或眼 睛的调整，以注视在便携式设备的方向上。

在另一实施例中，观看方向的调整是在便携式设备的相机所指向的位置 的方向上。

在发明的替代实施例中，提供用于使得虚拟角色展示用户的位置或活动 的认知的方法。根据该方法，在便携式设备的相机中捕获真实世界场景的第 一图像流。该便携式设备与用户基本上在同一位置，并且由用户控制该便携 式设备的位置和移动。识别和跟踪在第一图像流中的一个或多个标记，并且 基于一个或多个标记的跟踪来跟踪便携式设备的位置和朝向。基于第一图像 流生成第二图像流，第二图像流描绘参考第一图像流中的标记定位的虚拟现 实场景。该虚拟现实场景包括虚拟角色，配置以进行指示用户的位置或活动 的认知的动作。第二图像流显示在便携式设备的显示器上。

在发明的另一实施例中，提供用于提供与虚拟角色的用户互动性的方 法。根据该方法，初始化与计算机程序的用户互动性。确定与计算机程序的 虚拟角色的用户互动。在用户与虚拟角色互动期间检测来自用户的传感器数 据。使用该传感器数据跟踪用户的位置。进一步根据该方法，在用户与虚拟 角色互动期间检测虚拟角色的位置。并且，在用户与虚拟角色互动期间识别 用户的位置与虚拟角色的位置之间的相对定位。识别用户与虚拟角色的互动 的背景(context)。并且，也识别用于用户与虚拟角色的互动的背景的信令 (signaling)属性。将信令属性施加到虚拟角色以通过虚拟角色传递用户的 认知。

在一个实施例中，计算机程序提供虚拟现实环境，该虚拟现实环境包括 虚拟角色。并且，与计算机程序的用户互动性包括与虚拟环境的互动性。

在另一实施例中，计算机程序提供增强现实环境，该增强现实环境包括 虚拟角色。并且，与计算机程序的用户互动性包括与增强现实环境的互动性。

在一个实施例中，传感器数据包括由用户控制的便携式设备所捕获的图 像流。并且，用户的位置的跟踪包括图像流内的标记的识别和跟踪以使能便 携式设备的位置的确定。

在一个实施例中，用户与虚拟角色的互动的背景可以包括现实世界环境 内的地点、虚拟环境内的地点或计算机程序内的平台。

在一个实施例中，信令属性可以包括虚拟角色的观看方向的调整、虚拟 角色的移动或虚拟角色的手势。

从结合借助示例图示本发明的原理的附图采用的后续详细描述，本发明 的其他方面将变得清晰。

附图说明

通过参考结合附图的后续描述可以最好地理解本发明，在附图中：

图1A图示依据发明的实施例的示例性便携式设备的前视图；

图1B图示依据发明的实施例的示例性便携式设备的后视图；

图2图示依据发明的实施例的、使用便携式设备观看增强现实场景的用 户；

图3A图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；

图3B图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；

图4A图示依据发明的实施例的、当被用来观看增强现实场景时的便携 式设备的特写视图；

图4B图示依据发明的实施例的、当被用来观看增强现实场景时的便携 式设备的特写视图；

图5A图示依据发明的实施例的、被操作以指向不同方向的便携式设备 的俯视图；

图5B和图5C图示依据发明的实施例的、与虚拟角色互动的用户和真 实人的俯视图；

图6图示依据发明的实施例的、从用户角度看正被用来显示增强现实图 像流的便携式设备的特写视图；

图7图示依据发明的实施例的、利用便携式设备观看增强现实场景的用 户；

图8图示依据发明的实施例的、利用利用便携式设备观看增强现实场景 的两个用户；

图9图示依据发明的实施例的、利用便携式设备观看增强现实场景的一 组用户的俯视图；

图10图示依据发明的实施例的、用户在其中使用便携式设备观看增强 现实场景的房间的视图；

图11图示依据发明的实施例的、从与虚拟角色互动的用户的角度观看 的便携式设备的特写视图；

图12A图示依据发明的实施例的、认知对时间的曲线图；

图12B图示依据发明的实施例的、认知对时间的曲线图；

图12C图示依据发明的实施例的、认知对时间的曲线图；

图13A图示依据发明的实施例的、用于使得虚拟角色传递用户的认知的 方法；

图13B图示依据发明的实施例的、用于虚拟角色展示虚拟角色知道人类 在其世界中的地点的方法的流程图；以及

图14图示示出依据发明的实施例的便携式设备的组件的示图。

具体实施方式

下列实施例描述用于使能与增强现实角色的互动性的系统的方法和装 置。在互动性期间，增强现实角色能够维持或体现观察者的认知。在一个实 施例中，观察者是便携式设备的用户，其可以通过便携式设备的屏幕观看增 强现实角色。随着用户在三维空间中四处移动便携式设备，增强现实角色可 能回看用户。在一个实施例中，在三维空间中移动时，增强现实角色通过跟 踪便携式设备的地点回看用户。增强现实角色回看用户的时间或次数取决于 程序或用户与增强现实角色的互动性的接触。如果用户正在与增强现实角色 互动，则通过将增强现实角色视作化身，该化身取决于互动性的背景和本性， 可能仅在时间的特定点上体现认知。因此，现在将描述各种示例，其图示用 于使得增强现实角色或对象展示或体现(或对)三维空间的某点的认知。

但是，对本领域技术人员来说，显而易见，可以不用这些具体细节的某 一些或全部而实践本发明。在其他例子中，没有详细描述熟知的处理操作以 便不会不必需地模糊本发明。

参考图1A，示出依据发明的实施例的示例性便携式设备10的前视图。 该便携式设备10包括用于显示图形的显示器12。在发明的实施例中，利用 显示器12以实时示出增强现实角色。在发明的各种实施例中，显示器12可 以合并诸如触摸敏感性之类的各种显示技术中的任何一种。便携式设备10 包括用于方便音频输出的扬声器14。来自扬声器14的音频输出可以包括有 关增强现实角色的任何声音，诸如增强现实角色的声音、其他游戏声音、背 景音乐(soundtrack)、来自远程玩家的声音或任何其他类型的声音。

便携式设备10包括按钮16和方向键盘18，其用作从便携式设备的用户 接收输入的输入机构。在发明的实施例中，考虑任何各种其他输入机构可以 包括在便携式设备10中。输入机构的其他示例可以包括手写笔、触摸屏、 键盘、小键盘、触摸板、轨迹球、摇杆、触发器或可以用于接收用户输入的 任何其他类型的输入机构。

提供正面相机20以捕获便携式设备10的用户或其他对象或场景(它们 在便携式设备10的前方)的图像和视频。此外，包括麦克风22以从周围区 域捕获音频，诸如便携式设备10的用户产生的声音或语音。

参考图1B，示出依据发明的实施例的便携式设备10的后视图。提供背 面相机24用于捕获位于便携式设备10背面的对象或场景的图像和视频。可 以实时地在显示器12上显示来自相机24的捕获视频，并且可以用虚拟对象 增强，以提供显示给用户的增强现实场景。

此外，便携式设备10可以包括用于检测便携式设备10的位置和运动的 各种传感器中的任何一种。在某些实施例中，便携式设备10可以包括陀螺 仪、磁力计和加速度计中的一个或多个，以方便便携式设备10的位置和移 动的检测。

已经以某种详细程度描述了前述示例性便携式设备，以便图示依据发明 的实施例的便携式设备的一个可能实施例。但是，贯穿此说明书，对前面描 述的示例仅是其一个示例的各种便携式设备做出参考。本发明的范围不打算 以任何方式限制于任何具体便携式设备，而可以轻易地扩展到各种类型的便 携式设备中的任何一种。便携式设备的示例包括便携式游戏设备、个人数字 助理(PDA)、智能机、平板个人计算机、数码相机等。出于本公开的目的， 便携式设备理解为能够由用户操作并能够向用户显示增强现实角色的任何 设备。

参考图2，示出依据发明的实施例、使用便携式设备10观看增强现实场 景的用户30。如所示，用户30手持便携式设备10以使背面相机24朝向桌 子32。相机24捕获桌子32的图像流。此所捕获图像流用虚拟角色34实时 增强以生成增强现实图像流。在用户30观看的便携式设备10的显示器上实 时地显示增强现实图像流。

仅仅为了图示的目的，在图2中在桌子32上示出虚拟角色34。显然， 虚拟角色34并不真实地存在于桌子32上，而是出现在用户30正在观看的 增强现实图像流中，因此看似用户30位于桌子30上，如图2中所示。贯穿 此说明书，将对配置以进行各种动作或体现特定特性的虚拟角色和虚拟对象 做出参考。本领域技术人员将理解，这意味着虚拟角色或对象将像当由观察 者在恰当的观看设备上观看时那样出现，该恰当的观看设备使得观察者能够 观看增强现实图像流中的虚拟角色或对象。

在一个实施例中，虚拟角色34配置以展示便携式设备10的位置的认知。 虚拟角色34可以配置以采用展示便携式设备10的位置的认知的各种动作中 的任何一种。例如，虚拟角色34可以配置以注视在便携式设备10的方向上， 从而看似虚拟角色34正在看用户30。或者，虚拟角色34可以配置以在便携 式设备10的方向上移动，从而看似虚拟角色34正在朝向用户30移动。在 大量的其他实施例中，虚拟角色34可以配置以采取任何展示便携式设备10 的位置的认知的动作(或无动作，如果适当)。

可以应用用于生成增强现实图像流的各种技术中的任何一种，而不脱离 本发明的范围。例如，在一个实施例中，增强现实(AR)标签可以放置在 桌子32上，并且用作生成增强现实图像流的基准标记(fiduciarymarker)。 AR标签可以是在看似在真实环境的所捕获图像流中时被识别的对象或图 形。AR标签用作使能真实环境内的地点的确定的基准标记。另外，所捕获 图像流中的AR标签的视角失真(perspectivedistortion)指示AR标签的朝 向。

可以基于AR标签的识别地点和朝向，通过叠加具有有关AR标签的地 点和朝向的虚拟对象或角色，来生成增强现实图像流。例如，在一个实施例 中，虚拟角色34可以定位在AR标签的顶部(例如，“站在”AR标签上) 或与AR标签基本上在同一位置。在其他实施例中，虚拟角色34可以定位 于靠近AR标签或远离AR标签。AR标签可以显示在增强现实图像流内， 或从增强现实图像流中选择性地移除。

在一些实施例中，可以在同一环境下利用一个或多个AR标签。多个 AR标签的使用提供由AR标签定义的多个参考点。在整个真实环境中散布 的多个AR标签可以使能地点和朝向的更鲁棒的确定。这可以改进将虚拟对 象放置在增强现实图像流中的精度，和/或可以提供更宽的操作范围，因为多 个AR标签增大了在其上可以控制便携式设备10而仍然维持至少一个AR 标签在便携式设备的相机24的视场内的有效区域。

在其他实施例中，可以出于基于所捕获图像流生成增强现实图像流的目 的而应用各种图像分析和识别方法中的任何一种。例如，自然特征跟踪法或 同时定位与映射(SimultaneousLocationandMapping；SLAM)方法可以应 用于所捕获图像流以便生成增强现实图像流。自然特征跟踪方法通常需要在 真实环境(与人为引入的基准相对)内检测和跟踪诸如纹理、边缘、角落等 的“自然”特征。在本发明的其他实施例中，可以应用任何一个或多个图像 分析方法以便基于所捕获图像流生成增强现实图像流。例如，可以采用AR 标签和自然特征跟踪或SLAM方法的组合以便产生增强现实图像流。

依据发明的实施例，可以一直跟踪便携式设备10的位置。可以基于用 来生成增强现实图像流的前述技术实现便携式设备10的位置的跟踪。例如， AR标签可以用作参考标记，其基于所捕获图像流内的AR标签的视角失真 的检测，来使能便携式设备10相对AR标签的位置、朝向和移动的确定。 可以采用多个AR标签来改进确定便携式设备10的位置和朝向的精度。或 者，在其他实施例中，出于跟踪便携式设备10的位置和朝向的目的，可以 采用自然特征跟踪方法。

另外，可以基于来自便携式设备10内的运动敏感硬件(诸如加速度计、 磁力计或陀螺仪)的信息跟踪便携式设备10的移动。在一个实施例中，确 定便携式设备10的初始位置，并且基于来自加速度计、磁力计或陀螺仪的 信息确定便携式设备10相对该初始位置的移动。在其他实施例中，来自便 携式设备10的诸如加速度计、磁力计或陀螺仪的运动敏感硬件的信息可以 与诸如AR标签或自然特征跟踪技术的前述技术组合使用，以查明便携式设 备10的位置和移动。

如继续参考图2所示，真实环境内的对象的位置可以参考坐标空间描述。 在示出的实施例中，三维空间里的地点用笛卡尔坐标(x,y,z)表示，其中x 和y是在水平方向上而z表示垂直方向。仅通过示例，所示便携式设备10 的位置用坐标(0,-2,5)表示。此外，在真实环境中的虚拟角色34的出现位 置(换言之，当其看似被定位在增强现实图像流中时)也可以用真实环境的 坐标表示。在此情况下，虚拟角色34具有坐标(0,3,0)。便携式设备的地点 被持续跟踪，并且可以用持续更新的坐标表示。类似地，虚拟角色34的地 点也可以持续地确定并通过其对应的坐标表示。在本发明的其他实施例中， 可以应用诸如柱面坐标或球面坐标之类的各种坐标系中的任何一种，而不脱 离本发明的范围。

参考图3A，图示依据发明的实施例的、与虚拟角色34互动的用户30 的俯视图。如所示，用户30正手持便携式设备10，并观看作为正在便携式 设备10上显示的增强现实图像流的一部分的虚拟角色34。正在便携式设备 10上由相机捕获为图像流的真实环境包括桌子32。将虚拟角色34插入所捕 获图像流以形成增强图像流，其在便携式设备10上显示给用户30。在增强 图像流中，生成虚拟角色34以位于桌子32上。

如所示，用真实环境的坐标系表示对象的地点。在示出的示例中，配置 笛卡尔坐标系以使原点在桌子的角落。应该明白，坐标系的原点可以在空间 内的任何地点，并且在本例子中仅作为一个示例提供。用坐标(-2,-4,4)表 示便携式设备10的位置，并且虚拟角色34具有在(6,6,0)处的初始位置。

依据发明的实施例，虚拟角色34可以配置以体现便携式设备10的地点 的认知。例如，虚拟角色34可以配置以注视在便携式设备10的方向上。或 者，虚拟角色34可以配置以在便携式设备10的方向上移动。例如，如在图 3A所示，虚拟角色34可以从坐标(6,6,0)处的初始地点移动到坐标(3,3,0) 处的更靠近便携式设备10的位置。因此，虚拟角色34总是看似用户30朝 向他移动，从而展示他的地点的认知。

此外，虚拟角色34可以配置以持续跟随便携式设备10的移动。如在图 3B示出，用户30已经移动到新地点，因此已经将便携式设备10移动到坐 标(6,-5,4)。在一个实施例中，虚拟角色34配置以通过例如在其移动时持 续注视在便携式设备移动的方向上来跟踪此移动。在另一实施例中，虚拟角 色34可以配置以调整其移动以在其移动时持续在便携式设备移动的方向上 移动。这样，虚拟角色34体现便携式设备10的地点的明确认知，并且通过 扩展体现用户30的地点的认知。

在发明的各种实施例中，指示对便携式设备10的地点的虚拟角色34的 一部分的认知的、所进行的具体动作可以是像由用户30可识别那样的任何 动作。仅通过示例，而不以限制的方式，指示认知的这种动作可以包括以下： 注视在便携式设备的方向上、在便携式设备的方向上移动、产生声音、在便 携式设备的方向上或以指示用户的认知方式的说话或除此以外的沟通、打手 势、做脸部表情等。依据发明的各种实施例，可以通过虚拟角色进行指示便 携式设备或用户的位置的认知的任何动作。

参考图4A，依据发明的实施例，示出正被用来观看增强现实场景时的 便携式设备的特写视图。像是可以从用户的角度看见那样地示出便携式设备 10。在背景中，示出桌子32，带有位于其上的可选AR标签。出于图示的目 的，也示出位于桌子32的杯子42。依据上述方法，诸如杯子42的物品可以 提供附加参考点，其用来跟踪便携式设备10的位置和移动。由便携式设备 10处的相机将桌子32捕获为图像流的一部分。此所捕获图像流用虚拟角色 34增强，以形成显示在便携式设备10的显示器12上的增强现实图像流。因 此，当用户观看显示器12时，他能够看见在增强现实图像流中的虚拟角色 34，仿佛虚拟角色34在真实环境中存在。

虚拟角色34配置以展示便携式设备10的位置的认知。因此，依据在图 4A所示的一个实施例，虚拟角色34配置以注视在便携式设备10的方向上。

在图4B，便携式设备10已经相对于桌子32向不同的地点移动。跟踪 便携式设备10的位置的此改变。并且，当跟踪便携式设备10的位置时，也 调整虚拟角色34以注视在便携式设备10的方向上，由此展示便携式设备10 的位置的认知。

参考图5A，依据发明的实施例，示出被操作以指向不同方向的便携式 设备10的俯视图。如所示，指向便携式设备10以便便携式设备10的相机 指向桌子32。同样出于图示的目的而示出杯子42。在一个例子中，控制便 携式设备10以定位在地点50并且使其相机指向桌子32上的地点51。当便 携式设备10的相机捕获桌子32的图像流时，此图像流用虚拟角色34增强， 以生成增强现实图像流。此增强现实图像流显示在便携式设备10的显示器 上。

当便携式设备10定位于地点50并朝向地点51时示出增强现实图像流 的视图54。生成并配置虚拟角色34以看似它仿佛定位于增强现实图像流中 的地点51。因此，虚拟角色看似站在增强现实图像流中的桌子32上。另外， 虚拟角色34配置以体现便携式设备10的位置的认知，并且在此情况下，通 过注视便携式设备34来体现这样的认知。

但是，虚拟角色34也可以配置以体现便携式设备10所朝向的方向的认 知。依据如所示的一个实施例，虚拟角色34可以配置以注视在便携式设备 10所指向的方向上。如继续参考图5所示，当相机定位于地点52处并朝向 以使其相机指向地点53时，虚拟角色34配置以也看似注视在相同方向(即， 朝向地点53)上。这由增强现实流的对应视图55图示，其中，虚拟角色34 已经转而面对便携式设备指向的方向。以此方式，虚拟角色34可以配置以 展示不只是便携式设备的位置的认知，还有其朝向，因此向用户提供与虚拟 角色的增强互动体验。当用户注视虚拟角色(即，将便携式设备的相机指向 在真实环境中的虚拟角色的“位置”)时，虚拟角色可能注视用户，而当用 户远离虚拟角色地注视(即，将相机远离真实环境中的虚拟角色的“位置” 地指向)时，虚拟角色注视在用户所注视的方向上。

参考图5B和图5C，依据发明的实施例示出与虚拟角色互动的用户和真 实人的俯视图。如所示，在图5B，用户30手持便携式设备10，以使得其相 机指向邻近第三方真实人16的区域。虚拟角色34配置以位于此区域，因此 用户30在便携式设备10的显示器上观看虚拟角色34。虚拟角色34配置以 体现用户30的位置或活动的认知，因此在所图示的实施例中，虚拟角色34 注视在便携式设备10的方向上，从而看似用户30注视用户。在图5C，用 户30将便携式设备10指向真实人56。虚拟角色34配置以反应用户30的活 动，并且在此例子中，虚拟角色34配置以注视在便携式设备10朝向的对象 (换而言之，真实人56)的方向上。

参考图6，示出依据发明的实施例、从用户的角度观看、用来显示增强 现实图像流的便携式设备10的特写视图。便携式设备10包括用来捕获桌子 32的图像流的相机，该桌子32描绘在图6的背景中。用虚拟角色34增强所 捕获图像流以形成增强现实图像流。在一个实施例中，虚拟角色34配置以 展示便携式设备10或用户的地点的认知。这可以通过例如配置虚拟角色34 以注视在便携式设备10的方向上或在便携式设备10的方向上移动来实现。

另外，增强现实图像流可以包括诸如树木60和车辆62之类的附加虚拟 元素。在发明的实施例中，增强现实图像流可以包括任何种类的虚拟元素， 这些虚拟元素被添加到所捕获图像流，以形成增强现实图像流。在一些实施 例中，可以参考真实环境中的具体地点或对象来生成虚拟元素，或可以配置 以与真实环境中的对象互动。在其他实施例中，虚拟元素可以独立于真实环 境中的对象存在。在一些实施例中，虚拟元素可以移动或与真实环境中的对 象互动。在一些实施例中，虚拟元素可以位于真实环境中的固定地点。在一 些实施例中，虚拟元素可以替代真实环境中的对象。

在发明的各种实施例中，在增强现实图像流所基于的图像流中捕获的任 何数量的真实世界元素都可以用虚拟元素替代，包括用虚拟元素完全替代真 实世界图像流。增强现实图像流可以具有真实世界元素与虚拟元素的任何混 合或相对比例。

虽然通常从增强现实场景(基于真实世界场景的所捕获图像流生成)的 角度描述发明的实施例，但应该认识到，本发明的原理也可以应用于具有虚 拟现实角色的虚拟现实场景(无可见的真实世界元素)。继续参考图6，在本 发明的替代实施例中，在显示器12上显示虚拟现实图像流。参考依据上述 原理捕获的真实世界场景生成虚拟现实图像流。并且，便携式设备10的地 点和朝向可以基于真实世界图像流和以前讨论过的其他传感器的分析来确 定。但是，向用户显示的视频可以专门由参考真实世界环境定位的虚拟环境 组成。以此方式，用户经由便携式设备观看虚拟世界，而虚拟世界位置上联 系于真实世界，从而用户可以以自然方式关于虚拟世界控制便携式设备10。 本领域技术人员应当明白，本发明的原理可以应用于虚拟现实场景在便携式 设备10上被显示给用户的实施例，而不脱离本发明的范围。

参考图7，示出依据发明的实施例、利用便携式设备10观看增强现实场 景的用户30。便携式设备10包括背面相机(未示出)，其捕获包括桌子32 的图像流。所捕获图像流用虚拟角色34增强，以形成在便携式设备10的显 示器12上显示的增强现实图像流。另外，便携式设备10包括正面相机20， 其捕获用户10的图像流。可以实时地分析此用户图像流以确定关于用户的 各种参数并向用户提供功能性和互动性的附加模式。

例如，在一个实施例中，可以分析用户图像流以确定用户的更精确的位 置(与仅基于便携式设备10的位置的用户的近似位置相对)。或者，在另一 实施例中，通过分析用户图像流来确定用户的面部表情。在一个实施例中， 通过用户图像流的分析来跟踪用户面对的方向和/或用户眼睛的移动，以确定 用户注视或面对的地方。在另一实施例中，可以分析用户图像流以确定用户 的手势，诸如指向、挥手等。在本发明的又一实施例中，可以确定涉及用户 的或用户的身体属性，诸如眼睛颜色、皮肤类型、衣服颜色等。在本发明的 各种其他实施例中，可以基于用户图像流的分析确定用户各种类型的表情、 移动、位置或其他性质中的任何一种，而不脱离本发明的范围。

如上所述，可以配置虚拟角色34以展示从用户图像流的分析确定的各 种性质的认知。例如，基于更精确地确定的用户30的地点，虚拟角色34可 以配置以例如在用户30的方向上注视或移动来展示用户的位置的认知。在 另一实施例中，虚拟角色可以至少部分基于用户图像流的分析，配置以注视 在用户30被确定正在注视的方向上。

在一个实施例中，虚拟角色34配置以反应用户的面部表情。例如，虚 拟角色34可以提供对用户30的各种表情的恰当响应，诸如，当用户表达开 心时展示兴奋。在一个实施例中，虚拟角色34配置以通过展示类似类型的 表情来响应用户30的表情。例如，虚拟角色34可以配置以当用户30在虚 拟角色的方向上挥手时挥手。虚拟角色34可以体现各种面部表情和手势中 的任何一种，以将表情传递给用户30并且展示用户的表情和手势的认知。

在一个实施例中，虚拟角色34配置以展示用户指向哪里的认知，如同 基于便携式设备10的正面相机20捕获的用户图像流的实时分析所确定的那 样。如继续参考图7所示，用户30正指向方向70上。虚拟角色34可能最 初正注视用户30。正面相机20捕获的用户图像流被分析以确定用户指向的 方向。并且，虚拟角色34配置以随后通过注视在同一方向上来反应用户在 方向70上的指向。在另一实施例中，虚拟角色可以配置以在用户30指向的 方向上移动。在本发明的其他实施例中，虚拟角色可以配置以响应于用户在 给定方向上的指向(诸如在给定方向上攻击敌人或点燃武器，或其他类型的 动作)来进行任何类型的动作。

在另一实施例中，便携式设备10的背面相机可以被利用以检测用户30 的手势。例如，继续参考图7，在替代实施例中，用户30可以在便携式设备 10背面移动它们的手以被便携式设备10的背面相机捕获。因此，用户的手 包括在由背面相机捕获的图像流中。分析此图像流以检测用户的手的出现以 及解读用户的手做出的任何手势。例如，用户的手可以以特定方式打手势， 诸如，指向、挥动、摆动、召唤、抓取等。检测这些手势并可以被用来影响 增强现实图像流中的虚拟对象。该虚拟对象可以以指示用户活动的认知来响 应于这样的手势。

虽然参考包括正面和背面相机的便携式设备描述了前述示例，但对本领 域技术人员应该明白，便携式设备可以包括具有用于检测用户的动作和手势 以及捕获真实环境的图像流的各种朝向的任何数量的相机。

参考图8，依据发明的实施例，示出利用便携式设备以观看增强现实场 景的两个用户。如所示，用户80手持便携式设备81，而用户82手持便携式 设备83。用户80和用户82站在桌子32的相对侧，而它们各自的便携式设 备指向桌子。便携式设备81和83每一个都包括捕获真实环境的图像流的相 机，真实环境包括桌子和处于相机的视场中的周边区域。用同一虚拟角色34 增强这些所捕获图像流中的每一个，以形成平行的增强现实图像流。便携式 设备81和83抑或直接(例如，经由无线连接)抑或间接(例如，经由诸如 计算机、游戏系统、网络设备或某种其他计算设备等的补充设备(未示出)) 地互相链接，以使得在便携式设备81和83每一个上示出同一增强现实场景， 但依据它们各自的地点和朝向从不同的视角(perspective)示出。

继续参考图8，图示如同用户80在其便携式设备81上所看见的增强现 实场景的视图84。如所示，虚拟角色34正在注视用户80。同时，用户82 在其便携式设备83上看见视图86。如视图86所示，虚拟角色34正在远离 用户82地注视并朝向用户80。依据发明的实施例，虚拟角色34可以配置以 反应并展示用户位置和动作两者的认知。在所示的示例中，用户82产生噪 声或语音。此噪声由用户82的便携式设备83的麦克风检测。虚拟角色34 配置以通过注视在噪声的方向上，即，注视在便携式设备83的方向上，以 对该噪声反应，因此展示便携式设备83的位置的认知，并扩展到用户82的 位置。这通过用户82所看见的视图87图示，其中虚拟角色34现在已经转 向面对用户82。类似地，用户80所看见的视图85图示虚拟角色34已经从 用户80转开并朝向用户82。以此方式，虚拟角色34的注意力和认知可以从 一个用户转移到另一用户，他们两者都集中观看同一增强现实场景。

虽然已经参考两个用户描述了前述示例，但在其他实施例中，任何数量 的用户可以正在观看同一增强现实环境，并且虚拟角色可以配置以展示这些 用户的位置和动作中的任何一个的认知。通过示例，虚拟角色可以通过在给 定用户的方向上注视、移动、说话或打手势或采取展示给定用户的位置和/ 或活动的认知的任何其他类型的动作，来展示多个用户的位置和动作的认 知。

参考图9，依据发明的实施例，示出利用便携式设备观看增强现实场景 的一组用户的俯视图。第一用户90手持便携式设备91；第二用户92手持便 携式设备93；第三用户94手持便携式设备95；而第四用户96手持便携式 设备97。虽然所示的具体示例图示了四个手持便携式设备的用户，但本领域 技术人员应当明白，依据发明的各种实施例，可以提供任何数量的手持便携 式设备的用户。便携式设备91、93、95、97中的每一个包括用于捕获真实 环境的图像流的相机。在此情况下，便携式设备91、93、95、97的相机通 常朝向桌子32。以此方式，便携式设备的相机全部朝向同一真实环境场景， 因此捕获相同场景的图像流，但取决于便携式设备91、93、95、97的地点 和朝向从不同的视角捕获。来自每一个便携式设备中的每一个所捕获图像流 用同一虚拟角色34增强，以形成来自便携式设备91、93、95、97中的每一 个的视角的增强现实图像流。虚拟角色34将取决于它们各自的便携式设备 中的每一个被用来观看增强现实场景的视角而看似与用户90、92、94和96 中的每一个不同。为了方便于此，便携式设备91、93、95和97经由补充设 备抑或直接地抑或间接地互相链接，以在不同的便携式设备中的每一个中提 供对来自不同视角的同一增强现实场景的集体实时观看。以此方式，用户90、 92、94和96中的每一个能够同时与同一增强现实场景互动—并且更具体地， 与同一虚拟角色34互动。

应该明白，虚拟角色34可以配置以展示用户的位置的认知的各种方式 来反应多个用户90、92、94和96并与之互动。例如，虚拟角色34可以配 置以通过在用户的方向上注视或移动来将其注意力指向一个用户。在一个实 施例中，这可以基于一个用户的检测到的运动或声音而发生。用户的运动或 声音可以由配置以检测来自具体用户的图像和声音的、用户的便携式设备的 麦克风和相机来捕获。作为示例，虚拟角色34可以朝向一个用户注视。另 一个用户可以挥动其手，说些什么，或提供某种其他手势，以获得虚拟角色 34的注意。此手势或声音由用户的便携式设备来检测，并且虚拟角色34随 后可以响应于该手势或声音转向那个用户。

在发明的各种其他实施例中，虚拟角色34可以配置以抑或自愿抑或响 应于从一个或多个用户接收到的某种输入，采取任何类型的动作，其展示便 携式设备和/或手持它们的用户的位置的认知。例如，在一个实施例中，虚拟 角色34可以以系统化方式从一个用户注视到另一用户。或者，在另一实施 例中，虚拟角色34可以注视同一用户，直到其注意力从那个用户因为另一 用户进行的动作而吸引走并朝向该另一用户为止。除了在给定用户的方向上 注视或移动之外，虚拟角色34还可以通过在用户和/或它们的便携式设备的 方向上说话、改变面部表情、移动其眼睛、投掷物体、点燃武器或任何其他 类型的动作来展示用户的位置的认知，以展示用户的位置的认知。

已经参考一个虚拟角色一般地描述了前述实施例。但是，在本发明的其 他实施例中，可以存在任何数量的虚拟角色，其每一个都可以展示正在经由 此处描述的便携式设备观看增强现实场景的各种用户中的任何一个的位置 的认知。

本领域技术人员将实现大量可能的应用，而不脱离本发明的范围。仅通 过示例而不是限制的方式，此处描述一些可能的应用。例如，在一个实施例 中，作为增强现实场景的一部分出现的虚拟角色可以配置以作为表演者行 动，该表演者与用各自的便携式设备观看同一增强现实场景的各种用户中的 任何一个互动。这样的互动可以包括注视在用户的方向上、朝向用户打手势 或指示用户的位置的认知的其他类型的动作。以此方式，一组用户可以借助 于由虚拟角色对每一个用户的位置的清楚认知提供的增强互动性，从不同视 角观看虚拟角色的相同表演。

在其他相关实施例中，可以存在若干虚拟角色，每一个都配置以作为表 演者行动。这样的一组虚拟角色可以配置以协同方式(诸如以音乐组、舞蹈 组、杂技组等)表现。或者，这样一组虚拟角色可以配置以较少协同的方式 或以每一个虚拟角色以独立方式表现的方式表现。每一个组中的虚拟角色可 以展示正在经由它们的各自的便携式设备观看增强现实场景的一个或多个 各种用户的认知。

本领域技术人员将依据目前描述的实施例实现各种变型而不脱离本发 明的范围。例如，在一个实施例中，可以应用前述原理以仿真多个用户观看 一个或多个表演者、其中每一个表演者可以展示用户的位置的认知的环境。 在另一实施例中，多个用户可以集中观看虚拟讲师或虚拟小组讨论等，其中 每一个虚拟角色展示用户的位置的认知。在另一实施例中，多个用户可以集 中参与游戏和集中观看虚拟游戏主机，该虚拟游戏主机以展示用户的位置的 认知的方式与用户互动。在其他实施例中，虚拟角色可以是动物、宠物、基 于动画的角色、基于人类的角色、外星人或展示用户的位置的认知的任何其 他类型的角色。

参考图10，依据发明的实施例，示出用户30正在其中使用便携式设备 10观看增强现实场景的房间100的视图。如所示，房间100包含各种元素和 特征，诸如，图片102、门104和窗户106。由便携式设备10的相机在图像 流中捕获这些和其他特征。当用户30控制便携式设备10时，分析所捕获图 像流以使能便携式设备10的位置和朝向的确定，并使能控制便携式设备的 移动的跟踪。可以利用包括在便携式设备10中的板载设备(诸如，加速度 计、磁力计和/或陀螺仪)来增强便携式设备10的位置、朝向和移动的确定。

房间100的真实环境的所捕获图像流用虚拟角色110实时增强。如所示， 虚拟角色110配置以通过例如在便携式设备10的方向上注视、面对、打手 势或移动来展示用户30的位置的认知。另外，可以配置增强现实场景以具 有诸如虚拟角色112之类的其他虚拟角色。因此，在图10示出的示例中， 当用户30将便携式设备10转向他的右边时，在便携式设备10上显示的增 强现实图像流将包括虚拟角色112的图像。此虚拟角色112也可以通过例如 在便携式设备10的方向上注视、面对、打手势或移动来展示用户30的位置 的认知。以此方式，用户30可以体验并与包含展示用户的位置的认知的多 个虚拟角色的增强现实环境互动。当用户围绕给定真实环境移动时，增强现 实场景中的一个或多个虚拟角色可以以展示用户的位置的认知的方式来与 用户互动，并且当她在真实环境内移动时可以跟踪用户的移动。

参考图11，依据发明的实施例，示出从与虚拟角色34互动的用户的视 角观看的便携式设备10的特写视图。在所示实施例中，便携式设备10包括 捕获包括在背景中示出的桌子32的图像流的相机。所捕获图像流用各种元 素增强，以产生增强现实图像流，其显示在便携式设备10的显示器12上。 如所示，增强现实图像流包括虚拟轨迹116，并且虚拟角色34配置以在虚拟 轨迹116上驾驶虚拟车辆114。虚拟角色34配置以展示用户的位置的认知。 因此，在一个实施例中，当虚拟角色34沿着虚拟轨迹116朝向用户或更靠 近用户来驾驶虚拟车辆114时，虚拟角色34可以注视在用户的方向上。然 而，当虚拟角色34沿着虚拟轨迹116驾驶虚拟车辆114远离用户或者离用 户更远时，虚拟角色34可以不注视在用户的方向上。在各种其他实施例中， 虚拟用户34可以通过进行诸如以不同速度驾驶(例如，减速)、做出脸部表 情等的其他动作来展示用户的位置的认知。

如上所述，在替代实施例中，虚拟现实环境(与增强现实环境相对)可 以基于真实环境的所捕获图像流来生成。在这样的实施例中，虚拟现实图像 流的虚拟元素参考真实环境的元素定位，基于真实环境的所捕获图像流的分 析来检测该真实环境的元素。例如，如图11所述，虚拟轨迹116、虚拟车辆 114和虚拟角色34参考诸如桌子32的真实环境的元素定位。生成描绘虚拟 现实环境的虚拟现实图像流并显示在便携式设备10的显示器12上。因此， 当参考由便携式设备的相机持续捕获的真实环境定位虚拟环境时，用户在便 携式设备10上观看虚拟现实场景而不是真实世界场景，但能够通过物理地 控制便携式设备10来移动该便携式设备10到虚拟环境内的不同位置。

在发明的各种实施例中，可以存在由虚拟角色展示的用户的位置的认知 的不同级别。例如，在一些实施例中，虚拟角色展示认知的具体动作的性质 可以是可变的。例如，虚拟角色以展示用户位置的认知这样的方式注视用户 的时间的百分比可以变化。或者，虚拟角色在用户的方向上移动的范围 (extent)可以变化。在其他实施例中，关联于展示用户的位置的认知的动 作的任何性质可以是可变的，以提供虚拟角色体现的认知的不同级别。

另外，认知的不同级别可以由展示用户的位置的认知的活动的各种组合 来定义。例如，认知的一个级别可以由在用户的方向上的虚拟角色注视来定 义。而认知的另一个级别可以由在用户的方向上的虚拟角色注视以及在用户 的方向上的移动的组合来定义。本领域技术人员应该理解，在发明的各种实 施例中，指示用户的位置的认知的动作的各种组合中的任何一种可以用来定 义认知的不同级别。此外，展示认知的动作的性质和这样的动作的组合可以 整合以便定义可以由虚拟角色体现的用户的位置的认知的各种级别。

虽然已经参考具体动作的表演描述了认知的各种级别，但应该明白，认 知的级别也可以指示采取指示用户的位置的认知的具体动作的能力的变化， 而无论该具体动作是否实际上由虚拟角色表演。因此，例如，认知的一个级 别可以由有能力注视在用户的方向上的虚拟角色定义。但是，注视在用户的 方向上的虚拟角色的表演除非由用户的活动(诸如移动、手势、声音或其他 活动)触发而实际上可以不发生。在发明的各种实施例中，可以通过进行指 示用户的位置的认知的给定动作的能力来对虚拟角色定义认知的级别，而无 论该给定动作是否实际上进行。

虚拟角色展示的用户的位置的认知的级别可以随着时间改变。此认知级 别的变化可以由用户的具体动作引起，或可以对依赖于或独立于用户的动作 的变化程度发生。在一些实施例中，认知级别随着时间的变化是离散的。在 其他实施例中，认知级别随着时间的变化是连续的。在再其他实施例中，认 知级别随着时间的变化可以体现离散和连续改变的组合。

参考图12A，依据发明的实施例，示出认知对时间的曲线图，图示虚拟 角色的认知随着时间的离散改变。如所示，该曲线图的区域120图示认知的 基本级别。此认知的基本级别可以实际上指示虚拟角色将不体现用户的位置 的认知，或者虚拟角色将体现用户的位置的最小量认知。在区域121，虚拟 角色体现用户的位置的认知的第一级别。在区域122，虚拟角色体现用户的 位置的认知的第二级别。并且，在区域123，虚拟角色体现用户的位置的认 知的第三级别。在一个实施例中，认知的第一、第二和第三级别定义由虚拟 角色体现的用户的位置的认知的增大级别。例如，第一级别可以由在用户的 方向上的虚拟角色注视定义。第二级别可以附加包括在用户的方向上的虚拟 角色移动。并且，第三级别可以进一步包括在用户的方向上的虚拟角色打手 势。在发明的各种实施例中，认知的任何具体级别可以由动作或由动作的组 合或者采取展示用户的位置的认知的这样的动作的能力来定义。认知的级别 定义的各种动作和/或能力在一些实施例中对于增大级别而可以是附加或累 加的，或在其他实施例中而可以是对不同级别而不同的。

参考图12B，依据发明的实施例，示出认知对时间的曲线图，其图示虚 拟角色体现的用户的认知的级别的变化。如所示，虚拟角色所展示的认知的 级别以连续方式、随着时间的各种区域改变，在时间的各种区域中，认知的 级别改变或维持稳定状态。例如，在区域130和134中，虚拟角色的认知的 级别逐渐增大。在区域131和135中，虚拟角色的认知的级别达到顶峰，而 在区域132和136中，虚拟角色的认知的级别逐渐下降。在区域133和137 中，虚拟角色的认知的级别维持恒定状态。

仅通过示例而不是限制的方式提供前述所示实施例。在发明的各种实施 例中，虚拟角色体现的认知的级别可以在任何数量的级别之间变化。认知的 级别可以正在持续地改变，体现认知的恒定级别的时间周期，体现连续和离 散改变的混合等。在一些实施例中，虚拟角色可以在体现的用户的认知的级 别上体现周期变化。例如，虚拟角色可以配置以体现认知的不同级别之间的 振荡变化。或者，在其他实施例中，虚拟角色可以体现以周期方式发生的其 他类型的变化。

此外，认知的级别或这样的级别的变化可以联系到用户体验的各种方 面。例如，如果用户正在玩游戏，则虚拟角色体现的认知的级别可以取决于 玩游戏的时期(stage)或响应于用户的动作、选择或某个其他活动而改变。 因此，通过示例，在一个实施例中，在游戏的一个阶段或时期期间，虚拟角 色体现用户的认知的特定级别，而在游戏的另一阶段或时期期间，虚拟角色 体现认知的不同级别。在玩游戏的阶段或时期中的变化的示例可以包括这样 的转换：如虚拟角色到具体区域的移动、目标的完成、前进到游戏的新级别、 开始新任务、用具体设备/物品/武器等装备虚拟角色，或玩游戏时的任何其 他类型的变化，以便可以配置以引起虚拟角色体现的用户的认知的级别中的 变化。从认知的一个级别到另一个级别的转换可以是离散的或连续的。

在一些实施例中，可以基于虚拟角色从事的活动来确定认知的级别。因 此，在一个活动中，虚拟角色可以体现认知的特定级别，而对于另一活动， 虚拟角色可以体现认知的不同级别。在一个实施例中，可以为给定活动、地 点、时期或认知的其他决定因素提供认知简档，该认知简档指示认知的级别 和关联于各种输入的认知的级别的变化或关联于虚拟角色的参数的变化。例 如，在一个实施例中，当虚拟角色位于给定区域中时，对应认知简档可以指 定由虚拟角色体现的用户的认知的级别可以具有特定范围。而当虚拟角色位 于不同区域中时，那个区域的对应认知简档可以指定与虚拟角色体现的认知 的级别不同的范围。这仅是认知简档的实现的一个示例，并且本领域技术人 员应该明白，在本发明的其他实施例中，认知简档可以应用于关联于虚拟角 色或用户的各种类型的参数中的任何一种，诸如地点、活动、级别、时期、 输入等。

参考图12C，依据发明的实施例，示出认知对时间的曲线图。曲线138.1 图示随着时间由虚拟角色体现的用户的认知的级别。在发明的各种实施例 中，随着时间监控的虚拟角色的认知可以用来借助增强现实环境影响用户体 验的其他方面中的变化。例如，音量级别可以涉及认知的级别。在一个实施 例中，音量可以配置以随着认知的级别的增大而增大。或者，诸如包含虚拟 角色的区域之类的增强现实的具体部分的音量级别可以配置以涉及认知的 级别。在另一实施例中，缩放级别可以涉及认知的级别。例如，在一个实施 例中，当认知的级别增大时，增强现实场景的用户的视图可以在虚拟角色上 放大。

在再其他实施例中，增强现实场景的用户的体验的各种其他方面可以由 虚拟角色体现的认知的级别中的变化影响。例如，在一些实施例中，由认知 的级别可以影响增强现实场景的色彩方案。在一个实施例中，增强现实场景 或虚拟角色的色彩饱和的级别涉及虚拟角色体现的认知的级别。例如，色彩 饱和可以随着认知的级别的增大而增大。或者，在另一实施例中，围绕虚拟 角色的区域的色彩饱和可以配置以随着认知的级别的增大而下降，因此加强 增强现实场景内的虚拟角色的视觉显示。可以由认知的级别影响的增强现实 场景的用户体验的方面的前述示例仅通过示例提供而不是限制的方式。在本 发明的其他实施例中，增强现实场景的用户体验的任何方面都可以配置以基 于认知的级别中的变化而改变。

在各种实施例中，由认知的级别影响的增强现实场景的方面与认知的级 别之间的关系可以具有任何类型的关系。继续参考图12C，曲线138.2、138.3、 138.4和138.5图示用于基于认知的级别控制增强现实场景的方面的曲线。例 如，增强现实场景的方面可以直接地或线性地相关于认知的级别。曲线138.2 图示这样的实施例，该曲线138.2通过添加常数到认知曲线138.1的级别上 生成。曲线138.3也图示这样的关系，该曲线138.3通过将认知曲线138.1 的级别乘以常数生成。在其他实施例中，要控制的增强现实的方面的关系对 认知的级别翻转。曲线138.4图示这样的实施例，该曲线138.4代表曲线138.1 的翻转。

在本发明的其他实施例中，其他类型的关系可以用来基于虚拟角色体现 的认知的级别来控制增强现实体验的方面。例如，可以根据认知曲线的级别 的一阶导数控制增强现实体验的方面。曲线138.5图示认知曲线138.1的级 别的一阶导数。在一个实施例中，一阶导数直接用来控制增强现实体验的方 面。在另一实施例中，可以以预测方式使用一阶导数以预期认知的将来级别， 并且相应地调整增强现实体验的方面。增强现实场景的方面和认知的级别之 间的关系的类型的前述示例仅通过示例而不是以限制的方式提供。在本发明 的其他实施例中，该关系可以是根据其来基于认知的级别控制增强现实场景 的方面的任何类型的关系。

参考图13A，依据发明的实施例，示出用于使得虚拟角色传递用户的认 知的方法。在方法操作140中，初始化与计算机程序的用户互动性。该计算 机程序配置以接收由手持的或以其他方式与用户连接或关联的便携式设备 的相机拍摄真实环境的所捕获图像流，并生成包括虚拟角色的增强现实图像 流。增强现实图像流在便携式设备上向用户显示。在方法操作142中，做出 关于用户是否正与虚拟角色互动的确定。如果确定不存在与虚拟角色的互 动，则该方法停止或继续检查这样的互动，直到确定用户正在与虚拟角色互 动为止。

如果确定用户正与虚拟角色互动，则方法前进到方法操作144，其中在 用户与虚拟角色互动期间检测来自用户的传感器数据。传感器数据可以包括 对确定用户和/或便携式设备的位置、朝向及其变化有用的各种类型的数据的 任何一种。例如，传感器数据可以包括便携式设备的相机拍摄的所捕获图像 流、来自诸如加速度计、磁力计或陀螺仪的运动传感硬件的数据和来自对跟 踪用户的位置有用的其他类型的传感器的数据。在方法操作146中，所检测 的传感器数据用来在与虚拟角色互动期间跟踪用户的位置。在方法操作148 中，在与虚拟角色互动期间检测虚拟角色的位置。并且，在方法操作150中， 识别在该用户与该角色互动期间在用户的位置与虚拟角色的位置之间的相 对定位。

在方法操作152中，识别互动性的背景。所识别出的互动性的背景可以 包括涉及用户与虚拟角色互动的该背景的各种特征和属性中的任何一种。例 如，背景可以包括如日期时间、虚拟角色的地点、互动的设置(诸如玩游戏 的阶段或时期)、现实和虚拟两者的物品的存在或缺失等的属性。在方法操 作154中，对互动性的背景识别信令属性。在方法操作156中，在互动期间 施加该信令属性到虚拟角色以通过该虚拟角色传递用户的认知。

参考图13B，依据发明的实施例，示出图示用于虚拟角色展示该虚拟角 色知道人类在他的世界中的哪里的方法的流程图。根据该方法，虚拟角色通 过各种传感器的使用确定人类相对于它自己在哪里。当该人类身体绕着虚拟 角色移动时，该虚拟角色进行展示角色知道人类在他的世界中的哪里的各种 动作。在方法操作158.1中，集中来自各种传感器的数据输入。各种传感器 可以包括加速度计、全球定位系统(GPS)、陀螺仪、磁力计、相机和对确 定位置和移动有用的其他类型的传感器。传感器可以包括在用户手持的便携 式设备中，或者以其他方式与人类在同一位置。或者，在其他实施例中，传 感器可以通过其他机构与人类定位在同一位置上，诸如通过附着在人类的身 体或衣服上。

在方法操作158.2中，进行确定相对虚拟世界原点的人类位置的处理。 虚拟世界可以参考真实世界中的标记或定位器定位和定向。可以应用诸如 SLAM的定位方法或一些其他类型的定位方法以使能相对虚拟世界原点的 人类位置的确定。在方法158.3中，确定相对人类位置的虚拟角色的位置。

在方法操作158.4中，将虚拟角色的信令属性定向为朝向人类。该信令 属性是进行以展示角色知道人类在他的世界中的哪里的虚拟角色的动作。例 如，身体朝向、头部朝向、眼睛朝向、武器朝向或声音朝向以及其他类型的 信号属性，可以定向为朝向人类以展示虚拟角色知道人类位于哪里。

参考图14，依据发明的实施例，示出图示便携式设备10的组件的示图。 该便携式设备10包括用于执行程序指令的处理器160。出于存储目的而提供 存储器162，并且可以包括易失性和非易失性存储器两者。包括提供用户可 以观看的视觉界面的显示器164。电池166作为便携式设备10的电源来提供。 运动检测模块186可以包括各种类型的运动敏感硬件中的任何一种，诸如， 磁力计170、加速度计172和陀螺仪174。

加速度计是用于测量加速度和重量引起的反作用力的设备。单个和多个 轴模型可用于检测不同方向上的加速度的量值和方向。加速度计用于感应倾 角、颤动和抖动。在一个实施例中，使用三个加速度计172来提供重力的方 向，其给出2个角度的绝对参考(世界空间俯仰(pitch)和世界空间滚转 (roll))。

磁力计测量控制器附近的磁场的强度和方向。在一个实施例中，在控制 器中使用三个磁力计170，确保世界空间偏转(yaw)角的绝对参考。在一 个实施例中，设计磁力计以跨越±80微特斯拉的地球磁场。磁力计受金属影 响，并提供与实际偏转单调的偏转测量。由于环境中的金属的缘故，磁场可 以扭曲(warp)，这引起偏转测量的偏离(warp)。如果必要，则可以使用来 自诸如陀螺仪或相机的其他传感器的信息来校准此偏离。在一个实施例中， 加速度计172与磁力计170一同使用以获得便携式设备10的倾角和方位角 (azimuth)。

陀螺仪是基于角动量的原理测量或维持朝向的设备。在一个实施例中， 三个陀螺仪基于惯性传感提供关于越过各自轴(x、y和z)的运动的信息。 陀螺仪帮助检测快速旋转。但是，陀螺仪可以随着时间(overtime)漂移(drift) 而无绝对参考的存在。这要求周期性地重置陀螺仪，这可以使用诸如基于对 象的视觉跟踪、加速度计、磁力计等的位置/朝向确定的其他可用信息来实现。

提供相机176用于捕获真实环境的图像和图像流。在便携式设备10中 可以包括多于一个的相机，包括背面相机(当用户正在观看便携式设备的显 示器时远离用户地指向)和正面相机(当用户正在观看便携式设备的显示器 时朝着用户指向)。另外，可以在便携式设备中包括深度相机178用于传感 对象在真实环境中的深度信息。

便携式设备10包括用于提供音频输出的扬声器180。同样，可以包括麦 克风182，用于从真实环境捕获音频，包括来自周围环境的声音、用户做出 的语音等。便携式设备10包括用于提供触觉反馈给用户的触觉反馈模块 184。在一个实施例中，触觉反馈模块184能够引起便携式设备10的移动和 /或颤动以向用户提供触觉反馈。

提供LED186作为便携式设备10的状况的视觉指示器。例如，LED可 以指示电量、电源接通等。提供读卡器188以使得便携式设备190能够从存 储器卡读取信息和向存储器卡写入信息。包括USB接口190作为使能外围 设备的连接或与诸如其他便携式设备、计算机等的其他设备的连接的接口的 一个示例。在便携式设备10的各种实施例中，可以包括各种类型的接口中 的任何一种以使能便携式设备10的更大的连接性。

包括WiFi模块192以使能经由无线联网技术与因特网的连接。同样， 便携式设备10包括用于使能与其他设备的无线连接的蓝牙模块194。也可以 包括通信链路196，用于与其他设备的连接。在一个实施例中，通信链路196 使用红外传输用于无线通信。在其他实施例中，通信链路196可以使用用于 与其他设备通信的各种无线或有线的传输协议中的任何一种。

包括输入按钮/传感器198以为用户提供输入接口。可以包括各种类型的 输入接口中的任何一种，诸如，按钮、触摸板、操纵杆、轨迹球等。超声通 信模块200可以包括在便携式设备10中，用于经由超声技术方便与其他设 备的通信。

便携式设备10的前述组件已经仅作为包括在便携式设备10中的示例性 组件描述。在发明的各种实施例中，便携式设备10可以或可以不包括各种 前述组件的一些。出于方便这里描述本发明的方面的目的，便携式设备10 的实施例可以附加地包括目前未描述而现有技术中已知的其他组件。

前述便携式设备及其包括的组件构成用于初始化与计算机程序的互动 性的装置，以及用于确定与虚拟角色的交互的装置。便携式设备构成用于在 与虚拟角色交互期间检测来自用户的传感数据的装置，以及在与虚拟角色交 互期间使用传感器数据跟踪用户位置的装置。便携式设备构成用于在与虚拟 角色交互期间检测虚拟角色的位置的装置，以及用于在用于与虚拟角色交互 期间识别用户的位置和虚拟角色的位置之间的相对位置的装置。

便携式设备构成用于识别交互性的背景的装置，以及用于识别交互性的 背景的信令属性的装置。另外，便携式设备构成用于施加信令属性到虚拟角 色以在交互期间通过虚拟角色传递用户的认知的装置。

本发明的实施例可以以包括手持设备、微处理器系统、基于微处理器或 可编程的消费电子设备、微型计算机、大型机等的各种计算机系统配置实施。 发明也可以在由通过基于有线的或无线的网络链接的远程处理设备进行任 务的分布式计算环境中实施。

借助于记忆中的以上实施例，应当明白，本发明可以采用包括存储在计 算机系统中的数据的各种计算机实现的操作。这些操作是要求物理量的物理 处理的那些操作。这里描述的形成发明的一部分的任何操作都是有用的机器 操作。本发明也涉及用于进行这些操作的设备或装置。该装置可以是为了要 求的目的而特别构建的，或者该装置可以是由存储在计算机中的计算机程序 选择性激活或配置的通用目的计算机。特别地，各种通用目的机器可以与依 据这里的教导写出的计算机程序一起使用，或者更方便的是构建更专门的装 置来进行要求的操作。

本发明也可以具体化为计算机可读介质上的计算机可读代码。该计算机 可读介质是可以存储数据的任何数据存储设备，该数据可以在以后由计算机 系统读取。计算机可读介质的示例包括硬盘驱动器、网络附连存储器(NAS)、 只读存储器、随机访问存储器、CD-ROM、CD-R、CD-RW、磁盘和其他光 学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦接计算机 系统上的计算机可读有形介质，从而计算机可读代码以分布式存储和执行。

尽管以特殊顺序描述了方法操作，但应当明白，其他内务操作可以在操 作之间进行，或者可以调整操作从而它们在略微不同的时间出现，或可以分 布在允许以关联于处理的各种间隔的处理操作的出现的系统中，只要以所要 的方式进行叠加操作的处理。

尽管出于理解清晰的目的已经在一定详细程度上描述了前述发明，但应 该明白，可以在所附权利要求的范围内实施特定改变和改进。因此，本实施 例认为是示意性而非限制性的，并且发明不限制于这里给出的细节，而是可 以在所附权利要求范围和其等效物内修改。