用虚拟数据使静态打印内容成为动态

摘要

本发明涉及用虚拟数据使静态打印内容成为动态。本技术提供了用于用虚拟数据的显示使得通过透视、混合现实显示设备系统看到的静态打印内容更加动态的实施例。例如书籍或杂志等打印内容项被从显示设备上的相机所捕捉的图像数据中标识，并且基于例如眼睛注视或姿势等物理动作用户输入来标识对打印内容项内的打印内容选择的用户选择。基于物理动作用户输入来确定与打印内容选择有关的任务。根据该任务来显示用于该打印内容选择的虚拟数据。此外，虚拟数据可被链接到体现在打印内容项中的作品。而且，打印材料的虚拟版本可以在更舒服的阅读位置处并用改善的内容可见性来显示。

说明书

技术领域

本发明涉及用虚拟数据使静态打印内容成为动态。

背景技术

静态打印材料可以被认为是一种形式的只读存储器，所述存储器不需要电 力并且以对人眼可见的形式来存储其数据。超过一千年的牛皮纸文本存活至 今。此外，数据通常以人眼能够舒适阅读的格式来呈现，这种格式将打印的文 字呈现在白色或另一种对比色的纸的对比物理背景上。打印材料的物理本质允 许用户例如通过翻阅杂志的页面并查看杂志中的图示或吸引人的标题来在物 理上筛选其数据以寻找“感兴趣的内容”。人们能够保持他在物理书籍中的位 置，并向后翻一堆页面（用户的大脑知道这在正确的章节附近）来重读一章节 并回头再看手指保持的位置。当然，由于信息在页面上的永久设置，实体书籍、 期刊和论文也具有它们的劣势。

发明内容

混合现实是一种允许将虚拟图像与现实世界视图相混合的技术。用户可佩 戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实物体和 虚拟物体的混合图像。这种头戴式显示（HMD）设备可以更新以及在一些情况 下可还原静态打印材料中体现的数据。换言之，实体书籍、杂志、或静态打印 材料的其他实施例在以下意义上成为了一种形式的动态存储器：打印的纸张、 打印的卡片、或其他的打印的介质上出现的东西可以改变。

本发明技术提供一种使用透视、近眼、混合现实显示设备来使静态打印内 容成为动态的方法的实施例。该方法包括：标识透视、近眼、混合现实显示设 备的视野中的打印内容项，以及基于物理动作用户输入来标识对打印内容项内 的打印内容选择的用户选择。基于物理动作用户输入来确定用户请求的针对该 打印内容选择的任务并执行该任务。根据所请求的任务来显示与该打印内容选 择有关的虚拟数据。

本发明技术提供一种用于使静态打印材料成为动态的透视、近眼、混合现 实显示设备系统的系统的实施例。该系统包括由支撑结构定位的用于每只眼睛 的相应透视显示器。支撑结构的一个示例是框架。用于捕捉所述相应透视显示 器的视野中的图像数据的至少一个面向外的相机被定位在所述支撑结构上。一 个或多个软件控制的处理器通信地耦合到所述至少一个面向外的相机来接收 图像数据并耦合到光学地耦合到该相应透视显示器的至少一个图像生成单元。

该一个或多个软件控制的处理器基于物理动作用户输入和图像数据来标 识对打印内容选择的用户选择。例如，书籍的页可以在至少一个面向外的相机 的视图中。物理动作用户输入是由用户使用身体部位来执行、并由自然用户界 面（NUI）捕捉的动作。物理动作提供指示应用的操作的数据或命令。物理动 作的一些示例是眼睛注视和姿势。

一个或多个软件控制的处理器通信地耦合到能够访问数据存储的搜索引 擎，所述数据存储包括用于作品的内容、布局和虚拟数据以及体现所述作品的 打印内容项。所述一个或多个软件控制的处理器基于基于所述图像数据来制定 一个或多个查询来标识包括所述打印内容选择的打印内容项以及包括所述打 印内容选择的与介质无关的版本的作品。所述一个或多个查询被发送到所述搜 索引擎。

所述一个或多个软件控制的处理器致使所述至少一个通信地耦合的图像 生成单元通过每个光学地耦合的相应透视显示器来显示与所述打印内容选择 相关联的虚拟数据或所述打印内容选择的与所述介质无关的版本。

该技术提供一个或多个处理器可读存储设备的实施例，该存储设备具有编 码于其上的指令，所述指令致使一个或多个处理器执行一种用于使用透视、近 眼、混合现实显示设备系统来用虚拟数据改善静态打印材料的可读性的方法。 该方法包括基于该显示设备系统的一个或多个面向外的相机所捕捉的图像数 据来在标识透视、近眼、混合现实显示设备系统的视野中的打印材料，以及确 定位于所述视野中的打印材料是否满足可读性准则。响应于可读性准则未被满 足，在所述视野中显示满足可读性准则的所述打印材料的虚拟版本。此外，如 果所述打印材料仍在所述一个或多个面向外的相机的视野内，则响应于对所述 打印材料的所述虚拟版本或所述打印材料之一或两者的物理动作用户输入采 取动作。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描 述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要 特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框 图。

图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框 图。

图1C是描绘将移动设备用作处理单元的透视、混合现实显示设备系统的 另一实施例的示例组件的框图。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现 实显示设备的实施例中的镜架的镜腿的侧视图。

图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。

图3是从软件角度来看的用于通过透视、混合现实显示设备系统来提供混 合现实用户界面的系统的框图，用于使得打印材料成为动态的软件可以在该显 示设备系统中操作。

图4A示出打印内容选择元数据记录的示例。

图4B示出与打印介质相关（medium-dependent）的以及与介质无关 （medium-independent）的交叉引用内容数据存储的示例。

图5是用于用虚拟数据来使静态打印内容成为动态的方法的实施例的流程 图。

图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的 实施例的流程图。

图7A是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程 的实现示例的流程图。

图7B是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程 的另一实现示例的流程图。

图7C是用于标识姿势选择打印内容选择的至少一个物理动作的过程的实 现示例的流程图。

图8A是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现 示例的流程图。

图8B是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流 程图。

图9A是一种执行使内容选择最新（up-to-date）的任务的方法的实施例的 流程图。

图9B是基于与打印内容选择相关联的至少一个关键词来执行搜索的方法 的实施例的流程图。

图9C是基于与打印内容选择的标记相关联的至少一个关键词来执行搜索 的方法的实施例的流程图，该标记在包括其他标记的细分内。

图10A示出了过时的并且包括不可见标记的静态打印材料的示例。

图10B示出了插入虚拟数据以使内容成为最新的且交互式的虚拟内容并 显示搜索结果的示例。

图11A是用于用虚拟数据来注释静态打印内容的方法的实施例的流程图。

图11B是用于为作品的另一个打印的版本显示为该作品的一个版本输入 的被存储的注释的方法的实施例的流程图。

图12A示出指定手写内容选择的姿势的示例。

图12B示出了为用户显示的虚拟键入输入设备的示例。

图12C示出了用来选择要注释的打印文本的手指姿势的示例。

图12D示出了将图12A的手写内容选择的经格式化的文本版本作为注释 来显示的虚拟数据的示例。

图13A是用于在舒服阅读位置处提供打印内容的虚拟版本的方法的实施 例的流程图。

图13B是用于提供打印内容的虚拟版本以获得该内容的改善的可见性的 方法的实施例的流程图。

图14示出提供虚拟数据以获得改善的可见性以及多用户视角共享视图的 示例。

图15是用于提供被链接到用户视野的打印内容的虚拟版本的方法的实施 例的流程图。

图16是可用于实现网络可访问计算系统的计算系统的一个实施例的框图。

图17是可以在本技术的各实施例中操作的示例性移动设备的框图。

具体实施方式

本技术提供用于被透视、近眼、混合现实显示设备系统透视并显示的虚拟 数据来使静态打印内容成为动态的各实施例。透视显示设备系统标识用户视野 中的真实书籍、杂志、报纸或其他真实的打印材料。书籍、杂志、报纸、卡片 或独立的纸片都是打印内容项的示例，对象识别软件能够从面向前的相机所捕 捉的图像数据中标识这些打印内容项，所述相机被置于显示设备系统上用于捕 捉该显示设备的视野中的对象，该显示设备的视野近似于用户透过该显示设备 看时的视野。

在某些情况下，眼睛注视数据标识用户正聚焦于视野中的何处，并且能够 因此标识用户正在看打印内容项的哪一部分。对打印材料的一部分的注视持续 可将该部分标识为打印内容选择。注视持续是用户使用身体部位的物理动作的 示例。由用户身体部位（诸如手或手指）执行并被捕捉在图像数据中的姿势也 是物理动作用户输入的示例。眨眼或眼睛的眨动序列也可以是姿势。手、手指 或其他身体部位的指向或特定移动姿势也可指示打印内容选择，比如单词、句 子、段落或照片。用户生成的声音命令（诸如语音命令）也可以被认为是指示 用户输入的物理动作的示例。基于声音的动作通常伴随比如姿势和眼睛注视等 其他物理动作。

一旦用户选择图片或文本，则不同的任务或应用可针对该内容选择被执 行，比如用交互式游戏和全息图来增强、用经更新的内容来取代、以及使用三 维、两维或这两种虚拟数据来注释。还可以通过生成并显示该打印内容项的至 少一部分的虚拟版本来改善可用性。

图1A是描绘透视、增强或混合现实显示设备系统的实施例的示例组件的 框图。系统8包括作为在此示例中通过线6或者在其他示例中无线地与处理单 元4进行通信的近眼、头戴式显示设备2的透视显示设备。在该实施例中，头 戴式显示设备2的框架115为眼镜的形状，该框架115具有针对每只眼睛的显 示光学系统14，其中图像数据被投影到用户的眼睛中以生成图像数据的显示， 同时用户还通过显示光学系统14观看以获得现实世界的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到 所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房 间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视 图。每个显示光学系统14也被称为透视显示器，并且两个显示光学系统14一 起也可以被称为透视显示器。

框架115提供用于将该系统的各元件保持在原位的支撑结构以及用于电连 接的管道。在该实施例中，框架115提供了便利的眼镜架作为下面进一步讨论 的系统的各元件的支撑体。在此实施例中，框架115包括鼻梁架部分104，该 鼻梁架部分104具有用于记录声音并传送音频数据的话筒110。框架的镜腿或 侧臂102位于用户的每只耳朵上。在此示例中，右镜腿102r包括用于显示设备 2的控制电路136。

如图2A和2B中所示，在该实施例中在每个镜腿102上还包括图像生成单 元120。而且，在本视图中没有示出但在图2A和图2B中示出了面向外的相机 113，所述相机113用于记录数字图像和视频并将视觉记录传送到控制电路136， 控制电路136可进而将所捕捉的图像数据发送到处理单元4，处理单元4还可 通过网络50将该数据发送到一个或多个计算机系统12。

处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可佩戴 在用户的身体（例如腕）上的单独单元，或者可以是比如图1C中示出的所示 移动设备4之类的单独设备。处理单元4可通过通信网络50与一个或多个计 算系统12有线地或无线地通信（例如，WiFi、蓝牙、红外、RFID传输、无线 通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置），无论位于附近 还是位于远程位置。在其他实施例中，处理单元4的功能可被集成在图1B的 显示设备2的软件和硬件组件中。

可以充分利用远程的、网络可访问计算机系统12来处理电力和远程数据 访问。应用可在计算系统12上执行，其中该应用与显示系统8交互或为显示 系统8执行处理，或者该应用可以在透视、混合现实显示系统8中的一个或多 个处理器上执行。图16示出了计算系统12的硬件组件的示例。

图1B是描绘可通过通信网络50与其他设备通信的透视、增强或混合现实 显示设备系统8的另一个实施例的示例组件的框图。在此实施例中，显示设备 2的控制电路136经由无线收发机（参见图2A中的137）通过通信网络50与 一个或多个计算机系统12无线地通信。

图1C是将移动设备用作处理单元4的透视、混合现实显示设备系统的另 一实施例的框图。移动设备4的硬件和软件组件（诸如包含在智能电话或平板 计算设备中）的示例在图17中描述。移动设备4的显示器7还可显示用于执 行应用的数据（例如菜单），并且该显示器7可以是触摸敏感的，以接受用户 输入。移动设备4的一些其他示例是智能电话、膝上型计算机或笔记本计算机 以及上网本计算机。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现 实显示设备2的实施例中的框架115的镜腿102的侧视图。面向物理环境的摄 像机113位于框架115前方，该摄像机能够捕捉现实世界的视频和静止图像， 以映射在透视显示器的视野中并因此在用户的视野中的现实对象。所述相机还 被称为面向外的相机，意思是从用户的头部面向外。每个面向前的相机113是 相对于其相应的显示光学系统14的参考点来校准的，以使得可以从相应相机 113所捕捉的图像数据来确定显示光学系统14的视野。这样的参考点的一个示 例是其相应显示光学系统14的光轴（参见图2B中的142）。该图像数据通常 是彩色图像数据。

在许多实施例中，两个相机113提供重叠的图像数据，从所述图像数据中 可以基于立体视觉确定所述场景中的对象的深度信息。在一些示例中，所述相 机还可以是深度敏感相机，所述深度敏感相机传送并检测红外光，从红外光可 确定深度数据。该处理标识并映射用户的现实世界视野。可以包括在头戴式显 示设备2上的深度感测技术的一些示例为、但不限于SONAR、LIDAR、结构 化光和/或飞行时间。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。在 该示例中，右镜腿102r包括用于显示设备2的控制电路136，该控制电路包括 处理单元210、处理单元210可访问的用于存储处理器可读指令和数据的存储 器244、通信地耦合到处理单元210的无线接口137、以及电源239，该电源为 控制电路136的各组件以及显示器2的其他组件（如相机113、话筒110和下 面讨论的传感器单元）提供电力。处理单元210可包括一个或多个处理器，包 括中央处理单元（CPU）和图形处理单元（GPU）。

耳机130、惯性传感器132、一个或多个位置或邻近传感器144（其一些示 例是GPS收发机、红外（IR）收发机、或用于处理RFID数据的射频收发机） 位于镜腿102内部或安装到镜腿102。可选的电脉冲传感器128经由眼睛移动 检测命令。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺 仪132B、以及三轴加速度计132C。惯性传感器用于感测头戴式显示设备2的 位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。在此实施 例中，在其操作中使用模拟信号的设备（比如传感器设备144、128、130和132 以及下面讨论的话筒110和IR照明器134A）的每一个包括控制电路，该控制 电路与数字处理单元210和存储器244接口，并且为其相应的设备产生并转换 模拟信号。

产生表示图像的可见光的图像源或图像生成单元120安装在镜腿102上或 镜腿102内。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图 像的微显示器120和用于将图像从微显示器120定向到反射表面或元件124的 耦合光学透镜系统122。微显示器120可以以各种技术实现，包括投射投影技 术、微有机发光二极管（OLED）技术、或反射技术，比如数字光处理（DLP）、 硅基液晶（LCOS）、以及来自高通有限公司的显示技术。反射表面 124将光从微显示器120定向到光导光学元件112，光导光学元件112将表示 图像的光定向到用户的眼睛。可将虚拟对象的图像数据与现实对象配准，这意 味着当现实对象在透视显示器14的视野中时虚拟对象跟踪其位置到通过透视 显示设备2看到的现实对象的位置。

在一些实施例中，为了增强而被跟踪的一个或多个打印内容选择可被打印 有一个或多个标记以改善对内容选择的检测。标记还可包括描述内容选择的元 数据。例如，杂志中的照片可被打印有IR回射标记或RFID标签，所述标记或 标签包括照片中的人的标识符、以及拍摄该照片的地点、日期和一天中的时间。 此外，可包括已打印有标识符的作品的一个或多个打印或电子版本的标识符。 IR或RFID单元144可检测所述标记并将其包含的数据发送到控制电路136。

图2B是包括显示光学系统14的透视、近眼、混合现实显示设备的一侧的 实施例的俯视图。近眼显示设备2的框架115的一部分将围绕显示光学系统14 以用于提供支撑和进行电连接。为了示出头戴式显示设备2中的显示光学系统 14（在该情况下是右眼系统14r）的各个组件，围绕显示光学系统的框架115 的一部分未被描绘。

在所示实施例中，显示光学系统14是集成眼睛跟踪和显示系统。该系统 包括光导光学元件112、不透明度滤光器114、以及可选的透视透镜116和透 视透镜118。用于增强虚拟图像的对比度的不透明度滤光器114处于任选的透 视透镜116之后并与其对齐，用于投影来自微显示器120的图像数据的光导光 学元件112处于不透明度滤光器114之后并与其对齐，而任选的透视透镜118 处于光导光学元件112之后并与其对齐。下面提供光导光学元件112和不透明 度滤光器114的更多细节。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2 的用户的眼睛140。光导光学元件112还允许如表示显示光学系统14r的光轴 的箭头142所示那样将来自头戴式显示设备2的前方的光通过光导光学元件 112传送到眼睛140，由此除接收来自微显示器120的虚拟图像之外还允许用 户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件 112的壁是透视的。光导光学元件112包括第一反射表面124（例如镜面或其 他表面）。来自微显示器120的光穿过透镜122并入射在反射表面124上。反 射表面124反射来自微显示器120的入射光以使得所述光被困在波导内，在本 实施例中该波导为平面波导。代表性的反射元件126表示一个或多个光学元件， 比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他 光学元件。

红外照明和反射还横穿平面波导112以供眼睛跟踪系统134跟踪用户眼睛 的位置。用户眼睛的位置和眼睛的图像数据一般可用于诸如注视检测、眨眼命 令检测、以及收集指示该用户的个人存在状态（state of being）的生物测定 信息等应用。眼睛跟踪系统134包括在此示例中位于透镜118和镜腿102之间 的眼睛跟踪照明源134A以及眼睛跟踪IR传感器134B。在一个实施例中，眼 睛跟踪照明源134A可包括以大约预定IR波长或一定范围的波长发射的一个或 多个红外（IR）发射器（诸如红外发光二极管（LED）或激光器（例如，VCSEL））。 在一些实施例中，眼睛跟踪传感器134B可以是用于跟踪闪光位置的IR相机或 IR位置敏感检测器（PSD）。

在此实施例中将平面波导用作光导光学元件112允许为图像生成单元120、 照明源134A以及IR传感器134B灵活地放置进出波导的光路的进入和退出光 学耦合。在此实施例中，波长选择滤光器123使来自反射表面124的可见光谱 光通过并且将来自眼睛跟踪照明源134A的红外波长照明引导到平面波导112 中，波长选择滤光器125使来自微显示器120的可见照明和来自源134A的IR 照明以向鼻梁架104的方向前进的光学路径穿过。在此示例中的反射元件126 还表示实现了双向红外（IR）滤光的一个或多个光学元件，其将IR照明导向 眼睛140（优选地以光轴142为中心）并从用户眼睛140接收IR反射。除了上 面提到的光栅等等之外，还可使用一个或多个热镜（hot mirror）来实现红外滤 光。在本示例中，IR传感器134B也光学地耦合到波长选择滤光器125，波长 选择滤光器125仅将来自波导的红外辐射（包括用户眼睛140的红外反射，优 选地包括在光轴142周围捕捉的反射）导出波导112并导入到IR传感器134B 中。

在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于 HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz 等人的名称为“Head Mounted Eye Tracking and Display System（头戴式眼睛跟 踪和显示系统）”的美国专利7,401,920；参见Lewis等人的于2011年8月30 日提交的名称为“Gaze Detection in a See-Through,Near-Eye,Mixed Reality Display（透视、近眼、混合扩增现实显示器中的注视检测）”的美国专利申请 号13/245,739；以及参见Bohn的于2011年9月26日提交的名称为“Integrated Eye Tracking and Display System（集成眼睛跟踪和显示系统）”的美国专利申 请号13/245,700，所有这些申请作为引入并入在此。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。该方案基于如下观察： 视网膜携带可测量的正电荷并且角膜具有负电荷。在某些实施例中，传感器128 安装在用户的耳朵附近（靠近耳机130）以检测眼睛在转动时的电势并且有效 地实时读出眼睛正在进行的动作。（参见2010年2月19日的“Control your mobile music with eyeball-activated earphones!(用眼球激活的耳机控制你的移动 音乐！）” http://www.wirefresh.com/control-your-mobile-music-with-eyeball-act vated-headphones，其通过引用将其并入在此）。眨眼可作为命令被跟踪。还 可使用用于跟踪眼睛移动（诸如眨眼）的其他实施例，其基于在来自装载在眼 镜内部上的小眼睛跟踪相机134B的图像数据中进行模式和运动识别。眼睛跟 踪相机134B在控制电路136的控制下将图像数据的缓冲发送到存储器244。

与光导光学元件112对齐的不透明度滤光器114选择性地阻挡自然光使其 不穿过光导光学元件112以用于增强虚拟图像的对比度。当系统为增强现实显 示器而呈现场景时，该系统注意到哪些现实世界对象处于哪些虚拟对象之前， 反之亦然。如果虚拟对象处于现实世界对象之前，则不透明度对于该虚拟对象 的覆盖区域而言被开启。如果虚拟对象（虚拟地）处于现实世界对象之后，则 不透明度以及该显示区域的任何颜色都被关闭，使得对于现实光的该相应区域 而言，用户将会仅仅看到现实世界对象。不透明度滤光器帮助使虚拟对象的图 像表现得更真实并且表示全范围的颜色和强度。在该实施例中，不透明度滤光 器的电控制电路（未示出）通过路由经过框架的电连接从控制电路136接收指 令。

再者，图2A、2B仅示出头戴式显示设备2的一半。完整的头戴式显示设 备可包括另一组可选透视透镜116和118、另一不透明度滤光器114、另一光 导光学元件112、另一微显示器120、另一透镜系统122、面向物理环境的相机 113（也称面向外或面向前的相机113）、眼睛跟踪组件134、耳机130、以及 传感器128（如果存在）。在通过引用全部包含于此的2010年10月15日提交的 题为“Fusing Virtual Content Into Real Content（将虚拟内容融合到现实内容中）” 的美国专利申请号12/905952中示出头戴式显示器2的附加细节。

图3示出了从软件角度来看的计算环境实施例，该计算环境实施例可由显 示设备系统8、与该显示设备系统通信的远程计算系统12或两者来实现。网络 连通性允许充分利用可用的计算资源。计算环境54可以使用一个或多个计算 机系统实现。如图3的实施例中所示，计算环境54的软件组件包括与操作系 统190通信的图像和音频处理引擎191。图像和音频处理引擎191包括对象识 别引擎192、姿势识别引擎193、声音识别引擎194、虚拟数据引擎195、以及 可选的眼睛跟踪软件196（如果使用了眼睛跟踪的话），这些均彼此通信。图 像和音频处理引擎191处理从捕捉设备（诸如面向外的相机113）接收的视频、 图像和音频数据。为了帮助检测和/或跟踪对象，图像和音频处理引擎191的对 象识别引擎192可通过一个或多个通信网络50来访问结构数据200的一个或 多个数据库。

虚拟数据引擎195处理虚拟对象并使虚拟对象的位置和定向相关于一个或 多个坐标系配准。此外，虚拟数据引擎195使用标准图像处理方法来执行平移、 旋转、缩放和视角操作以使虚拟对象显得逼真。虚拟对象位置可与相应的现实 对象的位置配准或取决于该现实对象的位置。虚拟数据引擎195确定虚拟对象 的图像数据在每个显示光学系统14的显示坐标中的位置。虚拟数据引擎195 还可确定虚拟对象在显示设备系统8或计算系统12的存储器单元中所存储的 现实世界环境的各个地图中的位置。一个地图可以是显示设备相对于用于逼近 用户眼睛的位置的一个或多个参考点的视野。例如，透视显示光学系统14的 光轴可被用作这样的参考点。在其他示例中，现实世界环境地图可以独立于显 示设备，例如，为一地点（例如，商店、咖啡店、博物馆）的3D地图或模型。

计算系统12或显示设备8或两者的一个或多个处理器还执行对象识别引 擎192来标识由面向环境的相机113所捕捉的图像数据中的现实对象。与在其 他图像处理应用中一样，人可以是一种类型的对象。例如，对象识别引擎192 可基于结构数据200来实现模式识别来检测特定对象，包括人。对象识别引擎 192还可包括面部识别软件，该面部识别软件被用来检测特定人的面部。

结构数据200可以包括关于要跟踪的目标和/或对象的结构信息。例如，可 以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据200可 以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个 无生命对象。结构数据200可以将结构信息作为图像数据来存储或者将图像数 据用作模式识别的参考。图像数据还可用于面部识别。因为打印材料通常包括 文本，结构数据200可包括一个或多个图像数据存储，该图像数据存储包括数 字、符号（例如，数学符号）、以及来自由不同语言所使用的字母表的字母和 字符的图像。此外，结构数据200可包括用于识别的用户的手写样本。基于图 像数据，动态的打印材料应用202可将图像数据转换成用于具有较小的存储器 占用的文本的计算机标准化的数据格式。计算机标准化的文本数据格式的一些 示例是基于通用字符集（UCS）的统一码（Unicode）以及美国信息交换标准码 （ASCII）格式。随后可对照数据库来搜索文本数据以查找包括该文本的内容 的标识或查找与该文本的内容有关的相关信息。

在对象识别引擎192检测到一个或多个对象之后，图像和音频处理引擎191 可向操作系统190报告所检测到的每个对象的标识以及相应的位置和/或定向， 操作系统190将该标识和位置和/或定向一直传送到比如动态的打印材料应用 202等应用。

声音识别引擎194处理经由话筒110接收的音频。

在显示设备系统8的实施例中，面向外的相机113结合姿势识别引擎193 来实现自然用户界面（NUI）。眼睛跟踪软件196所标识的眨眼命令或注视持 续数据也是物理动作用户输入的示例。语音命令也可对诸如姿势和眼睛注视等 所识别的其他物理动作进行补充。

姿势识别引擎193可以标识出由用户执行的、将控制或命令指示给执行中 的应用的的动作。该动作可以由用户的身体部位（例如在阅读应用中通常为手 或手指）来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中， 姿势识别引擎193包括姿势过滤器的集合，每个姿势过滤器都包括关于可由骨 架模型至少一部分执行的姿势的信息。姿势识别引擎193将从所捕捉的图像数 据中导出的骨架模型和与其相关联的移动与姿势库中的姿势过滤器进行比较 来标识出用户（其由骨架模型来表示）何时执行了一个或多个姿势。在一些示 例中，在与同显示设备系统8或计算系统12通信的显示设备2相分离的现实 环境中的相机（特别是深度相机）可检测姿势并将通知转发到系统8、12。在 其他示例中，姿势可在相机113的视图中由身体部位（诸如用户的手或一个或 多个手指）来执行。

在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像 模型进行匹配，而非进行骨架跟踪可用于识别姿势。

关于对象的检测和跟踪的更多信息可在2009年12月18日提交的名为 “Motion Detection Using Depth Images（使用深度图像的运动检测）”的美国 专利申请12/641,788，以及名为“Device for Identifying and Tracking Multiple Humans over Time（用于随时间标识和跟踪多个人类的设备）”的美国专利申 请12/475,308中找到，这两个申请的全部内容通过引用并入本申请。关于姿势 识别引擎193的更多信息可以在2009年4月13日提交的名为“Gesture Recognition System Architecture（姿势识别器系统架构）”的美国专利申请 12/422,661中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息 可在2009年2月23日提交的名为“Standard Gestures（标准姿势）”的美国专 利申请12/391,150；以及2009年5月29日提交的名为“Gesture Tool（姿势工 具）”的美国专利申请12/474,655中找到，这两个申请的全部内容通过引用并 入本申请。

计算环境54还将数据存储在图像和音频数据缓存器199中。缓冲器提供： 用于接收从面向外的相机113捕捉的图像数据、来自该眼睛跟踪部件（如果被 使用的话）的眼睛跟踪相机的图像数据的存储器，用于保持要由图像生成单元 120显示的虚拟对象的图像数据的缓冲器，以及用于经由话筒110来自用户的 语音命令等音频数据以及要经由耳机130发送到用户的指令的缓冲器。

设备数据198可以包括：计算机系统8的唯一标识符、网络地址（例如IP 地址）、型号、配置参数（诸如所安装的设备）、操作系统的标识、以及什么 应用在该显示设备系统8中可用并正在该显示系统8中执行等等。尤其对于透 视、混合现实显示设备系统8，该设备数据还可包括来自传感器的或从所述传 感器（诸如定向传感器132、温度传感器138、话筒110、电脉冲传感器128（如 果存在）、以及位置和邻近收发机144）确定的数据。

在此实施例中，显示设备系统8和用户所使用的其他基于处理器的系统161 执行客户端侧版本的推送服务应用204_N，所述推送服务应用204_N通过通信网 络50与信息推送服务引擎204通信。在此实施例中信息推送服务引擎204是 基于云的。基于云的引擎是在一个或多个联网计算机系统上执行并通过该一个 或多个联网计算机系统存储数据的一个或多个软件应用。该引擎不被束缚于特 定位置。基于云的软件的一些示例是社交联网站点和基于web的电子邮件站点， 比如和用户可向信息推送服务引擎204注册帐户，该信息 推送服务引擎授予信息推送服务监视以下数据的许可：用户正在执行的应用及 其生成和接收的数据以及用户简档数据197，以及用于跟踪用户的地点和设备 能力的设备数据198。基于从用户的系统8、161聚集的用户简档数据、由用户 所使用的系统8、161上的正在执行的应用所接收和发送的数据、以及设备数 据198₁、198_N中所存储的位置和其他传感器数据，信息推送服务204可确定用 户的物理上下文、社交上下文、个人上下文或者各上下文的组合。

用户简档数据的本地副本197₁、197_N可存储同一用户简档数据197的一部 分并可通过通信网络50周期性地用由计算机系统12存储在可访问数据库197 中的用户简档数据更新其本地副本。用户简档数据197一些示例是：用户所表 达的偏好、用户的朋友的列表、用户的偏好活动、用户的最爱（用户的最爱的 示例包括最爱的颜色、最爱的食物、最爱的书、最爱的作者等）、用户的提醒 的列表、用户的社交团体、用户的当前位置、以及其他用户创建的内容，诸如 用户的照片、图像和录制的视频。在一个实施例中，用户特定的信息可以从一 个或多个数据源或应用获得，数据源或应用为诸如信息推送服务204、用户的 社交联网站点、联系人或地址簿、来自日历应用的排程数据、电子邮件数据、 即时消息收发数据、用户简档或者因特网上的其他源以及该用户直接输入的数 据。如同下面讨论的，存在状态可以从眼睛数据推导得出并且可以被本地地或 由远程推送服务应用204更新并存储在用户简档数据197中。在此实施例中， 网络可访问的存在状态查找表179将所标识的眼睛数据作为用于推导存在状态 的参考与所述存在状态相链接。

信任等级可通过用户简档数据197来确定，用户简档数据将用户认识的人 标识成例如社交网络朋友和共享相同游戏服务的家庭成员，可以基于信任等级 将这些人细分为不同的分组。此外，用户可以使用客户端侧推送服务应用204_N在他们的用户简档数据197中显式地标识信任等级。在一个实施例中，基于云 的信息推送服务引擎204聚集来自存储在用户的不同用户计算机系统8、161 上的用户简档数据197_N的数据。

推送服务应用204的每个版本还在用户简档数据197中存储该用户的跟踪 历史。在跟踪历史中跟踪的事件、人和物的一些示例是：所访问的地点、事务、 购买的内容和现实物品、以及所检测到的与该用户交互过的人。如果电子地标 识的朋友（例如，社交网络朋友）也向推送服务应用204注册，或者他们通过 其他应用166使信息对用户可用或公开可用，则推送服务应用204也可使用此 数据来跟踪该用户的内容和社交上下文。

如同下面进一步讨论的，动态的打印材料应用202可访问一个或多个搜索 引擎203来访问用于标识打印内容选择和包括所述打印内容选择的打印内容项 的信息以及相关的虚拟数据205。可被搜索以查找标识和相关虚拟数据的资源 的示例被示出为发布者数据库207和用于因特网搜索的索引的与打印内容相关 的资源209。例如，可访问通用搜索引擎（比如或）以及对公众 可用或基于订阅（如在用户简档数据中可标识的）而可用的国会图书馆、大学 图书馆或发布者数据库的搜索引擎。发布者可具有指向其数据库207中的虚拟 内容的指针，因为发布者可能具有用于鼓励为其打印材料开发虚拟内容的业务 模型。此外，与发布者不相关的实体或者希望维护他们自己的数据资源的人可 能希望使虚拟内容可通过他们自己的网站（所述网站是因特网索引的资源）来 得到。通过对从打印内容选择和包含打印内容选择的打印内容项的图像数据导 出的信息进行搜索，可以用值来填充用于打印内容选择的元数据201中的数据 字段。下面讨论的图4A提供了打印内容选择的元数据记录的示例。

该技术的一个优势在于：更新在没有针对虚拟增强的任何计划的情况下打 印出来的先前发布的材料的能力。如同下面讨论的，用户可被请求查看有关打 印内容的打印版本标识数据，例如书籍或报纸的标题页或杂志的内容表。版本 标识数据的其他示例是标准化标识符，标准化标识符的一个示例是书籍的国际 标准书籍号（ISBN）。书籍上的ISBN号标识诸如该书籍的语言组、发布者、 标题和版次或变体等数据。对于期刊，国际标准序列号（ISSN）标识期刊的标 题，而连续出版物和及其单篇文献的标识（SICI）是用来标识具体的卷、文章 或期刊的其他可标识部分的标准。例如，ISSN可标识期刊，例如杂志“头戴式 显示器”，而SCSI通过书目项（bibliographic items）来标识文章，书目项的一 些示例是标题、卷和号码、发行日期、开始和结束页以及内容格式，例如，用 于打印文本的TX。其他内容格式可指示web发布和视听格式。来自面向外的 相机的图像数据或从被查看的标识数据的图像数据转换的文本被发送到一个 或多个搜索引擎203。

以下讨论了用于通过创建打印材料的虚拟版本来满足可读性准则206来改 善打印材料的可读性的方法，该可读性准则206可被存储为用于由动态的打印 材料应用202的规则引擎执行的规则。可读性准则的一些示例是舒服阅读位置 准则和可见性准则。舒服阅读位置准则的一些示例是距透视、混合现实显示设 备系统中包括的用于每只眼睛的透视显示器的相应参考点的角度位置准则、距 用于每只眼睛的透视显示器的深度距离、以及内容数据在该显示设备的视野中 的定向。参考点的一个示例是通常位于显示器的中心附近的显示器的光轴142， 当用户向正前方看向一对象时该光轴大致与用户的瞳孔对齐。如果打印材料太 偏向一侧，则可能导致颈部扭伤。深度距离准则可指示阅读材料太靠近或太远 离。内容数据的定向可指示文本或图片上下颠倒或者偏向一侧，这对于阅读是 不理想的。可见性准则的示例可以是视野中的文本或图画内容的大小。如果太 小或太大，内容大小可被调整到合适的水平。

该准则可基于用户的实际视力（如果上传了规定的话）、对用户年龄而言 典型的视力、或基于人类的平均视力特征。

一旦标识了用户正在看的作品的打印版本并在其中定位了打印内容选择， 则动态的打印材料应用202可查询一个或多个搜索引擎203以基于包括打印内 容选择的打印内容项来搜索与打印内容选择有关的虚拟内容205。在一些实施 例中，虚拟内容与作品或包括内容选择的作品版本相关联，而与表达该内容的 介质无关。例如，纸或其他可打印材料是介质的示例。表达作品的另一介质是 电子显示器或音频记录。

在一些情况下，虚拟数据205是特别生成来供布置在特定的打印版上（例 如，在书籍的特定页或者打印材料的其他细分上）时与内容选择有关地出现的 数据。例如，发布者可创建用于更新教科书的新近版本的虚拟内容，在该新近 版本中解释将被显示在具有过时信息的页的上方，该过时信息指示存在九（9） 个行星并列出这些行星。最新的解释可以是被专门格式化以覆盖整个页的图像 并且解释现在只存在八（8）个行星而不是九（9）个行星以及为什么冥王星没 有资格作为行星。在另一示例中，具有存储在其数据库中的书籍布局的发布者 可为书籍在页面上的预定位置处以及为特定页面提供交互式游戏以及其他内 容。

在其他示例中，虚拟内容205绑定到与介质无关的作品或作品版本。例如， 教授可将她在不同点处做出的她的笔记存储在一教科书的她的打印版本中，以 可用于该教科书的、与介质无关的任何版本。换言之，教科书的内容是作品。 该教科书的当前的、先前的和未来的版本是作品的版本。动态的打印材料应用 202将每个笔记链接到作品的与介质无关的组织中的该作品的细分。例如，可 将笔记链接到可通过执行用于文本匹配的软件指令来标识的特定段落中的短 语。段落是一种与介质无关的细分，而页面依赖于特定的打印或电子布局。教 科书的具有较小印刷字体的平装副本与该教科书的用较大印刷字体的精装副 本是不同的打印作品版本，但是它们包含该教科书内容的完全相同的版本。教 授可通过向上她的课的学生或过去的学生授予许可和访问权来允许她的虚拟 笔记可用于在她的判断下存储或流传输给这些学生。

图4A示出了打印内容选择元数据记录的示例，该元数据记录包括打印内 容选择描述性数据210、打印内容项版本标识符212、打印内容选择位置数据 214、作品版本标识符216、以及作品版本位置数据218（如果适用）、作品标 识符220和作品位置数据222。作品标识符220与特定格式或介质无关地标识 该创造性作品。作品位置数据222按照一个或多个与介质无关的细分（比如段 落、诗节、诗篇等）来标识打印内容选择的一个或多个位置。可包括作品版本 标识符216，以描述作品210的不同版本或版次（例如，翻译），其也与特定 的格式或介质无关。还可按照一个或多个与介质无关的细分来定义作品版本位 置218。打印内容项版本标识符212标识特定的打印布局的特定的打印版次。 打印版本标识符212绑定于为纸或被物理打印的其他材料的介质。打印内容选 择位置数据214可以按照具体的静态打印布局位置，比如页面或页面上的位置。

例如，诗“贝奥武夫（Beowulf）”是一个作品。该诗的原始的旧英语形 式是一个作品版本，如同用现代英语词汇替换了一些单词的是一个版本一样。 版本的另一示例是法语译文。另一示例将是用评论做脚注的原始的旧英语诗。 打印版本标识符212可标识图书馆中保存的一片或多片牛皮纸上的该诗的打印 版本。这一打印的版本还将具有原始的旧英语形式的作品版本标识符以及与其 相关联的贝奥武夫的作品标识符。不同的打印内容项版本标识符212标识已打 印了贝奥武夫的用在其第37页开始的评论做了脚注的版本的英语文献的选集。 这一不同的打印版本与该诗的原始的旧英语形式具有不同的打印内容项版本 标识符212和作品版本标识符，但是具有相同的作品标识符。对于用户所选择 的该诗的选集版本内的内容，打印内容选择的位置数据按照第37页。在此情 况下，同样，作品版本位置数据218和作品位置数据222包括相同的诗节。

图4B示出打印的与介质相关的和与介质无关的内容数据存储的示例，这 些数据存储在此处被示为交叉引用数据库。这些数据库211、213、215提供对 包括内容选择的特定布局的访问。所述布局可以与介质无关或与介质相关。在 此示例中，打印内容项版本标识符212、作品版本标识符216、或作品标识符 220中的任一个可被用来交叉引用或索引到与介质无关的作品211和作品版本 数据库213和与介质无关的或布局特定的打印内容项数据库215中任一个。作 品的布局或位置数据、任何作品版本以及该作品的各个打印内容项版本也被交 叉引用。同样，与介质无关的细分标识符的一些示例可以是向作品或作品版本 提供与介质无关的组织的段落、诗节、诗篇等等。作品中的第80段在一个打 印内容项版本中可以被交叉引用到第16页，且在另一打印内容项版本中被交 叉引用到该作品的较大印刷字体版次中的第24页。经由打印内容项版本标识 符212，开发者能够链接到打印内容项数据库215中的打印版本（例如，特定 的版次）的打印布局。打印布局包括比如以下事项：页码、页边距宽度、页眉 和页脚内容、字体大小、图示和照片的位置及其在页面上的大小、以及其他这 种布局专用的信息。

发布者可以提供对他们的有版权的作品的数据存储的访问，以用于标识目 的并作为针对虚拟内容的开发者的对该作品的布局、作品版本或打印的版本的 参考。通过能够访问作品的布局、特定作品版本和特定的打印内容项版本，开 发者能够为作品的与介质无关和与介质相关版本创建虚拟内容205。如所示， 数据库211、213、215和虚拟内容205可彼此交叉引用。

对于没有版权的作品，可以在处于图书馆（特别是具有大的收集的那些图 书馆，诸如国会图书馆、其他国家图书馆、大学、以及大的公共图书馆、以及 书籍编辑网站，比如Google和由大学维护的站点）控制下的数据存储 中搜索作品的副本、作品版本或打印内容的版本，以获得将参考位置数据214、 218、222引用到的布局。

在以下各图中呈现用于该技术的方法的实施例以及所述方法的一些步骤 的示例实现过程。为说明目的，下面的方法实施例是在上述系统实施例的上下 文中描述的。然而，所述方法实施例不限于在上述系统实施例中操作，而是可 以在其他系统实施例中实现。

图5是用于用虚拟数据来使静态打印内容成为动态的方法的实施例的流程 图。物体识别引擎192可将在透视、混合现实显示设备的视野中的物体识别为 一项打印材料（例如，书籍或期刊或仅是一页纸），并且由操作系统190向动 态的打印材料应用202通知该物体识别。在步骤302，动态的打印材料应用202 标识打印内容项，并且在步骤304中基于物理动作用户输入来标识对打印内容 项内的打印内容选择的用户选择。

在步骤306，动态的打印材料应用202基于物理动作用户输入来确定针对 打印内容选择的任务，并且在步骤308中执行该任务。在步骤310中根据该任 务显示与打印内容选择有关的虚拟数据。

任务的一些示例是：响应于用户输入来显示并更新交互式虚拟内容（例如 游戏）的交互式任务，允许用户选择打印内容并经由消息收发应用（比如电子 邮件、即时消息收发或短消息服务（SMS））将其发送到另一用户的工具，注释应用，语言翻译应用，搜索任务，使其最新应用，定义应用，创建 用户可在他或她的视野中操纵的打印内容的虚拟版本而不再看实际的打印内 容的“跟着我”应用，用于改善内容的可见性和阅读期间的舒适性的可读性应 用，以及生成打印内容的未标记版本的修订和刷新应用。例如，打印内容的标 记版本可包括下划线、涂写、以及在页边距处的笔记，这些标记使得内容几乎 不可读。例如，仅具有作品的精简版本的用户可能定义填入已删除内容的任务。 另一示例是还原应用，其中用户标识丢失的页，并且显示它们。如同上面提到 的，用户也可定义任务。

图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的 实施例的流程图。在步骤312中，动态的打印材料应用202电子地输出请求用 户将打印内容项的一个或多个版本标识片段放置到显示设备2的视野中的指 令。版本标识部分的一些示例是上面讨论的ISBN、ISSN和SICI号、报纸或杂 志的封面、标题页面、首页、内容表、以及版权页。书籍的版权页通常以标准 格式提供ISBN号、标题、印刷日期、版次、作者、发布者以及关于先前的版 权的信息。该一个或多个版本标识部分可在图像数据中被标识，例如，基于版 权页的模板或用于ISBN、ISSN和SICI的标准数字格式的模板以及被提取并放 入比如文本、作者、发布者等预定搜索字段中的数据。在其他示例中，可基于 字母表结构数据200来标识页面上的文本将并该文本转换成用于查询的计算机 标准文本数据格式。

在步骤314中，基于该一个或多个版本标识片段来制定查询，并在步骤316 中将该查询发送到搜索引擎以查找打印内容项版本标识符。动态的打印材料应 用202在步骤318中接收打印内容项版本标识符。可选地，在步骤320中，响 应于验证打印内容项的身份，动态的打印材料应用202接收与介质无关的作品 标识符以及任何适用的与介质无关的作品版本标识符。动态应用202还可通过 将打印内容项版本标识符212用作发布者数据库207或因特网索引的资源209 中的索引来接收作品标识符和作品版本标识符。

图7A是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程 的实现示例的流程图。眼睛跟踪软件196通常基于瞳孔位置来标识眼睛在眼眶 内的位置，但是虹膜位置也可以作为基础。在步骤322中，动态的打印材料应 用202确定用户注视打印内容对象的持续时间已经超过了时间窗口，并且在步 骤324中，致使图像生成单元120显示勾勒出打印内容对象的视觉增强。在步 骤326中，响应于标识物理动作用户输入确认，动态的打印材料应用202将该 打印内容对象标识为用户的打印内容选择。物理动作用户输入确认的一些示例 是比如指示“是”或“选择”或对任务的请求的眨眼、姿势或语音命令的动作。 用户可通过对视觉增强（例如轮廓）的物理动作来指示确认之外的命令，比如 改变该视觉增强的形状来包括更多或更少的内容或指示“否”或“取消”的姿 势、眨眼或语音命令。

图7B是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程 的另一实现示例的流程图。在步骤322中，动态的打印材料应用202标识用户 眼睛在用户注视打印内容对象期间的选择动作，并且在步骤334中，致使图像 生成单元120显示勾勒出该打印内容对象的视觉增强。在步骤336中，响应于 标识物理动作用户输入确认，动态的打印材料应用202将该打印内容对象标识 为用户的打印内容选择。

图7C是用于标识一姿势选择打印内容选择的至少一个物理动作的过程的 实现示例的实施例的流程图。在步骤342中，动态的打印材料应用202接收已 经检测到手指在打印内容材料的一部分（例如，一页）上的开始姿势的通知， 并且在步骤344中致使图像生成单元120显示勾勒手指在打印内容材料的该部 分上的移动的视觉增强。在步骤346中，动态的打印材料应用202接收已经检 测到手指在该打印内容材料上的停止姿势的通知。因为手指通常在用户正在阅 读的页或片或卡片的某个部分上，所以开始和停止姿势对用户正在做出请求的 时候与用户只是移动手指位置的时候做出清楚的区分。其他过程示例可不要求 开始和停止姿势，而是改为基于监视随时间的用户手指行为来将移动与姿势进 行区分。在步骤348中，响应于标识物理动作用户输入确认，动态的打印材料 应用202将该打印内容对象标识为用户的打印内容选择。

图8A是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现 示例的流程图。步骤352中的动态的打印材料应用202显示可用于打印内容选 择的任务的菜单，其可包括用户定义的任务。用户定义的任务的示例将是用户 选择内容并执行查询以查找有关该内容的评论。用户可保存该特定搜索查询， 或将对查找评论的准则的搜索项保存为任务。当用户选择不同内容选择的评论 任务时，检索该不同内容选择的评论。

动态的打印材料应用202在步骤354中接收选择定义姿势的用户输入，并 在步骤356中接收从菜单选择任务或子任务的用户输入。面向外的相机113在 步骤358中捕捉由该用户执行的姿势的图像数据（向动态的打印材料应用202 通知了所述姿势），并在步骤360中，动态的打印材料应用202将所述姿势作 为在菜单中选择的任务或子任务的请求而关联。

一些打印材料（比如书籍和期刊）可能是用包括用于虚拟内容的指定点的 布局打印的。例如，挨着照片（该照片具有带标识该照片的元数据的标记和有 关的虚拟内容或数据）的可以是预定尺寸的空间，所述有关的虚拟内容适合放 入该空间。该空间也可具有标识要在那里显示的虚拟内容的标记，例如RFID 标签或IR标记。然而，即便对于为了通过虚拟数据进行增强而被预先打印内 容，用户也可能激活诸如搜索任务等任务并接收该页面并未针对其预先格式化 的数据。在显示设备系统8上的计算环境54、远程计算机系统12或两者中执 行的软件确定要将虚拟数据放置于何处。用户也可通过物理动作来指定放置。 例如，用户可注视虚拟数据一持续时间，并随后注视片或页上的空白点。在另 一示例中，用户可用手指指向虚拟对象并拖动该手指到该片或页上的另一点。

图8B是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流 程图。在此示例中，动态的打印材料应用202具有要从中进行选择的、与打印 内容选择有关的多个预定位置选项。用户可按照他或她的偏好从预定位置移动 虚拟数据。在此示例中，在步骤353中，动态的打印材料应用202确定适用的 执行任务是否请求替换位置。例如，一任务可能是个性化任务，该个性化任务 具有改变角色名称或将角色名称插入到那些读者或者一个或多个用户指定的 人中的子任务。如果想要替换，则动态的应用202在步骤355中为打印内容选 择在一替换位置显示虚拟内容。在步骤357中，响应于执行任务不请求替换位 置，动态的打印材料应用202确定虚拟数据内容是否合适放到行间位置并仍旧 满足可见性准则。行间位置是文本的各行之间的空间，或一行文本或一图片之 间的空间，或各图片之间的空间。可见性准则的一个示例是：适合放入行间位 置的虚拟内容的大小对于具有平均视力的人在舒服的阅读位置进行阅读而言 是否太小。虚拟数据内容是否适合放入行间位置可基于多少百分比的内容可以 在行间位置被显示并仍旧可见来确定。作为定义的同义词是可适合放入行间位 置并仍旧满足可见性准则的内容的一个示例。行间位置通常不适于图片。如果 行间位置是适当的，则动态的应用202在步骤359中为打印内容选择在行间位 置显示虚拟内容。

如果行间位置不是适当的，则在步骤361中，动态的应用202确定虚拟数 据内容是否适合放入任何页边距位置并仍旧满足可见性准则。如果一个或多个 满意的页边距位置可用，则动态的应用202在步骤363中选择最靠近打印内容 选择的满意的页边距位置。如果满意的页边距位置不可用，则动态的打印材料 应用202在步骤365中将虚拟内容格式化为一个或多个片段，所述片段具有当 前片段的布局性质，并且在步骤367中，将具有经格式化的虚拟内容的该一个 或多个片段显示在打印材料的布局中的当前片段之后。当前片段的一个示例是 一页。作为片段的页的布局性质包括典型的页面布局设置。这些设置的一些示 例是页边距、页码放置、行间距、图片周围的间距、字体和字体大小。打印材 料的布局的一些示例可以是报纸、书籍、杂志或慰问卡。在打印材料为书的示 例中，可以使用虚拟内容来格式化的一个或多个片段看上去像是该书籍的额外 页。

在图8B的示例中，虚拟数据被格式化为看上去像在物理打印材料的周界 内。在其他示例中，浮动位置也可以是一个位置选项。例如，对于注释已经占 用了最近的页边距的内容选择来说，页边距可以看上去被扩展为包括链接到该 内容选择的图片。在另一示例中，浮动的解释性段落可以表现为在靠近它所解 释的概念的行间空间中以垂直于页的方式弹出。在下面的图15的实施例中， 可以向打印内容选择的虚拟版本分配链接到用户视野而非打印材料本身的浮 动位置。

图9A到图15示出了任务的示例实施例，其中用户可请求该任务并且该任 务可生成或带来用于显示的虚拟数据。

图9A是一种用于执行使内容选择最新（up-to-date）的任务的方法的实施 例的流程图。动态的打印材料应用202在步骤362中将打印内容选择标识为在 该打印内容项的过时（out-of-date）片段内。打印内容选择可被标识为过时的 一种方式是发布者已经在其打印内容版本的布局的存储版本中标识了过时内 容。例如，发布者提供描述性元数据，该描述性元数据包括过时信息的布局内 的位置数据。

在一个示例中，动态的打印材料应用202通过向搜索引擎发送包括打印内 容版本标识符的搜索查询来标识打印内容项中的过时片段，该搜索查询请求过 时片段的标识。响应于标识过时片段的搜索结果，动态的应用202接收具有在 打印内容项的布局中的位置数据的元数据。

取代过时片段的最新虚拟数据的数据访问标识符（比如统一资源定位符 （URL）可被包括在该元数据中。该元数据可以用使用标记语言（比如扩展标 记语言（XML））的标准化格式，以通过应用编程接口（API）与应用接口。 在以上示例中，动态的打印材料应用202基于打印内容版本标识符和位置数据 来请求最新虚拟数据。

当这种数据访问标识符被发布者的数据库管理器接收到时，用于替换过时 材料的最新虚拟数据被发送到数据访问标识符的发送者。在步骤364中，动态 的打印材料应用202例如从发布者的数据库207检索具有与打印内容选择有关 的最新信息的虚拟数据，并且在步骤366中在与该打印内容选择有关的位置显 示带有最新信息的虚拟数据。例如，可为最新虚拟数据指定替换或浮动位置。 在其他示例中，动态的打印材料应用202也可搜索因特网索引的资源209以寻 找与打印内容项有关的虚拟数据，并且从虚拟内容的独立开发者为该打印内容 选择检索最新内容。

图10A示出了过时的静态打印材料的示例。在此示例中，10年前打印的 儿童用的数学练习簿380包括长颈鹿的图片384₁，长颈鹿具有在照片382₁中画 出的考察者11年前执行的实验中雷达枪所达到的最快速度。从那时起，雷达 枪的设计被改进了，而相同的考察者去年执行了相同的实验，并且记录了甚至 更快的狮子的速度。文本片段381₁和381₂提供了数学问题，并且解释了雷达 枪的变化，这些变化使雷达枪能够捕捉更快的速度。

图10B示出了插入虚拟数据以使图10A的内容为最新的且交互式虚拟内容 的示例。在此示例中，数学练习簿380虚拟地擦除了长颈鹿的图片384₁，并且 用在该图片的布局位置中用山狮的替换图像数据384₂覆盖。此外，用替换的更 新近的图片372₂更新了考察者在十年前的图片382₁。交互点386被示出为交互 式按钮全息图386。从面向外的相机113捕捉的图像数据，检测到手385的手 指387按压虚拟按钮的物理动作，该物理动作致使虚拟计算器388出现，虚拟 计算器388可使得片段381₁和381₂中的数学问题做起来更有趣。

当透视、混合现实显示设备系统能够产生三维（3D）的虚拟对象时，狮子 的图片347₂以及计算器378齐平地躺在该页，就像被打印在该页上一样。3D 全息图382看上去像由该页产生。

打印内容的读者现在能够用显示系统8执行的另一任务是搜索任务的一个 或多个实施例。内容的发布者和其他索引者可用与一个或多个打印内容选择相 关联的关键词来补充他们的存储的布局，所述关键词可被用来搜索与打印内容 选择有关的信息。如图9C所讨论的，打印材料可以被打印有标记（例如不可 见的RFID或IR标签，或视觉数据的子集），该标记标识不同的打印内容选择。 可见标记的一个示例是担当图像数据的签名的图像数据的子集。例如，当打印 内容项被标识时，沿着相交的对角线的图像数据子元素可标识图片。该标记数 据是一种快速参考，它可以减少标识布局中的打印内容选择时的处理时间。可 为每个标记存储并更新一个或多个关键词。

图9B是基于与打印内容选择相关联的至少一个关键词来执行搜索的方法 的实施例的流程图。在步骤368中，动态的打印材料应用202基于物理动作用 户输入数据来标识对打印内容项的打印内容选择的搜索请求。例如，该物理动 作用户输入可基于眼睛跟踪数据，尤其是注视数据。作为一些示例，用户可能 定义了注视持续时间长度、下划线姿势、或眨眼序列是对在打印内容选择上进 行搜索的任务请求的指示。

在步骤370中，动态的打印材料应用202可请求与打印内容选择相关联的 至少一个关键词并从一个或多个与打印内容有关的数据存储中接收该至少一 个关键词，并且在步骤372中，基于所接收的至少一个关键词来制定搜索查询。 与打印内容有关的数据存储的一些示例是与打印内容有关的因特网索引的资 源209和发布者数据库207。在步骤374中，动态的打印材料应用202向搜索 引擎发送搜索查询，并且在步骤378中在透视显示器的视野中显示搜索结果。 参见例如，具有文本搜索结果397的虚拟纸片的虚拟数据395，该文本搜索结 果397在沿着与作为搜索基础的男性考察者图像数据的打印内容选择最靠近的 页边距的页外位置处。

图10A示出了静态打印材料的示例，该静态打印材料是过时的并且在考察 者的面部383和389以及服装（390、391）上包括不可见标记。这些标记可能 已经被预先打印有文本。此外，表示标记的虚线可表示在打印之后生成的并且 与打印内容项的布局相关联的标记。这种标记的一个示例是上面讨论的图像数 据签名。甚至书籍的已用打印副本也可以与关键词链接并用关键词来更新。例 如，每当新的演员在“三个火枪手”的新电影版本中表演角色时，可以为该小 说的1937年印次更新与该角色名称相关联的一个或多个关键词。

图9C是基于与打印内容选择的标记相关联的至少一个关键词来执行搜索 的方法的实施例的流程图，该标记在包括其他标记的细分内。在步骤369中， 基于物理动作用户输入数据从用于打印内容项的细分的多个标记中标识该细 分内的打印内容选择的标记。例如，传感器（比如IR或RFID感测单元144） 检测来自该标记的信号，该信号包括数据，单元144为处理单元210将该数据 转换成处理器可读的形式。在一些示例中，该数据标识该细分内的打印内容选 择并可包括一个或多个关键词。

在另一示例中，视觉标记可被存储为结构数据200，而对象识别软件192 从相机113所捕捉的图像数据中标识视觉标记并向处理单元210通知标记标识 符，处理单元可将标记标识符发送到发布者数据库207或与打印内容有关的因 特网索引的资源209以查找一个或多个更关联的关键词。

如上所讨论的细分可以是段落或图片或诗节。注视数据允许该系统在该细 分内定位（pinpoint）用户正关注的位置，例如，关注段落内的哪一个或多个单 词，或者关注用户正在看的照片中的什么对象。可以在非常详细的等级分配关 键词。用于细化和分类的注视持续时间、带眨眼的注视、以及带手指指向的姿 势、以及语音数据可被用来在细分内选择内容。

在步骤371中，动态的打印材料应用202基于物理动作用户输入数据来选 择针对打印内容选择的搜索任务。如上面讨论的，对打印内容项的选择和搜索 请求可同时被指示。在步骤373中，动态的打印材料应用202请求与该标记相 关联的至少一个关键词并从一个或多个数据存储（例如，207或209）接收该 至少一个关键词，并且在步骤375中基于与该标记相关联的至少一个关键词来 生成搜索查询。在步骤377中将搜索查询发送到搜索引擎，并且在步骤379中， 动态的应用202致使将搜索结果显示在透视显示器的视野中。

图10B示出了如同上面提到的插入显示搜索结果的虚拟数据的示例。在图 10B的示例中，尽管有虚拟数据的覆盖，不可见标记383、389、390和391仍 旧向外发送信号。处理单元210还可在搜索查询中包括与该虚拟数据相关联的 关键词，特别是当虚拟数据被标识为与打印内容选择有关时。例如，动态的打 印材料应用202基于使最新任务也被执行来确定这一点。

图11A是用于用虚拟数据来注释静态打印内容的方法的实施例的流程图。 动态的打印材料应用202在步骤392中基于物理动作用户输入来确定用户正请 求的、针对打印内容选择的任务是注释，并且在步骤394中致使图像生成单元 120为用户显示虚拟键入（virtual key entry）输入设备。例如，可以显示虚拟智 能电话键盘区，用户可用双手使用该键盘区来选择按键，就像一些人是极快地 文本输入者（texter）一样输入文本消息。在其他示例中，可显示虚拟QWERTY 键盘或其他典型计算机键盘以供用户进行交互。

动态的打印材料应用202在步骤396中基于用虚拟键盘键入输入设备的用 户输入来生成注释数据，并且在步骤398中，在由物理动作用户输入所指示的 位置处显示注释数据。在步骤400中，注释数据被存储并链接到具有打印内容 选择中的内容的与介质无关的数据版本的注释数据，例如，作品或作品版本。 通过存储具有与介质无关的版本的注释，该用户可回想该注释，而不管该作品 的特定打印布局。可选地，在步骤401中，可将注释数据与打印内容项中的打 印内容选择链接在一起，并且该注释数据是用户在当前时刻通常使用的版本。

在其他示例中，可经由处理单元（例如，图1C的移动设备4），而不是 虚拟键入输入设备，来输入注释数据。同样如在图12A的示例中所指示的，可 将手写笔记制成注释数据并将其作为注释数据显示。

图11B是用于为作品的另一个打印版本显示为该作品的一个版本输入的 被存储的注释的方法的实施例的流程图。在步骤402中，动态的打印材料应用 202标识在包括相同内容选择的透视、混合现实显示设备的视野中的不同的打 印内容项。例如，不同的打印内容项具有不同的打印内容项版本标识符212但 是具有相同的作品标识符220。打印内容项的位置数据、作品版本和作品也可 在数据库211、213和215中被发布者、大学、图书馆或维护因特网索引的资 源的其他实体交叉引用。在步骤404中，接收请求在链接的内容选择在显示设 备的视野中时显示用户注释数据的用户输入。在步骤406中，动态的应用202 标识该视野中的打印的相同内容选择，并且在步骤408中，在与在不同的打印 内容项中打印的相同的内容选择的位置有关的位置处显示链接到该内容选择 的与介质无关的版本的注释数据。

图12A、12B、12C和12D呈现用于用来自其他打印材料的数据来对打印 材料进行注释的序列的示例。

图12A示出指定手写内容选择的姿势的示例。示出了具有用于捕捉用户手 指姿势的面向前的相机113l和113r的显示设备2。其他身体部位（诸如手、腕、 上臂甚至脚、肘等）所执行的姿势也可以被用来控制比如动态的应用202等应 用。手和手指姿势允许用户在执行姿势的同时维持对显示器的视野中的材料的 阅读。线704l和704r表示逼近来自用户的瞳孔或视网膜的注视矢量的眼睛视 线。用户的手480正跨越课堂笔记的笔记本页410跟着指尖482在加虚拟下划 线的要被选择的手写文本412₁中移动。轮廓工具显示用于勾勒（outlining）用 户正选择的文本的经突出显示的框414。为了开始在此图集中讨论的序列，用 户可能已从视野中显示的虚拟注释任务菜单中选择了做注释子任务或者可能 执行了启动“做注释”子任务的姿势或说了启动“做注释”子任务的话。如在 以上示例中，开始和停止姿势还可被用来划界序列中的各步骤的开始和结束。 纸或卡板或能被印刷的其他材料上的手写笔记可被认为是一种形式的打印材 料，而计算机屏幕上的手写笔记将不是打印内容选择。

动态的打印材料应用202基于作为结构数据200存储的用户手写样本来标 识手写中的字母并将所选择的手写内容格式化成计算机标准文本数据格式的 文本412₂，并存储该内容选择和打印内容选择元数据记录201。手写内容选择 也可以被标记成注释并被链接到注释的列表。

图12B示出了为用户显示的虚拟键入输入设备的示例。在此示例中，与虚 拟智能电话上所显示的按钮有关的用户拇指494l和494r的图像数据被面向外 的相机113捕捉。也可检测其他手指，因为不是所有用户都像普通的15岁大 的人一样是熟练的文本输入者。用户使用该虚拟键入设备481键入注释“共生： 一种独立的、彼此有益的关系；将会考到”。响应于用户的文本输入，生成文 本并在虚拟电话屏幕483上显示该文本。用户能够像在真正的电话上一样敲击 定制的“发送”“返回”和这样的按钮并传输对文本输入的注释的编辑和完成。

图12C示出了被用来选择要注释的打印文本的手指姿势的示例。正如在图 12A中一样，面向前的相机113l和113r捕捉用户的手指482在教科书中的单 词“共生”下面划线以作为打印内容选择462的图像数据。

图12D示出了将图12A的手写内容选择的经格式化文本版本作为注释来 显示的虚拟数据的示例。如在显示设备2的视野中所见并如面向前的相机113l 和113r所捕捉的，在注释任务是活动的且用户执行了对文本“共生”的选择姿 势后，用户的手指482被动态的打印材料应用202从图像数据中标识为指向页 的用户指定的顶部页边距位置以用于手写内容选择的文本版本。虽然未示出， 但用户可能已从虚拟菜单或最近作的注释的显示中选择了文本版本412₂。在另 一示例中，当文本版本412₂是在当前会话中作出的最后注释时，动态的打印材 料应用202显示该文本版本。文本版本412₂被显示在该页的顶部处并写着“共 生：一种独立的、彼此有益的关系；将会考到”。

除了向静态打印材料提供附加信息或交互内容外，还可制作静态打印内容 材料的虚拟版本来改善内容的可见性，这是由于改变了内容的外观性质或内容 在显示设备视野中的位置。

图13A和图13B讨论了用于通过生成材料的虚拟版本来改善打印材料的可 读性的方法实施例。

图13A是用于在舒服的阅读位置提供打印材料的虚拟版本的方法的实施 例的流程图。在步骤432中，动态的打印材料应用202从图像数据中标识一位 置，该位置可包括打印材料在透视、混合现实显示设备的视野中的定向。

在步骤434中，动态的打印材料应用202确定打印材料在该视野中的位置 是否满足舒服准则。舒服准则的一些示例是打印材料（例如，书籍或杂志）的 角度、以及所确定的文本相对于显示设备的参考点（例如，透视显示器的光轴 142）的角度。打印材料的角度是否在舒服阅读区域内还可基于从定向感测单 元132推导的估计的注视矢量和头部位置数据来确定。例如，参考头部位置可 以是0度头部位置，0度头部位置意味着向正前方看而非以一定角度向上或向 下或向左或向右看。从此参考0度头部位置，阅读舒服区域或舒服准则可指示 距0度位置不超过45度的头部位置。在任何方向上距光轴25超过45度的注 视估计矢量可被用作指示不再满足舒服准则的阈值。

文本确定的角度或定向可标识该文本是否被倒置或处于另一不舒服的角 度。深度距离还可基于被应用到捕捉设备113的图像数据的立体观测或当相机 113被实现成具有深度感测能力时获得的深度数据来确定。如果打印材料在深 度舒服范围（例如，1到3英尺）外，则可触发虚拟版本的生成。用户的臂长 （臂长可在用户简档数据197中获得）可以是用于确定深度舒服范围的指南。

如果该位置满足阅读位置准则，则在步骤452中，动态的打印材料应用202 返回到步骤432来进行下一调度的检查。如果不满足阅读位置准则，则动态的 打印材料应用202在步骤436中确定用于满足舒服阅读位置准则的新位置。例 如，新位置将该书籍定向在舒服角度以及阅读舒服区的距离边界内。在步骤438 中，动态的打印材料应用202生成打印材料的虚拟版本的图像数据。该虚拟版 本可以是基于打印材料的图像数据生成的。此外，动态的打印材料应用202可 基于动态的打印材料应用202可访问的打印材料的电子版本来生成虚拟版本。 例如，报纸发布者可制作用打印在其报纸的副本上的移动标签来访问的电子版 本。电子版本可具有打印材料的完整的文本（例如，整天的报纸）以及其布局 信息。在步骤440中，动态的打印材料应用202致使图像生成单元120将该虚 拟版本显示在透视显示器中的新位置处并且在步骤452中返回到步骤432的下 一调度的检查处。

图13B是用于提供打印内容的虚拟版本以获得该内容的改善的可见性的 方法的实施例的流程图。在步骤442中，动态的打印材料应用202标识该视野 中的版本中的内容数据的大小。在步骤446中确定可见性准则是否被满足。如 同上面提到的，在一些示例中，可见性准则确定内容数据的大小对于在该打印 材料的位置和深度处的用户年龄的普通人而言是否可能是可见的。图13A和 13B的方法是互补的。首先执行图13A可调整任何可见性问题，但是即使在舒 服阅读位置处，文本仍旧可能太大或太小。如果可见性准则被满足，则在步骤 452中，动态的打印材料应用202返回到步骤432来进行下一调度的检查。

如果可见性准则不被满足，则在步骤448中，动态的打印材料应用202生 成具有经改变的大小的内容数据的虚拟版本以满足可见性准则，并且在步骤 450中致使在透视显示器中显示具有经改变的大小的内容数据的虚拟版本。在 步骤452中，动态的打印材料应用202返回到步骤432的下一调度的检查处。

图14示出了提供虚拟数据以获得改善的可见性和多用户视角共享视图的 示例。在此起居室场景中，祖母489坐在她孙子484的对面，同时在给她孙子 读一本书，交互虚拟内容对该书是可用的。每个人均佩戴显示设备系统8，其 中所有电子器件均如图1B的示例被合并在显示设备2中。在此版本中，书490 包括处理器和以标记语言存储用于该书的虚拟数据的存储器。例如，可使用可 扩展标记语言（XML）。在另一示例中，可使用比如虚拟现实建模语言（VRML） 等标记语言。在一些示例中该书包括密码，并且多个用户可输入密码并登录同 一会话。该虚拟数据被无线传输到已登录的显示设备，这些显示设备运行动态 的打印材料应用202的分组阅读插件应用。祖母489和孙子484正在共享同一 应用会话，很像玩家正在玩在线游戏，但是祖母489控制动作。

祖母489喜欢看她孙子看到该虚拟数据（诸如南瓜灯486₁、487₁、488₁） 的显示时的表情以及他对故事中的事件和对话的反应。然而，她孙子只是在学 习他的字母并且还不能读这种书。祖母从菜单中为她自己选择了阅读者角色并 为她孙子分配了参与者角色。为了使孩子对阅读感兴趣，通过在他们看书时显 示虚拟数据来将他们的方向聚焦在书上。显示设备系统8能够检测预定距离内 的其他设备。例如，各显示设备系统可经由蓝牙、WUSB、IR或RFID连接来 交换身份令牌。可选择位置邻近收发机144的类型和范围以仅允许在预定距离 内的连接。诸如来自GPS收发机144或基于无线收发机信号137的蜂窝三角定 位的位置数据结合诸如等应用也可被用于标识在彼此的预定距离内的 设备。

通过阅读者对故事的内容的某一部分的眼睛注视来激活虚拟数据。该故事 是一件作品，而该内容在打印内容项（其是书490）的第485页上。祖母将书 放在她的膝盖上，而该阅读角度不满足舒服准则。然而，当比如孙子484等参 与者在他的显示设备系统8的视野中看该书时，该书是虚拟数据所源自的地方， 并且阅读者的眼睛注视激活虚拟内容或数据。

图13A的过程检测祖母的不舒服阅读位置。如下面在图15中进一步讨论 的，她反复地从书往上看也可能触发“跟着我”任务。打印页485₁的虚拟版本 485₂被投影到祖母的眼睛里，使得该虚拟页以及该虚拟页的任何经调整的字体 大小或对比度出现在她的显示器中的阅读舒服区域内。触发虚拟页485₂中的虚 拟南瓜的她对内容的注视持续时间也触发虚拟南瓜486₁、487₁、488₁为她的孙 子参与者出现，以在他看该书时看上去时从物理页485₁中漂浮出来。在她的显 示器中，祖母从她的视角看到虚拟南瓜486₂、487₂和488₂。同样由于图15的 过程示例，虚拟页485₂被放置成使得她能舒服地阅读该虚拟页。用于放置的另 一个准则是如果空间允许则不阻挡视野中的参与者。下面讨论的外观布局变化 也可被用来适合将参与者保持在视野中。

如果实体书仍旧在祖母的显示设备的视野中，则动态的应用202响应于祖 母对实体书的物理动作（例如，翻页）以及对当前显示的虚拟版本页485₂的物 理动作而采取动作。

图15是用于提供被链接到用户视野的打印内容的虚拟版本的方法的实施 例的流程图。在步骤502中，响应于触发事件，触发动态的打印材料应用202 的以下用户任务。触发事件的一个示例是检测到打印材料的一片段移入并移出 显示设备2的视野多次。触发事件的一些其他示例是请求以下用户任务的用户 输入，诸如预定义的或用户定义的姿势或说出的命令，比如“跟着我”。

在步骤504中，动态的打印材料应用202确定包括用户正在查看的打印材 料的打印内容项的电子版本是否可用。如果可用，则动态的应用202可将打印 内容项的至少一片段加载到存储器中以便可在用户进一步阅读并在体现在打 印材料中的内容中前进时获得。如果电子版本可用，则动态的应用202在步骤 514中在视野中与打印内容项的位置无关的位置处显示包括打印内容选择的内 容的图像数据。具体而言，在用户前后移动他或她的头的位置已经触发了“跟 着我”任务的示例中，如果注视持续时间数据或姿势或语音数据还没有肯定地 指示内容选择，则动态的应用202选择用户一直在关注的打印内容项的片段作 为打印内容选择。在步骤516中，响应于用户对该虚拟版本的物理动作输入， 更新图像数据的显示。如果打印内容项仍在视野内，则动态的应用202对针对 打印项版本以及虚拟版本两者的物理动作用户输入均做出响应。

物理动作用户输入可包括与虚拟对象交互的姿势，诸如在视野中到处推动 虚拟页，并且将虚拟页钉在动态应用202所跟踪的视野之外的“位置”。如果 用户移动她的头来看该“位置”，则应用202致使该虚拟页再现。例如，遵循 食谱的厨师在她执行食谱的不同步骤时可使用手的运动来将食谱推入和推出 视图。

可任选地，在步骤518中，该动态的应用响应于用户的布局改变请求来更 新图像数据的显示。布局改变请求的一个示例是使虚拟内容出现在透明纸片上 并增加文本间的间距以便用户能够透视该虚拟内容。语音命令可请求透明度。 或者，用户可增加文本的各部分之间的间隔来创建用来看他或她正影响的对象 的透视窗口。用双手以相反的方向拉虚拟页的拉伸姿势可调整该间距。在车下 工作的机械工可具有手册页的透明版本，该透明版本具有他通过伸平的手向下 推动该页的一片段并随后向上推动该页的另一片段的姿势来插入的窗口，以便 他能在中间看。姿势的另一个示例还可以是两只伸平的手将多个页部分（例如， 段）往不同方向推。

在打印内容项的电子版本不可用的情况下，在步骤506中，动态的应用202 存储当前在视野中的打印内容选择的片段的图像数据，并且在步骤508中输出 请求用户看该打印内容项的包括当前阅读会话中可用的内容的一个或多个片 段的指令（例如，音频或通过显示设备投影的指令）。例如，在去到车下并开 始工作之前，机械工可看汽车手册中与他的维修有关的页。动态的应用202在 步骤510和512中当一个或多个片段中的每一个处于面向外的相机的视野中时 捕捉并存储相应片段的图像数据，并随后进行到步骤514。在一种意义上，动 态的应用202制作该用户所看的页的影印本。

对物理内容选择执行的任务也可以对虚拟版本执行。通过任何任务执行得 到的虚拟数据可被存储并且也可在以后再次看该物理内容选择时被查看。

图16是计算系统的一个实施例的框图，该计算系统可用于实现一个或多 个网络可访问计算系统12，所述计算系统12可以托管计算环境54的软件组件 中的至少一些或者图3所描绘的其他元件。参考图16，用于实现本发明的一个 示例性系统包括计算设备，诸如计算设备800。在其最基本的配置中，计算设 备800一般包括一个或多个处理单元802，并且还可包括不同类型的处理器， 诸如中央处理单元（CPU）和图形处理单元（GPU）。计算设备800还包括存 储器804。取决于计算设备的确切配置和类型，存储器804可以包括易失性存 储器805（如RAM）、非易失性存储器807（如ROM、闪存等）或是两者的 某种组合。该最基本配置在图16中由虚线806来示出。另外，设备800还可 具有附加特征/功能。例如，设备800还可包含附加存储（可移动和/或不可移 动），包括但不限于磁盘、光盘或磁带。这样的附加存储在图16中由可移动 存储808和不可移动存储810示出。

设备800还可以包含允许该设备与其他设备通信的通信连接812，比如一 个或多个网络接口和收发器。设备800还可以具有诸如键盘、鼠标、笔、语音 输入设备、触摸输入设备等输入设备814。还可以包括诸如显示器、扬声器、 打印机等输出设备816。所有这些设备在本领域是众知的并且不必在此详细讨 论。

如同上面讨论的，处理单元4可被嵌入在移动设备5中。图17是可以在 本技术的各实施例中操作的示例性移动设备900的框图。描绘了典型移动电话 的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制 处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码 的存储器910（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储 器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器 1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的应用。 存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性 存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用 户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用930 可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、 媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方 应用，比如本文讨论的用于处理发送至或者来自显示设备2的图像数据的皮肤 应用和图像处理软件，等等。存储器910中的非易失性存储组件940包含诸如 web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数 据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到 天线902，它还与红外发射器/接收器908、与像Wi-Fi、WUSB、RFID、红外 或蓝牙等任何附加通信信道960、以及与像加速度计等移动/定向传感器914通 信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智 能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的 室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向 变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机 电系统是构建在半导体芯片上的微小机械器件（微米尺寸）。可以感应加速方 向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键 区/屏幕、生物测定传感器系统918、扬声器920、话筒922、相机924、光传感 器921以及温度传感器927进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向 RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接 收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等） 来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本 消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电 路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音 信号被提供给扬声器920，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC 适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。 该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操 作。

为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的 GPS接收器965。

附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可 读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机 可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的 易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储 设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、 CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁 带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信 息且可以由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所 附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述 具体特征和动作是作为实现权利要求的示例形式公开的。