法律状态公告日
法律状态信息
法律状态
2018-07-31
授权
授权
2014-02-26
实质审查的生效 IPC(主分类):G02B27/22 申请日:20090709
实质审查的生效
2014-01-22
公开
公开
本申请是于2011年3月9日进入中国国家阶段的申请号为200980135202.4且发明名 称为“宽视角显示和用户接口”的中国发明专利申请的分案申请。
相关申请
根据35U.S.C.119(e)，本申请要求在2008年7月10日提交的题为“BROAD VIEWING ANGLE DISPLAYS”的美国临时专利申请序列号61/129,665的优先权和权益，其内容通过 引用合并于此。
背景技术
本发明在其一些实施例中涉及用于显示图像的方法和设备，且更特别地但非排他地 涉及允许从宽视角(例如从围绕图像360°)看到图像的这种方法和设备。
本发明在其一些实施例中涉及计算机化用户接口系统，且更特别地但非排他地涉及 包括浮于空中(floating-in-the-air)显示的用户接口系统。
美国专利申请公开No.2006-0171008描述了一种三维(3D)显示系统。该3D显示 系统包括投射器设备，用于将图像投射在显示媒体上以形成3D图像。3D图像被形成以使 得观看者可以从高达360度的多个角度观看图像。描述了多种显示媒体，即旋转散射屏幕、 圆形散射器屏幕和气凝胶。旋转散射屏幕利用空间光调制器来控制图像，使得3D图像以时 间复用的方式显示在转动屏幕上。圆形扩散器屏幕包括多个同时操作的投射器以将图像从多 个位置投射到圆形散射器屏幕上，由此形成3D图像。气凝胶可以使用被描述为可应用于旋 转散射屏幕或者圆形散射器屏幕的投射设备。尽管该公开有时将3D图像称为全息图，但是 事实上，由此教导的显示媒体生成非全息的3D图像。
已知一些计算机生成的三维显示。一些使用平面屏幕上的微透镜。一些包括可以从 相对窄的角度观看的计算机生成的全息图。
被称为体积显示的一类三维(3D)显示当前正在经历迅速的发展。该类的显示类型 包括扫描体积显示和静态体积显示。体积显示允许在真实的3D体积内显示三维(3D)图形 景象。就是说，体积显示不是将体积数据投射到2D显示上，而是真实的物理3D体积。
一些用户接口在第一显示空间中显示用户输入指示符的位置，转变来自作为输入空 间的第二空间的用户输入的位置。该用户接口的一个示例是鼠标，其中计算机屏幕上的指示 符对应于鼠标的运动而移动，其中鼠标在一个坐标系统中在桌面上移动，而指示符在第二坐 标系统中在屏幕上移动。
授予Balakrishnan等人的美国专利7,528,823描述了一种系统，其创建体积显示和该 体积显示内的用户可控体积指针。用户可以通过瞄准基于切线、平面或者向量的波束、与显 示关联地将设备安置在三维中、触摸显示器外壳的数字化表面或者以其他方式输入位置坐 标，进行指向。光标可以采取许多不同形式，包括光线、点、体积和平面。光线可以包括 环、珠、分段棒、圆锥和圆柱。用户指定输入位置并且系统将该输入位置映射到体积显示内 的3D光标位置。系统还通过确定物体是否在光标的影响区域内来确定光标是否已指定任何 物体。系统还执行与该指定关联地激活的任何功能。
白板制作(white-boarding)是用于描述将共享文件放置在屏上“共享笔记本”或 “白板”上的术语。视频会议和数据会议软件常常包括让用户差不多就像他将针对传统墙壁 安装的板那样标记电子白板的工具。该类型的软件的一般性质是允许不止一个人在任何一个 时间对该图像进行工作，近实时地使两个版本保持彼此同步。
常常被简称为“触觉”的触觉反馈是使用用户接口设计中的触摸感觉来向终端用户提 供信息。当参照移动电话和相似的设备时，这通常意味着使用来自设备的振动警报的振动来 表示触摸屏幕按钮已被按压。在该特定示例中，电话将响应于屏上控制的用户激活而略微振 动，以补偿用户在按压物理按钮时将体验的正常触感响应的缺失。一些“力反馈”游戏杆和 视频游戏方向盘提供的抵抗力是另一种形式的触觉反馈。
背景技术包括：
授予McPheters的美国专利6,377,238；
授予McPheters的美国专利7,054,045；
授予Balakrishnan等人的美国专利7,528,823；
Mintz等人的美国公开专利申请No.2006/0171008；以及
在Opt.Eng.39(1)10-22(2000年1月)中出版的Chen F.、Brown G.M.、Song M.的题为 “Overview of three-dimensional shape measurement using optical methods”的文章。
发明内容
本发明在其一些实施例中涉及向许多观看者显示全息图，使得每个观看者看到处于 完全相同位置的全息图，并且如果触摸全息图的某个部分，则所有其他观看者均从他自身的 视角看到在相同位置触摸的图像。
本发明在其一些实施例中涉及围绕360°投射近轴图像。
因此，根据本发明的示例性实施例，提供了一种向多个观看者显示内容的方法，该 方法包括：
形成多个体积图像，每个体积图像具有至少一部分该内容并且每个体积图像可从其自身的可 视性空间观看；以及
使一个或多个所述可视性空间的一部分与每个观看者的瞳孔重叠。
在一些实施例中，内容是单个景象；并且每个所述体积图像具有可从不同视点观看 的所述单个景象的不论是固体(solid)还是部分透明的面。
可选地，多个体积图像在空间中重叠或邻接。
可选地，所有体积图像在空间中重叠。
可选地，体积图像之间的重叠是完全的。
可选地，体积图像在空间中完全重叠。
可选地，如果一个图像的图像点重叠另一图像的图像点或者在另一图像的图像点之 间隔开，则认为体积图像重叠。相似地，完全重叠可以被定义为当一个图像的所有图像点重 叠另一图像的图像点或者位于另一图像的图像点之间时的状态。可选地，由观看者识别为图 像的一部分的、空间中的每个点是图像点。
在本发明的一些实施例中，观看者处于围绕由体积图像之一占用的空间的不同方位 角度。
可选地，不同方位角度跨越整个圆、半圆或四分之一圆。
在一些实施例中，两个观看者彼此间的距离至少为1米。
在一些实施例中，观看者同时看到图像。
可选地，可视性空间与观看者的眼睛仅重叠短周期序列，并且所述短周期被适时地 隔开，使得所述观看者看到连续场景。
本发明在其一些实施例中涉及包括浮于空中显示的用户接口。
这里使用的术语浮于空中显示针对无底板显示。浮于空中显示被可选地产生，并且 不需要底板，因此可能看似浮于空中或者浮于水中或者浮于固体中。
在一些实施例中，用户接口允许用户伸进(reach into)显示空间直到和/或进入所显 示的物体和/或景象。“伸进”为与用户接口交互的用户提供了自然的手-眼协调。例如，使得 用户能够“触摸”所显示的物体，并且用户以及可选地其他观看者看到“触摸”。
在某种现有技术的情况中，用户在一个空间中操纵诸如鼠标的输入设备，并且在另 一空间(显示空间)中观看操纵的结果。本发明的用户接口使得能够在相同空间中操纵输入 设备和观看操纵的结果。
在一些实施例中，用户向用户接口提供输入，并且用户接口实现显示中的某种改 变，无论其是标记显示的一部分还是引起更大的改变，诸如切除、揭开层等等。由于用户伸 进物体并且看似操纵了物体，因此用户看似实现了对物体自身的改变。
在一些实施例中，当用户看似触摸正被显示的物体时，提供感官反馈。由于所显示 的物体正浮于空中并且没有提供对触摸的抵抗，因此用户可以可选地使用用于指向的设备， 其中当用户“触摸”所显示的物体时，用户接口可选地使所述设备提供感官反馈。
用于可选地在“触摸”显示中的物体时向用户提供感官反馈的一个示例方法包括例 如通过用户佩戴振动环或手套来唤起如人造现实领域中已知的人造触摸知觉。另一示例方法 是通过将诸如红外热的波束投射在用户的手和/或手指处使得手和/或手指被加热。又一示例 方法包括投射被调制为引起知觉的例如超声的声束。
用于向用户提供感官反馈的又一示例方法包括例如通过加亮触摸点来在视觉上标记 触摸点。注意，用户接口数字地定义所显示的图像，因此用户接口可以可选地使所显示的图 像中的位置被加亮、闪烁、改变色调等等。
用于向用户提供感官反馈的又一示例性方法是通过可听反馈，诸如在指针“触摸” 物体时发出“敲击”声、和/或可选地根据哪个物体被“触摸”而从多种用于反馈的声音中 选择。
在“触摸”、“抓住”和其他这样的操纵术语用于描述用户交互的情况中，感官反馈 将被认为这里适当位置的选项。
在这里使用术语“感官反馈”的情况中，该术语旨在意味着以上列出的任何方法、 以及向用户提供反馈的其他方法。
这里描述的针对用户接口系统的命令形式的一些非限制性示例包括：致动也用于显 示空间内的接口的工具上的致动器，诸如按压也用于伸进显示空间的指针上的按钮；以及语 音命令。
在一些实施例中，不同位置的两个或更多个用户接口显示相同物体和/或景象。一个 位置的用户与该位置的用户接口交互，并且所有用户看到该交互。可选地，另一位置的用户 可选地同时与用户接口交互，并且所有用户看到这两个交互。这实现了远程位置之间的上文 提到的自然的手-眼协调交互，具有许多示例使用。一些非限制性示例包括：远程医疗实 践；远程教学；远程机器人操纵；街机游戏(arcade gaming)；和交互式游戏。一个位置可 能远离另一位置的距离包括：在另一房间中；在另一建筑物中；跨越城镇；跨越国家；跨越 海洋；两米开外；百米或更远开外；千米或更远开外；以及数百或数千千米开外。
在用户接口的一些应用中，浮于空中显示利用这里描述的体积显示的实施例。在用 户接口的其他应用中，可选地使用其他体积显示，假设它们的性质支持具体应用。
本发明的示例性实施例还提供了一种用于向多个观看者显示内容的系统，该系统包 括：
用于生成体积图像的单元，每个体积图像具有至少一部分该内容并且每个体积图像可从其自 身的可视性空间观看；以及
光学系统，控制一个或多个所述可视性空间的一部分以与每个观看者的瞳孔重叠。
在一些实施例中，由该单元生成的多个体积图像在空间中重叠。
可选地，由所述单元生成的所有体积图像在空间中重叠。
可选地，存在两个或更多个体积图像之间的完全重叠。
在一些示例性实施例中，光学系统包括：方位确定元件，确定至少一个所述可视性 空间关于可从所述可视性空间观看的体积图像的方位。
可选地，方位确定元件包括旋转镜。
可选地，方位确定元件被配置为确定不同可视性空间的方位不同高达90°、高达 180°或者高达360°。
在一些实施例中，该系统包括：时间共享控制，控制每个可视性空间与所述瞳孔仅 重叠短周期序列，并且所述短周期被适时地隔开，使得所述观看者看到连续场景。
可选地，时间共享控制控制所述旋转镜的旋转。
根据本发明的示例性实施例，提供了一种系统，其包括：
图像产生单元，产生近轴图像；以及
光学系统，定义舞台并且将所述近轴图像成像到所述舞台，使得可从可视性空间观看舞台上 的图像，
其中所述光学系统包括目镜和镜，该镜被配置为以多个不同方位角度将光引导至目镜，并且
其中
每个所述方位角度确定所述可视性空间的不同位置；以及
对于每个所述方位角度，舞台的位置是相同的。
在一些实施例中，如果一个观看者触摸给定点并且另一观看者看到正被触摸的相同 点，则针对这两个观看者的舞台的位置被认为相同。可选地，根据观看者感受位置差异的能 力，这允许容差。
可选地，如果触摸在图中的点使得从所有方位角度注视的观看者看到被触摸的相同 点，则舞台的位置被认为对于所有方位角度是相同的。在该背景下，如果观看者不能分辨差 异，则该点是“相同的”。
在一些示例性实施例中，目镜具有从近轴图像接收光的光接收表面，并且所述光接 收表面具有旋转弯曲的形状，其驻留在平面上并且围绕所述平面外的轴旋转。在本发明的示 例性实施例中，光接收表面是圆柱，可选地具有带曲率的壁以提供图像放大。可选地，该曲 率不是上下对称的。可选地或者可替选地，轴例如在图像中心处跨越图像。
可选地，光接收表面的形状具有围绕轴旋转至少90°的弯曲。例如，如果弯曲具有 半圆，则表面具有四分之一球壳。
可选地，光接收表面的形状具有围绕轴旋转360°的弯曲，使得所述目镜定义内腔。
例如，如果弯曲具有半圆，则所定义的内腔是球。
可选地，弯曲是构成圆的一部分的弧。
可选地，弯曲是抛物线。
在其中弯曲是弧的一些实施例中，旋转轴不经过弧的中心。可选地或者可替选地， 轴跨越图像。可选地，轴跨越图像但并非如同完美竖直。可选地或者可替选地，轴摇晃。
在一些实施例中，旋转轴位于弯曲的平面中，位于中间并且与舞台垂直。
可选地，弯曲相对于旋转轴是凹入的。
可选地，弯曲相对于旋转轴是凸出的。
在一些示例性实施例中，镜围绕轴旋转。可选地，镜围绕其旋转的轴是所述弯曲围 绕其旋转以获得目镜的内表面的形状的轴。
可选地，镜围绕其旋转的轴和/或弯曲围绕其旋转以形成内表面的形状的轴是舞台的 对称轴。
在一些示例性实施例中，系统包括光学元件，并且从近轴图像去往镜的光经过该光 学元件。
可选地，光学元件包括透镜。
可选地，光学元件包括曲面镜。
在一些实施例中，光源位于目镜定义的腔内部。
可选地，镜、图像形成单元和/或光学元件位于腔内部。
在一些实施例中，光源和舞台之间的至少一部分光学路径位于腔内部。
在本发明的一些实施例中，图像形成单元包括透射型液晶显示器(LCD)。
在本发明的一些实施例中，图像形成单元包括反射型LCD。
在本发明的一些实施例中，图像形成单元包括空间光调制器(SLM)。可选地，近轴 图像是计算机生成的全息图(CGH)。
可选地，近轴图像是近轴视差屏障图像。
可选地，近轴图像是二维图像。
可选地，近轴图像是三维图像。
可选地，舞台上的图像是体积的。在此背景下，体积图像是包括图像点的图像，这 些图像点不限于单个平面而是填充三维空间。因此，体积图像是占用体积的图像，但是除了 空气等之外在体积中没有东西，并且光从体积内的图像点发出。可选地，体积图像的三个物 理维度具有相同量级的幅值，例如，图像的高度、宽度和深度中的每一个具有1cm和20cm 之间的例如10cm的测量结果。可选地，为一个或多个维度提供较大的测量结果，例如30 cm、50cm、80cm、100cm或更多。可选地，这是使用位于成像系统内部的观看者位置而 提供的。在本发明的示例性实施例中，光接收表面的直径及其高度被选择为与所期望的视角 和图像大小匹配。在本发明的示例性实施例中，舞台不是弯曲的或者是分段弯曲的并且图像 形成单元和/或光学元件因此用于补偿。可选地，图像形成单元不位于弯曲的中心，因此可 以在离系统的相同距离处针对不同视角生成不同放大和/或角大小。
在示例性实施例中，图像产生单元被配置为产生从所有所述不同方位角度将观看的 相同图像。可选地，看到图像根据不同距离而在大小上不同。可选地或者可替选地，图像针 对不同观看高度角而向上或向下移动。可替选地，图像可以是相同的，即使观看者抬起或低 下他的头。然而，在本发明的示例性实施例中，系统修改并且生成显示，使得任何移动、距 离、方位或高度改变生成了相同的旁观者的视觉效果，仿佛真实图像正浮于空间中并且被观 看。如提到的，在一些实施方式中，未提供这种完美保真，并且例如由于不支持一个或多个 眼睛位置改变类型，因此完美保真可能劣化。例如，可以从任何视角提供相同图像(转动以 配合)，可选地针对每个眼睛具有不同场景。在另一示例中，眼睛的竖直重新定位不提供所 观察的图像部分的改变。
在一些实施例中，图像产生单元被配置为产生从不同方位角度将观看的不同图像。 例如，图像产生单元可以被配置为产生景象的局部图像，每个局部图像可从不同角度观看， 并且系统被配置为将景象的局部图像成像为均可从所述不同角度观看。
在一些实施例中，镜关于镜围绕其旋转的轴倾斜。
本发明的一些实施例的方面涉及一种使近轴图像成像以由观看者看到的方法，观看 者具有第一位置的瞳孔并且注视第二位置，该方法包括： 生成近轴图像；
使近轴图像成像到观看者注视的位置，使得近轴图像的图像可从具有最宽部分和较窄部分的 可视性空间观看；
响应于观看者瞳孔的位置，选择第三位置；以及
使可视性空间的最宽部分成像到所选择的第三位置。可选地，成像包括：使近轴图像成像到 图像可视性空间，并且同时使投射器的平面成像到观看者瞳孔的平面。例如，全息配置中的 投射器是SLM。
在本发明的示例性实施例中，近轴图像是用空间光调制器(SLM)生成的计算机生 成的全息图(CGH)；并且SLM的图像处于可视性空间的最宽部分。
在示例性实施例中，第三位置被选择为与观看者的瞳孔重叠。
可选地，CGH的图像可从可视性空间观看，并且第三位置被选择为使得所述可视性 空间与观看者瞳孔重叠。可选地，成像包括：使近轴图像成像到图像可视性空间，并且同时 使投射器(例如，全息配置中的SLM)平面成像到观看者瞳孔的平面。
在一些实施例中，该方法包括：
接收观看者瞳孔的位置的指示；以及
响应于所述指示，定义所述瞳孔驻留于其内部的视窗(viewing porthole)，
其中第三位置被选择为使得可视性空间至少部分地重叠所述视窗。可选地，第三位置被选择 为使得可视性空间重叠整体所述视窗。
在一些实施例中，接收观看者瞳孔的位置的指示包括：
接收观看者面部的位置的指示；以及
分析所述指示以获得观看者瞳孔的位置的指示。
可选地，使SLM成像包括生成大于SLM的图像。
可选地或者此外，CGH的图像大于SLM。
在一些示例性实施例中，该方法包括：
(a)响应于一个观看者眼睛的位置使SLM成像；以及随后
(b)响应于另一个观看者眼睛的位置使SLM成像；以及
重复(a)和(b)使得观看者看到连续图像。
可选地，第一CGH被投射到第一观看者眼睛，并且第二CGH被投射到第二观看者 眼睛。
在一些实施例中，假如景象位于CGH在其上成像的所述第二位置，则如观看者的第 一和第二眼睛将看到的，第一和第二CGH是相同景象的全息图。
在示例性实施例中，观看者是一起具有多个眼睛的多个观看者中的一个，并且每当 响应于所述多个眼睛中的另一眼睛的位置时，SLM被顺序地成像，使得每个观看者看到连 续场景。
可选地，每当SLM被成像为与相同观看者的眼睛重叠时，成像到第二位置的一个或 多个图像是相同的，因此向观看者示出静止的或相似的(例如，动态的)图像。
在本发明的一些实施例中，使近轴图像成像以由具有第一位置的瞳孔并且注视第二 位置的观看者看到的方法包括：
将光从SLM投射到镜；以及
使所述镜移动以跟随观看者眼睛的移动。
在一些实施例中，该方法包括
使SLM成像到旋转镜；以及
旋转所述旋转镜，使得观看者看到连续图像。
可选地，SLM是多个SLM中的一个，并且所述多个SLM的图像被投射到相同旋转 镜。
可选地，镜处于所述光学系统的聚焦元件的焦点。
可选地，成像是达每秒至少24个周期，每个所述周期为1至20毫秒长。
在一些实施例中，该方法包括执行眼睛跟踪以接收观看者瞳孔的位置的指示。
在一些实施例中，接收观看者瞳孔的位置的指示包括：
从所述观看者眼睛接收光反射：以及
分析所述反射以估计所述观看者眼睛的位置。
可选地，接收观看者瞳孔的位置的指示包括：
接收其中识别观看者面部的位置的指示；以及
处理所述指示以获得观看者瞳孔的位置的指示。
在一些实施例中，近轴图像是近轴视差屏障图像。
在一些实施例中，近轴图像是二维图像。
在一些实施例中，近轴图像是三维图像。
可选地，近轴图像的图像是体积的。
本发明的示例性实施例还提供了一种向面朝给定位置的观看者显示景象的方法，该 方法包括：
估计观看者眼睛的位置；
估计如果景象在给定取向上处于给定位置则观看者将看到哪些景象部分；以及
使仅部分景象的计算机生成的全息图成像到给定位置，所述部分包括所述估计的景象部分，
其中成像是使得观看者可以看到全息图。
在优选实施例中，成像是以上述方法。
可选地，该方法包括：跟踪观看者眼睛的位置；以及使计算机生成的全息图成像， 使得当观看者移动时，他保持看到所述给定位置的全息图。在一些实施例中，即使当观看者 移动例如一米或两米时，情况亦是如此。
本发明的一些实施例的方面涉及一种用于使计算机生成的全息图(CGH)成像的系 统，该系统包括：
全息图生成单元，包括空间光调制器(SLM)；
光学系统，被配置为使所述单元生成的全息图成像到第一位置并且使SLM的图像成像到第 二位置；以及
控制器，被配置为控制SLM的所述图像到第二位置的成像，使得CGH被成像到光学系统 和SLM的图像之间的位置。可选地，控制器控制光学系统和全息图生成单元中的至少一 个。
可选地，所述控制器被配置为控制所述光学系统以在所期望的取向上在所述所期望 的位置生成SLM的图像。
在一些实施例中，控制器被配置为在线改变所期望的位置和/或取向。
在一些实施例中，系统包括用于在线接收所述所期望的位置和/或取向的指示的输 入。
可选地，该输入包括用于从眼睛跟踪单元接收指示观看者眼睛的位置的信号的接收 器，并且控制器控制所述光学系统以将SLM的所述图像投射到所述所期望的位置，使得观 看者眼睛处于包括所述所期望的位置的可视性空间内。
可选地，观看者的双眼同时处于可视性空间中。
在一些实施例中，光学系统包括：物镜、目镜和光程调整单元，光程调整单元可控制 为响应于所述所期望的位置与目镜和物镜中的一个或多个之间的距离来调整物镜和目镜之间 的光程。
可选地，光程调整单元被配置为在线调整所述光程。
在一些实施例中，系统包括镜，该镜将从物镜到达该镜的光反射到目镜的一部分，其 中该镜可控制为将所述光反射到目镜的不同部分。
可选地，目镜包括中空体或透明固体和流体。
在一些实施例中，中空体被整形为可通过使抛物线围绕经过图像中心的轴旋转而获得 的旋转固体。
可选地，中空圆柱体是球的一部分。
可选地，全息图生成单元在所述目镜内部。
在一些实施例中，系统包括目镜中心处的围绕所述目镜的中心轴旋转的旋转镜。
可选地，从物镜去往所述旋转镜的光被朝向目镜反射。
可选地，光经过一个或多个光学元件从物镜到达旋转镜。
可选地，一个或多个光学元件包括光程调整单元，其可控制为调整物镜和目镜之间 的光程。
可选地，一个或多个光学元件包括光学光调整元件，其可控制为关于朝向目镜的每 个具体方位的立视图(elevation)来调整光学光方向。
本发明的一些实施例的方面涉及一种用于使全息图成像的系统，该系统包括：
具有内壁的中空目镜，该内壁定义中心腔；
全息图生成单元，驻留在所述腔内部；以及
从由所述全息图生成单元生成的全息图去往所述内壁的光学路径上的物镜。
可选地，系统包括多个全息图生成单元，每个全息图生成单元与物镜关联。
可选地或者可替选地，系统包括多个单元基元(cell)，每个基元可选地随视点转动。 示例性的这些基元包括全息图生成单元基元和例如用于跟踪眼睛或手指或输入元件的跟踪基 元。
可选地，系统被配置为使用所述目镜来创建由计算机生成单元中的不同计算机生成 单元在单个位置产生的全息图的图像。
可选地，该单个位置在所述目镜内部，可选地在目镜的转动中心。
可选地，中空目镜具有内反射表面。
在一些实施例中，通过使驻留在第一平面上的弯曲围绕驻留在相同平面中的旋转轴 旋转，可获得内表面的形状。
可选地，旋转轴垂直于舞台的中间。可替选地，该轴与舞台成角度或者随该转动摇 晃。
可选地，内表面被整形为球壳的一部分。
在一些实施例中，多个全息图生成单元中的每一个包括空间光调制器(SLM)，并且 多个单元基元中的每一个包括光会聚物镜，其安置为焦点在SLM和由所述SLM产生的全息 图之间。
可选地，多个单元基元中的每一个具有物镜、以及被配置为确定所述物镜和目镜之 间的光程的光程确定元件。
可选地，每个光程确定元件可独立于其他光程确定元件进行控制。
可选地，系统包括所述目镜中心处的旋转镜，其被配置为从多个单元基元接收光并 且将所述光反射到目镜上。
可选地，一个或多个光学元件包括光学光调整元件，其可控制为关于朝向目镜的每 个具体方位的立视图来调整光学光方向。
根据本发明的一些实施例的方面，提供了一种浮于空中图像显示的方法，其包括：
在一位置提供浮于空中显示设备，并且从该设备投射一个或多个浮于空中计算机生成的图 像，其可在环绕该位置的包括至少200弧度的角度范围上观看。
根据本发明的一些实施例，投射包括在其中预期观看者的小角度上选择性地投射。 根据本发明的一些实施例，投射包括使用多个图像生成模块选择性地投射。根据本发明的一 些实施例，投射包括在不同方向上投射具有相同坐标系统的不同图像。根据本发明的一些实 施例，投射包括投射2D图像。
根据本发明的一些实施例，投射包括投射物体的图像，使得物体的呈现角度随其视 角改变以匹配围绕物体移动的效果。根据本发明的一些实施例，投射包括投射3D图像。
根据本发明的一些实施例，投射包括投射全息图。根据本发明的一些实施例，投射 包括调整图像的投射距离。根据本发明的一些实施例，投射包括调整图像的焦距。
根据本发明的一些实施例，投射包括针对相同观看者的不同眼睛投射不同图像。根 据本发明的一些实施例，投射包括从设备中的单个点投射。根据本发明的一些实施例，投射 包括投射具有共享坐标系统的投射图像。根据本发明的一些实施例，投射包括使图像成像在 未被显示底板占用的位置。
根据本发明的一些实施例的方面，提供了一种全息图显示设备，其投射可在至少180 度的视角范围上同时观看的浮于空中计算机生成的全息图。
根据本发明的一些实施例，全息图从隔开至少20度的视点共享相同坐标集。根据本 发明的一些实施例，包括全息图生成单元和用于投射全息图的至少一个透镜。根据本发明的 一些实施例，包括至少一个距离控制单元。根据本发明的一些实施例，包括至少一个全息图 瞄准机构。
根据本发明的一些实施例的方面，提供了一种向多个观看者显示内容的方法，该方 法包括：形成多个体积图像，每个体积图像具有至少一部分该内容并且每个体积图像可从其 自身的可视性空间观看；以及使一个或多个可视性空间的一部分与每个观看者的瞳孔重叠。
根据本发明的一些实施例，可视性空间可以覆盖超过90度。
根据本发明的一些实施例，内容是单个景象，并且每个体积图像具有可从不同视点 观看的单个景象的面。
根据本发明的一些实施例，观看者处于围绕由一个体积图像占用的空间的不同方位 角度。根据本发明的一些实施例，不同方位角度跨越整个圆。根据本发明的一些实施例，不 同方位角度跨越至少半圆。
根据本发明的一些实施例，两个观看者彼此距离至少1米。
根据本发明的一些实施例，观看者同时看到图像。
根据本发明的一些实施例，可视性空间与观看者的眼睛仅重叠短周期序列，并且所 述短周期被适时地隔开使得所述观看者看到连续场景。
根据本发明的一些实施例的方面，提供了一种向多个观看者显示内容的系统，该系 统包括：用于生成体积图像的单元，每个体积图像具有至少一部分内容并且每个体积图像可 从其自身的可视性空间观看；以及光学系统，用每个观看者的瞳孔来控制一个或多个可视性 空间的一部分。
根据本发明的一些实施例的方面，提供了一种根据权利要求29的系统，其中光学系 统包括方位确定元件，其确定至少一个可视性空间关于可从所述可视性空间观看的体积图像 的方位。
根据本发明的一些实施例的方面，提供了一种系统，其包括：图像产生单元，产生 近轴图像；和光学系统，定义舞台并且将近轴图像成像到舞台，使得可从可视性空间观看舞 台上的图像，其中光学系统包括目镜和镜，该镜被配置为以多个不同方位角度将光引导至目 镜，并且其中每个方位角度确定可视性空间的不同位置，并且对于每个方位角度，舞台的位 置是相同的。
根据本发明的一些实施例，对于至少两个不同方位角度，提供两个不同立视图。
根据本发明的一些实施例的方面，提供了一种使近轴图像成像以由观看者看到的方 法，观看者具有第一位置的瞳孔并且注视第二位置，该方法包括：生成近轴图像；使近轴图 像成像到观看者注视的位置，使得近轴图像的图像可从具有最宽部分和较窄部分的可视性空 间观看；响应于观看者瞳孔的位置，选择第三位置；以及使可视性空间的最宽部分成像到所 选择的第三位置。
根据本发明的一些实施例的方面，提供了一种向面朝给定位置的观看者显示景象的 方法，该方法包括：估计观看者眼睛的位置；估计如果景象在给定取向上处于给定位置则观 看者将看到哪些景象部分；以及使仅部分景象的计算机生成的全息图成像到给定位置，该部 分包括所估计的景象部分，其中成像是使得观看者可以看到全息图。
根据本发明的一些实施例，包括：跟踪观看者眼睛的位置；并且使计算机生成的全 息图成像，使得当观看者移动时，他保持看到给定位置的全息图。
根据本发明的一些实施例的方面，提供了一种用于使计算机生成的全息图(CGH) 成像的系统，该系统包括：全息图生成单元，包括空间光调制器(SLM)；光学系统，被配 置为使由单元生成的全息图成像到第一位置并且使SLM的图像成像到第二位置；以及控制 器，配置为控制使SLM的图像成像到第二位置，使得CGH被成像到光学系统和SLM的图 像之间的位置。
根据本发明的一些实施例，控制器被配置为控制光学系统以在所期望的取向上在所 期望的位置生成SLM的图像。
根据本发明的一些实施例，控制器被配置为在线改变所期望的位置和/或取向。
根据本发明的一些实施例，包括用于在线接收所述所期望的位置和/或取向的指示的 输入。
根据本发明的一些实施例，该输入包括用于从眼睛跟踪单元接收指示观看者眼睛的 位置的信号的接收器，并且控制器控制光学系统将SLM的图像投射到所期望的位置，使得 观看者眼睛处于包括所期望的位置的可视性空间内。
根据本发明的一些实施例，光学系统包括：物镜、目镜和光程调整单元，光程调整 单元可控制为响应于所期望的位置与目镜和物镜中的一个或多个之间的距离来调整物镜和目 镜之间的光程。
根据本发明的一些实施例，光程调整单元被配置为在线调整所述光程。
根据本发明的一些实施例，包括镜，该镜将从物镜到达该镜的光反射到目镜的一部 分，其中该镜可控制为将光反射到目镜的不同部分。
根据本发明的一些实施例，目镜包括中空体。根据本发明的一些实施例，中空体被 整形为可通过使抛物线围绕轴旋转而获得的旋转固体，该轴不在与抛物线相同的平面上。根 据本发明的一些实施例，中空圆柱体是球的一部分。
根据本发明的一些实施例，全息图生成单元在所述目镜内部。
根据本发明的一些实施例，包括围绕目镜的中心轴旋转的旋转镜。
根据本发明的一些实施例，从物镜去往所述旋转镜的光被朝向目镜反射。
根据本发明的一些实施例，光经过一个或多个光学元件从物镜到达旋转镜。
根据本发明的一些实施例，一个或多个光学元件包括光程调整元件，其可控制为调 整物镜和目镜之间的光程。
根据本发明的一些实施例的方面，提供了一种用于成像的系统，该系统包括：目 镜，具有覆盖至少90度弧角的内反射壁；以及图像生成单元，驻留在腔内部，其中目镜被 配置为将图像从图像生成单元投射到一个或多个观看者。
根据本发明的一些实施例，图像生成单元包括至少一个元件，其移动以便在角度范 围上投射图像。
根据本发明的一些实施例，系统被配置为使得观看者由壁环绕。
根据本发明的一些实施例，目镜是中空的，定义腔，并且其中图像生成单元包括驻 留在腔内部的全息图生成单元，并且包括从由全息图生成单元生成的全息图去往内壁的光学 路径上的物镜。
根据本发明的一些实施例，包括多个全息图生成单元，每个全息图生成单元与物镜 关联。
根据本发明的一些实施例，被配置为使用目镜创建由计算机生成单元中的不同计算 机生成单元在单个位置产生的全息图的图像。
根据本发明的一些实施例，该单个位置在所述目镜内部。根据本发明的一些实施 例，中空目镜具有内反射表面。
根据本发明的一些实施例，通过使驻留在第一平面上的弯曲围绕驻留在第二平面而 非第一平面上的旋转轴旋转，可获得内表面的形状。
根据本发明的一些实施例，旋转轴垂直于第一平面。
根据本发明的一些实施例，内表面被整形为球壳的一部分。
根据本发明的一些实施例，多个全息图生成单元中的每一个包括空间光调制器 (SLM)，并且多个单元基元中的每一个包括光会聚物镜，其安置为焦点在SLM和由SLM 产生的全息图之间。
根据本发明的一些实施例，多个单元基元中的每一个具有物镜以及被配置为确定所 述物镜和目镜之间的光程的光程确定元件。
根据本发明的一些实施例，每个光程确定元件可独立于其他光程确定元件进行控 制。
根据本发明的一些实施例，包括目镜中心处的旋转镜，其被配置为从多个单元基元 接收光并且将光反射到目镜上。
根据本发明的一些实施例，控制器控制光学系统。根据本发明的一些实施例，控制 器控制全息图生成单元。
根据本发明的一些实施例的方面，提供了一种用于实施浮于空中用户接口的方法， 其包括：在第一浮于空中显示的显示空间中显示第一图像；将真实物体插入到第一浮于空中 显示的显示空间中；在第一浮于空中显示的显示空间内定位真实物体的位置；在显示空间中 定位真实物体；以及提供该位置作为针对浮于空中用户接口的输入。
根据本发明的一些实施例，进一步包括至少部分基于该位置而在第一浮于空中显示 的显示空间中显示第二图像。
根据本发明的一些实施例，浮于空中显示是体积显示。
根据本发明的一些实施例，在将真实物体插入到显示空间中之后近实时地显示第二 图像。根据本发明的一些实施例，时间少于1/24秒。
根据本发明的一些实施例，第一图像是空白图像，并且第二图像包括位置显示。
根据本发明的一些实施例，真实物体是手指。
根据本发明的一些实施例，进一步包括：在第一图像中显示致动器，移动真实物体 的位置基本上接近致动器，并且将位置输入解释为真实物体使致动器致动。
根据本发明的一些实施例，进一步包括：移动真实物体的位置，随时间跟踪真实物 体的位置，将位置输入解释为真实物体操纵第一图像的至少一部分。
根据本发明的一些实施例，进一步包括至少部分基于该解释向机器人设备发送控制 命令。
根据本发明的一些实施例，真实物体进一步包括多个真实物体，并且使用每个真实 物体的位置作为体积用户接口的位置输入。
根据本发明的一些实施例，第二图像不同于第一图像。
根据本发明的一些实施例，第二图像基本上等于第一图像加上位置输入的添加指示 符。
根据本发明的一些实施例，该位置包括基本上作为真实物体上的点的位置。
根据本发明的一些实施例，进一步包括至少部分基于该位置捕获子图像。根据本发 明的一些实施例，子图像包括体素(voxel)。
根据本发明的一些实施例，该位置进一步包括至少部分基于真实物体上的点的多个 位置的多个位置。
根据本发明的一些实施例，由第一浮于空中显示来显示连接多个位置的路径。
根据本发明的一些实施例，多个位置包括两个位置，并且进一步包括至少部分基于 这两个位置来定义三维中的线。
根据本发明的一些实施例，多个位置包括不在一条直线上的三个位置，并且进一步 包括至少部分基于这三个位置来定义三维中的平面。
根据本发明的一些实施例，多个位置包括不在一个平面中的四个位置，并且进一步 包括至少部分基于这四个位置来定义三维中的体积。
根据本发明的一些实施例，进一步包括至少部分基于多个位置来实施如下功能组中 的一个功能：对第一图像放大，缩小第一图像，裁剪第一图像，转动第一图像，切分第一图 像，测量第一图像内的长度，测量第一图像内的面积，以及测量第一图像内的体积。
根据本发明的一些实施例，进一步包括至少部分基于多个位置来实施子图像捕获。
根据本发明的一些实施例，进一步包括标记该点以便基本上与真实物体的剩余部分对 比。
根据本发明的一些实施例，进一步包括通过基本上紧凑的光源进行标记的标记。
根据本发明的一些实施例，位置包括由真实物体的长轴定义的线。
根据本发明的一些实施例，位置包括对应于真实物体的形状的框。
根据本发明的一些实施例，进一步包括第一浮于空中显示在与第一浮于空中显示显 示第一图像基本上相同的时间显示第二图像，并且其中第一图像被显示给第一用户而第二图 像被显示给第二用户。
根据本发明的一些实施例，第一图像和第二图像看似位于空间中的相同位置。
根据本发明的一些实施例，进一步包括第二浮于空中显示在与第一浮于空中显示显 示第一图像基本上相同的时间显示第二图像，并且其中第一图像被显示给第一用户而第二图 像被显示给第二用户。
根据本发明的一些实施例，第一浮于空中显示基本上远离第二浮于空中显示，并且 进一步包括第一浮于空中显示和第二浮于空中显示之间的通信信道。
根据本发明的一些实施例，第一显示和第二显示用于实施第一用户和第二用户之间 的远程医疗交互。
根据本发明的一些实施例，第一显示和第二显示用于实施第一显示和第二显示之间 的类似白板的合作共享。
根据本发明的一些实施例，第一显示和第二显示用于实施用户在第一浮于空中显示 处的远程教学。
根据本发明的一些实施例，第一显示和第二显示用于实施第一用户和第二用户参与 其中的游戏。
根据本发明的一些实施例，第一显示不同于第二显示。根据本发明的一些实施例， 第一显示比第二显示显示更多的内容。
根据本发明的一些实施例的方面，提供了一种用于实现在相同的显示空间中观看动 态生成的浮于空中显示的物体和真实物体的方法，其包括：在第一浮于空中显示上显示体积 显示的物体，并且将真实物体插入到第一浮于空中显示的显示空间中。
根据本发明的一些实施例，浮于空中显示是体积显示。
根据本发明的一些实施例，动态生成的包括计算机生成的。
根据本发明的一些实施例，进一步包括将真实物体与浮于空中显示的物体的至少一 部分进行比较。
根据本发明的一些实施例，真实物体包括对照其测量物体的标准，并且所述比较实 现对符合标准的判断。
根据本发明的一些实施例，真实物体是用于插入到身体中的医疗设备，并且浮于空 中显示的物体的至少一部分是从三维数据集生成的身体的至少一部分。
根据本发明的一些实施例，所述比较进一步包括测量真实物体和浮于空中显示的物 体的至少一部分之间的尺寸差异。
根据本发明的一些实施例，所述测量尺寸差异包括由以下组成的组中的至少一个： 长度差异、平面面积差异、表面积差异和体积差异。
根据本发明的一些实施例的方面，提供了一种用于实现观看来自身体的三维数据集 的浮于空中显示的身体部位和来自一个或多个虚拟物体的三维数据集的体积显示的虚拟物体 的方法，其包括：将浮于空中显示的身体部位显示在第一浮于空中显示上，以及使虚拟物体 叠加到第一浮于空中显示的显示空间中。
根据本发明的一些实施例，虚拟物体和浮于空中显示的身体部位在第一浮于空中显 示的显示空间中彼此相对移动。
根据本发明的一些实施例，进一步包括将虚拟物体与身体部位的至少一部分比较。
根据本发明的一些实施例的方面，提供了一种用户接口，其包括：第一浮于空中显 示；和适于接受来自第一显示空间内的第一位置的输入的第一输入单元，第一显示空间是由 第一浮于空中显示在其内显示物体的体积。
根据本发明的一些实施例，浮于空中显示是体积显示。根据本发明的一些实施例， 浮于空中显示是二维浮于空中显示。
根据本发明的一些实施例，第一浮于空中显示适于显示第一位置。
根据本发明的一些实施例，进一步包括第二浮于空中显示，其中第二浮于空中显示 显示与第一浮于空中显示同样的显示，包括显示第一位置。
根据本发明的一些实施例，进一步包括适于接受来自第二显示空间内的第二位置的 输入的第二输入单元，第二显示空间是由第二浮于空中显示所显示的物体出现在其内的体 积，并且其中第一浮于空中显示适于显示与第二浮于空中显示同样的显示，包括显示第二位 置。
根据本发明的一些实施例，来自第一位置的输入和来自第二位置的输入均被显示。
根据本发明的一些实施例，第一浮于空中显示位于与第二浮于空中显示不同的房间 中。根据本发明的一些实施例，第一浮于空中显示远离第二浮于空中显示至少100米。
根据本发明的一些实施例，第一浮于空中体积显示适于至少部分基于位置和基于在 该位置显示的内容来提供感官反馈。
根据本发明的一些实施例，第一浮于空中体积显示适于显示全息图。
根据本发明的一些实施例的方面，提供了一种用于实施浮于空中用户接口的方法， 其包括：在第一浮于空中显示的显示空间中显示第一图像，将真实物体插入到显示空间中， 检测真实物体在显示空间内的位置，使用该位置作为针对用户接口的输入，以及在显示空间 中加亮该位置。
根据本发明的一些实施例的方面，提供了一种用户接口，其包括：用于显示浮于空 中显示的装置，用于接受来自显示空间内的位置的输入的装置，该显示空间是由浮于空中显 示所显示的物体出现在其内的体积。
除非另外定义，这里使用的所有技术和/或科学术语具有与本发明所属领域的普通技 术人员一般理解的相同的含义。尽管在本发明的实施例的实践或测试中可以使用与这里描述 的相似或等同的方法和材料，但是下文描述了示例性方法和/或材料。在冲突的情况中，包 括定义的专利说明书将进行控制。此外，材料、方法和示例仅是说明性的而不旨在进行必要 的限制。
尽管在本发明的实施例的实践或测试中可以使用与这里描述的相似或等同的方法和 材料，但是下文描述了不例性方法和/或材料。此外，材料、方法和不例仅是说明性的而不 旨在进行必要的限制。
本发明的实施例的方法和/或系统的实施方案可能牵涉手动地、自动地或者其组合执 行或完成所选择的任务。而且，根据本发明的方法和/或系统的实施例的实际仪器和设备， 可以由硬件、由软件、由固件或者由其组合使用操作系统来实施若干个所选择的任务。
例如，用于执行根据本发明的实施例的所选择的任务的硬件可以被实施为芯片或电 路。作为软件，根据本发明的实施例的所选择的任务可以被实施为由使用任何适当的操作系 统的计算机执行的多个软件指令。在本发明的示例性实施例中，根据如这里描述的方法和/ 或系统的示例性实施例的一个或多个任务由数据处理器执行，诸如用于执行多个指令的计算 平台。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令 和/或数据的例如磁硬盘和/或可移动媒体的非易失性储存器。可选地，还提供了网络连接。 还可选地提供了显示器和/或用户输入设备诸如键盘或鼠标。
附图说明
这里参照附图，仅作为示例描述了本发明的一些实施例。现在详细地具体参照附 图，强调所示出的细节是作为示例并且为了说明性地讨论本发明的实施例。在这一点上，通 过附图进行的描述使得如何实践本发明的实施例对本领域的技术人员是显而易见的。
在附图中：
图1A是用于生成全息图的单元的示意图；
图1B是全息图中的一些点的可视性空间的示意图；
图2A是根据本发明的实施例的用于使全息图成像的系统的示意图；
图2B是由图2A的系统产生的图像全息图中的一些点的可视性空间的示意图；
图3A是解释根据本发明的实施例的通过投射系统的图像全息图产生的光线跟踪图；
图3B是解释通过图3A中参照的相同投射系统的图像SLM产生的光线跟踪图；
图4是根据本发明的实施例的被设计用于允许将SLM和全息图的投射调节到所期望的位置 的光学系统的示意图；
图5是根据本发明的实施例的用于投射全息图使得全息图具有宽可视性空间的系统的示意 图；
图6A是根据本发明的实施例的360°步行围绕(walk-around)图像投射系统的图示；
图6B是图6A中图示的系统的示意图；
图6C是根据本发明的实施例的具有倾斜镜的360°步行围绕图像投射系统的图示；
图7是根据本发明的实施例的带有具有公共目镜320和公共旋转镜的两个光学系统的投射系 统的图示；
图8是可作为低通滤波器操作的镜的示意图；
图9是根据本发明的实施例的跟踪单元的示意图；
图10是根据本发明的实施例的系统的简化框图；
图11是在执行根据本发明的实施例的方法时采取的动作的流程图；
图12是在根据本发明的实施例的产生将由从给定角度注视全息图的观看者观看的全息图的 方法中采取的动作的流程图；
图13A是用户看似使手指触摸正由根据本发明的实施例构建和操作的用户接口显示的物体 的简化图；
图13B是用户看似使指针触摸正由根据本发明的实施例构建和操作的用户接口显示的物体 的简化图；
图13C是用户将框插入到根据本发明的实施例构建和操作的用户接口的显示空间中的简化 图；
图14是两个用户与正由根据本发明的实施例构建和操作的用户接口显示的相同物体交互的 简化图；
图15是两个用户与正由根据本发明的实施例构建和操作的用户接口显示的相同物体交互的 简化图；以及
图16是用户将真实物体与根据本发明的实施例构建和操作的用户接口显示的物体进行比较 的简化图。
具体实施方式
概述
本发明在其一些实施例中涉及用于显示图像的方法和设备，且更特别地但非排他地涉及允许 从宽视角观看三维图像的这种方法和设备。本发明的一些实施例还允许从宽视角观看二维图 像。
本发明在其一些实施例中涉及一种计算机生成的用户接口，且更特别地但非排他地 涉及一种浮于空中用户接口。
在一些实施例中，观看者可以步行围绕舞台，并且察看投射在舞台上的景象的不同 面，每个面可从另一视角观看，正如当注视真实的原始景象时那样。例如，步行围绕地球仪 的全息图的观看者当从一个点察看全息图时可以看到欧洲，当从另一点察看全息图时可以看 到美洲，等等。在一些实施例中，不同观看者看到可能与相同的坐标对准的不同数据。
此外或者可替选地，观看者可以来回走动，更靠近舞台或者更远离舞台，类似于在 注视真实物体并且改变与其的距离时需要的焦点调整，针对离开图像的距离来调整眼睛。在 本发明的示例性实施例中，显示设备可以例如在1.2、2、3、4的范围因子或者中间或更大 的因子上根据观看者的距离来调整投射的距离，例如按照需要使投射点移动距离5cm、10 cm、20cm、30cm或者更多中间量。
可选地，观看者可以自由地步行并且从他所在的任何位置看到全息图，只要他正在 注视系统视区内的舞台。
可选地，舞台是物理构建。可替选地，舞台是空间中的成像体积，全息图投射到该 体积上并且观看者正面朝该体积。成像舞台上的全息图看起来像其正浮于空中。
在一些实施例中，观看者可以触摸全息图。这样的观看者将不一定感受到他的手指 正在触摸任何东西，但是将看到他的手指触摸全息图。可选地，如人造现实领域中已知的， 例如通过用户佩戴振动环或手套或者通过将光束从系统或不同的位置投射到手指处使得手指 被加热并且感受到加热，在观看者中唤起人造触摸感受。可选地或者可替选地，例如超声的 声束被投射和/或调制以引起知觉。
可选地，仅处于全息图的可视性空间中的观看者可以实际上观看全息图。未处于全 息图的可视性空间内但是正察看舞台的人将看到观看者的手指而非观看者正在触摸的全息 图。可选地，可从多个观看者中的每一个的视角观看的相同景象的全息图被显示给每个观看 者，并且当一个观看者触摸全息图时，所有其他观看者看到触摸全息图的第一观看者的手 指。可选地，所有观看者看到相同全息图(或者其他图像类型)。可替选地，不同观看者看 到不同图像，例如其上具有不同数据的相同结构。
可选地，看到手指触摸全息图的所有观看者看到手指在相同位置触摸全息图(例 如，全息图具有玩偶，并且所有观看者看到手指触摸玩偶的左眼睑)。
在一些实施例中，观看者可以围绕全息图走动并且从所有侧面看到全息图，仿佛观 看者步行围绕物理物体。在一些这样的实施例中，只要观看者的眼睛处于被称为第一视窗的 特定空间内，则第一全息图被成像到舞台，示出了如从第一视窗中的点将看到的景象。由于 第一全息图的图像的全息本质，使其眼睛在视窗内移动的观看者可以从视窗内的不同点检测 景象的不同特征。可选地，当观看者的眼睛在第一视窗外时，定义覆盖观看者的眼睛的第二 视窗，并且将景象的第二全息图投射到舞台，示出了如从第二视窗中的点将看到的景象。在 一些实施例中，如从每个可能的视窗看到的景象的全息图被连续地投射；然而，这些实施例 需要更艰苦的计算努力并且不一定改进观看者的察看体验。在一些计算更高效的实施例中， 估计观看者的眼睛(或双眼)的位置，围绕其定义视窗，并且仅把景象的可从估计的视窗内 将观看的部分的全息图投射到舞台。
在一些实施例中，观看者可以操纵图像。例如，观看者可以移动、转动、缩放或者 以其他方式操纵图像。在一些实施例中，作为围绕舞台移动的替代或者除了围绕舞台移动之 外，观看者可以移动舞台。此外或者可替选地，观看者可以改变舞台上示出的景象的部分。 例如，注视地球仪的全息图的观看者可以使地球仪围绕经过两个极点的轴或者围绕任何其他 轴转动。此外或者可替选地，观看者可以转变全息图和/或舞台，放大图像，缩小等等。在 一些实施例中，由于所察看的较小部分的较大全息图是以在观看者放大之前使较大部分成像 所用的相同分辨率成像的，因此放大未伴随分辨率损失。
在本发明的一些实施例中，可从不同视窗观看的景象的全息图被同时投射，使得从 不同视窗注视舞台的不同观看者可以均从他自身的视点同时察看景象的全息图。可选地，每 个观看者可以独立于其他观看者步行围绕舞台。可选地，例如基于每个观看者的面部的图 像，基于标记(例如，面部上的红外可读标记)和/或基于诸如RFID的其他识别技术，识别 每个观看者。可选地，向每个用户示出针对观看者个性化的数据和/或观看参数，例如可以 针对用户的视力锐度和适应能力以及每个用户偏好的数据内容(例如，物体的外视图或者物 体的内视图)来设定距离或尺寸。
在一些实施例中，不同全息图(均可从不同视窗观看)以足够高的频率被顺序地投 射到单个舞台，以允许观看者(每个观看者经过一个视窗注视)看到每个不同的连续图像全 息图。这样，不同观看者可以同时且连续地看到不同全息图，或者在一些实施例中，不同观 看者可以同时且连续地看到不同全息影片，或者在一些实施例中，不同观看者可以同时且连 续地看到单个显示上的不同2D内容，例如视频或TV，或者可选地具有共享坐标系统的不 同(非全息的，焦距受控的或者全息的)3D内容。
本发明的一些实施例的方面涉及一种显示例如全息图或近轴视差屏障图像的近轴图 像的方法。
近轴图像或物体是其中每个点发射跨越具有典型为约3°的小立体角的圆锥的光线并 且这些圆锥的高度彼此近似平行(例如，或者以其他方式与从观看者眼睛的垂直线的转动匹 配)的近轴图像或物体。通常，仅具有与所有这些圆锥重叠的眼睛瞳孔的观看者可以看到整 个近轴物体或图像。如果瞳孔仅与一些圆锥重叠，则仅观看近轴图像或物体上的一些点，即 重叠的圆锥所源自的那些点。因此，近轴图像或物体可从相对窄的空间观看，该空间在这里 被称为可视性空间。
在下面的描述中，有时参照半近轴图像。该术语指的是其中每个点发射跨越具有小 立体角的圆锥的光线但是这些圆锥的轴彼此不平行的图像。在本发明的一些实施例中，圆锥 会聚在可视性空间处，因此在可视性空间处可以看到整个图像。
在本发明的一些实施例中，全息图是由景象产生的光场的重现。在这些实施例中， 景象的全息图对于人类观众看起来与景象自身同样。可选地，重现的光场与由景象产生的光 场同样。可选地，原始光场和由全息图重现的光场之间的类同之处在于场的相位和强度，形 成单色全息图。可替选地，发出的光的波长也被重现，形成彩色全息图。
在一些实施例中，全息图是景象的傅立叶变换的重现。当经过透镜观看这样的全息 图时，景象出现在透镜的傅立叶平面中。
在一些实施例中，全息图由光束组成，该光束与空间光调制器(SLM)交互。空间 光调制器是在不同点具有不同光学行为的媒体。术语SLM在这里用于表示：静态媒体，在 不同点具有不同光学行为，诸如开槽胶片(slotted film)；以及动态媒体，具有光学行为可控 的不同点。后者类别的SLM惯常用于全息图的计算机化生成的领域中。设计或控制空间光 调制器(SLM)，使得与SLM交互(例如，从SLM反射或者经过SLM)的光束创建景象的 全息重建。在全息术的领域中已知许多产生景象的SLM的方式，并且这些方式中的每一种 可以用于创建将根据本发明的各种实施例投射或成像的全息图。注意，当示出非全息图像 时，可以使用不修改相位的SLM(例如，DMD或LCD)。可选地或者可替选地，可以使用 非相干光源。
在下文中，主要参照计算机控制的SLM；然而，在一些实施例中还可以利用其他 SLM，例如被开槽以便形成静态全息图的板或胶片。
计算机控制的SLM由多个像素(例如，500×500像素)制成并且SLM的每个像素 的光学行为可以独立于其他像素由计算机控制。这些SLM当前在商业上可从多种来源获 得，例如可从伦敦的Fourth Dimension Displays获得。一些商业上可获得的SLM是基于透射 型，就是说，应当使光透射经过它们以创建物体全息图，并且一些SLM是反射型的，就是 说，应当使光从它们反射以形成物体全息图。在本领域中将一类反射型SLM称为LCoS。
一些实施例限于应对静止景象。在一些实施例中，如在视频运动图片中，景象随时 间改变。在这些实施例中，全息图可选地以适于提供连续运动的景象的速率改变。如根据电 影领域所公知的，该速率约为每秒16或24个场景或更高。
在本发明的一些实施例中，全息图是近轴的。就是说，全息图中的每个点发射跨越 具有典型为约3°的小立体角的圆锥的光线，并且这些圆锥的高度彼此近似平行并且平行于 创建全息图的系统的光轴。仅由直接面对近轴全息图的注视光轴方向的观看者可以看到它 们。因此，如图1B中图示的，近轴全息图以及通常的近轴图像可从相对窄的可视性空间观 看。
如上文所述，本发明的一些实施例的方面涉及显示全息图。在本发明的一些实施例 中，显示全息图包括生成全息图(在下文中被称为物体全息图)并且光学创建所创建的全息 图的图像(在下文中被称为图像全息图)。本发明的至少一些实施例涉及显示近轴物体，包 括但不一定限于全息图。为了方便起见，下面主要指的是全息图，但除非另外明确说明，其 他近轴图像可以被相似地处理。在本发明的实施例中根据近轴图像或物体形成的且由观看者 观看的图像，诸如图像全息图，可选地是半近轴的。
本发明的一些实施例的方面涉及显示将从围绕显示的广角示出的图像。在一些实施 例中，该角大于180°，例如270°，或者甚至360°，或者中间角度。可选地，从宽视角观看 的图像是全息图。被显示给围绕显示定位的观看者的图像的示例包括：全息图、自动立体图 像、立体图像、焦点受控3D或其他图像(例如，使用光学元件来设定到图像的感知焦距) 和2D图像。
在一些实施例中，显示物体全息图包括创建不同于物体全息图的图像全息图。例 如，图像全息图可以大于物体全息图和/或可以从比物体全息图更宽的视角看到。
在示例性实施例中，创建可从宽视角看到的图像全息图牵涉用单个光学系统使全息 图和SLM成像，使得图像SLM比物体SLM更宽。用单个光学系统投射全息图和SLM确 保了图像全息图可从图像SLM中的任何点观看。
图像SLM不一定覆盖可从其观看整个图像全息图的整个空间，该空间在这里被称为 可视性空间。
可能注意到：近轴全息图是具体类别的近轴物体，并且其他近轴物体也可以被相似 地显示。据此，在一些示例性实施例中，在包括用单个光学系统使近轴图像和可从其观看近 轴物体的空间的至少一部分成像的过程中创建近轴物体的图像。可选地，可视性空间的图像 比可视性空间本身更宽。用单个光学系统使近轴图像及其可视性空间成像确保了可从可视性 空间的图像中的任何点观看图像全息图。
在一些实施例中，为了确保近轴图像可由特定观看者观看，观看者的瞳孔将与图像 可视性空间的一部分重叠就足以。
在一些实施例中，观看者看到并触摸景象的非全息三维图像，例如3D视差屏障图 像。然而，至少在一些非全息实施例中，每个观看者必须在聚焦在手指上和聚焦在触摸点之 间进行选择，因为手指和触摸点不一定在相同焦点处。
在一些实施例中，跟踪观看者的眼睛，并且仅将表示可从观看者的视点观看的原始 景象的全息图投射到舞台，同时SLM的图像被恒定地投射到观看者的眼睛。
在一些实施例中，跟踪观看者的眼睛以便于将SLM投射到观看者的眼睛上。至少在 其中图像SLM和观看者的眼睛之间的局部重叠足以允许观看者看到完整全息图的实施例 中，投射SLM的较大图像允许不太准确地跟踪观看者的眼睛。因此，投射大SLM图像可以 帮助放松来自跟踪系统的需求。应当注意，尽管系统整体上可选地确保观看者的眼睛与图像 SLM重叠，但是不一定跟踪眼睛本身。可选地，跟踪观看者的面部中心，并且从面部中心 的位置推导眼睛的位置。可选地，观看者佩戴耳机，并且耳机传送指示耳机位置的信号(或 者包括标记)，并且响应于耳机位置来确定眼睛位置。可选地，在围绕显示的空间的图像中 识别观看者的面部，并且响应于面部识别来确定眼睛位置。因此，如这里使用的术语眼睛跟 踪意指跟踪指示眼睛位置的任何信号，不一定跟踪眼睛本身。应当注意，在一些实施例中， 跟踪指示眼睛位置的信号比跟踪眼睛本身容易得多并且可以极大地简化跟踪系统。
在一些实施例中，图像观看空间大得足以覆盖观看者的双眼。在一些实施例中，定 义了两个视窗，每个视窗围绕每个眼睛，并且使不同SLM成像到每个眼睛。可选地，两个 不同SLM是单个SLM的两个部分。可选地，与观看者的眼睛重叠的两个SLM创建同样的 图像全息图，可选地创建将可从双眼之间观看的图像全息图。彩色全息图可以由相同SLM 通过按红色、绿色和蓝色光顺序照明来投射。可选地，红色、绿色和蓝色光可以平行投射到 三个不同SLM，所有SLM与相同视窗机械同步。
可选地，视窗重叠或邻接，使得从一个视窗切换到另一视窗与从单个视窗内的一个 点去往另一个点一样平滑。
在一些实施例中，按快得足以允许每个观看者铭记他观看连续图像的速率顺序地产 生不同全息图。例如，3个观看者中的每一个每秒看到30个图像，每个图像的周期是1/180 秒或更短。当针对双眼和3个观看者产生时，3×2个眼睛＝6。
在一些实施例中，每个观看者看到由不同光学系统产生的全息图。在一些实施例 中，两个或更多个观看者察看由相同光学系统产生的全息图。可选地，光学系统和SLM针 对不同观看者的需要被重复调节。SLM被调节以创建由观看者当前察看的景象的全息图； 并且光学系统被调节以将SLM的图像投射到不同观看者在他们当前位置的眼睛。
在特定应用机会的一些实施例中，全息图是用于由观看者观看的图像，使得观看者 可以例如用他的手指或人机接口(MMI)工具来触摸全息图的一部分。可选地，全息图包括 通过触摸而致动的部分。
在一些实施例中，多个观看者均可以触摸每个观看者正观看的全息图。例如，两个 观看者从不同视窗察看相同房子的全息图，并且他们之一的手指触摸主门的把手。在一些实 施例中，如果第二观看者正同时触摸相同位置(比如说，把手上的相同部位)，则两个观看 者中的每一个均看到两个手指触摸全息图。可选地，触摸全息图的两个手指也彼此触摸。可 选地，一个用户的图像操纵被传输到另一用户的观看，因此如果需要，例如共享缩放和取 向。
在一些实施例中，一个观看者可以触摸全息图，而另一观看者可以步行围绕全息图 (或者围绕全息图移动)。这样，步行的观看者可以从不同角度看到全息图以及触摸的手 指。例如，导师可以触摸心脏模型的全息图中的动脉瓣，而学生可以步行围绕它并且从不同 角度看到所触摸的瓣。
本发明的一些实施例的方面涉及一种投射系统的设计，其中内元件生成图像或全息 图，该图像或全息图然后被投射在成像镜的内部上，该成像镜为用户放大和/或瞄准图像或 全息图。可选地，成像镜通常是圆柱的并且被可选地弯曲以提供放大。在一些实施例中，观 看者位于成像镜外部。在其他实施例中，观看者位于成像镜内部，该成像镜可以例如被安装 在房间墙壁上。
本发明的一些实施例的方面涉及一种投射系统的设计，其中一个或多个模块生成图 像并且被转动以帮助使图像瞄准观看者的眼睛。可选地，一个或多个模块转动或瞄准转动 镜。可选地，镜以基本上固定的速度转动或者以固定的速率振荡。
本发明的一些实施例的方面涉及一种投射系统的设计，其具有模块化设计，使得多 个模块中的每一个可以具有针对相同观看者眼睛的视线。可选地，该共享的视线由转动镜提 供。可选地或者可替选地，通过转动这些模块并且注意它们的位置使得它们可以表现得仿佛 它们共享相同坐标系统，来提供共享的视线。可选地，模块包括多个图像或全息图生成模 块。可选地或者可替选地，模块包括至少一个观看者跟踪/或用户交互模块。在本发明的示 例性实施例中，通过替换、添加或移除模块来增强或减少系统能力。
在详细解释本发明的至少一个实施例之前，要理解的是，本发明不一定限于其针对 下面的描述中阐述的和/或附图和/或示例中图示的方法和/或部件的构建和布置的细节的应 用。本发明能够具有其他实施例或者以各种方式实践或执行。
现在参照如图1A中图示的全息图生成单元的构建和操作以及如图1B中图示的近轴 物体的可视性空间。
示例性计算机化全息图生成单元
在本发明的示例性实施例中，全息图生成单元10′包括光源15和空间光调制器(SLM)20。
SLM20连接到计算机化控制单元22，其独立于其他像素控制SLM的每个像素的光 学行为，使得从SLM反射的光将重现从景象(24，在图示的情况中是房子)发出的光场阵 面(front)。就此而言，检测从景象24接收的光并且将表示它的数据输入到计算机化单元 22中，计算机化单元22处理输入数据以获得不同像素的所需的光学行为，并且据此控制 SLM。
在本发明的示例性实施例中，来自源15的光用偏振分束器25进行偏转，经过四分 之一波片(40)，去往SLM20，并且从SLM反射以创建全息图35。在去往偏振分束器25 的路上，波束再一次经过四分之一波片40并且继续无偏转地经过偏振分束器。
可选地，单元10′还包括光学元件70，其改变光源15的波阵面，使得在与SLM20 交互后全息图35较大。可选地，使用无透镜放大。在无透镜放大中，球形波阵面束照射 SLM，其被配置用于从平面波阵面束照射中产生图像。用球形波阵面束产生的图像相对于用 平面波阵面束产生的图像进行缩放。可选地，用球形波阵面束产生的图像大于用平面波阵面 束产生的图像。可选地，该系统包括若干个透镜，并且使用中的一个透镜被选择为产生所期 望的尺寸和位置的物体全息图。可选地，透镜的选择是光学系统的调节的一部分。可选地， 透镜的选择是光学系统的设计的一部分，并且该选择是永久性的。
例如，在由McGraw-Hill出版的J.W.Goodmann的书“Introduction to Fourier optics” 中详细描述了无透镜放大的技术。
单元10′仅是适于使用相干光源和空间光调制器来创建全息图的一个可能的布置。许 多其他的布置在本领域中是已知的并且可以根据本发明的各种实施例进行使用。此外，至少 在一些实施例中，单元10′可以由用于生成非全息近轴图像或其他图像类型的单元替换。为 了更容易理解起见，在下面的描述中，用于生成近轴物体的单元将通常被称为单元10以说 明上文描述的单元10′仅是这种单元的一个可能的构建。然而，在本发明的示例性实施例 中，所有单元10具有光源和近轴(或者其他类型的)图像形成单元，诸如SLM或者液晶 (LC)面板。在其中使用非全息图图像的实施例中，显示面板可以例如是发光的。
在一个示例性变型中，如果例如SLM是偏振敏感的，则例如可以改变该设计，使得 来自源15的偏振光被分束器25偏转以射到SLM20，并且从SLM反射以创建全息图35。 可选地省略四分之一波片40。
在进一步可替选的设计中，光以略微离轴的角度瞄准SLM，因此其以不同轴反射远 离SLM并且不使用分束器。
在一些实施例中，使用透射型SLM，并且光也不被分束器反射。
近轴图像的可视性空间
图1B图示了在观看诸如例如物体全息图35的近轴图像时的一些原理。
物体全息图35是近轴图像，近轴物体中的每个点(例如，36、37)在单个方向 (h36、h37)上并且在围绕其的某个窄角度(α)中发射光，创建了圆锥(C36、C37)。从圆 锥C36内的每个点看到点36，并且从圆锥C37内的每个点看到点37。因此，圆锥C36和C37在这里被分别称为点36和37的可视性空间。
可以从形成圆锥36和圆锥37两者的一部分的每个点同时看到两个点36和37，该部 分形成了可从其观看这两个点的可视性空间60。相似地，可从其观看整个全息图的空间可 以被确定，并且被表示为全息图35的可视性空间。
因此，与空间60的一部分重叠的眼睛52可以看到两个点36和37，眼睛54可以看 到点37但是看不到点36，而眼睛56不能看到任何点36和37。
示例性光学系统
图2A图示了根据本发明的实施例的用于投射物体全息图35的基本系统200。
系统200包括近轴物体生成单元10和光学系统210，单元10可选地是全息图生成单 元。全息图生成单元10生成全息图35(物体全息图)，并且光学系统210使物体全息图35 成像以被看作立于舞台237上的图像全息图235(图像全息图)，舞台237可选地是空的空 间。光学系统210还投射SLM20(图中示出的物体SLM)以提供图像SLM220。图像 SLM220可选地大于SLM20，并且从沿图像220的任何点注视图像全息图235的观看者可 以看到图像全息图235。
图2B图示了在观看由光学系统210从近轴物体产生的半近轴图像时的一些原理。
与图1B的近轴物体35相似，可从类似圆锥的空间(C236、C237)观看半近轴图像 235的每个点(例如，236、237)，并且可从圆锥238和239重叠的空间260观看这两个 点。然而，不同于近轴物体35，一起组成图像235的不同点的可视性空间彼此不平行。光 学系统210的作用是打破不同点的可视性空间之间的平行性，因此提供更大的且可选地更接 近的可视性空间260。因此，在一些实施例中，类似于望远镜，系统210使图像全息图235 更接近观看者，但是还将全息图的可视性空间从图1B中图示的相对窄空间60加宽到图2B 中图示的较大可视性空间260。
可视性空间260包围图像SLM220(图2A)；因此，在本发明的一些实施例中，光 学系统210被调节以形成待与观看者的眼睛重叠的图像SLM220。这样，可以确信图像235 对于观看者是可观看的。可选地或者此外，可视性空间260的其他部分被成像为与观看者的 眼睛重叠。
图3A和3B图示了光学系统(300)的可选构建，其允许投射SLM(20)的放大图 像和全息图(35)的放大图像，由此放大全息图和/或加宽可从其观看全息图的空间。
图3A示出了产生图像全息图的光线的光线跟踪；并且图3B示出了产生图像SLM的 光线的光线跟踪。
应当注意，在本发明的一些实施例中，来自系统210的仅有要求是：(i)将物体全息 图35成像到舞台237，(ii)将SLM20成像到舞台237外的平面(或体积)，以及(iii)允 许所述平面的准确位置是可调节的。各种各样的光学架构可以完成该任务，并且本领域的普 通技术人员在面对以上要求时可以容易地想到图3A或3B中图示的构建的许多替选方案。
在图3A和3B两者中示出了：全息图生成单元10，包括SLM20；和光学系统210， 包括物镜310和目镜320。
在所示出的实施例中，物镜310具有两个焦点：311和312；并且目镜320具有两个 焦点：321和322。
在所示出的实施例中，物镜310和全息图生成单元10被安置为使得由单元10在物 镜310和其焦点311之间产生物体全息、图。光学单元310和320被安置为彼此间的距离大于 它们的焦距的和，使得元件320的焦点321位于元件320和元件310的焦点312之间。
可选地，物镜310包括透镜和/或曲面镜。可选地，目镜320包括透镜和/或曲面镜。
每个物镜310和320可以独立地是光会聚元件(例如，凹面镜)或者光发散元件 (例如，凸面镜)。
如图3A中所示，在观看者的眼睛250前面在舞台237上形成图像全息图235。
如图3B中所示，SLM20的图像形成在观看者的眼睛250处。
因此，图3A和3B一起示出了光学系统210使全息图35成像到舞台237并且使 SLM20成像为与观看者的眼睛250局部重叠。
在本发明的示例性实施例中，光学系统210是可调节的，以例如通过改变两个光学 元件310和320之间的距离来改变形成图像SLM的位置。这样的调节还可能改变图像全息 图235出现的位置。如果需要，这可以由计算单元22(图1A)进行补偿，其可以在不移动 SLM20的情况下驱动SLM20以在不同位置形成物体全息图35。
在所示出的实施例中，目镜是中空镜，然而目镜也可以是透射元件(例如，透镜)， 其可选地还改变光的角度(例如，棱镜)，使得全息图不叠加在图像生成系统上。
物镜310的可选形状
物镜310可选地是具有旋转抛物面的形式的镜，其中旋转轴是抛物线的对称轴。另一可选形 状是旋转抛物面，其中旋转轴垂直于抛物线的对称轴。可选地，物镜310的形状具有球形 帽。可选地，物镜310的形状具有任何以上建议的形状的分段。球形帽可选地是优选的，因 为其较容易制造，并且由于全息图35是近轴的，因此球差不会在系统中起显著作用。
可选地，目镜320具有物镜可以具有的任何以上形状。下文在标题“示例性目镜” 下描述了具有特别有用的形状的目镜。
在一些实施例中，物镜310是圆柱镜或者其弓形部分。如提到的，这种镜可以是抛 物面而非平坦的。
光学系统的示例性维度
在示例性实施例中，图3A和3B中图示的设置(setup)用于使用具有-50cm的焦距的透镜 310和在透镜310的第一侧(在图中为右侧)离透镜310100cm安放的目镜320来提供放大 的图像SLM。SLM在透镜310的第二侧离透镜310约数毫米。
SLM接收输入以便生成物体全息图的傅立叶变换，并且因此在透镜310的焦平面处 (到透镜310左侧50cm)找到物体全息图。物体全息图的尺寸与用于形成全息图的SLM 部分的尺寸相似。
目镜形成两个图像：
物体全息图的图像在到目镜320右侧150cm处形成并且具有物体全息图的相同尺寸；并且 SLM的图像在到目镜320右侧200cm处形成并且是SLM的三倍。
当观看者的眼睛与图像SLM重叠时，观看者离图像全息图50cm。
该示例示出了创建具有比物体全息图的可视性空间更大的可视性空间的图像全息图 的一个设置。图像全息图可至少从图像SLM处的任何位置观看，图像SLM是SLM的三倍 并且离物体全息图50cm。
在一些实施例中，生成比图像全息图更大的图像SLM导致了如下可视性空间：其在 离图像较大距离处分散，直至其到达SLM的图像为止，并且然后其会聚。在一些这样的实 施例中，减轻了精确地跟踪观看者与图像的距离的需要，并且因此减轻了将SLM的图像准 确地投射到观看者的眼睛的需要。然而，在一些这样的实施例中，关于观看者和图像之间的 距离的信息仍有助于估计可视性空间的尺寸并且确定观看者何时从一个视窗移动到另一视 窗。确保图像SLM处于观看者的眼睛附近(其中可视性空间是最宽的)可选地解除了来自 方位跟踪的要求。
图像SLM位置的示例性调节
为了将具有有限可视性空间的图像显示给移动观看者，图像SLM应当跟随观看者的眼睛。 下文描述了提供这种跟随的一些示例性实施例。
在一些所描述的实施例中，改变图像SLM的位置还改变了图像的位置；然而与SLM 移动相比，图像移动是小的，并且可以使用SLM的有限光功率进行补偿。
图4是被设计为允许将SLM和全息图的投射分别调节到舞台和观看者眼睛的位置的 光学系统400的一个可能的结构的示意图。
系统400包括系统210的所有部件，包括全息图生成单元10、物镜310和目镜 320。在所示出的实施例中，物镜310是曲面镜而目镜320是凸面镜。
系统210进一步包括调节单元410，用于便于控制SLM和全息图被投射到的位置。 调节单元410在图中被图示为包括以彼此例如成60°固定的镜表面420和430的V形镜，但 是许多其他实现方案对于本领域的技术人员是显而易见的。
如所示出的，从物镜310通过v形镜410去往目镜320的光线405首先从物镜310 反射到镜420，并且从那里反射到镜430，光从镜430朝向目镜320反射。
在箭头425的方向上来回移动镜表面420和430改变了目镜320和SLM图像之间的 距离。因此，沿箭头425移动镜表面420和430允许跟随沿光轴移动远离全息图或者接近全 息图的观看者的眼睛。
可选地，v形镜410被省略，并且元件310和/或320彼此相对移动以获得相似的效 果。用于改变系统400的后焦距的位置的任何其他已知装置也可以用于替换v形镜410以使 图像SLM沿光轴移动。
在箭头426所示的方向上转动构成v形镜410的镜之一(即围绕平行于表面420和 430之间的接触线的轴，并且在V平面上)允许跟随所跟踪的上下打量的观看者眼睛。
在示例性实施例中，v形镜410安装在电机(未示出)上，该电机如箭头425和/或 426所示的那样移动这些镜。
为了在观看者的眼睛水平地移动离开图像全息图可视性空间(在图中；进入页面和 离开页面)时跟随观看者的眼睛，透镜320被可选地移动为面对观看者。
可选地，控制图像全息图的位置包括计算和生成全息物体，使得准确地在所期望的 位置，例如准确地在另一观看者看到的位置，生成图像全息图。
可选地，光学系统被调节以生成观看者附近的图像SLM并且计算单元计算将形成的 物体全息图，使得图像全息图准确地在所期望的位置。可选地，这种计算被省略，但是损害 图像全息图位置的准确性。
图5是用于针对观看者的每个眼睛示出不同全息图的系统500的示意图。系统500 与系统400相似，只是这里存在附加平面镜510，其围绕其轴515转动或旋转。
在一个实施例中，镜510以例如3度的角度左右移动，并且SLM在每个移动的第一 半中创建一个全息图并且在第二半中创建另一全息图。这样，每个眼睛看到不同全息图。可 选地，该移动处于这样的频率，使得每个眼睛感知全息图投射，仿佛其是连续的。可选地， 该镜围绕其移动的中心位置被改变以跟随观看者的面部的中心。
在另一实施例中，镜510以至少约15Hz(例如，24Hz、30Hz、45Hz或60Hz)的频 率围绕其轴515旋转，并且SLM在旋转的一半处创建一个全息图并且在第二半中创建另一 全息图。可选地，SLM在第一旋转处创建一个全息图并且在第二旋转处创建第二全息图。 例如，以30Hz旋转的镜以及每次旋转更新两次的SLM可以以与以60Hz旋转且每次旋转更 新一次的镜相似的速率更新。
其中SLM从创建一个全息图改变为创建另一全息图的切换点可选地是在没有眼睛与 图像SLM重叠时。这可选地在每次旋转中发生两次：一次是在图像SLM被透射到观看者的 眼睛之间时，而一次是在图像SLM被投射远离观看者的眼睛时。
可选地，每个眼睛与另一SLM的图像重叠，并且每个SLM在其与观看者的眼睛重 叠之前每次旋转使物体全息图改变一次。
可选地，图像SLM同时与观看者的双眼重叠。
图4和5中示出的实施例之间的另一差异在于：在图4中目镜320是透镜，而在图5 中其是曲面镜。然而，该差异是次要的，图4的实施例在将镜作为元件320时同样工作，而 图5的实施例在将透镜作为元件320时同样工作。
可选地，目镜320安装在基座(520)上，该基座通过桥(525)刚性连接到轴515， 使得目镜320跟随平面镜510的移动。在这种选项中，目镜320可选地具有上文针对物镜 310建议的任何形式，与物镜310的形状无关。下文在图6A和6B的背景下讨论目镜320的 另一可能的形状。
因此，在一个实施例中，所有图像形成部件一起移动以瞄准观看者的眼睛。可选 地，物镜也移动并且因此小于完整的360度。以这样的速度移动物镜和/或图像生成模块可 能是能量低效的或者有噪声的，并且因此在一些实施例中未被实践。
在另一实施例中，镜510以目镜320的一半角转动进行转动，以补偿由反射引起的 角速度的翻倍。
单个观看者
在本发明的示例性实施例中，系统500用于使全息图针对单个观看者成像，使得全息图具有 大图像和宽可视性空间。
在一个实施例中，全息图图像被投射到的位置(舞台)是固定的，并且观看者自由 地从不同位置注视全息图，但是从各处看到全息图。在该实施例中，跟踪观看者的眼睛，并 且投射全息图的可视性空间以跟随眼睛。
例如，通过眼睛跟踪系统来跟踪眼睛，该眼睛跟踪系统具有足够好的准确性以分辨 眼睛何时在全息图的可视性空间中以及眼睛何时在所述空间外部的。该跟踪系统可以是具有 适当准确性的任何商业上可获得的眼睛跟踪系统，例如可从总部设在Corvallis，Oregon，USA 的Natural Point获得的TrackIRTM头部跟踪系统。可选地，如下文将描述的，该跟踪系统具有 与系统500的公共部分。
如跟踪系统检测到的观看者的眼睛的位置被传递到计算单元，其确定系统应当被如 何调节以将图像SLM投射到观看者的眼睛附近，例如v形镜410的准确位置、镜510正面 对的准确点或者根据正使用的特定设置而需要的任何其他调节。
当观看者的眼睛移动时，其移动被跟踪单元跟踪，并且光学系统被控制以保持将图 像SLM投射在观看者的眼睛附近。这样，只要观看者正在察看舞台，则他从他所在的任何 位置看到整个全息图。
在一些实施例中，计算单元控制SLM以创建重现如将从观看者的视角看到的景象的 全息图。可选地，在周围(all around)使用旋转镜来显示全息图，使得所有观看者不论他们 位于何处，都看到相同全息图，并且该全息图响应于他们之一的移动而改变。
单个观看者，针对每个眼睛的不同全息图
在本发明的一些实施例中，单个全息图的可视性空间与观看者的双眼重叠。在这些实施例 中，由于所注视的图像的全息本质提供原始景象的所有深度线索(cue)，因此观看者看到完 整的3D全息图。这些实施例是基于约6-8cm宽的图像SLM，以便覆盖成人观看者的双眼。
然而，在许多实施例中，图像SLM是较小的，并且具有约5至约20mm的宽度。在 这些实施例中，单个全息图可以仅由单眼看到，并且向双眼呈现全息图需要呈现两个全息 图，每个眼睛一个全息图。
在本发明的一些示例性实施例中，两个全息图具有相同景象的两个不同方面：一个 方面将由观看者的右眼看到，而另一个方面将由观看者的左眼看到，假如景象在舞台上。这 样，观看者可以具有景象的较好深度感受。
单个全息图
在一些实施例中，系统在所有方向上例如围绕360°投射单个全息图。可以使这种系统比如 下文所述的步行围绕系统更简单和更廉价。该系统可以完全地运行而不用眼睛跟踪且不用针 对特定观看者进行调节。该系统的附加优点在于为控制LSM所需的计算与为向多个用户中 的每一个提供完整的全息场景所需的计算相比是非常简单的。
在一些实施例中，计算单元控制SLM以创建单个全息图，该全息图由两个叠加的全 息图制成。可选地，观看者配备有从每个眼睛滤除不同图像的眼镜。一个这样的实施例使用 2色立体照片，该2色立体照片就本身而言在本领域中是公知的。
在一些实施例中，投射单个全息图使得其可以从不同高度观看。在一些这样的实施 例中，相同全息图被投射到不同高度，并且在每个高度中围绕360°。例如，用棱镜使全息 图倍增，使得观看者在若干个不同高度看到相同全息图。
多个观看者和/或360°步行围绕
图5的实施例允许向注视目镜320的方向的观看者示出全息图。为了允许观看者步行围绕舞 台或者向从不同位置观看舞台的不同观看者呈现全息图，目镜320可以被制成圆形，如图 6A中图示的。
图6A是示出浮于空中所示的心脏的图像全息图(635)的系统600的图示。该图主 要示出了目镜320，其可选地具有被整形为转动抛物面的内反射表面。在这个选项中，目镜 320中的每个竖直横截面具有抛物线的形状，并且每个水平横截面具有圆的形状。可替选 地，目镜320是球的分段。水平横截面是圆，而竖直横截面是圆弧。
图6B是系统600的示意图。目镜320由图6A中图示的圆形目镜的两个相对竖直横 截面表示。该图还示出了圆柱镜605，其用于使光移位远离其他光学元件并且进入目镜 320，使得其他光学元件不会遮挡目镜320以便接收来自旋转镜510的反射。图6B中示出 的其他光学元件在结构和功能上与图4或图5中示出的那些相似。
镜605可以被省略，并且光线通过其他装置进行移位。例如，如图6C中的那样，镜 510可以关于它绕其旋转的轴倾斜，其中图6C为了方便起见未示出目镜320。
圆柱镜605可以由一个或多个平面镜替换。
由圆柱镜605或者由替换镜605的平面镜引入的失真可选地通过由SLM生成的图像 的预失真进行校正。
注意，镜605的使用可选地约束从SLM到观看者的光学路径的实际长度，并且省略 镜605可选地移除该约束并且移除对镜605进行预失真补偿的需要。
目镜320可以由一个或多个平面镜替换。
由目镜320引入的失真可选地通过由SLM生成的图像的预失真进行校正。
当对镜605和/或平面目镜320使用平面镜替换时，平面镜彼此邻接的位置可选地未 被用于投射图像。可选的编码器检测光学路径何时跨越这些位置并且图像在该时间期间不被 投射。
在光学系统的空间覆盖中可选地可以存在间隙，并且可选的编码器可选地检测光学 路径何时跨越这些间隙并且图像在该时间期间不被投射。
可选地，镜510以至少约24Hz的频率围绕其轴515旋转，并且每当图像SLM被投 射到不同位置(无论其是相同观看者的不同眼睛、另一观看者的眼睛、还是在观看者移动之 后的相同观看者的相同眼睛)时SLM创建不同全息图。
在本发明的一些实施例中，镜510的两面正在反射，使得在镜的每次旋转中图像可 以被投射在镜周围，跨越360°投射角度或者较小角度，诸如150°以上、170°以上、180°以 上、220°以上、260°以上或者中间角度。可选地，在镜510的中心处存在无反射点以消除0 阶反射(即，光源的反射)。0阶反射可以相似地通过以任何其他方式阻挡光到达镜510的 中心或者从镜510的中心反射而被省略。
在本发明的示例性实施例中，从不同角度观看的图像是无失真的(例如，如同将在 平板显示器或者其他标准2D成像系统上的那样)。
注意，这里描述的方法和装置还可以用于尤其浮于空中的较小角度显示，例如在10° 和150°之间，例如小于100°、小于80°、小于45°、小于30°或者中间角度。
在一些实施例中，向不同观看者和/或不同眼睛示出不同类型的图像，例如一个眼睛 可以看到2D图像而一个眼睛可以看到3D或全息图图像。可选地，不同图像由系统中的不 同图像创建模块创建，这些图像创建模块转动到位和/或通过转动平面镜(例如，510)及时 地提供其视线。
示例性光源
在本发明的示例性实施例中，光源提供准直光(并且在一些实施例中提供相干光)，以便生 成近轴物体。关于准直光源的非限制性示例包括激光器和LED。
在一些实施例中，使用向眼睛提供10～100μW的光源。
该光强度可选地被选择用于其中旋转镜510和目镜320之间的距离是1m并且镜以 30Hz旋转的实施例。用于选择上述光强度的考虑可以总结如下：
为了在亮房间中通过这种系统向观看者显示图像，观看者的瞳孔处的光功率在暗房间中应当 约为10μW而在亮房间中高达100μW。
10μW的估计是基于如下考虑：
在所讨论的实施例中，在每次旋转中光线进入瞳孔5μs。该估计是基于如下假设：在亮房间 中瞳孔的直径约为1mm。由于从镜去往目镜的光线的远点在镜的每次旋转中行进6.28m(2 πR)，并且镜每秒旋转30次，因此远点每秒行进近似30×6.28＝190m＝190,000mm。
因此，波束在1/190,000秒中扫描1mm，1/190,000秒近似为5μs。
为了提供清晰的图像，1nW的光应当到达瞳孔50msec。
由于光在5μs期间扫射(swift)眼睛，因此系统必须在5μsec中而非50msec中提 供所有光。因此，需要为1nW的10,000倍的功率。1nW×10,000＝10μW。
以上估计适于在平均室内照明条件下显示图像。如果房间更亮，则可选地提供更高 光强度，例如为2、5或10倍的光强度。
示例性目镜
在示例性实施例中，目镜320是中空体，具有旋光性内表面，例如弯曲反射内表面。可选 地，旋光性内表面是例如曲面镜的反射表面。可选地，该内表面是透镜的表面。
可选地，中空目镜对从镜510到达的光会聚。可选地，中空目镜320在每个点处定 义两个有限的曲率半径。可选地，这两个曲率半径彼此相等，如球壳中的那样。
可选地，目镜的反射内表面是闭合表面。可选地，其是开放表面，并且允许从有限 的视角观看图像。例如，在一些实施例中，目镜具有通过使60°弧围绕轴旋转一半或3/4的 圆而形成的旋转固体的形状，使得弧的内部通常瞄准轴。这些实施例可以允许仅从围绕舞台 的180°或270°看到图像，原因在于从其中在舞台背景处不存在目镜的位置察看舞台的观看 者看不到图像，除非在一些实施例中目镜移动或者如其可能的那样被移动。
在一些实施例中，中空目镜的形状是通过使弧围绕该弧的凹侧通常所瞄准的轴旋转 而形成的旋转固体。可选地，旋转轴和弧之间的距离等于该弧的半径。可替选地，旋转轴和 弧之间的距离不同于该弧的半径。
在一些实施例中，中空目镜具有通过使弧围绕轴旋转而获得的旋转固体的形式，该 轴离该弧的距离不同于该弧的半径。
在一些实施例中，中空目镜是例如形成旋转抛物面的一部分的抛物面，该旋转抛物 面是通过使抛物线围绕垂直于该抛物线的对称轴的轴旋转而形成的。
球形目镜可以比抛物线目镜更容易构建。另一方面，抛物线目镜可能对像差不太敏 感。然而，在一些实施例中，由于系统处理的物体和图像的近轴本质，像差是小的或者甚至 可忽略的。可选地或者可替选地，这些像差或者光学系统和/或观看者肉眼观察能力中的其 他像差通过生成提供预补偿的适配图像而进行补偿。
可选地，旋转镜510处于目镜的中心，在其旋转时将光引导至目镜的不同部分。
可选地，舞台处于目镜内部。
可选地，整个光学路径处于目镜内部。
在一些实施例中，为了看到图像，观看者必须现场注视具有目镜反射表面的至少一 部分的舞台。
可选地，观看者从外部注视目镜。
可选地，观看者处于目镜内部，例如在具有反射壁和/或天花板或者具有安装在其上 的目镜和/或部分目镜的球形房间中坐着、站立、步行或者躺下。可选地，视觉跟踪器使目 镜成像并且使用该图像来确定可以将图像投射到哪里以及不可以投射到哪里和/或用于调整 成像参数，诸如距离和光级。可选地，这种目镜包括对显示系统中的这种跟踪器相机或者其 他成像模块可见的一个或多个标记，诸如爱好或十字。
示例性模块化投射系统
在本发明的一些实施例中，使用两个或更多个SLM向不同眼睛、观看者和/或位置提供不同 全息图。例如，在一个实施例中，存在两个不同SLM，每个SLM专用于创建针对观看者的 一个眼睛的物体全息图。在一些实施例中，每个SLM顺序地创建若干个物体全息图，例如 针对三个不同观看者创建高达6个不同全息图，每个眼睛一个全息图，并且旋转镜将每个全 息图带至舞台并且将每个SLM图像带至眼睛，其中生成全息图以便观看SLM图像。
可选地，每个SLM具有其自身的光学系统210，并且所有系统被共同调节为向相同 舞台，可选地向舞台上的完全相同点，提供图像全息图。例如，当观看者限于一些预先定义 的区域，使得不需要360°的完整覆盖时，该选项可以是有利的。
在本发明的一些实施例中，同时使用两个或更多个SLM，每个SLM具有其自身的物 镜并且所有SLM具有公共的目镜和旋转镜。注意，这允许在观看者的眼睛处把一个SLM生 成的图像叠加在另一SLM生成的图像上，即使具有不同类型和/或颜色。
图7中描绘了一个这样的配置，图7是包括具有公共目镜320和公共旋转镜510的 两个SLM(20′和20")的投射系统700的图示。在下文中，包括SLM本身的专用于单个 SLM的投射系统的部分被称为单元基元。在图7中，每个单元基元在其自身的基座(710、 720、730)上示出，允许系统700的模块化构建。
在一些实施例中，每个单元基元专用于生成将由与单元基元关联的不同观看者或者 不同多个观看者观看的全息图。可选地，(一个或多个)具体单元基元与(一个或多个)具 体观看者的关联在操作期间不改变。
可选地，观看者坐在预定位置，例如坐在围绕舞台布置为同心圆的固定座椅中。在 该情况中例如用元件410调整光程仅是可选的，并且有时可以被省略。相似地，可以省略面 部检测/跟踪。
可选地，单元基元与观看者的关联根据观看者的位置而改变。例如，如果从与某个 单元基元关联的一个观看者切换到另一观看者将不需要v形镜的大量移动则可能是方便的。 然而，在一些实施例中，当观看者和舞台之间的距离改变时，v形镜必须移动。因此，在一 些实施例中，当与一个SLM关联的两个观看者移动一部分使得他们之一比另一个更接近舞 台许多时，一个观看者可以与另一单元基元关联，以省略来回大距离重复移动v形镜的需 要。
360°围坐(sit-around)全息电视
尽管前面章节中描述的实施例允许每个观看者(或甚至每个观看者的每个眼睛)察看不同全 息图或视频流，但是本发明的一些实施例允许所有观看者用双眼察看相同全息图。这样，像 在察看标准的但是具有全息图片的电视或影片时，许多人可以聚集并且具有完全相同的体 验。尽管全深度感受需要用每个眼睛看到不同全息图，但是用双眼看到相同全息图提供了某 种深度感受，其有时可能比用某些自动立体显示器可获得的感受更好。
因此，在本发明的一些实施例中，在旋转镜的每个循环的整个持续时间中投射单个 全息图，并且坐在舞台周围的人可以察看相同全息视频流。
这种系统不需要围绕舞台的观看者面部的角度跟踪；已知观看者离舞台的距离可能 足以。
可选地，在围坐配置中，观看者坐在围绕舞台的同心圆中，使得每组观看者处于离 舞台的不同距离处。可选地，座位是固定的，使得距离被预定。
在一些这样的实施例中，存在专用于每个圆的观看者的一个单元基元，使得在线光 学路径调整可以被省略。
在本描述和权利要求中，如果动作是在观看者正在察看时采取的，则称该动作被在 线采取。可选地，在线动作改变观看者正看到的内容、图片的质量和/或图片的取向。
在一些实施例中，利用同心就坐布置来向不同观看者呈现不同观看流。例如，每个 圆可以看到不同影片。由于存在示出每个影片的一个单元基元，并且系统向坐在每个不同圆 中的观看者示出来自不同SLM的不同影片，因此该布置特别简单。
可选地，向相同圆的不同区域示出不同影片。应当注意，向不同观看者示出的不同 内容可以具有相似的本质(例如，两个影片)或者具有不同的本质(例如，一个观看者察看 影片而另一观看者看到2D静止图像)。
可选地，所投射的图像是2D图像，例如常规的电视演播，并且系统允许从围绕其的 高达360度察看电视。可选地，可以将不同内容投射到不同区域(例如，2、3、4、5、6或 更多个不同内容/频道)。例如，从0°和90°之间的角度察看显示的观看者可以察看体育频 道，从91°至180°的视角察看显示的观看者可以察看新闻频道，等等。可选地，例如使用近 轴LCD显示器来显示2D图像流，这可能需要通过LCD的常规控制进行如这里描述的光学 操纵。当不同观看者注视不同媒体流时，可能优选的是经过个人耳机提供音频。注意，也可 以支持小于360°的角度，例如100°、160°、180°、210°或者更小或更大或中间角度。例 如，视角(有效的，不一定是瞬时的)可以是例如至少10°、20°、30°、40°、50°或中间角 度。本发明的一些实施例的特定特征在于：操作小视角图像生成器以提供宽视角，例如在面 积上至少5、10、30或100倍。本发明的一些实施例的特定特征在于：不是针对观看者可能 所处的空间的所有部分生成全息图，仅针对预期用户所处的空间部分计算和/或显示全息图 (或其他图像)。
在本发明的一些实施例中，提供相同的一般内容(例如，房子)，但是以不同角度 (例如，转动和/或方位的改变)提供不同数据层(例如，管道工程、电缆铺设)。可选地， 存在随着视角改变的一个或多个数据类型的透明度的无缝改变。
本发明的一些实施例的特定特征在于：基本上同时地，例如在小于1秒内，在小于 0.1秒内、以视频速率或更快的速率，向一个或多个观看者示出多个图像。在本发明的示例 性实施例中，系统使用例如1个、2、3、4、5、6或更多个图像生成模块，每秒生成(并且 投射)至少10个、至少20个、至少30个、至少40个、至少80个、至少150个或者中间 数目的不同图像/全息图。
示例性应对拖尾(smearing)
为了认识可能的拖尾问题，考虑如下实施例可能是有用的：其中图像SLM约2cm宽，观看 者处于离旋转镜约1m(意味着周长约6m)处，并且旋转镜以30Hz旋转。在该特定实施例 中，如果恒定地且连续地投射单个图像，则图像SLM以约180m/sec的线性速度扫射观看者 的眼睛；并且该扫射可能引起全息图的拖尾。
应对这种可能的拖尾的一种方式是通过使系统仅激活长达该镜将图像SLM引导至观 看者眼睛附近的时间(在下文中被称为投射周期)的小部分。在以上示例中，投射周期约为 镜旋转周期的2cm/6m＝1/300。以30Hz的镜旋转周期是1/30sec。因此，该示例中的投射周 期是1/9000sec，其约为100μs。使激光器激活仅长达该时间的小部分，比如说在约1和约 20μs之间，通常减少了所有拖尾。可选地，每个投射周期使激光器激活若干次，例如5次 2μs激活而其间存在18μs非激活。可选地，系统被调节以使得在每次镜旋转中使每个眼睛 仅暴露于系统一次。在以上示例中，这可以例如通过每个80μs提供具有20μs宽度的脉冲 来实现。
在一些实施例中，激光器以脉冲激活。此外或者可替选地，激光是连续的并且斩光 器用于将光斩断为较短闪光。
可替选地或者此外，光源被整形为线，例如，例如水平地扫描SLM的竖直线。在该 实施例中，每个竖直照射定义了从不同的且极窄的角度描述景象的子全息图。子全息图作为 竖直狭缝窗口到达眼睛。可选地，该扫描覆盖整个SLM，因此将所有SLM图像呈现到眼睛 附近，但是眼睛将仅看到SLM的一个竖直分段，即准确地落入眼睛中的相同分段。
一种滤除拖尾的潜在方式是通过使用狭缝照射源，其使用旋转镜510’中的狭缝513 (参见图8)。旋转镜510’可选地是部分反射的，并且旋转镜510’中的狭缝513从镜轴 515发出光到达透镜310，从透镜310到达SLM，从SLM回到透镜310，从透镜310回到狭 缝513，从狭缝513反射到目镜320，并且到达观看者的眼睛。
在不使镜旋转的情况下跟随单个观看者的系统可选地被常规选通以克服拖尾问题， 因为在这些系统中拖尾是不太明显的。
示例性眼睛跟踪单元
眼睛跟踪系统在本领域中是公知的，并且任何这种已知的系统可以适于与本发明的实施例一 起使用，只要跟踪质量与SLM图像的尺寸兼容：跟踪应当足够好以允许在每个方向上在小 于相同方向上的图像可视性空间的尺寸的容差内估计眼睛的位置。
在本发明的示例性实施例中，跟踪单元仅提供观看者的面部中心的位置，并且基于 观看者的面部的知识或者使用关于观看者的眼睛之间的距离的一般信息来计算眼睛的位置。 可以针对例如孩子、成年人等的不同观看组提供这种信息。可以例如通过在跟踪之前测量观 看者的面部来获取知识。可选地，该测量包括站在离跟踪单元的已知距离处并且注视跟踪单 元。然后，跟踪单元检测观看者的眼睛以及从已知距离看到的眼睛之间的距离，并且响应于 检测到的在观看者的眼睛之间的距离，在跟踪期间使用该信息来计算跟踪单元和观看者之间 的距离。
在本发明的示例性实施例中，建立跟踪单元以固有地具有与光学系统相同的坐标系 统。例如，图7中描绘的一个单元基元可以持有跟踪单元光学元件。
图9是在跟踪单元基元中有用的示例性跟踪单元800的示意图。跟踪单元800包括 光源810和位于跟踪单元800的后焦距处的光检测器820。可选地，跟踪单元800还包括滤 除除光源810提供的波长之外的其他波长的光的滤光器805。
光源810提供的和检测器820检测的光具有由眼睛选择性反射的类别。在本领域中 已知出于这些目的而使用红外光。
在本发明的示例性实施例中，来自光源810的光由分束器825分开，使得一部分光 去往检测器820而另一部分去往观看者的眼睛830。从眼睛830反射的光返回到检测器并且 被检测。如果相干光用于检测直射光和反射光之间的干涉或者如果反射光用于提供瞬时光级 的基线，则情况可能就是这样。在其他实施例中，光未被直接反射回到检测器，相反，仅由 眼睛或面部(或者诸如帽子、贴纸或眼镜上的人造标记)反射的光被反射回到检测器。
在所示出的实施例中，来自分束器的光经过光学元件310、旋转镜510和目镜320 (它们均在上文中被详细描述)到达观看者的眼睛。在从观看者的眼睛到IR检测器的路 上，光可选地行进经过相同光学路径，但是以相反的顺序行进。
在检测器820处检测到反射光时旋转镜所面对的方向对应于眼睛的方向。可选地基 于反射光射到检测器820的点来估计观看者的眼睛的竖直立视图。可选地，通过光学装置和 /或通过移动图像自身(例如，在SLM上使其编码移位)来调整图像的立视图。可选地，不 同的观看方向具有不同的立视图(例如，对于不同的观看者高度和/或距离)。
可选地，检测某个预定距离(比如说约6.4cm±1.5cm)内的双眼被解释为检测相同 观看者的双眼。
可选地，在跟踪开始之前测量观看者的眼睛之间的距离，并且从观看者的双眼接收 到的信号之间的时间差用于估计观看者和系统之间的距离。
在本发明的示例性实施例中，眼睛的检测被调整为针对检测进行偏置(例如，具有 例如较之正确检测的10％、30％或100％或者中间或更大百分比的错误检测)。在本发明的示 例性实施例中，把图像发送到不存在眼睛的位置仅具有计算成本，可能由系统部件选择被预 补偿，而不把图像发送到存在眼睛的位置可能防止显示正确地操作。
全息图的示例性调整
当观看者在步行围绕物体时正察看物体时，观看者从每个点看到物体的不同面。
根据本发明的一些实施例显示的全息图在不对光学系统或全息图生成单元进行任何 调整的情况下提供相似的效果。换言之，单个全息帧的显示提供完整的步行围绕体验。然 而，这限于使眼睛保持在全息图可视性空间的边界内的步行围绕。
在一些实施例中，当观看者移动围绕使得眼睛在图像可视性空间外部时，调整光学 系统以跟随眼睛，但是显示给观看者的全息图不改变。在这些实施例中，步行围绕地球仪的 全息图的观看者例如总是看到欧洲，不论他站在何处。可选地，在这样的实施例中，代替跟 随观看者的眼睛，系统简单地使周围可获得相同全息图。
在一些示例性实施例中，当观看者移动时，显示给他的景象被更新，使得在移动围 绕地球仪的全息图时，观看者可以看到不同的大洲。可选地，这是通过每当跟踪的观看者的 眼睛移动到图像全息图的可视性空间外部时更新所显示的全息图来实现的。如果真实物体位 于舞台上，则系统估计观看者将看到物体的哪个部分，并且在舞台上呈现该部分的全息图。
每次仅投射观看者可观看的景象的那部分的全息图允许节约大量的计算能力，而不 会损害观看者看到的图像的质量。
在本发明的一些实施例中，景象自身随时间改变。在一个特定示例中，景象是视频 流。在这种情况中，即使观看者的眼睛不移动，仍将调整全息图。可选地，这些调整每秒进 行约24次，因为在本领域中公知在这种频率下人类大脑看到流畅的移动。
可选地，当示出视频流的全息图时，每次调整全息图(例如，显示视频流的另一 “帧”的全息图)时，系统关于观看者的眼睛位置来更新，并且仅投射从观看者的当前视点 对观看者将是可观看的帧的那些部分。例如，这允许察看篮球比赛的影片的观看者改变座位 并且从不同角度看到该比赛。
示例性系统和控制
图10是示出投射系统的一些主要单元以及它们之间的交互的示例性系统900的简化框图。
系统900包括：用于生成和投射全息图的由驱动器915驱动的投射单元910。投射单 元910包括SLM920。
系统900还包括：计算单元(930)，用于计算SLM920的每个像素的所期望的光学 行为；和SLM驱动器(940)，用于根据如计算单元930计算的所期望的光学行为来驱动 SLM920中的每个像素的光学行为。
计算单元930接收例如数据集、图像或视频流(可选地3维或体积图像，可选地3 维或体积图像的流)作为输入。该输入可选地具有数字形式。可替选地，输入具有模拟形 式。在一些实施例中，仅提供3D图像的表面。可选地，预先计算数据以流式传输到SLM。 可替选地，例如如下文所述，单元930根据该输入来生成SLM数据。可选地，单元930仅 针对用户所处的或者预期所处(例如，假设人头部的某个移动速度)的观看方向生成数据和 /或再现该输入。可选地，例如由于获得数据的延迟和/或再现这种数据的延迟，存在眼睛跟 踪器的新用户检测和向新用户呈现图像(或完整图像)之间的时延(例如，数秒或者分数 秒)。
可选地，体积3D图像流数据或者任何图像数据被提早存储在系统的存储器中，并且 在投射期间，所存储的数据被接近(approach)并且用于控制系统。可选地，如为在投射期 间控制系统所需的，在线接收数据并且仅临时存储数据。
计算单元930基于该输入来计算SLM920的每个像素的光学行为应当是什么，以便 用SLM产生的全息图重现对应于从景象发出的波阵面的波阵面。SLM驱动器940将SLM 的像素驱动到计算的光学行为。
可选地，单元930修改其接收到的数据和/或将显示的数据以考虑到系统、观看者和/ 或校准过程的光学性质。可选地，校准过程是视觉的和/或包括检测用户的指向设备。在一 个示例中，示出了栅格并且用户“触摸”栅格上的每个点。在另一示例中，向用户示出一系 列图像并且提供例如关于色彩质量、形状、空间失真和/或其他图像性质的反馈。可选地， 经由图像或者使用输入设备(例如，未示出的鼠标或按钮)提供输入。
所示出的系统还包括跟踪单元(950)，其可选地向计算单元930提供关于观看者眼 睛的位置的信息，因此允许计算单元930估计观看者将从他的视点看到景象的哪些部分，并 且计算像素的光学行为以仅产生从这些部分发出的波阵面。
此外或者可替选地，跟踪单元950向投射系统910的驱动器915提供关于观看者眼 睛的位置的信息，允许其将所生成的全息图的可视性空间的位置调整至观看者眼睛的位置。
在示例性操作序列中，视频流被输入到计算单元930中，其计算SLM920的各个像 素的所期望的光学行为。计算单元930将计算的值传递到SLM驱动器940，其据此驱动 SLM920。生成和投射单元910使用SLM920来生成物体全息图，并且投射该物体全息图。
同时，跟踪单元跟踪观看者的位置和取向，并且将该信息发送到计算单元。计算单 元使用该信息来计算简化的全息图，其仅重现在观看者的方向上的从景象发出的光。跟踪单 元还将观看者眼睛的位置和取向传递到生成和投射单元910的驱动器915，并且驱动器915 驱动投射单元以投射将可由观看者观看的全息图。
图11是在根据本发明的实施例的产生和投射待由注视舞台的观看者看到的全息图的 方法中采取的动作的流程图。
在105中，估计观看者眼睛的位置。可选地，估计双眼的位置。可选地，还估计观 看者正注视的方向。可选地，系统被配置为将全息图投射到预先定义的舞台，并且观看者眼 睛和舞台的位置确定了观看者正注视的方向。
在110中，基于观看者的眼睛位置，估计在景象处于某个给定取向上的舞台处的情况 下由观看者可观看的景象部分。
在115中，仅生成在110中估计的待由观看者看到的那些景象部分的全息图。可选 地，通过计算为生成全息图所需的各个SLM像素的光学行为并且据此驱动SLM，来生成这 些全息图。
在120中，投射在115中生成的全息图，使得观看者在注视舞台时将从他的位置看到 该全息图。
图12是在产生待由从给定角度注视全息图的观看者看到的全息图的方法150中采取 的动作的流程图。
在152中捕获观看者的位置。捕获观看位置可选地包括从跟踪单元接收输入。可选 地，捕获还包括处理所述输入。当捕获完成时，系统已确定观看者的位置、以及观看者将从 其看到景象的角度(如果景象事实上在舞台上)。
在154中，接近体积数据。可选地，体积数据预先保存在系统的存储器中。可选 地，例如从3D成像设备(例如，CT成像器)在线(即在成像过程进行的同时)接收体积 数据。
系统过滤器从体积数据当中滤除为创建在152中确定的将由观看者看到的该场景部 分的全息图而所需的数据。
在156中，计算系统将体积数据转变为全息数据，包括例如针对SLM的每个有源像 素设定所期望的折射率以便生成全息图。可选地，SLM具有不会在生成全息图时出现的非 有源像素。这些像素可选地在160(下文)中未被照射。可选地，防止对这些像素的照射由 安放在光源和SLM之间的附加透射型或反射型LCD或数字微镜设备(DMD)执行。可选 的附加透射型或反射型LCD或DMD未在图中描绘。
在158中，控制SLM使得每个像素事实上具有针对其设定的折射率。
在160中，照射SLM以生成物体全息图。
与全息图的示例性交互
本发明的一些实施例允许观看者与全息图交互。例如，观看者可以移动他的手、或者任何其 他身体部位、或者观看者正在握持的任何物体(例如指针)来触摸全息图。可选地，传感器 检测观看者手的位置，并且据此控制输出设备。在一个示例中，触摸钟的观看者导致输出设 备的响铃。
在另一示例中，观看者可以与全息图交互以操纵景象。例如，在发动机盖处触摸汽 车全息图的观看者可以使全息图改变为汽车发动机内部的全息图。
可替选地或者此外，触摸全息图的某个部分的观看者可以使输出设备控制该系统以 产生其中被触摸部分在观看者面前的全息图。例如，面对瑞士察看地球仪的观看者可以在西 班牙处触摸地球仪，并且地球仪将转动以将西班牙带到观看者面前。
可替选地或者此外，观看者可以经过控制面板来与全息图交互(在空间中移动全息 图，使其围绕某个预定轴转动，专门定义关于全息图的转动轴并且使全息图围绕专门定义的 轴转动)，并且对空间中的全息图的取向和/或位置执行任何其他操纵。
可选地，两个或更多个观看者可以同时与相同景象的全息图交互。例如，两个观看 者可以触摸他们面前的场景的相同部分，并且尽管每个观看者正在察看不同全息图(或者甚 至每个观看者的每个眼睛正在察看不同全息图)，但是当他们两个触摸景象的相同部分，例 如均触摸钟时，他们也彼此触摸。
彩色图像
上文在单色图像的背景下描述了各种实施例。然而，由根据本发明的实施例的系统和方法同 样可以提供多色图像。
在一些实施例中，由单个SLM投射彩色全息图，该单个SLM被红色、绿色和蓝色 光顺序地点亮。可选地，彩色景象被处理为三个单色景象(一个红色、一个绿色和一个蓝 色)，并且计算单元向SLM提供用于顺序地生成单色全息图的数据，这些单色全息图按其次 序重现每个单色景象。可选地，使光源与计算单元同步，使得每个单色全息图用对应的光形 成(重现红色景象的全息图用红色光生成，等等)。
可选地，在将SLM生成的全息图投射到舞台的同时，SLM的图像被投射为与观看者 的眼睛重叠。
在一些实施例中，红色、绿色和蓝色光被投射到三个不同SLM，每个SLM重现一个 单色场景。在一些实施例中，三个SLM中的每一个包含在不同单元基元中，并且在镜的每 次旋转中，所有单元基元的图像被顺序地投射到舞台，使得观看者看到多色全息图。
在一些实施例中，所有三个SLM共享单个光学系统，使得它们之间的同步是光学 的。例如，三个SLM是单个SLM屏幕的三个部分。可选地，共享光学系统的SLM均包含 在单个单元基元中。
用于生成彩色全息图图像的光源包括例如三个不同激光器。另一示例是包括三个不 同LED的光源。
多个SLM的示例性使用
在本发明的一些实施例中，创建物体全息图不需要激活完整的SLM单元。在这些情况中，
可能使用一个SLM作为多个SLM单元。例如，1000×1000像素的一个SLM可以用作多个 (4个)SLM(每个SLM具有500×500像素)，并且获得使用下文讨论的多个SLM的所有 优点。
可选地，若干个SLM被成像在相同观看者的相同眼睛处。这种布置可以具有若干种 使用。
例如，如上文提到的，在一些实施例中，每个SLM提供单色图像(红色、绿色或蓝 色)，并且看到三个单色图像的观看者将它们感知为单个多色图像。注意，如果示出非全息 图图像，则可以使用彩色SLM。可替选地，不同源颜色可以瞄准全息图产生SLM的不同部 分，可选地使不同颜色的SLM元件交错或者以其他方式混合。
在另一示例性实施例中，多个SLM用于提供比由单个SLM提供的图像更大的图 像。系统被控制为形成两个半物体(每个半物体由单个SLM形成)，并且使半物体彼此接近 地成像在舞台上。使这两个SLM成像为与观看者的相同眼睛重叠。因此，观看者用相同眼 睛看到由两个图像(每个半物体一个图像)组成的图像。所组成的图像可选地大于组成该图 像的任何图像。
在另一示例性实施例中，多个SLM用于加宽从其看到图像的角度。在一个这样的实 施例中，使两个SLM彼此接近地成像到观看者附近，可选地在两个SLM图像之间有某种重 叠。两个SLM中的每一个可选地创建相同景象的物体全息图，并且两个全息图被成像到舞 台。观看者可以看到图像，不论哪个图像SLM与他的眼睛重叠。由于仅观看者的相对大移 动需要系统调整，因此该布置允许放松来自系统跟踪机构的要求。
在另一示例性实施例中，多个SLM用于加宽从其看到图像的角度。在一个这样的实 施例中，使两个SLM彼此接近地成像到观看者附近，可选地在两个SLM图像之间的某种间 隙小于观看者瞳孔。两个SLM中的每一个可选地创建相同景象的物体全息图，并且两个全 息图被成像到舞台。观看者可以看到图像，不论哪个图像SLM与他的眼睛重叠。由于仅观 看者的相对大移动需要系统调整，因此该布置允许放松来自系统跟踪机构的甚至比前面选项 更多的要求。
示例性应用
示例性私密内容应用
在本发明的一些实施例中，内容仅被成像给一个观看者的眼睛，并且该观看者附近的其他人 不能看到该内容。
可选地，该观看者可以从任何所期望的角度察看内容，并且在一些实施例中甚至移 动围绕显示，而他附近的其他人不能看到该内容。
在一些实施例中，当跟踪系统失去对观看者的跟踪时，显示被断开。这些实施例对 于处理机密材料而言是特别有用的。例如，如果观看者用最先进的膝上型计算机显示器来阅 览机密文档，则挨着该观看者就坐的邻居可以看到该文档。如果膝上型计算机配备有根据本 发明的实施例的显示单元，则机密文档仅被显示给该观看者。然而，该观看者不一定被困于 从一个角度注视显示器。观看者可以离开显示器，并且他的邻居将占据显示器面前的该观看 者的位置，并且仍将不能看到任何东西，因为跟踪系统失去对该观看者的跟踪并且停止显 示。
示例性医疗应用
在许多医疗应用中，向医师提供关于组织的三维结构的信息。在本发明的一些实施例中，该 信息作为医师可以与其交互的全息图被显示给一个或多个医师。
例如，作为微创心脏手术的准备，医师团队使用现有的超声技术来获取心脏的动态 3D图像。然后，团队成员可以从不同视角，例如每个观看者从他自身的视角，观看所获取 的图像，同时有能力指向和标记图像内的具体区域作为他们讨论和准备心脏手术的部分。
在示例性实施例中，图像全息图具有与成像景象(在上面的示例中是心脏)相同的 尺寸。因此，在要把例如支架的外部部件插入到患者中的情况中，在手术开始之前可以将该 部件装配到全息图像，以便最小化在手术期间将其装配到患者的需要。该特征可选地通过具 有虚拟“浮于空中”图像来增强。
示例性计算机辅助设计
在本发明的示例性实施例中，计算机设计的模型被显示给设计者团队，允许一个、若干个或 者每个团队成员步行围绕该模型、与它相联系和/或操纵它。例如，在诸如新蜂窝电话外壳 的机械部分的模型中，在显示器是触摸屏幕的情况下，一个设计者可以建议修改显示器的照 明，并且另一设计者将评论修改的结果并且建议添加真实按钮并且立即预设这些按钮。相似 地，单个设计者可以从不同角度注视相同细节。在阅览设计的同时，团队成员可以(用专用 笔或用他的手指)指向图像内的具体部分。可选地，所有团队成员看到被指向的部分，并且 团队成员可以讨论从不同视角看到的该部分的场景。可选地，显示器包括系统-人接口，允 许团队成员操纵完整设计内的具体部件，例如改变所标记表面的颜色。当团队正从所有角度 精确地观看图像时，所描述的过程消除了开发过程内的一些快速原型阶段，因此降低了其总 时间和成本。
数字广告
可以利用本发明的一些实施例来获得暴露于显示而没有有意注视它的人的关注。例如，本发 明的一些实施例可以用作公共位置的广告显示并且获得比更传统的平面显示和海报所获得的 关注明显更多的关注。
例如，根据本发明的实施例的显示可以被安置在展览会中，并且围绕其走动的观看 者将看到例如蜂窝电话的广告产品或者整个广告片的全息图像。全息显示吸引比通常的海报 或平面屏幕更多的关注。
可选地，此外，一个观看者在其他观看者正在观看的同时操纵图像。操纵可选地是 通过移动、转动或缩放图像或者以任何其他方式与图像交互。该实施例可选地增强观看者对 所呈现的图像、产品或服务的吸引力。
可选地，显示产品的不同场景以由站在围绕显示的不同位置处的观看者看到。可以 预期，暴露于该类广告的人将被鼓励围绕显示走动，并且对广告产品付出越来越多的关注。
可选地，根据本发明的实施例的广告显示允许观看者如上文在标题“示例性图像操 纵”下解释的那样操纵所显示的景象。允许观看者操纵观看的图像可以预期增加观看者对广 告产品的关注和牵连。
可选地，根据本发明的实施例的广告显示围绕其360°显示相同的全息图，并且包括 输入设备以允许用户指示用户有兴趣更接近地注视所显示的景象。响应于接收到这种指示， 系统开始跟踪观看者的面部并且允许随着观看者围绕显示走动时该特定观看者从不同角度看 到广告产品。
用户接口
当用户能够在3D空间中移动和执行交互时，发生3D交互。人机交互需要：人和机器两者 接收和处理信息，并且然后向彼此呈现该处理的输出。用户执行动作或者向机器给出命令以 便实现目的。机器获得由用户提供的信息，执行某种处理并且然后将结果呈现回到用户。
理想地，用户可以如他们现实中可以的那样与虚拟图像交互。与像键盘或2D鼠标的 标准输入设备对比，全三维中的理想操作应当允许六个自由度，这对于用户是自然的。该类 型的3D交互设备应当识别和解释人的动作和手势并且将它们变换为关于图像的信息或者虚 拟景象的对应操纵。本发明的一些实施例比上面提到的标准输入设备更接近理想情况许多。
尽管一些设备实现了具有高达六个自由度的三维交互，但是它们没有一个实现对实 际投射图像这样做，而是仅在这里被称为输入空间的空间中的另一位置中实现，而图像投射 在这里被称为显示空间的2D屏幕或者某种形式的3D平台上。
在本发明的一些实施例中，使用这里描述的本发明的显示，图像向观看者提供真实 物体的深度线索，使得观看用户接口感受自然。本发明的一些实施例使得用户能够实际“触 摸”投射的3D图像，同时提供适当的视觉深度线索、可选地具有宽视角、可选地允许观看 空间中的精确位置并且可选地从不同视角观看。本发明的一些实施例投射“浮于空中”图 像，因此图像出现在观看者手臂的范围内的离观看者近似80cm处。
在一些实施例中，从观看者到图像的表观距离是使得用户可以达到图像，即近似为 未展开的手臂的长度、近似为手臂的长度和/或近似为握持手杖或指针的手臂的长度。
在一些实施例中，显示空间的尺寸对应于用户手臂的运动范围，即跨越近似1至2 米。在一些实施例中，显示空间的尺寸对应于手指的运动范围，即跨越近似10至20厘米。
在一些实施例中，输入位置的分辨率对应于用户手臂的运动，即近似1厘米。在一 些实施例中，输入位置的分辨率对应于用户手指的运动，即近似1毫米。更粗糙或更精细的 分辨率在光学上也是可能的，因此一些实施例潜在地在这些分辨率下操作。
在一些实施例中，用户接口在一个或多个位置中向一个或多个用户显示浮于空中物 体。浮于空中物体可选地不看似随着观看者的移动而改变位置。浮于空中物体也可选地从不 同观看方向出现在相同的位置。
在一些实施例中，两个用户接口使用两个显示器在两个不同位置中显示相同的浮于 空中图像，使得第一位置处的一个或多个用户能够以一个或多个步行围绕速率进行部分的或 完整的步行围绕，并且同时使第二位置处的一个或多个用户能够以一个或多个其他的步行围 绕速率进行部分的或完整的步行围绕。
在一些实施例中，用户接口向不同观看者显示不同的浮于空中图像。向不同用户显 示不同图像可选地采取许多形式：显示完全不同的图像，诸如红色气球和绿色法拉利；使用 不同坐标系统来显示相同物体，诸如第一图像显示放在显示中心的锤子而第二图像显示放在 显示侧面的锤子；显示第一图像中的物体的一部分和第二图像中的物体的另一部分，物体始 终可选地位于相同位置、相同坐标系统、相同尺寸；针对相同物体显示不同颜色，诸如向第 一用户显示物体并且向另一用户显示对比度增强的或者色彩增强的或者在不同色调范围中的 相同物体；以及以不同尺寸显示相同物体。
注意，以不同尺寸向不同用户显示相同物体就提出问题：当第一用户使指针指向显 示空间时，“触摸”第一用户看到的物体上的位置，在该位置应当出现针对第二用户的指针 的显示。一个选项是显示给第二用户的图像应当被显示为使得指针的触摸尖端应当看似触摸 第二图像中的与第一图像中的位置相同的位置，即使在第二物体看似具有不同于第一物体的 尺寸时。第二图像是以坐标显示的，使得指针的尖端看似触摸第二图像中的与第一图像中的 位置相同的位置。
在一些实施例中，用户接口向相同观看者的不同眼睛显示不同的浮于空中图像。
在一些实施例中，用户接口使得能够如前面所述的那样部分地或者完整地步行围绕 浮于空中图像，以显示浮于空中图像的不同侧面，仿佛图像是浮于空中的实际物体。
在一些实施例中，用户接口允许手指或者某个其他物体伸到浮于空中图像上或者伸 入浮于空中图像中。
在用户接口的一些应用中，浮于空中显示利用这里描述的体积显示的实施例。在用 户接口的其他应用中，可选地使用其他体积显示，假设它们的性质支持具体应用。
现在参照图13A，其是用户1320看似使手指1330触摸正由根据本发明的实施例构建 和操作的用户接口1300显示的物体1315的简化图。
用户接口1300包括体积显示1305，其在浮于空中的三维显示空间13]0中显示第一 图像。作为非限制性示例，该图像显示物体1315(作为非限制性示例是心脏)。
注意，参照图13A、13B、13C、14、15和16，在参照三维显示和/或浮于空中显示 的情况下，所述参照意味着作为非限制性示例包括：如上文描述的全息图像显示；如上文描 述的近轴图像显示；以及适于体积显示的其他图像显示。
注意，诸如作为非限制性示例的电视显示和/或计算机监视器显示的二维显示适于通 过与三维图像相似地生成浮于空中的二维图像而变换为体积显示。
用户1320观看物体1315并且使手指1330延伸以明显“触摸”物体1315。由于体积 显示1305是显示浮于空中图像的浮于空中体积显示，因此体积显示1305允许将真实物体插 入到显示空间1310中。
用户接口1300还可选地包括计算机1335，其向体积显示1305提供控制和数据 1340。
手指1330的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安 放到显示空间1310中的真实物体来确定手指的位置。
位置确定单元可选地包括用于在三维中定位物体(例如手指1330)的单元，诸如作 为非限制性示例的被安装为沿不同方向拾取图像并且在三维中对位置进行三角测量的相机、 和/或测量到显示空间1310中的物体的距离的距离测量单元。
在用户接口1300的一些实施例中，诸如参照图7描绘和描述的单元基元的变型作为 位置确定单元进行操作。单元基元的变型被定位成使得来自显示空间1310的反向光学路径 通往该单元基元。单元基元可选地通过物体相对于单元基元基座的转动角度和到物体的距离 的组合来测量物体(例如手指1330)在显示空间1310中的位置。转动角度可选地考虑到光 学系统的旋转。
在本发明的一些实施例中，由诸如相机自动聚焦系统中使用的距离测量系统测量到 物体(例如手指1330)的距离。在本发明的一些实施例中，由锥光镜距离测量系统测量到 物体(例如手指1330)的距离。
物体的位置可选地用作计算机1335的输入1345，并且计算机1335可选地通过在由 体积显示1305显示的图像上加亮的位置输入(例如心脏上加亮的位置)，可选地计算用于显 示第二图像的控制指令和数据。
可选地，为了定位插入到显示空间1310中的物体上的具体位置，在物体上选择具体 位置，并且该具体位置可以被进一步加亮。作为非限制性示例，手指尖端可以是该位置。作 为另一非限制性示例，可以通过用染料进行标记来对手指尖端加亮。染料对于人眼可以是可 见的，和/或染料可以被选择为向对位置输入进行定位的机器视觉系统提供高对比度。
可选地，接口1300通过现今可用的3D相机，例如通过3DV系统，来跟踪手指1330 的位置。
可选地，用户接口1300跟踪手指1330或者某种其他位置指示工具的位置，并且将 手指1330的动态移动解释为针对用户接口1300的命令手势。命令手势可选地引起对所显示 的图像的操纵。用户接口的这种使用向用户提供了对所显示的物体和/或图像和/或景象直接 (虚拟)整形的感受。当提供感官反馈时，尤其增强了以上感受。
现在参照图13B，其是用户1370看似使指针1380触摸正由根据本发明的实施例构建 和操作的用户接口1350显示的物体1365的简化图。
用户接口1350包括体积显示1355，其在浮于空中的三维显示空间1360中显示第一 图像。作为非限制性示例，该图像显示物体1365(作为非限制性示例是心脏)。
用户1370观看物体1365并且使指针1380延伸以明显“触摸”物体1365。体积显示 1355允许将诸如指针1380的真实物体插入到显示空间1360中。
用户接口1350还可选地包括计算机1385，其向体积显示1355提供控制和数据 1390。指针1380的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安 放到显示空间1360中的真实物体来确定指针1380的位置。
指针1380可选地呈现比手指更明确(better defined)的位置输入。可选地，定位指 针1380的尖端比定位手的手指的尖端更容易。
通过用染料或者不止一种染料进行标记，可以使指针1380的尖端加亮。
在一些实施例中，指针的尖端包括基本上紧凑的光源1382。光源1382可以对人眼是 可见的，和/或光源1382可以被选择为向对位置输入进行定位的机器视觉系统提供高对比 度。
在用户接口的一些实施例中，位置输入使用户接口捕获对应于基本上位于位置输入 附近的体素的数据。
在用户接口的一些实施例中，位置输入使用户接口捕获对应于基本上位于位置输入 附近的子图像的数据。
在一些实施例中，用户接口包括“致动器”的显示，即诸如按钮、控制杆(lever) 或者一些这样的典型地被按压、推动、拉动等的设备的显示。用户接口使得用户能够将手和 /或指针放置到显示空间中，虚拟地“按压按钮”、“推动或拉动控制杆”等等。当用户接口 感测到显示空间中的手和/或指针挨着致动器的显示位置时，用户接口可选地将手或指针的 放置解释为致动器的致动。
用户接口可选地向用户提供感官反馈，使得用户感受有点好像按压/拉动/推动致动 器。
用户接口可选地改变第一显示以移动与使致动器致动对应的致动器图像。
用户接口可选地改变第一显示，以示出被致动的致动器、被推动的按钮和/或其他这 样的指示用户“推动按钮”的改变。注意，该显示由用户接口控制，并且因此可选地在致动 时提供反馈。这与例如现有的全息显示形成对比，所述现有的全息显示可以显示按钮的全息 图，但是不能改变全息按钮的外观，原因在于它们的全息图是从胶片投射的静态显示。
在本发明的一些实施例中，用户接口显示机器人手臂的图像，并且计算机可选地发 送控制信号和数据，使得真实的机器人手臂根据用户在用户接口的体积显示的显示空间中提 供的输入而移动。
在本发明的一些实施例中，用户接口可选地拾取不止一个位置输入。位置输入可选 地由体积显示的显示空间中的若干个手指提供，和/或由若干个指针提供，和/或通过连续地 指向若干个位置来提供。位置输入可选地由一个手指和/或指针上的若干个点提供。若干个 点可选地用对比染料和/或光源而被标记在手指上和/或在指针上。
在本发明的一些实施例中，用户接口可选地拾取不止一个位置输入。可选地通过基 于插入到显示空间中的物体的形状来计算和/或估计位置，提供位置输入。作为非限制性示 例，可选地基于插入到显示空间中的基本上细长物体的长轴来计算线。
用户接口可选地随时间跟踪一个或多个位置输入的移动，并且可选地显示跟踪显示 空间中的移动的一个或多个路径，所述路径可选地叠置在显示空间中显示的图像上。
在示例应用中，用户接口可选地开始于空的显示，随时间跟踪一个或多个位置输入 的移动，并且可选地实时地和/或近实时地显示跟踪显示空间中的移动的一个或多个路径。
在示例应用中，用户接口可选地接受两个位置输入，并且定义经过这两个位置输入 的三维体积显示中的线。该线可选地用于进一步操纵由用户接口显示的图像。作为非限制性 示例，使用所定义的线的图像操纵包括：围绕该线的转动；线长度的测量；以及将所显示的 物体分为该线两侧的部分。
在示例应用中，用户接口可选地接受不在相同线上的三个位置输入，并且定义经过 这三个位置输入的三维体积显示中的平面。该平面可选地用于进一步操纵由用户接口显示的 图像。作为非限制性示例，使用所定义的平面的图像操纵包括：该平面和所显示的物体的交 叉面积的测量；以及将所显示的物体分为该平面两侧的部分。
在示例应用中，用户接口可选地接受不在相同平面上的四个或更多个位置输入，并 且定义基于这四个或更多个位置输入的三维体积显示中的体积。该体积可选地被定义为包含 在这四个或更多个位置输入内的体积、和/或包含在这四个或更多个位置输入的某个函数内 的体积，诸如基于这四个或更多个位置输入所计算的表面。
体积可选地用于进一步操纵由用户接口显示的图像。作为非限制性示例，使用所定 义的体积的图像操纵包括：体积的测量；以及将所显示的物体分为该体积内部和外部的部 分。
在一些示例应用中，用户接口可选地拾取一个或多个位置输入。这些位置输入可选 地用作用于发起图像处理功能的输入，所述图像处理功能作为一些非限制性示例诸如：放 大；缩小；裁剪图像；转动图像；以及切分图像。
现在参照图13C，其是用户1370将框1383插入到根据本发明的实施例构建和操作的 用户接口1350的显示空间1360中的简化图。
用户接口1350包括体积显示1355，其在浮于空中的三维显示空间1360中显示第一 图像。作为非限制性示例，该图像显示物体1365(作为非限制性示例是心脏)。
用户1370观看物体1365，并且使框1383延伸以明显地“环绕”物体1365。体积显 示1355允许将诸如框1383的真实物体插入到显示空间1360中。
用户接口1350还可选地包括计算机1385，其向体积显示1355提供控制和数据 1390。框1383的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安放 到显示空间1360中的真实物体来确定框1383的位置。
框1383可选地定义位置输入，该位置输入定义了平面并且可选地定义了该平面内的 有限区域。可选地，由接口定义的平面借助于本发明的体积显示而被显示给观看者。可选 地，所定义的平面呈现在2D显示上。可选地，所定义的平面被实时地显示。
在本发明的一些实施例中，框1383可选地是三维框，例如具有线框立方体的形状的 框。框的形状不限于如图13C中描绘的矩形的或者立方体的示例，而是包括多种类似线框 的形状。
框1383可选地呈现位置输入，其定义了限制在框1383内的体积。
现在参照图14，其是两个用户1470、1472与正由根据本发明的实施例构建和操作的 用户接口显示的相同物体1465交互的简化图。
用户接口(图14中示出了其显示空间1460)向第一用户1470和第二用户1472显示 浮于空中图像。浮于空中图像具有物体1465。物体1465在相同位置且基本上同时向两个用 户1470、1472出现，每个用户1470、1472从他们相应的位置观看物体1465。
用户接口可选地使用这里描述的体积显示的实施例来实施相同位置的同时显示。如 果第一用户1470将真实物体(未示出)安放在体积显示的显示空间1460中，诸如作为非限 制性示例，手、指针或框，则第二用户1472在与第一用户1470相同的位置看到该真实物 体。如果例如第一用户1470使用指针指向所显示的物体1465上的位置，则第二用户1472 看到指向相同位置的指针。
现在参照上面的叙述来解释术语“基本上同时”：两个用户“在相同位置且基本上同 时”看到物体1465。物体1465的图像可选地通过对两个用户1470、1472闪烁短时间周期 而被显示给每个用户，这些闪烁以每秒若干次的速率重复。两个用户1470、1472在同一秒 期间开始看到物体1465每秒若干次，因此是“基本上同时”。
在用户接口的一些实施例中，如上文参照本发明的体积显示的实施例描述的，用户 接口的浮于空中显示向第一用户1470显示不同于向第二用户1472显示的图像。(注意，图 14未示出显示给第一用户1470的第一图像和显示给第二用户1472的不同第二图像。)在当 前描述的实施例中，如果第一用户1470指向第一图像中的第一物体，则第二用户1472看到 第一用户1470指向显示空间，而第二用户1472未看到第一图像，并且该指向通常对第二用 户没有意义。
现在参照图15，其是两个用户1571、1572与正由根据本发明的实施例构建和操作的 用户接口1500显示的相同物体交互的简化图。
图15的用户接口1500包括可选地彼此远离的两个体积显示1556、1557。两个体积 显示1556、1557可选地均连接到计算机1551、1552，并且两个计算机155]、1552可选地 通过功能连接1554而在功能上彼此连接。
在图15的实施例的第一示例使用中，第一体积显示1556在第一体积显示1556的显 示空间1561中显示第一物体1565。第一用户1571使用指针1581指向第一物体1565。由指 针1581指示的位置被拾取并且被传输1596到第一计算机1551。第一计算机155]可选地向 第一体积显示1556发送信号和/或数据(指示第一用户1571指向哪里，可选地向第一用户 1571提供反馈)，并且可选地通过功能连接1554向第二计算机1552发送数据。
第二计算机1552可选地向第二体积显示1557发送信号和/或数据，第二体积显示 1557可选地在第二体积显示1557的显示空间1562中显示第二物体1566的图像。
第二物体1562的图像可选地看似与第一物体1561的图像相同。第二物体1562的图 像可选地还包括第一用户1571指向哪里的指示。
注意，第二用户1572可以指向第二物体1562的图像，并且由第二用户1572指示的 位置可以被拾取并且被传输1597到第二计算机1552。第二计算机1552可以可选地向第二 体积显示1557发送信号和/或数据(指示第二用户1572指向哪里，可选地向第二用户1572 提供反馈)，并且可选地通过功能连接1554向第一计算机1551发送数据。第一计算机1551 可选地使得显示图像和所指向的位置。
功能连接1554可选地包括第一计算机1551和第二计算机1552之间的网络连接。
在一些实施例中，功能连接1554包括白板制作软件。
在本发明的一些实施例中，第一体积显示1556和第二体积显示1557不一定显示相 同的图像。其中第一体积显示1556和第二体积显示1557显示不同图像的一些非限制性示例 应用包括：远程教学，其中教师和学生可以观看不同的图像；以及游戏，其中一个用户看到 不同于另一用户的图像，可选地一个用户看到比另一用户更多的内容并且游戏使用观看中的 差异。
图15描述了使用体积显示1556、1557的两个集合。注意，不止两个体积显示可以 连接到参照图15描述的功能。
彼此连接但彼此远离的两个或更多个体积显示的实施例对于医疗和/或教学目的而言 是尤其有用的。医疗案例可以被呈现为三维体积图像，并且每个体积显示地点的用户可以讨 论医疗案例，包括通过指出图像上的位置以及“触摸”图像。植入体或假体可以容纳(hold up to)在医疗图像中、尺寸相当，即使在植入体处于一个地点而医疗图像源即患者处于另一 地点时。
图15描述了使用两个计算机1551、1552，每个体积显示1556、1557一个计算机。 注意，假如足够的计算能力并且假如经过功能连接1554的足够通信带宽，则一个计算机可 以用于支持两个体积显示1556、1557。
现在参照图16，其是用户1620将真实物体1680与正由根据本发明的实施例构建和 操作的用户接口显示的物体1615进行比较的简化图。
图16描绘了显示空间1610，其是根据本发明的实施例构建和操作的用户接口的一部 分。用户接口在显示空间1610中显示浮于空中物体1615。用户1620将真实物体1680安放 在显示空间1610中，并且将真实物体1680与所显示的物体1615进行比较。
将图16的情形应用于真实世界的非限制性示例包括使用三维医疗数据集来显示诸如 心脏或血管结构的浮于空中物体1615。心脏或血管结构是以实际尺寸显示的。例如医生或 医疗学生的用户使支架容纳在心脏或血管结构中，并且将支架的尺寸与预期的心血管或者血 管结构的尺寸比较。另一示例可以是使人造经皮心脏瓣容纳在预期植入的心脏的所显示解剖 结构中。与浮于空中物体比较的真实物体1680可选地被安放在植入位置和/或挨着植入位 置。在该非限制性示例中，用户可以解释支架或瓣的位置和取向，以提供良好的定位以及在 例如尺寸、具体制造商或具体技术方面选择具体支架或瓣的能力。
图16的情形实现了：教授如何将植入体装配在身体中；研究和/开发新的植入体；以 及植入体符合其目的的植入前验证。
图15中描绘的用户接口使得来自第一位置的医疗数据集能够显示在第二远程位置， 并且可选地可以保持远程医疗会话，其中远程位置提供建议、指导，测量尺寸，比较植入体 和/或工具尺寸，等等。
图16中的第一三维显示物体1615的比较可选地参照第二三维显示物体(图16中未 示出)来执行。第一三维显示物体1615可选地与可选地被保存用于比较目的的物体(诸如 工具和/或植入体)的三维表示集合中的一个比较。
在一些情形中，通过在包括如这里描述的体积显示的用户接口中观看第一和第二物 体，将第一三维物体与第二三维物体比较。可以在使用本发明的用户接口的空间中使第一和 第二物体移位和/或转动。
图16的情形实现了不一定在医疗环境中的物体的比较。作为非限制性示例，假设物 体可以被显示，通止规(go/no-go gage)可以容纳在物体的浮于空中显示中，并且测试物体 与标准的符合性。代替把通止规带到物体，把物体的三维显示带到通止规。
其中将真实物体1680与物体1615的显示进行比较的情形结合如上文参照图13A描 述的显示空间1610内的真实物体1680的测量，使得能够测量真实物体1680和所显示的物 体1615之间的差异。这些差异包括长度、平面面积、表面积和体积中的一个或多个差异。 可选地针对物体和/或物体的部分测量这些差异。
现在参照如下四个问题列出上文描述的用户接口的一些细节：用于显示的数据源；
显示设备；接口设备；以及支持软件和通信设备。
用于显示的数据源
典型地，对于3D表示，可选地输入和显示被称为体素或体积数据的XYZ点的云。该输入 可选地来自生成这种信息的源，可选地来自诸如CAD模型的基于计算机的数据、和/或诸如 医疗成像中的CT或MRI扫描的外部获取数据。
可选地，数据可以是二维的，例如来自计算机、电视、电缆、卫星等等的2D图像或 者图像流。
可选地，2D/3D数据来源是全息的，即干涉图案或者干涉图案流。
可选地，数据可以来自如这里描述的本发明的用户接口，包括：由用户标记的空间 中的具体位置输入点；由用户绘制的路径；和/或在与用户接口交互时和/或离线时用户在用 户接口的显示空间中可选地产生的其他图像。
可选地，软件解释用户接口并且根据其任务产生2D或3D(包括全息)数据。例 如，用户使用接口工具“触摸”的位置，用户接口可选地显示预先定义的指示，诸如作为非 限制性示例，加亮和/或诸如星或十字的特定形状。
作为非限制性示例，可选地从3D医疗成像输入数据，其还被称为实时3D、4D或体 积再现数据，其提供人类解剖学的体积和空间再现。
可选地，输入是3D数据图像流。
可选地，输入是“实时”提供的，即每秒24帧或更多。
2D/3D数据可选地提取自3D成像形态：CT；MRI；PET；3D转动血管造影；3D超 声；和未来的/涌现的技术。
2D/3D数据可选地包括以上形态的组合，叠置和/或融合数据，其还被称为“组合成 像”或“图像融合”。示例包括：相同患者的CT和MRI结果的融合；以及MR引导的超声 治疗。
2D/3D数据可选地包括预先定义的解剖模型，如各种临床案例的解剖库，以及各个患 者的图像集合。
2D/3D数据可选地包括来自诸如SolidWorks的CAD工具的2D/3D数据来源。2D/3D 数据可以是静止图像和/或图像流。一些数据的示例标准包括：IGES、3DF、OBJ等。
2D数据可选地包括来自计算机的数据，其具有例如VESA标准，和/或来自电视相关 系统的模拟和数字视频标准，诸如复合视频、DVI等。
在本发明的一些应用中，数据未被传递到体积显示。在这些情况中，用户可选地绘 制线、物体、2D图像、体积图像并且可选地经由接口工具在显示空间中执行数字体积雕 刻。绘制和/或“雕刻”可选地经由体积显示通过用户接口在显示空间中近实时地呈现。
显示设备
为了与浮于空中图像交互，可选地使用体积显示设备。通常，该设备使从数据产生的图像呈 现为“浮于空中”，用于用户与图像交互。
图像数据源可以是2D、3D或体积的。
可选地使用本发明的宽视角显示，可选地通过如下图像呈现数据，该图像具有通过 图像中心并且穿过显示设备中间的对称轴。可选地使用绝对坐标显示3D体积全息数据，其 可由一个或多个观看者观看，和/或可由一个观看者在围绕显示器的不同位置观看。
2D信息可选地在各种取向上呈现为“浮于空中”，在360度圆中的任何方向上呈现平 坦表面。2D图像可选地源自不同来源，并且可选地将不同的图像显示给不同的观看者。
可选地图像是体积/2D非“空中”图像的重复图像，通过使用重复成像光学元件使该 重复图像是“空中”的。
可选地显示向观看者的双眼呈现两个不同的图像的3D视差屏障图像。
在本发明的一些实施例中，对于3D图像，“浮于空中”显示使用具有显示空间中的 绝对坐标的投射3D图像。可选地使用高质量、宽视角的3D显示设备。这种显示设备的非 限制性示例包括本发明的宽视角显示器以及可能未来的能够显示“浮于空中”图像的宽视角 3D显示设备。
接口设备
支持显示空间中的2D/3D用户输入或操纵的工具被考虑为用作接口媒体。这些工具包括， 作为非限制性示例，手持工具，诸如类似笔的设备；手势识别接口单元；物体识别接口单 元，诸如用于识别手指和/或手指尖端；以及具有跟踪手持工具或手指的位置和/或取向的能 力的跟踪系统。
可选地，每个分立的手指或工具可以被分立地检测，可选地被分立地识别，可选地 进行不同的标记。
示例性接口设备是具有IR LED或LED的触笔。一个或多个IR相机位于用户接口的 显示空间附近，其中发生交互并且呈现图像。IR相机可选地从LED接收IR信号并且位置 计算单元可选地以高达六个自由度计算位置和/或取向。位置计算单元可以在硬件和/或软件 中实现。可选地使用图像处理技术执行位置计算。位置计算单元可选地将工具或手指的位置 和/或取向传递到用于根据用户接口程序执行动作的可选的计算机。作为非限制性示例，示 例性动作是：标记空间中的点；绘制空间中的线或图像；计算空间中的距离；绘制路径；计 算路径的绝对长度；绘制路径；保存路径的坐标；等等。
用于跟踪工具/物体的其他示例性方法包括：一个或多个CCD相机和用于执行图像处 理的计算硬件，它们提取空间中的工具/物体的位置/取向；基于机械、磁、超声、光学和混 合惯性的跟踪设备，一些或所有以上传感器的组合，和/或用于在空间中定位工具/物体的其 他方法。
在空间中跟踪物体的一种涌现的方法基于使用相干光照射物体或者将图案照射到物 体上，并且处理得到的图像以解释物体的位置和取向。以上操作可选地实时执行，就是说， 在捕获图像帧所花费的时间内计算图像帧。该背景下的实时还意味着处于至少电影速率，诸 如每秒24帧或更多，尽管可选地可以使用每秒2帧或者每秒10帧的速率。
正在开发这种方法的示例公司包括：Prime Sense Inc.，of28Habarzel Street，Tel-Aviv， Israel；和3DV Systems，of3DV Systems，2Carmel Street，Industrial Park Building1，P.O.Box 249，Yokneam，20692，Israel。
示例IR跟踪公司是NaturalPoint Inc，P.O.BOX2317Corvallis，OR97339，USA。
示例惯性/超声跟踪公司是InterSense Inc.，4Federal Street，Billerica，MA01821USA。
支持软件和通信设备
支持软件和通信设备可选地处理显示数据源、显示设备和接口设备，使它们同步以及在它们 之间传输数据。
支持软件和通信设备负责用户接口的其他单元之间的通信和数据传输，使得所呈现 的信息以如下方式包括原始数据、输入数据或者作为接口设备的结果的解释动作产物：组合 数据可选地由显示设备呈现给一个或多个用户。
可选地，组合数据实时地呈现在静止3D图像或动态图像上。
可选地，图像是2D的。
可选地，图像是全息的。
可选地，支持软件和通信设备可以例如，根据经由3D接口从用户接收到的路径或其 他指示，与用于执行空间中的任务的诸如机器人的其他系统通信。
可选地，该通信向远程显示设备传输数据或部分数据。
可选地，该通信向远程的其他系统传输数据或部分数据，这些系统使用该数据，允 许远程系统中将充分利用的“空中”图像中的交互，不论其在远处还是附近。
可选地，数据经由RF发送。
可选地，数据经由有线物理层发送。
可选地，两个(或更多个)不同的用户使用相同的设备(系统和显示)与相同位置 的相同体积或2D“空中”图像交互。
可选地，两个(或更多个)不同的用户使用分立的但是通信的设备(系统和显示) 与不同位置的相同体积或2D“空中”图像交互。
示例应用
下文描述了本发明的用户接口的一些示例应用。
特定点的“空中”标记
对于投射的体积图像(可选地全息的)，用户指向特定位置。借助于可听和/或按钮点击指 示，用户标记显示空间中的特定点。例如，使用具有跟踪传感器的触笔，并且由用户在体积 图像中标记特定点。用户接口记录触笔的空间位置和/或取向，并且将其保存在支持硬件 中。保存的点被解释为一个或多个特定体素，并且显示设备可选地将这些点实时地呈现在体 积图像上。
可选地，用户接口开始于在显示空间中没有投射的初始图像，并且仅有一个或多个 用户随后标记的点呈现在显示空间中。
在图像被投射时，用户接口使得能够通过“触摸”图像中的特定点来捕获显示空间 中的点，该点还被称为体素。可选地，接近该点使得能够通过环绕该点的预先定义的“云” 进行捕获，从而用户不必触摸准确的位置，因此例如使用人手具有关于不准确性的某种容 差。
可选地，显示设备投射特定的标记点，一旦用户指向足够接近，用户可以可选地 “抓住”这些点，随后用户可以按压指向工具上的按钮以“抓住”点。
可选地，“标记”图像允许对标记区域“加标签”，从而在动态图像的情况中，标记 区域可以被隔离并且可选地随时间跟踪标记区域的移动。示例是跟踪二尖瓣叶，其可选地由 接口设备加标签。所显示的图像的未加标签的部分可选地被移除，并且可选地跟踪和具体地 研究动态瓣叶。加标签可选地在医疗介入之前和之后执行，并且图像可选地被覆盖以比较和 评估医疗介入的功效。这种加标签可选地被应用到包括再同步之前和之后的心肌、切除之前 和之后的电生理通路(electrophysiological pathway)等的图像的其他静态和/或动态部分。
“空中标记”的附加示例包括：
用于人辅助边缘校正的工具，可选地遵循支持软件执行的边缘识别，其用于医疗成像，诸如 基于超声的诊断、介入心脏手术等。
标记器官中的位置；
标记肿瘤的位置；
在身体中在空间中标记关于所提出的设备植入、器官和治疗介入的位置；以及
标记身体、器官外部的位置，其参照空间或器官中的固定点，并且其在身体或器官的移动或 者身体或器官外部的移动(诸如EGG选通或者呼吸)期间维持该关系。
特定点的“空中”标记使得能够以直观的和精确的方式由空间图像的观看者“封 闭”从眼睛到手；从手到用户接口；从用户接口到显示；以及从显示器到眼睛的“回路”。 稍后，所标记的点或区域可以被传输到应对感兴趣的空间区域的其他系统并且由这些系统使 用。示例可以是，肿瘤的特定区域上的聚焦辐射，用于对在器官上标记的特定点执行切除的 机器人或工具等等。
体积和长度量化
对于所投射的图像，例如骨头组织，用户可选地标记骨头图像的一端，并且随后标记骨头图 像的另一端。用户接口系统指示所标记的点并且借助于计算经由软件模块可选地计算骨头的 长度。
如果需要路径长度，则用户可选地标记不止两个点，并且可选地计算路径长度。可 选地，由用户绘制连续的路径，并且用户接口系统计算连续路径的长度。
为了对体积进行量化，可选地由用户标记体积轮廓上的若干个点，例如10个点，并 且用户接口软件可选地计算各点之间的体积。可选地，软件推断测量结果并且显示连续的体 积，其在形状上接近这些点标记的物体，并且计算体积。可选地所计算的形状实时地呈现在 图像上，允许用户通过将所计算的形状边缘移动到真实形状的边缘来执行边缘校正，允许细 微调节体积并且对体积进行量化。
可选地，所投射的图像是以1∶1的比例投射的。可选地，所投射的图像可选地逐个用 户输入地被放大或者被呈现地更小。用户接口系统可选地定义比例，因此可以对以各种比例 显示的物体进行测量，并且用户接口系统可选地使用比例因子输出绝对测量结果。
特定点的“空中”标记使得能够进行长度、距离和体积的空中量化。用户为系统标 记2个点以便于计算长度或距离，或者标记用户接口系统的多个点以计算体积。
在医疗领域中，存在不同器官的所接受的正常表面积和体积，其有时是根据身高、
体重和/或身体表面积计算的。面积和体积是以ml、l、平方或立方cm来表述的，并且典型 地在具有标准偏差的范围中表述并且被表述为Z值等。可选地，用户接口系统单独地和/或 与静态的或动态的器官的实际图像一起投射静态的或动态的正常面积或体积(诸如肺体 积)，所述实际图像获取自CT、MRI或者用于生成实际或计算图像的其他这种形态。
用于量化的一些示例用途被列出如下。
在心脏病学的领域中，基于跳动心脏的体积对射血分数进行量化。
在肺病学的领域中，肺功能的体积分析。
基于标准参考，将器官的真实体积与器官的预测体积比较。
在产科学的领域中，基于胎儿器官或者胎儿身体的面积和/或体积量化来诊断胎儿。
其中体积量化是有用的其他领域包括矫形术和肿瘤学，例如用于映射和测量肿瘤。
类似框的接口设备
诸如医师的用户接口的用户常常希望观看体积图像中的特定平面。将被观看的特定平面可能 具有各种取向和位置。通过参照本发明的用户接口描述关于人的特定平面的自然选择方法。
如下文所述，投射体积图像，并且接口设备的位置和取向可选地定义3D体积图像中 的平面。
使用平面框，其可选地具有约为图像长轴的长度的对角线长度。可以使该平面成为
“线框”，即外廓，或者成为一片透明材料，其可选地是玻璃或者聚碳酸酯。标记器可选地 被置于框边缘上，例如角上的IR LED。用户确实地将框插入投射图像中，并且指示投射图 像中的特定平面，或者平面中的框。特定平面或框中包括的数据被处理并且特定平面或框可 以可选地被投射在体积显示和/或常规2D显示上。
可选地，图像中的框的连续移动产生了相同显示上的或者对应的一个或多个2D显示 上的平面图像的连续流。
可选地，体积显示按框的限制“裁剪”图像平面。
可选地，框可以具有定义平面的任何尺寸和形状。可选地，框可以是定义图像中的 三维形状的三维框。
可选地，平面的标记允许对标记的平面“加标签”。可选地在动态投射图像的情况 中，标记区域可选地被隔离并且随时间跟踪该标记区域的移动。
用户接口的非限制性示例使用包括，当在经导管手术期间使用3D转动血管造影 (3DRA)时，医师可选地选择用于在2D显示上观看的特定平面，其提取自“浮于”医师 面前的体积图像，并且由类似框的接口定义。
空中图像操纵接口
对于所呈现的体积图像，用户可选地标记图像上的或者图像轮廓上的点，并且通过手势或者 一些其他点标记方法，定义特定方向上的图像的转动。可选地，用户标记两个点，并且使图 像转动，使得转动轴是由两个点定义的线所定义的轴。可选地至少部分地基于接收到标记 点、通过软件和/或硬件解释标记点、定义将由显示投射的图像，并且可选地基于用户提供 的诸如“转动”的特定“命令”，执行上述操纵。对应的图像可选地经由显示被再现和呈 现。可选地该动作是实时执行的。
可选地，用户通过标记显示物体中的三个或更多个点来定义平面或框，并且“切 分”物体，从而仅有该平面或框被投射。可选地，用户选择在平面的两侧和/或框外部裁剪 图像。可选地，用户可以重复裁剪动作，因此定义一系列“裁剪”平面。
可选地，按照接口设备的取向，在图像上投射实时线，并且可选地根据“线的”路 径裁剪图像。
可选地，按照接口设备的取向，由用户定义实时线，其可选地用作图像可以围绕其 转动的对称轴。
可选地，显示具有诸如放大和/或缩小的指示的“空中”按钮，并且用户可以用接口 设备“触摸”这些按钮。
可选地，可选地当按压按钮或者某种这样的命令形式时，用户使用类似框的接口 “捕获”图像的一部分。在该情况中，用户可选地能够用他的手和/或用框移动所有虚拟图 像，“如同”虚拟图像物理连接到框。上述能力与移动连接到棒的物体相似，并且用户可选 地通过移动棒(像移动冰棒(popsicle))来移动物体。
“空中”导航
用户接口系统可选地接收位置指示符的位置并且将该位置呈现在显示空间中。系统可选地呈 现在其中工具进行导航的图像，例如来自CT数据的图像或者实时超声图像。系统可选地在 尺度相关之后，可选地将可选地来自诸如用于跟踪工具的单元的多种源的工具位置指示叠置 在图像上。用户随后可选地视觉检查工具是否处于正确的位置或者正确的路线上。在工具位 置不正确的情况中，用户可以虚拟地“触摸”投射的体积图像中的工具位置指示符，并且将 工具位置指示符拖动到优选位置和/或路线。位置和/或路线的新坐标由接口工具记录并且可 选地被提供给工具导航单元。
可选地，控制位置指示符导航的系统根据用户指示校正实际位置指示符的移动。
可选地，第二医生和/或用户根据第一用户的指示手动移动接口设备。随着接口设备 可选地连续呈现在图像上，控制回路经由用户的视觉控制而“闭合”。
可选地，用户使用接口设备在显示空间中绘制路径。系统可选地记录路径中的每个 点的坐标。路径坐标可以由诸如机器人的分立的机器使用，以控制机器跟随所绘制的路径。
可选地，可选地使用体积显示投射机器的图像，由医师和/或自动化机器监控机器，
并且可以进行路径的实时校正。
3D导航已变为基于电生理学的心脏手术中的重要应用。“空中”导航可选地允许用户 可选地实时地观看静态或动态图像，以及叠置在图像上的位置指示符和/或路径。作为另一 示例，在肺病学/支气管镜检中也实施了电磁3D导航以提供对肺深处以及纵隔淋巴结深处的 病区(lesion)的最小侵入性进入。
上文提到的被跟踪的机器也可以是工具或者可植入设备或治疗，诸如药物；支架；
导管；瓣；永久性或临时性工具的组合；药物洗脱支架；附着于栓塞颗粒的化学治疗；受身 体或器官外部的力或能量(诸如射频或声能量、超声或HIFU)影响的设备或传感器；用于 切除的射频导管；和用于低温切除的导管。
远程外科手术
上面提到的显示空间中的工具图像的操纵引起在某处对真实工具的远程机器人操纵，使得能 够进行远程外科手术和/或通过身体的远程导航。
可选地，用户操纵第一体积显示的显示空间中的真实工具，其还显示人体。跟踪操 纵，并且使真实操纵对远程位置处的真实工具生效。远程位置处的身体改变被三维成像设备 拾取，并且被发送到第一体积显示。用户因此看到真实工具的真实操纵的结果的图像。
可选地，用户在还显示人体的第一体积显示的显示空间中操纵工具的图像，即虚拟 工具。跟踪该操纵，并且使真实操纵对远程位置处的真实工具生效。远程位置处的身体改变 以及真实工具的改变被三维成像设备拾取，并且被发送到第一体积显示。用户因此看到真实 工具对身体图像的真实操纵的结果的图像以及工具的图像。
“空中”绘制
本发明在其一些实施例中提供了一种用于在体积投射图像中绘制点、线和/或路径的工具， 并且使得用户能够实时地看到绘图。“空中”绘制可选地提供用户/医师之间的合作工具，允 许绘制点或标记空间以允许讨论图像中的感兴趣的特定解剖体或区域。
可选地，“空中”绘制可选地实时地通过计算被转变为显示空间的坐标，可选地， “空中”绘制通过计算被转变为某个其他空间的坐标，其可选地将由诸如机器人的其他器械 使用。
关于“空中”绘制的医疗使用的非限制性示例是用于引导应用的特定标记器的实时 位置。
显示图像内部的虚拟物体的定位
本发明在其一些实施例中提供了一种用于将虚拟物体的图像组合在根据来自输入源的数据产 生的显示图像中的工具。用于定位显示图像内部的虚拟物体的一种使用可选地是通过显示体 积图像来仿真设备选择。
各种工具/物体可以被3D建模，建模可选地包括动态操作。
用户可选地拣选虚拟工具/物体，并且使用3D接口在显示空间中移动虚拟工具/物 体，将工具/物体定位在特定位置和取向。例如，可选地生成虚拟心脏瓣的图像，其在尺寸 和形状上与特定瓣相似。用户可选地将虚拟瓣拖动到患者心脏的图像上。用户可选地标记心 脏图像上的接口点以及虚拟瓣上的对应的点。显示计算单元可选地计算心脏和虚拟瓣的组合 图像，并且将该组合呈现给用户。用户可选地估定瓣是否在正确的位置和取向上，并且如果 需要，可选地执行另一次测量/指示。用户可选地还估定瓣的尺寸是否配合。
可选地，虚拟瓣可以是动态的，并且叠置在心脏的动态或静态图像上。
可选地，预测、计算和显示血流和组织移动的仿真。
可选地，用户要求在显示空间中显示来自虚拟图像库的实例，每个实例表示特定的 实际工具或植入体。在诸如心脏支架的扩张工具的情况中，库可选地包括具有未扩张形式、 扩张形式和扩张过程的动态表示的工具。
用于定位显示图像内部的虚拟物体的使用的其他非限制示例包括瓣定位；装配矫形 假体；装配心内和心外假体、设备、可植入设备、支架、动脉移植、支架移植；以及诸如心 室辅助设备的心室内设备。
图像内部的实际物体的定位
本发明在其一些实施例中提供了一种用于使真实物体与根据来自输入源的数据产生的图像组 合的工具。该组合可选地用于真实设备选择，诸如心脏瓣选择。
用户可选地将真实物体，即可选地在以后将被插入身体的真实物体，安放在所显示 的图像中。真实物体可以通过手插入，和/或可以使用用于握持真实物体的工具插入。用户 可选地将物体定位在体积“空中”显示中投射的器官的静态或动态图像中。用户/医师可选 地因此估定他希望将真实物体插入身体的方式，真实物体与身体部位物理匹配的水平等等。
关于在图像内部定位实际物体的使用的另一非限制性示例包括瓣定位。
交互式游戏
将真实物体插入体积显示的显示空间使得能够使用用户接口系统用于游戏。
作为非限制性示例，用户可选地在具有体积显示上的三维虚拟现实显示的游戏中挥 动游戏道具，诸如剑、工具或者一些这样的道具。
所支持的游戏类型的非限制性示例是如上文参照图15描述的通过通信连接的两个或 多个不同的体积显示处的两个或更多个用户的虚拟剑打斗。
由本发明的体积显示特别支持的有趣味的游戏是虚拟皮埃塔(pinata)。第一用户在体 积显示的显示空间中挥动“棒”，并且未看到显示空间中的虚拟皮埃塔。其他用户看到显示 空间中的虚拟皮埃塔，并且看到第一用户挥动的“棒”。虚拟皮埃塔游戏可以在一个体积显 示处由游戏周围的两个或更多个用户来玩，或者在两个或更多个体积显示处玩。
另一有趣味的游戏是“战舰”的游戏，其中在相同的体积显示上每个用户仅看到他 们自己的战舰。
基于将真实物体插入到显示空间中的能力的另一有趣味的游戏类别包括诸如拾取棒 和层层叠(Jenga)的手眼协调的游戏。这些游戏可选地使用体积显示中三维显示的虚拟游 戏筹码(piece)，并且用户在进入显示空间时“抓住”游戏筹码。跟踪设备可选地测量手指 到看到用户已握住游戏筹码之间的间隙。
一般注释
预见到在从本申请开始到专利到期的期间，许多相关的空间光调制器、全息图生成单元和体 积显示将被开发，并且对应术语的范围旨在先验地包括所有这些新技术。
术语“成像”和“投射”在这里可以互换使用。
术语“示例性”在含义上用作示例、实例或说明。
术语“包括”、“包含”“具有”以及它们的同根变形词意味着“包括但不限于”。
术语“由…组成”意味着“包括且限于”。
术语“基本上由…组成”意味着组成、方法或结构可以包括附加成分、步骤和/或部 件，但是仅仅在附加成分、步骤和/或部件不会在实质上改变要求保护的组成、方法或结构 的基本的和新型的特性的情况下。
词“可选地”在这里用于表示“在一些实施例中提供而在其他实施例中未提供”。本 发明的任何特定实施例可以包括多个“可选的”特征，除非这些特征存在冲突。
除非上下文清楚地指明附加情况，否则如这里使用的单数形式“一个”用于表示 “至少一个”，因此明确地公开“一个”和“不止一个”。例如，术语“一个镜”可以包括多 个镜。
如这里使用的术语“约”表示±10％。
这里以两个等同的格式可互换地提供了范围：“从X到Y”和“在X和Y之间”，并 且在这两种情况中涵盖X、Y以及它们之间的任何数值。
应认识到，为了清楚起见在分立的实施例的背景下描述的本发明的某些特征也可以 在单个实施例中组合提供。相反地，为了简明起见在单个实施例的背景下描述的本发明的各 种特征也可以被分立地提供或者以任何适当的子组合提供或者在本发明的任何其他的所描述 的实施例中适当地提供。各种实施例的背景下描述的某些特征不应被视为这些实施例的基本 特征，除非该实施例在没有这些元素的情况下不能操作。
尽管已结合本发明的特定实施例描述了本发明，但是显然许多替选、修改和变化对 于本领域的技术人员是明显的。因此，应涵盖落在所附权利要求的精神和广泛范围内的所有 这些替选、修改和变化。
本说明书中提到的所有出版物、专利和专利申请的整体内容通过引用合并于本说明 书中，合并到这样的程度：如同每个单独的出版物、专利或专利申请被具体地和单独地指示 为通过引用合并于此。此外，本申请中的任何参考文献的引用或识别不应被解释为认可这些 参考文献成为本发明的现有技术。对于所使用的章节标题，它们不应被解释为必要的限制。
机译： 用于液晶显示的宽视角广角偏振膜，以及用于液晶显示的宽视角粘性胶卷
机译： 使用离子束制造具有宽视角的液晶显示器的方法和具有宽视角的液晶显示器的制造方法
机译： 用于液晶显示的宽视角广角胶膜和用于液晶显示的宽视角广角胶膜
