用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和增强现实的立体视觉的方法和系统

摘要

公开了用于自由形态光学显示系统的几种独特的硬件配置和方法。自由形态显示系统包括以平铺布置的主自由形态光学元件和次级自由形态光学元件，以扩展水平视场(FOV)或竖直视场。该系统可以包括可变聚焦系统，其产生中间光瞳并改变单个焦平面的焦距或在多个焦平面之间切换，以用于聚焦地呈现对象，同时解决调节会聚冲突。系统可以将光样本映射到物理空间中的适当光线，并且使用投影仪群来投射映射的光线以产生虚拟显示内容的光场。还公开了用于制作平铺自由形态光学显示系统的方法和用于采用可变聚焦自由形态光学器件产生虚拟内容并呈现光场的方法。

说明书

相关申请的交叉引用

本申请要求于2014年5月30日提交的题为“METHODS AND SYSTEMS FORDISPLAYING STEREOSCOPY WITH A FREEFORM OPTICAL SYSTEM WITH ADDRESSABLE FOCUSFOR VIRTUAL AND AUGMENTED REALITY”的美国临时专利申请序列号62/005,865的权益。本申请与如下申请交叉相关：代理人案号为ML 30017.00的于2014年5月30日提交的并且题为“METHODS AND SYSTEM FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTEDREALITY”的美国临时专利申请序列号62/005,834；代理人案号为ML 30016.00的2014年5月30日提交的并且题为“METHODS AND SYSTEMS FOR VIRTUAL AND AUGMENTED REALITY”的美国专利申请序列号62/005,807；2011年12月22日提交的并且题为“ERGONOMIC HEADMOUNTED DISPLAY AND OPTICAL SYSTEM”的美国专利申请序列号13/335,884，其要求2010年12月24日提交的美国临时专利申请序列号61,427,162的优先权；以及2011年12月22日提交的题为“An Ergonomic Head Mounted Display Device and Optical System”的国际申请号为PCT/US2011/067033的专利合作条约(PCT)下公布的国际申请，并且该国际申请要求2010年12月24日提交的美国临时专利申请序列号61,427,162的优先权。

背景技术

头戴式显示器(HMD)长期以来被证明对于许多应用是无价的，其跨越科学可视化、医学和军事训练、工程设计和原型设计、远程操纵和远程呈现以及个人娱乐系统的领域。在混合和增强现实系统中，光学透视HMD是将计算机生成的虚拟场景与真实世界场景的视图组合的基本方法之一。通常通过光学组合器，光学透视头戴式显示器(OST-HMD)将计算机生成的图像光学地覆盖到真实世界视图上，同时保持真实世界的直接的最小退化的视图。OST-HMD呈现了产生移动显示解决方案的巨大潜力，所述移动显示解决方案提供比诸如智能电话和PDA(个人数字助理)之类的其它流行移动平台更吸引人的图像质量和屏幕尺寸。存在着阻止该技术被广泛采用的许多技术和实际困难。

现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字地再现的图像或其部分以它们看起来是真实的或者可被认为是真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。

当放置数字内容(例如，为增强房间的真实世界视野而呈现的诸如虚拟枝形吊灯对象的3-D内容，或者为增强房间的真实世界视野而呈现的诸如平面的/平的虚拟油画对象的2-D内容)时，可做出设计选择以控制对象的行为。例如，2-D油画对象可以是以头部为中心的，在这种情况下，对象围绕用户的头部移动(例如，如在谷歌眼镜方法中)；或者，对象是以世界为中心，在这种情况下，它被呈现为仿佛它是真实世界坐标系统的一部分，使得用户在不移动对象相对于真实世界的位置的情况下，移动他的头部和眼睛。

结果，经常出现问题或设计选择是否应该将对象呈现为：以世界为中心(即，虚拟对象保持在真实世界中的位置，以使得用户可以围绕它移动他的身体、头部、眼睛而不改变其相对于围绕它的真实世界对象的位置，诸如真实世界的墙)；以身体或躯干为中心，在这种情况下，虚拟元件可以相对于用户的躯干固定，以使得用户可以移动他的头部或眼睛而不移动对象，但是这种移动从属于躯干运动；以头部为中心，在这种情况下，所显示的对象(和/或显示器本身)可以与头部运动一起移动，如上面参考谷歌眼镜所描述的；或以眼睛为中心，如在“视网膜凹式显示(foveated display)”配置中，其中内容根据眼睛位置进行转换。

常规的立体显示器提供双眼视差，其支持在任何点上的会聚，但是仅允许观察者在显示表面上调节并且因此遭受调节-会聚冲突(accommodation–convergenceconflict)。这些约定显示通常将调节提示(accommodation cue)与会聚提示(convergencecue)解耦并将调节提示与固定距离相联系。因此，存在对用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的图像的方法和系统的需要。

发明内容

公开了一种用于视觉显示的方法和系统，其非常适合于虚拟和增强现实应用，以及其它应用，诸如近眼显示器、计算和显示应用、或甚至纯文本显示器。一些实施例涉及用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的系统。在一些实施例中，系统可以包括图像源，其将光线直接地(不用中间元件)或间接地(采用一个或多个中间元件)注入到用于用户眼睛的一个或多个主自由形态光学元件中。在一些实施例中，主自由形态光学元件可以包括与折叠镜和一个或多个中继透镜耦合的楔形自由形态光学元件。在一些其它实施例中，主自由形态光学元件可以包括自由形态波导。主自由形态光学元件包括一个或多个折射表面和一个或多个反射表面，以允许注入的光线在最终退出主自由形态光学元件之前在这些表面之间偏转或反射，以形成虚拟显示内容。

这些一个或多个折射表面或一个或多个反射表面可以具有相同或不同的表面性质，包括例如折射率、反射率、表面轮廓、表面涂层的材料和/或厚度、透射系数或弯曲(curve)、一个或多个滤波系数或其任何组合。该系统可以进一步包括一个或多个次级自由形态光学元件，其操作性地耦合到一个或多个主自由形态光学元件以形成扩展水平视场(FOV)和/或竖直视场的平铺(tiled)自由形态光学显示系统。该系统同样可以包括操作性地耦合到图像源、一个或多个主自由形态光学元件和/或一个或多个次级自由形态光学元件的光学耦合透镜或光学耦合透镜组，以中继或耦合光线以及校正或改善从图像源注入的光线以及来自真实世界场景的穿过一个或多个主和/或次级自由形态光学元件的光线的某些特性。

在一些实施例中，自由形态光学显示系统可以包括自由形态光学元件。自由形态光学元件可以包括具有一个或多个折射表面和一个或多个反射表面的波导，以允许注入的光线在最终退出主自由形态光学元件之前在这些表面之间偏转或反射，以形成虚拟显示内容。这些一个或多个折射表面或一个或多个反射表面可以具有相同或不同的表面性质，包括例如折射率、反射率、表面轮廓、表面涂层的材料和/或厚度、透射率系数或弯曲、一个或多个滤波系数或其任何组合。

系统同样可以包括图像源，以将光线注入到自由形态光学元件中，用于呈现虚拟显示内容。在这些实施例中的一些中，系统可以包括可变聚焦系统，其改变单个焦平面的焦距，虚拟显示内容的至少一部分将聚焦地呈现在该单个焦平面上。在一些其它实施例中，系统可以包括以无闪烁速率在多个焦平面之间切换的可变聚焦系统，以使虚拟显示内容的至少一部分将被聚焦地呈现。系统可以将虚拟显示内容或其相应部分并行地呈现在多个焦平面的若干焦平面上。

该系统利用可变聚焦系统来对改变的焦距寻址调节提示和会聚提示，而不将调节提示或会聚提示与固定的距离值相联系，以解决调节会聚冲突。在另一些其它实施例中，系统可以包括可变聚焦系统，其改变多个焦平面的相应焦距，虚拟显示内容的至少一部分将聚焦地呈现到该多个焦平面上。

在一些实施例中，自由形态光学显示系统包括计算装置，其确定来自于从对象反射或为对象人工产生的并且被记录用于采用自由形态光学显示系统来再现对象的虚拟内容显示的光样本的适当光线。自由形态光学显示系统可以从光线中提取辐射和/或深度信息，并且使用所提取的信息来确定要将光线透射到哪里，哪个或哪些图像投影仪将被用于投射相应的光线，以及图像投影仪在哪里投射相应的光线以呈现光场。然后，自由形态光学显示系统可以采用它们相应的图像投影仪投射各种光线以合成光场。

一些实施例涉及一种用于采用以平铺布置的自由形态光学显示系统来生成立体图像的方法。该方法可以识别限定主竖直视场的主显示装置，并且可选地增加或最大化主显示装置的主竖直视场。主显示装置可以包括一个或多个自由形态光学元件。另外或可替代地，该方法可以进一步可选地配置或设计次级显示装置以具有增加的或最大化的次级水平视场。

一个或多个次级自由形态光学元件可以以平铺布置被识别并附接到主显示装置，以形成在水平观察方向、竖直观察方向或在两个方向中提供扩展的视场的平铺自由形态显示装置。该方法可以进一步通过在自由形态光学显示系统中使用可变聚焦系统来调节一个或多个焦平面的焦距。在一些实施例中，该方法可以调节或寻址在其上呈现虚拟显示内容的单个焦平面的焦距。在一些其它实施例中，该方法可以使用可变聚焦系统在具有相应焦距的多个焦平面之间切换，以根据虚拟显示内容的聚焦要求来寻址或调节焦距。在另一些其它实施例中，系统可以包括可变聚焦系统，其改变或寻址虚拟显示内容的至少一部分将聚焦地呈现在其上的多个焦平面的相应焦距。

一些实施例涉及一种用于采用可变聚焦自由形态光学显示系统生成立体图像的方法。该方法可以在光学系统处从图像源接收第一光信号，以聚焦地呈现虚拟显示内容的一部分，并且确定用于呈现虚拟显示内容的该部分的第一焦平面的第一焦距。该方法可以进一步通过第一焦距寻址调节提示和会聚提示，而不将调节提示或会聚提示联系到到固定焦距，并且使用至少自由形态光学显示装置和第一焦距来采用第一光信号呈现虚拟显示内容。

在这些实施例中的一些中，该方法可以进一步通过使用可变聚焦自由形态光学显示系统的可变聚焦系统来寻址第一焦距。寻址第一焦距可包括在一些实施例中改变光学系统中的可寻址可变聚焦元件的光焦度以改变用于呈现虚拟显示内容的第一焦距的动作，或者在一些其它实施例中至少部分地基于用于采用第一光信号显示虚拟显示内容的第一焦距而从多个平面识别第一焦平面的动作。

一些实施例涉及一种用于采用自由形态光学系统生成光场显示的方法。该方法可以识别要用于呈现虚拟显示内容中的虚拟对象的第一光线，将第一光线从图像源束发送到自由形态光学显示装置。该方法可以进一步合成与虚拟对象对应的光场，并通过使用自由形态光学显示装置呈现用于虚拟对象的虚拟显示内容。在这些实施例中的一些中，该方法同样可以识别要由第一光线呈现的虚拟对象，并识别或确定用于呈现在虚拟显示内容中的虚拟对象的一个或多个参数。

在一些实施例中，该方法识别要用于呈现虚拟对象的第一光线是至少部分地基于调节范围来执行的。另外或可替代地，该方法可以合成与与虚拟对象对应的光场是至少部分地基于用户的视觉系统的无辅助的(unaided)调节范围来执行的。因此，该方法可以寻址与在不同距离处出现的虚拟显示内容相关联的调节提示和会聚提示。

一些第一实施例涉及一种平铺自由形态光学显示系统，其包括将光线注入主自由形态光学元件中的图像源；以第一平铺布置附接到主自由形态光学元件的次级自由形态光学元件，以形成用于采用来自图像源的光线显示虚拟显示内容的平铺自由形态光学显示装置；以及操作性地耦合到图像源和平铺自由形态光学显示装置的可变聚焦元件，以改变虚拟显示内容的至少一部分呈现在其上的焦平面的焦距。

在第一实施例的一些中，平铺自由形态光学显示系统可以进一步包括附接到主自由形态光学元件和/或次级自由形态光学元件的至少一部分的补偿透镜，以改善通过主自由形态光学元件和/或次级自由形态光学元件的至少一部分的从真实世界场景发射的光线的质量。另外或可替代地，主自由形态光学元件包括操作性地耦合到一个或多个中继透镜的自由形态楔形物。在紧接前述实施例的一些中，主自由形态光学元件进一步耦合到接收来自可变聚焦元件的第一光线的折叠反射器。

可变聚焦元件同样可以可选地包括形成中间光瞳的液体透镜。在第一实施例的一些中，可变聚焦元件包括形成中间光瞳的可变形膜镜。在这些紧接前述实施例中的一些中，可变聚焦元件包括操作性地耦合到可变形膜镜的两个或更多个分束器、耦合透镜组。在第一实施例的一些中，主自由形态显示元件和次级自由形态显示元件呈现相同的两个视场。

另外或可替代地，主自由形态显示元件限定增加的或最大化的主竖直视场；次级自由形态显示元件部分地基于增加的或最大化的主竖直视场来限定次级竖直视场；并且平铺自由形态光学显示装置至少部分地基于增加的或最大化的主竖直视场和视场的预定宽高比来限定视场。在第一实施例的一些中，主自由形态显示元件限定增加的或最大化的主竖直视场；次级自由形态显示元件限定增加的或最大化的次级水平视场；并且平铺自由形态光学显示装置至少部分地基于增加的或最大化的主竖直视场和增加的或最大化的次级水平视场来限定视场。

一些第二实施例涉及一种自由形态光场显示系统，其包括计算装置，以确定来自于从对象反射的并且被记录用于采用自由形态光场显示系统来再现对象的虚拟内容显示的光样本的光线；包括投影仪束的图像源，以将光线注入到自由形态光学元件中，其中计算装置进一步从所述光线确定一条或多条光线，以呈现用于显示用于对象的虚拟内容显示的光场的一部分；以及位于图像源和自由形态光学元件之间并且操作性地耦合到图像源和自由形态光学元件以产生中间光瞳的耦合透镜组。在第二实施例的一些中，自由形态光场显示系统通过使用至少中间光瞳和由自由形态光学元件限定的出射光瞳来合成光场。

一些第三实施例涉及一种用于采用以平铺布置的自由形态光学显示机构生成立体图像的方法。在这些实施例中，可以识别包括主自由形态光学元件并且限定主视场的主显示装置；同样可以识别限定次级视场并且包括次级自由形态光学元件的次级显示装置；以及扩展主显示装置的主视场的平铺显示装置可以至少通过将次级显示装置集成到主显示装置来设计。

在这些第三实施例的一些中，次级显示装置和主显示装置集成到第一平铺布置中，以形成扩展主显示装置的太阳穴(temple)水平视场的平铺显示装置。另外或可替代地，可以通过使用自由形态光学显示机构中的可变聚焦机构来调节一个或多个焦平面的焦距。在这些紧接前述实施例中的一些中，可以通过改变自由形态光学显示机构的可变聚焦机构中的可变形镜的光焦度来改变一个或多个焦平面的焦距。另外或可替代地，自由形态光学显示机构的一个或多个焦平面的一个或多个焦距可以采用可变聚焦机构改变。

在第三实施例的一些中，主显示装置和/或次级显示装置可以至少通过控制用于由自由形态光学显示器机构产生的立体图像的焦平面的焦距而被设计或配置有可寻址聚焦功能。另外或可替代地，主显示装置和/或次级显示装置可以至少通过在用于由自由形态光学显示机构产生的立体图像的多个焦平面之间切换而被设计或配置有可寻址聚焦功能。在这些紧接前述实施例的一些中，可以采用可变聚焦机构来寻址多个焦平面的相应焦距。

在第三实施例的一些中，至少通过将至少一个补偿透镜与主显示装置的至少一部分集成可以改善观察周围环境的质量。另外或可替代地，至少一个补偿透镜覆盖自由形态光学显示机构的主显示装置的至少一部分。在第三实施例的一些中，次级显示装置的次级水平视场可以被增加或最大化。另外或可替代地，用于主显示装置和次级显示装置的第一布置可以部分地或全部地基于主视场和/或次级视场来确定。

在紧接前述实施例的一些中，可以采用将主显示装置和次级显示装置彼此相邻地布置的第一布置来扩展自由形态光学显示机构的水平视场或对角视场。在第三实施例的一些中，用于主显示装置和次级显示装置的第二布置部分地或全部地基于主视场和/或次级视场。

在这些紧接前述实施例的一些中，可以采用第二布置来扩展自由形态光学显示机构的竖直视场或对角视场，该第二布置将主显示装置布置在次级显示装置顶上或将次级显示装置布置在主显示装置顶上。在第三实施例的一些中，用于主显示装置和次级显示装置的第三布置可以部分地或全部地基于主视场和/或次级视场来确定。在这些紧接前述实施例的一些中，具有第三布置的自由形态光学显示机构可以至少通过近似地或精确地将次级显示装置的次级视场与主显示装置的主视场匹配来设计。

在第三实施例的一些中，可以通过增加或最大化主显示装置的主竖直视场来设计主显示装置；并且次级显示装置的次级竖直视场可以与已经增加或最大化的主竖直视场精确地或近似地匹配。在第三实施例的一些中，可以通过增加或最大化次级显示装置的次级水平视场来设计次级显示装置。另外或可替代地，主显示装置经由第一光学耦合机构与第一图像源操作性地耦合，并且第一光学耦合机构包括可变聚焦机构。

在第三实施例的一些中，一个或多个其它次级显示装置可以与主显示装置集成以设计进一步扩展自由形态光学显示机构的视场的平铺显示装置。可选地，可以通过使用补偿透镜的一个或多个自由形态折射表面特性来减小或最小化由真实世界场景发射的光线引入到立体图像的偏移和/或失真。另外或可替代地，至少通过将主显示装置和一个或多个图像源与光耦合光学机构耦合，可以通过自由形态光学显示机构来改善所产生的立体图像的质量。

一些第四实施例涉及一种用于采用可变聚焦自由形态光学显示系统来生成用于虚拟或增强现实的立体图像的方法。在这些实施例中，输入光束可以在光学系统处从图像源接收；用于输入光束的可变聚焦机构的焦距可以部分地或全部地基于用于立体图像的至少一个焦平面的定位来改变；输入光束可以通过使用具有改变焦距的可变聚焦机构而在可变聚焦自由形态光学系统的至少一部分内传播到自由形态光学机构；并且可以采用自由形态光学机构在用于虚拟或增强现实呈现的至少一个焦平面上生成立体图像。

在这些第四实施例的一些中，输入光束可以通过第一光学器件传播到一个或多个分束器；并且输入光束可以通过一个或多个分束器重定向到可变聚焦机构。另外或可替代地，部分地或全部地基于用于立体图像的一个或多个焦平面，通过改变可变聚焦机构的光焦度来改变可变聚焦机构的焦距。可选地，可以采用具有改变的焦距的可变聚焦机构将输入光束重定向返回到一个或多个分束器；并且输入光束可以从一个或多个分束器传播到自由形态光学机构。

在第四实施例的一些中，可以对由自由形态光学显示机构产生的立体图像识别用于改变焦平面的要求；可以提供一个或多个控制以部分地或全部地基于该要求来改变可变聚焦机构的焦距；并且可变聚焦机构的焦距可以采用一个或多个控制改变为改变的焦距。在这些紧接前述实施例的一些中，输入光束可以从具有改变的焦距的可变聚焦机构传播到自由形态光学机构；并且可以采用自由形态光学机构在用于虚拟或增强现实呈现的一个或多个焦平面上生成立体图像。

在第四实施例的一些中，可以确定用于聚焦地呈现立体图像的至少一部分的第一焦平面的第一焦距；可以采用第一焦距来寻址调节提示和会聚提示，而不将调节提示或会聚提示联系到固定焦距；并且可以使用至少自由形态光学机构和第一焦距采用输入光束呈现立体图像的至少一部分。在这些实施例的一些中，可以通过使用自由形态光学显示机构的可变聚焦机构来寻址第一焦距。在这些紧接前述实施例的一些中，可变聚焦机构中的可寻址可变聚焦元件的光焦度可以改变，以改变用于呈现立体图像的至少一部分的第一焦距。在第四实施例的一些中，来自多个焦平面的第一焦平面可以部分地或全部地基于用于采用输入光束显示立体图像的至少一部分的第一焦距被识别，以寻址第一焦距。

一些第五实施例涉及一种用于采用自由形态光学系统生成光场显示的方法。在这些实施例中，可以从图像源接收光线束以产生用于在光线束中的虚拟对象的虚拟显示内容；可以从光线束中提取用于虚拟对象的信息；可以部分地或全部地基于从光线束提取的信息生成调制的光线束；并且用于虚拟对象的虚拟显示内容可以采用调制的光线束和自由形态光学显示装置来呈现。

在这些实施例的一些中，可以识别在光线束中要呈现的虚拟对象；并且然后可以识别或确定用于显示虚拟对象的一个或多个参数。在这些紧接前述实施例的一些中，用于合成与虚拟对象对应的光场的第一光线可以部分地或全部地基于调节范围来识别或确定；并且光线束可以从图像源传播到自由形态光学显示装置。在这些紧接前述实施例的一些中，与虚拟对象对应的光场可以部分地或全部地基于无辅助的调节范围来合成，以采用第一焦距来寻址调节提示和会聚提示；并且可以采用至少自由形态光学显示装置来产生虚拟显示内容，其中呈现给人类观察者的虚拟显示内容的虚拟图像距离等于第一焦距。

在这些实施例的一些中，至少部分地基于用户的视觉系统的无辅助的调节范围来执行合成光场的动作。另外或可替代地，与虚拟显示内容相关联的调节提示和会聚提示可以用可变焦距来寻址，其中可变焦距通过确定单个焦平面的距离值或通过在具有不同焦距值的多个焦平面之间切换来改变。在第五实施例的一些中，可以部分地或全部地基于从光线束提取的信息来将光线束调制成调制的光线束。

另外或可替代地，信息包括光线束的一种或多种颜色、光线束的一个或多个辐射、光线束的一项或多项深度信息或其任何组合中的至少一种。可以进行一个或多个确定。这些一个或多个确定包括以下中的至少一个：部分地或全部地基于从光线束提取的信息将调制的光线束投射到哪里的第一确定；要使用哪个图像投影仪投射调制的光线束以呈现虚拟显示内容的第二确定，或第一确定和第二确定的组合。

在一些实施例中，可以识别或确定用于呈现虚拟对象的一个或多个参数。在这些紧接前述实施例的一些中，一个或多个参数包括一个或多个折射表面参数、一个或多个反射表面参数，或一个或多个折射表面参数的至少一个折射表面参数与一个或多个反射表面参数的至少一个反射表面参数的组合。另外或可替代地，调制的光线束可传播到耦合光学组件以生成中间光瞳。可选地或另外地，调制的光束可以从耦合光学组件中继到自由形态光学显示装置；并且调制的光线束可以部分地或全部地基于一个或多个参数经由在自由形态光学显示装置中的折射和/或反射来传播。

一些第六实施例涉及一种用于生成立体图像的自由形态光学显示机构，其包括：主显示装置，其包括主自由形态光学元件并且限定主视场；次级显示装置，其限定次级视场并且包括次级自由形态光学元件；以及平铺显示装置，其包括主显示装置和扩展主视场的次级显示装置。次级显示装置和主显示装置可以可选地集成到第一平铺布置中，以形成扩展主显示装置的太阳穴水平视场的平铺显示装置。

自由形态光学显示机构同样可以可选地包括与自由形态光学显示机构的主显示装置光学耦合的可变聚焦机构，以调节一个或多个焦平面的焦距。另外或可替代地，自由形态光学显示机构可包括与在自由形态光学显示机构的可变聚焦机构中的可变形镜操作性地耦合的光焦度控制，以改变一个或多个焦平面的焦距。在这些第六实施例的一些中，可变聚焦机构调节自由形态光学显示机构的一个或多个焦平面的一个或多个焦距。主显示装置和/或次级显示装置可以可选地包括可寻址聚焦功能，以控制用于由自由形态光学显示机构产生的立体图像的焦平面的焦距。另外或可替代地，主显示装置和/或次级显示装置包括可寻址聚焦功能，以在用于由自由形态光学显示机构产生的立体图像的多个焦平面之间切换。

在这些第六实施例的一些中，自由形态光学显示机构可以包括与主显示装置的至少一部分耦合的至少一个补偿透镜，其中至少一个补偿透镜覆盖自由形态光学显示机构的主显示装置的至少一部分。主显示装置和次级显示装置可以以包括第一布置、第二布置、第三布置或其任何组合的一个或多个布置来布置。第一布置将主显示装置和次级显示装置彼此相邻地布置，以扩展自由形态光学显示机构的水平视场或对角视场。

第二布置将主显示装置布置在次级显示装置顶上或将次级显示装置布置在主显示装置顶上，以扩展自由形态光学显示机构的竖直视场或对角视场。第三布置使次级显示装置的次级视场与主显示装置的主视场近似或精确匹配，扩展了自由形态光学显示机构的竖直视场或对角视场。在第六实施例的一些中，自由形态光学显示机构同样可以包括与主显示装置操作性地耦合的一个或多个其它次显示装置，以进一步扩展自由形态光学显示机构的视场。另外或可替代地，自由形态光学显示机构可包括与主显示装置和一个或多个图像源操作性地耦合的光耦合光学机构，以改善由自由形态光学显示机构产生的立体图像的质量。

一些第七实施例涉及一种用于生成用于虚拟或增强现实的立体图像的可变聚焦自由形态光学显示系统，包括：图像源，其将输入光束发射到光学系统中；可变聚焦机构，其具有如下焦距，该焦距部分地或全部地基于用于立体图像的至少一个焦平面的定位被改变为改变的焦距；以及自由形态光学机构，用于接收由具有改变的焦距的可变聚焦机构引导的输入光束，以采用自由形态光学机构在用于虚拟或增强现实呈现的至少一个焦平面上生成立体图像。

在这些实施例的一些中，可变聚焦自由形态光学显示系统同样可包括一个或多个分束器，以接收通过第一光学器件从图像源传播的输入光束，以将输入光束重定向到可变聚焦机构。另外或可替代地，可变聚焦自由形态光学显示系统可包括光焦度控制机构，以部分地或全部地基于用于立体图像的一个或多个焦平面的定位来改变可变聚焦机构的光焦度。

在一些实施例中，一个或多个分束器将输入光束重定向回到具有改变的焦距的可变聚焦机构，并且输入光束将从一个或多个分束器传播到自由形态光学机构。可选地，可变聚焦自由形态光学显示系统可以包括控制机构，以提供一个或多个控制来部分地或全部地基于用于改变用于由自由形态显示机构产生的立体图像的焦平面的要求来改变可变聚焦机构的焦距。

在这些紧接前述实施例的一些中，可变聚焦机构与自由形态光学机构操作性地耦合，以将具有改变的焦距的可变聚焦机构的输入光束传播到自由形态光学机构，并且自由形态光学机构在一个或多个焦平面上生成立体图像，用于虚拟或增强现实呈现。在这些第七实施例的一些实施例中，可变聚焦自由形态光学显示系统可以包括确定机构，以确定用于聚焦地呈现立体图像的至少一部分的第一焦平面的第一焦距；以及可变聚焦机构，用于采用第一焦距来寻址调节提示和会聚提示，而不将调节提示或会聚提示联系到固定焦距，其中使用自由形态光学机构采用输入光束和第一焦距来呈现立体图像的至少一部分。

一些第八实施例涉及一种用于生成光场显示的自由形态光学系统，包括：图像源，其发射光线束以产生用于光线束中的虚拟对象的虚拟显示内容；提取机构，其从所述光线束提取用于虚拟对象的信息；调制机构，其部分地或全部地基于从光线束提取的信息来生成调制的光线束；以及自由形态光学显示装置，其采用调制的光线束呈现用于虚拟对象的虚拟显示内容。

在一些实施例中，自由形态光学系统可以进一步包括计算系统，以识别在光线束中的要呈现的虚拟对象，以及识别或确定用于显示虚拟对象的一个或多个参数。在这些实施例的一些中，一个或多个参数被识别或确定用于呈现虚拟对象，并且一个或多个参数包括一个或多个折射表面参数、一个或多个反射表面参数、或一个或多个折射表面参数的至少一个折射表面参数和一个或多个反射表面参数的至少一个反射表面参数的组合。

在这些实施例的一些中，计算系统进一步部分地或全部地基于调节范围来识别或确定用于合成与虚拟对象对应的光场的第一光线。另外或可替代地，计算系统进一步部分地或全部地基于无辅助的调节范围来合成与虚拟对象对应的光场，以采用用于自由形态光学显示装置的第一焦距来寻址调节提示和会聚提示，以采用至少自由形态光学显示装置来产生虚拟显示内容，并且呈献给人类观察者的虚拟显示内容的虚拟图像距离等于第一焦距。

可选地，至少部分地基于用户的视觉系统的无辅助的调节范围来合成光场。在这些第八实施例的一些中，自由形态光学系统可以包括寻址机构，以采用可变焦距来寻址与虚拟显示内容相关联的调节提示和会聚提示，其中通过确定单个焦平面的距离值或通过在具有不同焦距值的多个焦平面之间切换来改变可变焦距。可选地，调制机构部分地或全部地基于从光线束提取的信息将光线束调制成调制的光线束。

另外或可替代地，信息包括光线束的一种或多种颜色、光线束的一个或多个辐射、光线束的一项或多项深度信息或其任何组合中的至少一种。在这些第八实施例的一些中，自由形态光学系统同样可以包括确定机构，以确定部分地或全部地基于从光线束提取的信息将调制的光线束投射到哪里。另外地或可替代地，自由形态光学系统可以包括确定机构，以确定哪个图像投影仪将用于投射调制的光线束以呈现虚拟显示内容。自由形态光学系统同样可以可选地包括接收调制的光束的耦合光学组件，以经由折射和/或反射将调制的光线束传播到自由形态光学显示装置，以生成中间光瞳。

用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的方法和系统的附加细节在下面的具体实施方式部分中参考图1-14D进行描述。

附图说明

附图示出了本发明的各种实施例的设计和实用性。应当注意，附图不是按比例绘制的，并且在所有附图中，类似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的其特定实施例来呈现上面简要描述的本发明的更详细的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为是对其范围的限制，将通过使用附图以额外的特征和细节来描述和解释本发明，在附图中：

图1示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的环绕系统的示意图。

图2示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的水平安装系统的局部示意图。

图3示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的竖直安装系统的局部示意图。

图4A-B示出在一些实施例中用于采用补偿透镜元件来显示用于虚拟和/或增强现实的立体视觉的系统的自由形态光学元件的局部示意图。

图5示出在一些实施例中以平铺布置的一些自由形态光学元件的水平视场(FOV)的示意性表示。

图6示出在一些实施例中以水平平铺布置的两个自由形态光学元件的竖直和水平视场(FOV)的示意性表示。

图7示出在一些实施例中以水平平铺布置的两个自由形态光学元件的竖直和水平视场(FOV)的另一示意性表示。

图8示出在一些实施例中以水平平铺布置的两个自由形态光学元件的竖直和水平视场(FOV)的另一示意性表示。

图9A示出在一些实施例中在自由形态光学元件的平铺布置中的主显示装置的简化示意性表示。

图9B示出在一些实施例中在自由形态光学元件的平铺布置中的主显示装置的另一简化示意性表示。

图9C示出在一些实施例中在自由形态光学元件的平铺布置中的主显示装置的另一简化示意性表示。

图10A示出在一些实施例中具有自由形态光学系统的可变聚焦显示系统的简化示意性表示。

图10B示出在一些实施例中具有自由形态光学系统的另一可变聚焦显示系统的另一简化示意性表示。

图11A示出在一些实施例中与传统二维显示对比的光场显示的简化表示。

图11B示出在一些实施例中采用自由形态光学器件的光场显示的简化示意性表示，该光场显示提供对聚集的光线束的控制并且调制作为光线方向的函数的光线的辐射和颜色。

图11C示出在一些实施例中用于图11B中的光场显示的显示源的简化示意性表示。

图11D示出在一些实施例中采用自由形态光学器件的光场显示的另一简化示意性表示，该光场显示提供对聚集的光线束的控制并且调制作为光线方向的函数的光线的辐射和颜色。

图12A示出在一些实施例中用于采用以平铺布置的自由形态光学系统生成立体图像的方法的高级流程图。

图12B-E共同示出在一些实施例中用于采用以平铺布置的自由形态光学系统生成立体图像的方法的更详细的流程图。

图13A示出在一些实施例中用于采用以平铺布置的可变聚焦自由形态光学系统生成立体图像的方法的高级流程图。

图13B示出在一些实施例中用于采用以平铺布置的可变聚焦自由形态光学系统生成立体图像的方法的更详细的流程图。

图13C-D共同示出在一些实施例中用于采用以平铺布置的可变聚焦自由形态光学系统生成立体图像的过程的流程图。

图14A示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的高级流程图。

图14B示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的更详细的流程图。

图14C-D共同示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的另一更详细的流程图。

具体实施方式

本发明的各种实施例涉及用于在单个实施例或一些实施例中采用具有可寻址聚焦的自由形态光学系统显示用于虚拟和/或增强现实的立体视觉的方法、系统和制品。在详细描述、附图和权利要求中描述了本发明的其它目的、特征和优点。

公开了一种用于视觉显示的方法和系统，其非常适合于虚拟和增强现实应用，以及其它应用，诸如近眼显示、计算和显示应用、或甚至纯文本显示。一些实施例涉及用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的系统。在一些实施例中，系统可以包括图像源，其将光线直接地(没有中间元件)或间接地(采用一个或多个中间元件)注入到用于用户眼睛的一个或多个主自由形态光学元件中。在一些实施例中，主自由形态光学元件可以包括与折叠镜和一个或多个中继透镜耦合的楔形自由形态光学元件。在一些其它实施例中，主自由形态光学元件可以包括自由形态波导。主自由形态光学元件包括一个或多个折射表面和一个或多个反射表面，以允许注入的光线在最终退出主自由形态光学元件之前在这些表面之间偏转或反射，以形成虚拟显示内容。

这些一个或多个折射表面或一个或多个反射表面可以具有相同或不同的表面性质，包括例如折射率、反射率、表面轮廓、表面涂层的材料和/或厚度、透射系数或弯曲、一个或多个滤波系数或其任何组合。该系统可以进一步包括一个或多个次级自由形态光学元件，其操作性地耦合到一个或多个主自由形态光学元件以形成扩展水平视场(FOV)和/或竖直视场的平铺自由形态光学显示系统。该系统同样可以包括操作性地耦合到图像源、一个或多个主自由形态光学元件和/或一个或多个次级自由形态光学元件的光学耦合透镜或光学耦合透镜组，以中继或耦合光线以及校正或改善从图像源注入的光线以及来自真实世界场景的穿过一个或多个主和/或次级自由形态光学元件的光线的某些特性。

在一些实施例中，自由形态光学显示系统可以包括自由形态光学元件。自由形态光学元件可以包括具有一个或多个折射表面和一个或多个反射表面的波导，以允许注入的光线在最终退出主自由形态光学元件之前在这些表面之间偏转或反射，以形成虚拟显示内容。这些一个或多个折射表面或一个或多个反射表面可以具有相同或不同的表面性质，包括例如折射率、反射率、表面轮廓、表面涂层的材料和/或厚度、透射率系数或弯曲、一个或多个滤波系数或其任何组合。

系统同样可以包括图像源，以将光线注入到自由形态光学元件中，用于呈现虚拟显示内容。在这些实施例的一些中，系统可以包括可变聚焦系统，其改变单个焦平面的焦距，虚拟显示内容的至少一部分将聚焦地呈现到该单个焦平面上。在一些其它实施例中，系统可以包括以无闪烁速率在多个焦平面之间切换的可变聚焦系统，以呈现将被聚焦地呈现的虚拟显示内容的至少一部分。系统可以将虚拟显示内容或其相应部分并行地呈现在多个焦平面的若干焦平面上。

该系统采用可变聚焦系统来对改变的焦距寻址调节提示和会聚提示，而不将调节提示或会聚提示联系到固定的距离值，以解决调节-会聚冲突。在另一些其它实施例中，系统可以包括可变聚焦系统，其改变多个焦平面的相应焦距，虚拟显示内容的至少一部分将聚焦地呈现到该多个焦平面上。

在一些实施例中，自由形态光学显示系统包括计算装置，其确定来自于从对象反射或为对象人工产生的并且被记录用于采用自由形态光学显示系统来再现对象的虚拟内容显示的光样本的适当光线。自由形态光学显示系统可以从光线中提取辐射和/或深度信息，并且使用提取的信息来确定要将光线投射到哪里，哪个或哪些图像投影仪将用于投射相应的光线，以及图像投影仪在哪里投射相应的光线以呈现光场。然后，自由形态光学显示系统可以采用其相应的图像投影仪来投射各种光线以合成光场。

自由形态显示系统可以包括主自由形态光学元件和一个或多个次级自由形态光学元件，以扩展自由形态显示系统的水平视场(FOV)或竖直视场，用于显示用于虚拟或增强现实的虚拟内容。主自由形态和一个或多个次级自由形态光学元件可以以平铺布置来布置。自由形态显示系统可以进一步包括产生中间光瞳的可变聚焦系统。在一些实施例中，可变聚焦系统可以改变单个焦平面的焦距，或者在一些其它实施例中，可以在用于聚焦地呈现对象的多个焦平面之间切换，同时解决调节-会聚冲突。在一些实施例中，自由形态显示系统可以将光样本映射到物理空间中的适当光线，并且使用投影仪群投射映射的光线以产生虚拟显示内容的光场。同样公开了用于制作或使用自由形态光学显示系统的方法以及用于采用可变聚焦自由形态光学器件产生虚拟内容并呈现光场的方法。

自由形态显示系统可以包括主自由形态光学元件和一个或多个次级自由形态光学元件，以扩展自由形态显示系统的水平视场(FOV)或竖直视场，用于显示用于虚拟或增强现实的虚拟内容。主自由形态和一个或多个次级自由形态光学元件可以以平铺布置来布置。自由形态显示系统可以进一步包括产生中间光瞳的可变聚焦系统。在一些实施例中，可变聚焦系统可以改变单个焦平面的焦距，或者在一些其它实施例中，可以在用于聚焦地呈现对象的多个焦平面之间切换，同时解决调节-会聚冲突。在一些实施例中，自由形态显示系统可以将光样本映射到物理空间中的适当光线，并且使用投影仪群投射映射的光线以产生虚拟显示内容的光场。同样公开了用于制作或使用自由形态光学显示系统的方法以及用于采用可变聚焦自由形态光学器件产生虚拟内容并呈现光场的方法。

现在将参考附图详细描述各种实施例，其被提供作为本发明的说明性示例，以便使本领域技术人员能够实施本发明。值得注意的是，下面的附图和示例并不意味着限制本发明的范围。在本发明的某些元件可以使用已知组件(或方法或过程)而部分或完全实施的情况下，将仅描述这些已知组件(或方法或过程)的对于理解本发明所必需的那些部分，并且将省略这些已知组件(或方法或过程)的其它部分的详细描述，以免模糊本发明。此外，各种实施例涵盖在此通过说明而指代的组件的当前和将来已知的等效物。

公开了用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的方法和系统。图1示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的环绕显示系统的示意图。在图1所示的这些实施例中，环绕显示系统可以包括安装在头部或面部轮廓102周围的单眼或双眼人类可佩戴显示眼镜、头戴式显示器或近眼显示器。如在图1中所示的显示系统的双眼版本可以包括一对光引导装置104(以下称为自由形态波导棱镜或自由形态光学元件)，每一个光引导装置包括一个或多个自由形态折射表面和一个或多个反射表面。

自由形态光学元件104的靠近用户眼睛的内部物理表面和远离用户眼睛的外部物理表面包括两个连续的光滑表面，该两个连续的光滑表面在任一表面上没有不连续性。这两个物理表面中的每一个由一组自由形态表面参数描述。自由形态光学元件104可以包括一个或多个折射表面，其不是内表面的一部分的并且可以由一个或多个不同组的表面参数来描述。自由形态光学元件104可进一步包括一个或多个反射表面，其可以是或可以不是内表面或外表面的一部分并且可以由相同的或一个或多个不同组的表面参数来描述。在一些实施例中，显示系统可以包括以平铺布置来布置的多个自由形态光学元件，以扩展水平视场、竖直视场或二者。

多个自由形态光学元件可以布置在具有自由形态光学元件的一个或多个水平行的阵列中，每一个水平行具有以水平布置的一个或多个自由形态光学元件，并且彼此结合地工作以扩展水平视场(以及因此扩展对角视场)。在阵列包括以竖直布置来布置的多个行的一些实施例中，以竖直布置的自由形态光学元件同样彼此结合地起作用以扩展竖直视场(以及因此扩展对角视场)。在一些实施例中，这些多个自由形态光学元件可以包括一个或多个主自由形态光学元件和一个或多个次级自由形态光学元件。在一些实施例中，主自由形态光学元件可以包括以竖直布置(例如，图3中所示的竖直布置)或以水平布置(例如，图2中所示的布置)的自由形态波导。在一些其它实施例中，主自由形态光学元件可包括以折叠布置的自由形态楔形物和一个或多个中继透镜(例如，图9A-B中所示的自由形态楔形物和中继透镜)。在一些实施例中，多个自由形态光学元件同样可以包括一个或多个次级自由形态光学元件，其可以包括自由形态波导或自由形态楔形物。

显示系统同样可以包括适当地将来自图像源110(例如，投影仪束)的光注入到波导棱镜104中的一个或多个附加的耦合光学元件(例如，耦合透镜108、聚焦元件106和/或一个或多个中继透镜等)。自由形态波导棱镜和耦合光学器件的表面的位置和几何轮廓可以被设计为使得观察者能够看到清晰放大的来自图像源110的显示内容。图像源110可以包括微显示面板和用于实现微显示器表面处的光的远心(tele-centricity)的场透镜。

微显示面板可以是反射型微显示器(例如：LCoS或硅上液晶、FLCoS或硅上铁电液晶，或DMD或数字微镜器件面板)或透射型微显示器(例如：LCD或液晶显示面板)或自发射型微显示器(例如：OLED或有机发光二极管面板)。在使用反射型微显示面板的一些实施例中，可以在场透镜之后使用一个或多个分束器(未示出)以引入照明路径(未示出)。在图像源110和自由形态光学元件104之间，显示系统可以进一步包括耦合透镜108，以校正光学像差并改善图像质量。在一些实施例中，聚焦元件106可以是包括液体透镜的多焦点元件。

聚焦元件106(例如，液体透镜)同样可以集成到可包括一个或多个耦合透镜的耦合透镜组108。在一些其它实施例中，聚焦元件106可以包括可变形膜镜(DMM)和耦合到耦合透镜组(例如，耦合透镜组108)的分束装置，以从图像源110接收显示内容并将显示内容传递给自由形态元件。关于聚焦元件的更多细节将在随后的段落中参考图10A-10B进行描述。

在一些实施例中，次级显示器可以具有或不具有可寻址聚焦功能。在可能不需要或不期望可寻址聚焦功能的这些实施例的一些中，可以有利于更大的整体视场(FOV)、更轻的重量和/或更紧凑的尺寸来实施次级显示器。

在图1中所示的这些实施例中，源自图像源110的光线通过折射表面112进入自由形态光学元件104、由自由形态光学元件104的内表面和外表面反射三次、然后透射通过折射表面120、并到达出射光瞳122。在这些实施例中，在三次反射中，来自表面114和116的反射可以满足TIR条件，并且来自外表面上的表面118的反射可不满足TIR条件。为了增加来自表面118的反射的反射效率，可能需要或期望将半透明涂层施加到外表面118。为了保持来自表面114的反射的TIR条件，在一些实施例中，可以将介电涂层施加到表面114。为了确保眼镜形状因子，在一些实施例中，自由形态光学元件的内表面可以被约束为接近预定曲线。

在自由形态光学元件包括透视光学元件的一些实施例中，头戴式显示装置的透视路径包括自由形态光学元件104和可以分离地或不可分离地附接到自由形态光学元件104的外表面的透视补偿透镜(例如，图4的参考标记408)。包括一个或多个自由形态的折射表面的透视补偿透镜可以提供横跨非常宽的透视视场的周围环境的适当观察。自由形态光学元件104和透视补偿透镜同样可以适当地设计成在人体工程学上与人头部的人体工程学因素(例如，头部或面部轮廓102)匹配，使得能够实现轻重量、低轮廓、紧凑和透视的显示系统的环绕设计，其可以具有眼镜形式或头盔形式的外观、宽的透视视场和优异的光学性能。

包括一个或多个自由形态折射表面的补偿透镜提供横跨非常宽的视场的周围环境的适当观察。补偿透镜的表面可以被增强或优化以在补偿透镜与自由形态光学元件(例如，图1的104)组合时最小化或减小引入到来自真实世界场景的光线的偏移和失真。在自由形态光学元件104的附接表面上的反射沿着自由形态光学元件104内的虚拟图像显示路径满足TIR(全内反射)条件的一些实施例中，可能需要或期望在自由形态光学元件104和补偿透镜之间保持小的气隙。

一些实施例在显示系统中提供透视能力，并且允许用户通过观察光学器件(例如，自由形态光学元件104和自由形态透视补偿透镜)以及在显示装置上显示的内容来观察他们的周围环境。在这些实施例的一些中，显示系统提供可以基本上大于虚拟视图的FOV的透视视场(FOV)(例如，在水平、竖直或对角FOV中大于15度)。该基本上较大的FOV可以由若干机构提供，包括例如将图像源110移动更接近头部的侧面以扩展自由形态光学元件104的清晰光学孔径；控制自由形态光学元件104以及补偿透镜上的表面，以校正光线偏移和失真；和/或确保在大的FOV上的高透视性能。

在这些实施例的一些中，透视FOV可以在水平方向上扩展大至120度，并在竖直方向上扩展大至80度。在一些实施例中，显示装置的透视FOV可以被扩展以匹配人眼的视场。在一些实施例中，来自图像源上的相同点的光线可以在自由形态光学元件104内至少一次交叉。虽然在自由形态光学元件104内，交叉光线形成虚拟显示的中间图像或中间光瞳，但是由于自由形态光学元件104内的光路的复杂性，光线交叉点可能不能很好地形成。

在一些实施例中，显示装置的虚拟图像路径可以包括用于提供显示内容的图像源110(例如，投影仪束、微阵列显示器、LCoS或硅上液晶或DLP或数字光处理等)和人体工程学成形的显示观察光学器件，用户通过该显示观察光学器件观察显示内容的放大图像。显示观察光学器件可以包括一个或多个自由形态光学元件，其包括一个或多个自由形态的折射表面和一个或多个反射表面；并且显示观察光学器件同样可以包括附加的耦合光学器件。波导棱镜可以用作放大图像以供用户感知的近眼观察光学器件。

从图像源110发射的光线经由自由形态光学元件104的第一折射表面注入到自由形态光学元件104中。光线可以直接从图像源110或通过一组耦合透镜(例如，耦合透镜108、聚焦元件106和/或一个或多个中继透镜等)注入到棱镜。注入的光线经由反射(通常为三次或更多次反射)传播通过自由形态光学元件104，并且然后经由自由形态光学元件104的第二折射表面耦合出自由形态光学元件104。出射光线继续传播并到达系统的出射光瞳，在该出射光瞳处，用户将她/他的眼睛放置以观察虚拟显示内容。

当光传播通过自由形态光学元件104时，如果满足在反射表面上的全内反射(TIR)条件，则可以减少或最小化通过反射的光损失。因此，期望(但不是严格要求)在这些所示实施例的一些中所有或大多数反射满足TIR条件。尽管如此，在一些实施例中，同样可期望通过折衷一些反射表面上的TIR条件来实现波导棱镜的薄设计。对于不满足TIR条件的位于装置的指定透视FOV内部的反射表面，可以将半透明涂层施加到这些表面，以便确保来自图像源110单元的足够的光到达出射光瞳并产生足够亮的图像，同时促进光学透视能力。

对于在显示装置的透视FOV之外的反射表面，如果不满足TIR条件，则可以将高反射涂层施加到自由形态光学元件104的外表面的至少一些，以减少或最小化光损失。在一些实施例中，图像源110可以包括可以用作图像源的任何类型的自发射或照明像素阵列，包括但不限于硅上液晶(LCoS)显示装置、液晶显示器(LCD)面板、有机发光显示器(OLED)、硅上铁电液晶(FLCoS)装置、数字镜装置(DMD)、基于前述这些的微投影仪或微型投影仪、诸如激光投影仪或光纤扫描器束的投影仪束，或任何其它合适类型的微显示装置。

在一些实施例中，自由形态光学元件104可以包括自由形态光学元件104内的长光路，其允许将图像源110偏移远离显示FOV。图像源110远离显示FOV的这种偏移可以将图像源放置在用户的前额上或在用户头部的侧面处，这可以通过例如减小HMD系统的前部重量来实现更好的重量平衡并且因此改善系统的人体工程学配合。图像源110远离显示FOV的这种偏移可以通过将耦合透镜和显示器移动远离人的天然视场来增加系统总体可实现的透视FOV。

另外或可替代地，自由形态光学元件104的形状可设计成接近人头部的天然曲线或轮廓(例如，头部或面部曲线或轮廓102)，以获得更好的最优人体工程学配合。例如，在一些实施例中，自由形态光学元件104的形状可以弯曲以接近一对8基曲线眼镜的曲率；并且在一些其它实施例中，自由形态光学元件104的形状可以大致遵循一对4基曲线眼镜的形状因子。此外，可以控制自由形态光学元件104在观察方向上的总厚度和补偿透镜的总厚度，以实现更薄的光学轮廓(例如，小于30mm)，以实现光学透视显示系统的环绕设计，其提供更好的人体工程学配合和更吸引人的眼镜状样式。

在一些实施例中，显示系统可以包括图像源束，并且通过将每一个光样本映射到物理空间中的适当光线并且从适当的光线提取包括辐射和/或深度的信息来合成光场，以呈现立体图像。

图2示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的水平安装系统的局部示意图。在这些实施例中，显示系统可以水平地安装以将重量分布偏移到更接近用户头部的侧面。更特别地，显示系统包括自由形态光学元件202、聚焦系统204、耦合透镜系统206以及图像源208。如图2所示，聚焦系统204、耦合透镜系统206以及图像源208被偏移到用户头部的侧面，以防止这些系统阻挡视场并且同样将显示系统的重量分布偏移到后侧来防止前侧重量配置，用于更好的舒适性。

在该说明性配置中，图像源208(例如，投影仪束、微阵列显示器、LCoS或硅上液晶或DLP或数字光处理等)将显示内容的光线注入到耦合透镜系统206，其可校正光线偏移和失真，和/或确保横跨大FOV的高性能。耦合透镜系统206操作性地耦合到聚焦系统204，该聚焦系统204可通过调节单个焦平面的虚拟显示内容的焦距或通过在多个焦平面(例如，六到二十个)之间切换来改变显示内容的焦距。在另一些其它实施例中，系统可以包括可变聚焦系统，其改变多个焦平面的相应焦距，虚拟显示内容的至少一部分将聚焦地呈现到该多个焦平面上。系统可以在这些实施例的一些中单独地呈现这些多个焦平面，或者在一些其它实施例中并行地呈现这些焦平面中的至少两个。

也就是说，通过提供单个焦平面的焦距的动态可寻址性，或以无闪烁速率在多个焦平面上并行地呈现虚拟显示内容中的虚拟对象，聚焦系统204可以耦合而不是解耦合调节提示和会聚提示，而不会强制调节提示，不将调节提示联系到固定焦距。在显示系统在多个焦平面上并行地呈现虚拟显示内容的一些实施例中，两个直接相邻焦平面之间的间隔是1/7屈光度。自由形态光学元件202基本上类似于或等同于图1的参考标记104，并且补偿透镜在图1中同样未示出。在一些实施例中，聚焦系统204可以包括液体镜或可变形膜镜(DMD)。

存在产生可变深度的感知的两种主要方式：多平面聚焦系统和可变聚焦系统。在多平面聚焦系统中，系统能够在z方向上在固定深度平面上投射图像。在可变焦距系统中，系统投射有限数量的深度平面，但在空间中移动深度平面以产生3D感知。在一些实施例中，虚拟或增强现实系统可以包括至少一个图像生成处理器、至少一个空间光调制器、多个透镜/光学元件、一个或多个分束器以及一个或多个可变聚焦元件。

图像生成处理器负责生成最终向用户显示的虚拟内容。图像生成处理器可以将与虚拟内容相关联的图像或视频转换为可以在三维空间中投射到用户的格式。例如，在生成3D内容中，虚拟内容可能需要被格式化，以使得特定图像的一部分在特定深度平面上显示，而其它部分在其它深度平面处显示。或者，可以在特定深度平面处生成所有图像。或者，图像生成处理器可以被编程以向左右眼馈送略微不同的图像，以使得当一起观察时，虚拟内容对用户的眼睛来说看起来是连贯和舒适的。

图像生成处理器可以进一步包括存储器、CPU(中央处理单元)、GPU(图形处理单元)以及用于图像生成和处理的其它电路。图像生成处理器可以被编程有待向虚拟或增强现实系统的用户呈现的期望的虚拟内容。应当理解，在一些实施例中，图像生成处理器可以容纳在可佩戴的虚拟或增强现实系统中。在其它实施例中，图像生成处理器和其它电路可以容纳在耦合到可穿戴式光学器件的带包中。

聚焦元件(106和204)包括可变聚焦元件(VFE)，其被配置用于将从空间光调制器生成的投射光聚焦到期望的深度平面上。应当理解，VFE可以用在多聚焦和可变聚焦系统中。因此，与多个透镜和反射镜相结合，VFE可以被配置成用于将与虚拟对象相关联的光投射在期望的深度平面处，以使得其对用户眼睛被感知为三维对象。

可变聚焦透镜元件可以是折射元件，诸如液晶透镜、电活性透镜、具有移动元件的常规折射透镜、基于机械变形的透镜(诸如流体填充的膜透镜，或类似于人类晶状体的透镜，其中柔性元件可以通过一个或多个致动器弯曲和松弛)、电润湿透镜或具有不同折射率的多种流体。可变聚焦元件同样可以包括可切换衍射光学元件(诸如以聚合物分散液晶方法为特征的光学元件，其中诸如聚合物材料的主介质具有分散在材料内的液晶微滴；当施加电压时，分子重新取向使得它们的折射率不再与主介质的折射率匹配，从而产生高频可切换衍射图案)。

一个实施例包括主介质，其中基于克尔效应的电活性材料(诸如铌酸锂)的微滴分散在主介质中，使得当与扫描光显示器(诸如光纤扫描显示器或基于扫描镜的显示器)耦合时，图像信息能够逐像素或逐线地重新聚焦。在使用液晶、铌酸锂或其它技术来呈现图案的可变聚焦元件配置中，图案间隔可以被调制，以不仅改变可变聚焦透镜元件的焦度，而且改变整个光学系统的焦度，用于变焦镜头类型的功能。

在一个实施例中，多个透镜可以是远心的，因为显示图像的焦点可以在保持放大率恒定的同时被改变，这与拍摄变焦透镜可以被配置为将焦点从变焦位置解耦的方式相同。在另一个实施例中，透镜可以是非远心的，以使得焦点改变同样将引起变焦改变。采用这种配置，这种放大率改变可以在软件中采用来自图形系统的输出与焦点改变同步的动态缩放来补偿。

在一些实施例中，各种类型的光栅可用于实现各种聚焦元件。例如，在代理人案号为ML30016.00的于2014年5月30日提交并且题为“METHODS AND SYSTEMS FOR VIRTUAL ANDAUGMENTED REALITY”的美国临时专利申请序列号62/005,807中描述的OPE(正交光瞳扩展器)光栅和EPE(出射光瞳扩展器)光栅可用于实现VFE。更具体地，在一些实施例中，OPE光栅和EPE光栅可以以折叠或重叠的方式布置在层的两侧上。在一些其它实施例中，OPE光栅和EPE光栅可以被布置并记录在单个整体的空间上重合层中，以形成具有OPE光栅的功能和EPE光栅的功能的多路复用层。上述多个这种层可以在彼此顶部上层叠以形成多平面配置，其中每一层可以主控与其相应焦距相关联的其相应的焦平面。

应当注意，尽管术语“光栅”的使用并不暗含或暗示“光栅”中的衍射结构仅包括线性衍射元件或结构。相反，光栅(例如，EPE光栅、OPE衍射元件等)可以包括线性衍射结构、圆形衍射结构、径向对称衍射结构或其任何组合。OPE衍射元件和EPE衍射元件可以包括线性光栅结构和圆形或径向对称结构，以偏转并聚焦光束。

多平面配置可以提供更大的焦距范围，并且在多平面配置中的每一层可以动态地开启和关闭，以呈现对于观察者而言表现为在不同焦距处的图像。关于可变聚焦元件或系统的更多细节在2014年5月30日提交并且题为“METHODS AND SYSTEM FOR CREATING FOCALPLANES IN VIRTUAL AND AUGMENTED REALITY”的美国临时专利申请号62/005,834以及代理人案号为ML30016.00的于2014年5月30日提交并且题为“METHODS AND SYSTEMS FORVIRTUAL AND AUGMENTED REALITY”的美国临时专利申请序列号62/005,807中描述。

图3示出在一些实施例中用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和/或增强现实的立体视觉的竖直安装系统的局部示意图。在这些实施例中，显示系统可以竖直安装并围绕用户的头部适配。更特别地，显示系统包括自由形态光学元件308、聚焦系统306、耦合透镜系统304以及图像源302。在该说明性配置中，图像源302(例如，投影仪束、微阵列显示器、LCoS或硅上液晶，或基于LCD的DLP或数字光处理等)将显示内容的光线注入耦合透镜系统304中，该耦合透镜系统304可校正光线偏移和失真，和/或确保横跨大FOV的高性能。

耦合透镜系统304可以进一步操作性地耦合到聚焦系统306，该聚焦系统306可以通过调节单个焦平面的焦距或通过在不同焦距处的多个焦平面之间切换并在不同焦距处的多个焦平面上呈现虚拟显示内容来寻址显示内容的焦距。在又一些其它实施例中，系统可以包括可变聚焦系统，其改变多个焦平面的相应焦距，虚拟显示内容的至少一部分将聚焦地呈现到该焦平面上，其中系统可以在一些实施例中将虚拟内容单独地呈现到这些多个焦平面上或在一些其它实施例中并行地地呈现到这些焦平面中的至少两个焦平面上。自由形态光学元件308可以以使得输出光线的出射光瞳310覆盖用户的眼睛的方式来设计。在一个特定实施例中，采用基本上类似于图3中所示的配置，出射光瞳直径可为10mm；对角视场可以是50度；水平视场可以是44.23度；并且竖直视场可以是25.75度。

图9A示出在一些实施例中具有自由形态光学系统的可变聚焦显示系统的简化示意性表示。在这些实施例中，显示系统可以如在图9A中所示竖直地安装并且适配在用户的头部周围，或如在图2中所示水平安装。更特别地，显示系统包括主自由形态光学元件908、聚焦系统906、耦合透镜系统904以及图像源902。在这些所示实施例中，图像源902(例如，投影仪束、微阵列显示器、LCoS或硅上液晶，或DLP或数字光处理等)将显示内容的光线注入耦合透镜系统904中，该耦合透镜系统904可校正光线偏移和失真，和/或确保横跨大FOV的高性能。

耦合透镜系统904可以进一步操作性地耦合到聚焦系统906，该聚焦系统906可以通过调节单个焦平面的焦距或通过在不同焦距处的多个焦平面之间切换并在不同焦距处的多个焦平面上呈现虚拟显示内容来寻址显示内容的焦距。在一些实施例中，系统可以包括可变聚焦系统，其改变或寻址多个焦平面的相应焦距，虚拟显示内容的至少一部分将聚焦地呈现在该焦平面上。主自由形态光学元件908可以以输出光线的出射光瞳910覆盖用户的眼睛的方式设计。

图9B示出在一些实施例中具有自由形态光学系统的可变聚焦显示系统的另一简化示意性表示。在图9B中所示的这些实施例中，显示系统可以包括将光线注入第一中继透镜934中的图像源932(例如，投影仪束、微阵列显示器、LCoS或硅上液晶，或DLP或数字光处理等)。第一中继透镜934操作性地耦合到可变聚焦系统936，该可变聚焦系统936调节虚拟显示内容的焦距。

可变聚焦系统936可以调节用于单个焦平面的虚拟显示内容的焦距或者在不同焦距处的多个焦平面(例如，六个到二十个)之间切换并将虚拟内容呈现到在不同焦距处的多个焦平面上。因此，通过提供单个焦平面的焦距的动态可寻址性或者以无闪烁速率在多个焦平面上并行地呈现虚拟显示内容中的虚拟对象，可变聚焦系统936可以耦合而不是解耦调节提示和会聚提示，而不会强制调节提示，不将调节提示联系到固定焦距的情况下强制适应提示。在显示系统将虚拟显示内容并行地呈现在多个焦平面上的一些实施例中，两个直接相邻焦平面之间的间隔是1/7屈光度。

可变聚焦系统936进一步操作性地耦合到第二中继透镜938以将光线发送到反射器940上，该反射器进一步将光线耦合到自由形态楔形物或自由形态楔形光学元件942(下面统称自由形态楔形物)。在一些实施例中，反射器940可以包括折叠镜组件。自由形态楔形物942以基本上类似于对于以上自由形态光学元件所描述的那些的方式起作用。光线在自由形态楔形物942内在一个或多个折射表面与一个或多个反射表面之间传播。

自由形态楔形物942可以设计有用于这些一个或多个折射表面和一个或多个反射表面的适当表面参数，以产生出射光瞳942。第一中继透镜934和中继透镜938中的每一个可以包括单个中继透镜或一组透镜以反转图像。中继透镜因此可以包括一个或多个常规透镜、消色差双合透镜或圆柱形折射率渐变透镜。第一和第二中继透镜934和938可以用于产生用于显示系统的中间焦平面。

图9C示出在一些实施例中具有自由形态光学系统的可变聚焦显示系统的另一简化示意性表示。在这些实施例中，图像源932可以通过第一中继透镜934注入光线，该第一中继透镜934操作性地耦合到改变虚拟显示内容的焦距的可变聚焦系统936。

可变聚焦系统936可以改变用于单个焦平面的虚拟显示内容的焦距或者在不同焦距处的多个焦平面(例如，六个到二十个)之间切换并将虚拟内容呈现到在不同焦距处的多个焦平面上，以用于虚拟显示内容的立体视觉。光线进一步传输到第二中继透镜938，该第二中继透镜938操作性地耦合到反射器940(例如，折叠镜组件)，该反射器940将光线反射并耦合到自由形态楔形物942中。反射器940将光路沿着眉毛从前额到头部的侧面折叠或偏转，有利于护目镜或眼镜状的外观。自由形态楔形物942以基本上类似于以上对自由形态光学元件所描述的那些的方式起作用。

另外或可替代地，补偿透镜元件946可附接到自由形态楔形物942，以提供横跨非常宽的透视视场的周围环境的适当观察和/或当补偿透镜与自由形态光学元件(例如，自由形态楔形物942)组合时最小化或减小引入到来自真实世界场景的光线的偏移和失真。光线在自由形态楔形物942内的一个或多个折射表面与一个或多个反射表面之间传播。自由形态楔形物942可以设计有用于这些一个或多个折射表面和一个或多个反射表面的合适的表面参数，以产生出射光瞳942。

图10A示出在一些实施例中具有自由形态光学系统的可变聚焦显示系统的简化示意性表示。在这些实施例中，可变聚焦显示系统可以包括图像源1002，该图像源1002可以包括投影仪束(例如，微型投影仪、激光投影仪等)、微阵列显示器、LCoS或硅上液晶或基于LCD的DLP或数字光处理等中的一个或多个。图像源1002通过耦合透镜组1004注入光线，该耦合透镜组1004可被设计为包括耦合透镜组1004中的液体透镜，以形成中间光瞳或中间焦平面1010。

可变聚焦显示系统可以改变耦合透镜组1004中的液体透镜的光焦度，以改变液体透镜的焦距。液体透镜的变化的焦距有效地移动中间焦平面1010。显示系统可以进一步驱动液体透镜以产生快速和连续的聚焦控制，以例如产生具有快速且连续变化的焦平面的虚拟显示内容。光线然后中继到自由形态光学元件1006中，并且在一个或多个自由形态折射表面和一个或多个自由形态反射表面之间传播，以在共轭出射光瞳1008处产生虚拟显示内容。

图10B示出在一些实施例中具有自由形态光学系统的另一可变聚焦显示系统的另一简化示意性表示。在这些实施例中，可变聚焦显示系统包括在出射光瞳1008处产生虚拟显示内容的相同或基本上相似的自由形态光学元件1006。

来自微显示器的光线传播到一对偏振分束器1026(例如，X立方体分束器)中。分束器1026首先通过可变聚焦机构中的光学器件1022接收来自图像源1028的光线，并将光线引导到可变形膜镜或可变形镜1024；可变形镜1024将光线反射回分束器1026；分束器1026然后将光线中继到自由形态光学元件1006中。可变形镜1024具有可以被变形以实现波前控制和其它光学功能(例如，校正光学像差等)的表面(未示出)。可变聚焦显示系统可以改变可变形镜1024的光焦度以改变可变形镜1024的焦距。

可变形镜1024的变化的焦距有效地移动中间焦平面。显示系统可以进一步驱动可变形镜以产生快速且连续的聚焦控制，以例如产生具有快速且连续变化的焦平面的虚拟显示内容。光线中继到自由形态光学元件1006中，并且在一个或多个自由形态折射表面和一个或多个自由形态反射表面之间传播。光线在自由形态光学元件1006中反射并偏转，并且最终在共轭出射光瞳1008处产生虚拟显示内容。

图11A示出在一些实施例中与传统二维显示相比的光场显示的简化表示。与各向同性地发射光的常规二维显示1002不同，光场显示将不同颜色和辐射的光样本映射到物理空间中适当的光线(例如，分别用于红色、橙色、黄色、绿色、蓝色、靛蓝以及紫色光线的1106R、1106O、1106Y、1106G、1106B、1106I、1106P)，如在1104中示意性所示的。

图11B示出在一些实施例中具有自由形态光学器件的光场显示系统的简化示意性表示，该光场显示系统提供对聚集的光线束的控制并且调制作为光线方向的函数的光线的颜色和辐射。图11B中所示的光场显示提供对聚集的光线束的控制，并且调制它们的作为方向的函数的辐射和/或颜色。在图11B中所示的这些实施例中，光场显示系统处理具有调制的辐射和/或颜色的光线束1108、1110和1112，光线束1108、1110和1112从一个或多个图像源1150发射并且传播到具有一个或多个耦合透镜1103的耦合透镜组1107，以校正光学像差并改善图像质量和/或产生中间光瞳1111。

光线然后中继到自由形态光学元件1113中，以在具有各种表面参数的一个或多个折射表面和一个或多个反射表面之间反射并偏转，以在共轭出射光瞳1109处产生虚拟显示内容。在图11B中所示的光场显示同样可以解决调节-会聚冲突，而不必将调节提示联系到固定焦距，用于显示适当光场内容。

在光场显示系统实施为头戴式显示器或人可佩戴显示器的一些实施例中，光场显示系统解决了调节-会聚冲突，提供宽的视场(特别是通过如上文参照图2-10B所描述的自由形态光学元件的平铺布置)，并且在人眼的自然调节范围内生成聚焦的虚拟显示内容图像，尽管光场显示非常接近眼睛。

图像源1150是能够发射调制光线的微显示器或显示系统。图11C示出这种图像源的一个示例。更具体地，图11C示出图像源1150C的一个示例，图像源1150C映射并注入具有不同颜色和辐射的不同光样本，其采用图像投影仪(1108C、1110C和1112C)束将虚拟显示内容中的一个或多个对象表示为物理空间中的适当光线。从图像投影仪(1108C、1110C和1112C)束发射的光线通过一对场透镜组有效地混合在一起，并通过耦合透镜1103(在图11B中)和中间光瞳1111C注入到自由形态元件中。在光场显示系统实施为头戴式显示器或人可佩戴显示器的一些实施例中，光场显示系统将虚拟显示内容显示给用户的眼睛而不需要屏幕。

图11D示出了在一些实施例中具有自由形态光学器件的光场显示系统的另一个简化示意性表示，其提供对聚集的光线束的控制并且调制作为聚集光线束的位置和/或方向的函数的聚集光线束的辐射和/或颜色。在图11D中所示的这些实施例中，光场显示系统包括计算系统(未示出)，以将在虚拟显示内容中的发射这些光样本的一个或多个虚拟对象的不同颜色、辐射和/或深度的光样本映射到适当的光线。光场显示系统可以进一步使用由计算系统控制的图像投影仪(例如，1108D、1110D和1112D)束，以通过中间光瞳1111D将这些映射的光线发射到自由形态光学元件1114D中，以最终在出射光瞳1117D处产生虚拟显示内容，而不使用聚焦系统或元件。

在一些实施例中，可以至少部分地基于所需或期望的分辨率、人眼的角分辨率或任何其它适当的因子来确定图像投影仪束中的投影仪的数量。也就是说，光场显示系统可以通过在记录或产生随后用于在虚拟显示内容中再现虚拟对象的光线时，调制或映射发射第一光线的虚拟对象的不同颜色、辐射和/或深度的光样本来确定或识别第一光线。当提供有这种记录的信息时，光场显示系统可以从光线提取辐射和/或深度信息，并且使用提取的信息来确定光线投射到哪里，哪个或哪些图像投影仪用于投射相应的光线，以及图像投影仪正在哪里投射相应的光线以呈现光场。

图5示出在一些实施例中以平铺布置的一些自由形态光学元件的水平视场(FOV)的示意性表示。更具体地，图5示出主自由形态光学元件502和次级自由形态光学元件504的水平布置。主自由形态光学元件502是具有可寻址聚焦能力并且以用户眼睛为中心的自由形态光学系统。次级自由形态光学元件504同样是具有或不具有可寻址聚焦能力的自由形态光学系统，并且放置在主显示器502的侧面处。

主自由形态光学元件502和次级自由形态光学元件504共同提供扩展的水平视场506，其包括来自主自由形态光学元件502的水平视场508和次级自由形态光学元件504的水平视场510的贡献。在一个实施例中，主自由形态光学元件502和次级自由形态光学元件504的平铺水平视场落在60至120度的范围内。

图6示出在一些实施例中以单眼水平平铺布置的两个自由形态光学元件的竖直和水平视场(FOV)的示意性表示。示意性表示包括由主自由形态光学元件提供的主视场614和由次级自由形态光学元件提供的次级视场616。在该示意性表示中，主自由形态光学元件布置在用户的鼻侧602附近，并且次级自由形态光学元件布置在用户的太阳穴侧(templeside)606附近。

在该特定表示中，主自由形态光学元件和次级自由形态光学元件具有相同的视场和宽高比。在这些实施例中，主自由形态光学元件和次级自由形态光学元件都具有竖直视场604，其也是主自由形态光学元件和次级自由形态光学元件的平铺布置的竖直视场。如由人眼自然感知的，该平铺布置的合计的水平视场612可以包括鼻水平视场608和太阳穴水平视场610。两个水平平铺自由形态光学元件共同提供如在图6中所示的对角视场618。

图7示出在一些实施例中以单眼水平平铺布置的两个自由形态光学元件的竖直和水平视场(FOV)的另一示意性表示。更具体地，图7示出主自由形态光学元件和次级自由形态光学元件的另一平铺布置的视场。主自由形态光学元件布置成更接近鼻侧702并且提供具有竖直视场704的主视场714。次级自由形态光学元件布置成更接近太阳穴侧并且提供同样具有竖直视场704的次级视场716。在这些实施例中，以增加或最大化竖直视场的方式设计主自由形态光学元件。

次级自由形态光学元件设计为提供与主自由形态光学元件相同的竖直视场704，并且以增加或最大化水平视场的方式设计。取决于宽高比以及因此由主自由形态光学元件提供的水平视场，在一些实施例中次级自由形态光学元件也可以被设计为将由主自由形态光学元件提供的水平视场扩展到期望或所需的宽高比。次级自由形态光学元件可提供具有不同于主视场的不同宽高比的视场。因此，主自由形态光学元件和次级自由形态光学元件的平铺布置的视场提供了如在图7中所示的对角视场718。如由人眼天然感知的，合计的水平视场712可以包括鼻水平视场708和太阳穴水平视场710。

图8示出在一些实施例中以水平平铺单眼布置的两个自由形态光学元件的竖直和水平视场(FOV)的另一示意性表示。更具体地，图8示出主自由形态光学元件和次级自由形态光学元件的另一个平铺布置的视场。主自由形态光学元件被布置为更接近鼻侧802并且提供具有竖直视场804的主视场814。次级自由形态光学元件被布置成更接近太阳穴侧并且提供也具有竖直视场820的次级视场816。在这些实施例中，以增加或最大化竖直视场804(例如，增加到大约135度)的方式设计主自由形态光学元件。

以增加或最大化水平视场的方式设计次级自由形态光学元件。次级自由形态光学元件提供具有竖直视场806的次级视场816，其可以匹配或可以不匹配竖直FOV 804。第二自由形态光学元件可以产生或可以不产生与由主自由形态光学元件产生的视场具有相同宽高比的视场。然而，主自由形态光学元件和次级自由形态光学元件的平铺布置的对角视场818由主自由形态光学元件的竖直视场804和合计的水平视场812来限定。如人眼所天然感知的，合计的水平视场812可以包括鼻水平视场808和太阳穴水平视场810。

图4A示出在一些实施例中具有补偿透镜的主显示装置的简化示意性表示。在这些实施例中，包括一个或多个自由形态折射表面的补偿透镜402可以提供横跨非常宽的透视视场的周围环境的适当观察。补偿透镜402的表面可以增强或优化以在补偿透镜元件402结合自由形态光学元件(例如，自由形态楔形物414)起作用时最小化或减小引入到来自真实世界场景的光线的偏移和失真。

图4B示出在一些实施例中的主显示元件、次级显示元件和补偿透镜元件的另一简化示意性表示。更具体地，图4B示出主自由形态显示元件404B和次级自由形态显示元件406B的平铺布置。简化的示意性表示进一步包括补偿透镜元件408B，该补偿透镜元件408B附接到并覆盖主显示自由形态元件404B和次级自由形态显示元件406B的至少一部分。补偿透镜元件408B可以与两个自由形态显示元件结合起作用，以提供横跨非常宽的透视视场的周围环境的适当观察。另外或可替代地，补偿透镜408B的表面可以在补偿透镜元件408B结合自由形态光学元件起作用时增强或优化以最小化或减小引入到来自真实世界场景的光线的偏移和失真。

图12A示出在一些实施例中用于采用以平铺布置的自由形态光学显示系统生成立体图像的方法的高级流程图。在图12A中所示的这些实施例中，该方法可以包括在1202A处识别主显示装置。在这些实施例的一些中，主显示装置限定主竖直视场。主视场可以包括主水平视场、主竖直视场或主水平视场和主竖直视场的组合中的至少一个。另外或可替代地，主显示装置可包括第一自由形态光学元件，诸如图9A的自由形态光学元件908或图9B的940。在这些所示实施例的一些中，主显示装置经由包括可变聚焦元件的第一耦合光学系统耦合到第一图像源(例如，图9A的图像源902或图9B的932)。

在这些所示实施例的一些中，第一耦合光学系统被设计为校正光学像差并且改善由自由形态光学系统呈现的虚拟显示内容的图像质量。主显示装置的主竖直视场可以可选地增加或最大化。在一些实施例中，在1204A处，可以设计(如果尚未设计)或识别(如果已经存在)次级显示装置。次级显示装置包括第二自由形态光学元件，诸如图9A的自由形态光学元件908或图9B的940。另外地或可替代地，次级显示装置可以具有增加的或最大化的次级水平视场。在一些实施例中，次级显示装置的次级竖直视场可以精确地或近似地匹配第一显示装置的主竖直视场。在这些实施例的一些中，在1204A处识别的次级显示装置包括第二自由形态光学元件。

可以通过以平铺布置将次级显示装置附接到主装置以形成平铺显示装置来设计(如果已经存在)或识别(如果尚未存在)平铺显示装置。在图12A中的1206A处所示的这些实施例的一些中，次级显示装置可以以扩展主显示装置的水平视场的平铺布置附接到主装置。在一些实施例中，平铺布置包括水平布置，其中次级显示装置和主显示装置彼此相邻布置。在一些其它实施例中，平铺布置包括竖直布置，其中次级显示装置设置在主显示装置顶上，或主显示装置设置在次级显示装置顶上。

另外或可替代地，一个或多个其它次级显示装置可以以用于平铺显示装置的第一平铺布置附接或集成到主显示装置。在这些实施例的一些中，第一平铺布置包括将一个或多个其它次级显示装置中的至少一些附接到平铺显示装置的水平侧。在一些其它实施例中，第一平铺布置包括将一个或多个其它次级显示装置中的至少一些附接到平铺显示装置的竖直侧。在其它实施例中，第一平铺布置包括将一个或多个其它次级显示装置中的至少一些附接到平铺显示装置的水平侧和竖直侧。在图12A中所示的一些实施例中，平铺显示装置的视场限定满足所需或期望的宽高比的合计的水平视场和合计的竖直视场。在一个实施例中，所需或期望的宽度与高度的宽高比为16:9。在另一个实施例中，所需或期望的宽度与高度的宽高比为4:3。在另一个实施例中，所需或期望的宽度与高度的宽高比为2.35:1。

图12B-E共同示出在一些实施例中用于采用以平铺布置的自由形态光学系统生成立体图像的方法的更详细的流程图。在图12B-E中示出的这些实施例中，限定主视场并且包括第一自由形态光学元件的主显示装置可以在1202B处被识别(如果已经存在)或设计(如果还没有存在)。主显示装置也可以耦合到第一图像源，诸如投影仪束、一个或多个微型投影仪、一个或多个微投影仪等。在这些实施例的一些中，主显示装置可以包括用于自由形态显示设备的可变聚焦机构。

在1204B处，可以可选地增加或最大化主显示装置的主视场。在一些实施例中，主视场可以包括主水平视场、主竖直视场或主水平视场和主竖直视场的组合中的至少一个。在1206B处，可以识别(如果已经存在)或设计(如果还没有存在)次级显示装置。次级显示装置限定次级视场，并且包括第二自由形态光学元件。

在图12B中所示的这些实施例的一些中，次级视场可以精确地或近似地匹配主视场。在一些实施例中，次级视场可以包括次级水平视场、次级竖直视场或次级水平视场和次级竖直视场的组合中的至少一个。在图12B中所示的这些实施例的一些中，在1208B处，可以可选地增加或最大化次级显示装置的次级水平视场。参考标记1210B示出生成可用于集成主显示装置和次级显示装置的三个布置的三个不同过程。

在图12B-E中描述的自由形态显示装置可以包括这三种布置的一种或多种。在一些实施例中，部分地或全部地基于主视场和/或次级视场，可以在1212B处确定用于主显示装置和次级显示装置的第一布置。在一些实施例中，第一布置包括水平布置。

在1214B处，可以采用将主显示装置和次级显示装置彼此相邻地布置的第一布置来扩展自由形态显示设备的水平或对角视场。另外或可替代地，部分地或全部地基于主视场和/或次视场，可在1216B处确定用于主显示装置和次级显示装置的第二布置。在一些实施例中，第二布置可以包括竖直布置。可以在1218B处通过第二布置来扩展自由形态显示设备的竖直和/或对角视场。

在一些实施例中，主显示装置可以放置在次级显示装置顶上。在一些其它实施例中，次级显示装置可以放置在主显示装置顶上。另外或可替代地，部分地或全部地基于主视场和/或次视场，可在1220B处确定用于自由形态显示设备的第三布置。至少通过精确地或近似地将次显示装置的次级视场(例如，次级竖直视场)与主视场(例如，主竖直视场)匹配，可以在1222B处采用第三布置来设计自由形态显示设备。

在一些实施例中，采用用于平铺显示装置的集成的主显示装置和第二显示装置，一个或多个其它次级显示装置可以在1224B处附接到主显示装置或平铺显示装置或者与主显示装置或与平铺显示装置集成，以进一步扩展自由形态显示装置的视场。在一些实施例中，主显示装置可以具有可寻址聚焦能力。次级显示装置在一些实施例中也可以具有可寻址聚焦能力，或者在一些其它实施例中可以不具有可寻址聚焦能力。下面将描述关于可寻址聚焦能力的更多细节。

至少通过将主显示装置和/或一个或多个图像源与光耦合光学机构耦合，可以可选地在1226B处改善由自由形态显示装置产生的立体图像的质量。例如，在一些实施例中，在1226B处，耦合装置(例如，耦合透镜108)可以与主显示装置耦合以校正光学像差。作为另一示例，在一些实施例中，主显示装置可以包括具有一个或多个自由形态折射表面的补偿透镜或与具有一个或多个自由形态折射表面的补偿透镜集成，以最小化或减少引入到来自真实世界场景的光线的偏移和失真，和/或提供周围环境的观察。

在这些实施例中，在此所述的自由形态显示装置提供透视视场。在这些实施例的一些中，补偿透镜可以覆盖主显示装置或主显示装置的自由形态光学元件的至少一部分。通过改变可变聚焦机构的光焦度同样可以在1227B处可选地改变焦距。在可变聚焦机构包括可变形镜或可变形膜镜的一些实施例中，同样可以在1227B处通过改变可变聚焦机构的可变形镜或可变形膜镜的光焦度来可选地改变焦距。

在1228B处，可以可选地采用可变聚焦机构调节自由形态显示装置的一个或多个焦平面的一个或多个焦距。在一些实施例中，至少通过控制和改变单个焦平面的焦距，可以可选地在1230B处设计具有可寻址聚焦功能的主显示装置和/或次级显示装置。在一些其它实施例中，至少通过在多个焦平面之间切换，主显示装置和/或次级显示装置同样可以可选地在1232B处被设计为具有可寻址聚焦功能。

在这些后面的实施例中，多个焦平面中的每一个具有固定的焦距，并且可寻址聚焦功能使得自由形态显示设备能够在投射立体图像时在多个焦平面之间切换。在这些实施例的一些中，多个焦平面的相应焦距可以在1234B处采用可变聚焦机构来寻址。至少通过至少一个补偿透镜和主显示装置的至少一部分，在1236B处可以可选地改善观察周围环境的质量。补偿透镜用于补偿由于真实世界场景和观察者的单眼(采用单眼自由形态显示设备)或双眼(采用双眼自由形态显示设备)之间的自由形态显示设备的存在而引起的观察质量的降低，并且可包括一个或多个折射表面，以最小化或减小引入到来自真实世界场景的光线的偏移和失真，以便补偿主显示装置、次级显示装置和/或一个或多个其它次级显示装置来提供周围环境的适当观察。

图13A示出在一些实施例中用于采用在用于自由形态显示设备的平铺布置中的可变聚焦机构来生成立体图像的方法的高级流程图。在这些实施例中，输入光束可在1302A处从图像源接收。图像源可以包括投影仪束(例如，微型投影仪、激光投影仪等)、微阵列显示器、LCoS或硅上液晶或基于LCD的DLP或数字光处理等中的一个或多个。在1304A处，输入光束的焦距可以部分地或全部地基于至少一个焦平面的定位采用可变聚焦机构来改变，该至少一个焦平面用于由自由形态显示设备产生的并由观察者的单眼(采用单眼自由形态显示设备)或双眼(采用双眼自由形态显示设备)观察的立体图像。

在1306A处，具有改变的焦距的输入光束可以传播到自由形态光学机构。然后可以在1308A处通过自由形态光学机构在用于向人类观察者呈现虚拟或增强现实的至少一个焦平面上生成或投射立体图像。关于图13A中示出的在用于自由形态显示设备的平铺布置中采用可变聚焦机构生成立体图像的方法的更多细节在下面的部分中参考图13B-D来提供。

图13B示出在一些实施例中采用可变聚焦自由形态光学显示系统来生成立体图像的方法的流程图。在图13B中所示的这些实施例中，在1302B处，可以在光学系统处从图像源接收第一光信号。在这些实施例的一些中，图像源包括投影仪束、硅上液晶微阵列显示器或数字光处理微阵列显示系统中的一个或多个。另外或可替代地，在一些实施例中，光学系统可包括可变聚焦系统，诸如图9B的可变聚焦系统936或者图10A的可变聚焦系统。在一些实施例中，光学系统可以进一步包括图像源，并且可变聚焦机构可以包括进一步耦合到一个或多个中继透镜的液体透镜或可变形膜镜。

在1304B处，可以对来自图像源的第一光信号确定第一焦距。在一些实施例中，第一焦距包括由观察由可变聚焦自由形态光学显示系统呈现的虚拟显示内容的用户感知的焦平面的距离，好像聚焦地呈现的虚拟显示内容的一部分位于距用户的该距离处。在这些实施例的一些中，光学系统中的可寻址可变聚焦机构的光焦度可以在1306B处被改变以寻址用于第一光信号的第一焦距。在这些实施例中，光学系统包括单个焦平面并且改变单个焦平面的焦距以将调节提示和会聚提示耦合到改变的焦距。

在这些实施例的一些中，可寻址可变聚焦元件包括液体透镜。在一些其它实施例中，可寻址可变聚焦元件可以包括进一步耦合到一个或多个中继透镜的可变形膜镜。可替代地，在1308B处，可以从多个焦平面识别用于显示第一光信号的第一图像的第一焦平面，以寻址第一光信号的第一焦距。在这些实施例中，光学系统可以包括多个焦平面，并且将虚拟显示内容并行地呈现在多个焦平面中的至少两个上，以将调节提示和会聚提示耦合到改变的焦距。

在1310B处，会聚提示和调节提示都可以被寻址、记录或与在多个焦平面之间变化的第一焦距相关联(共同被寻址)。在一些实施例中，可以通过将会聚提示和调节提示与第一焦距耦合来寻址会聚提示和调节提示，而不将调节提示或会聚提示联系到固定焦距。在1312B处，可以使用自由形态光学显示装置采用第一光信号生成或呈现二维第一图像，用于通过使用至少第一焦距来观察。

图13C-D共同示出在一些实施例中用于采用可变聚焦自由形态光学系统来生成立体图像的过程的流程图。在这些实施例中，可以以与对1302B或1302A所描述的方式相同或基本上类似的方式在1302C处从图像源接收输入光束。在1304C处，接收的输入光束可以通过可变聚焦机构中的第一光学器件传播到一个或多个分束器。

在一些实施例中，第一光学器件可以包括双凸透镜，以将接收的输入光束转换成平行光束。在通过第一光学器件之后，输入光束可以在1306C处通过一个或多个分束器重定向到可变聚焦机构中的第二光学器件。在一些实施例中，第二光学器件包括可变形镜、可变形膜镜或提供可变聚焦能力或功能的任何其它合适的光学器件。在1308C处，部分地或全部地基于一个或多个焦平面的定位，可以通过改变可变聚焦机构的光焦度来改变可变聚焦机构的焦距，立体图像将由自由形态显示设备呈现在该一个或多个焦平面上。

在输入光束已经由具有改变的焦距的可变聚焦机构处理之后，输入光束可在1310C处重定向回到一个或多个分束器。可以在1312C处识别改变焦平面的要求。在一些实施例中，所述要求可以包括例如焦平面或焦距多快地改变(在空间上，时间上，或在空间上和时间上)、焦平面或焦距是否连续或周期性地改变、或与改变焦平面或焦距相关联的任何其它要求。

在一些实施例中，在1312C处识别的要求也可以用于确定如何控制光焦度。部分地或全部地基于在1312C处识别的要求，可以在1314C处提供一个或多个控制来改变可变聚焦机构的焦距。部分地或全部地基于改变的焦距，可变聚焦机构的焦距可以在1316C处采用一个或多个控制来改变。采用改变的焦距，可以在1318C处将输入光束传播到自由形态光学机构，并且采用自由形态光学机构可以在1320C处在一个或多个焦平面上生成或投射立体图像，用于对一个或多个人类观察者的虚拟或增强现实呈现。

图14A示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的高级流程图。在这些实施例中，可以在1402A处从图像装置接收光线束，以产生用于光线束中的虚拟对象的虚拟显示内容。可以在1404A处从光线束提取虚拟对象的信息。例如，可以在1404A处从随后用于在虚拟显示内容中再现虚拟对象的光线束的记录提取发射第一光线的虚拟对象的颜色、辐射和/或深度。部分地或全部地基于从光线束提取的信息，在1406A处可生成调制的光线束。然后可以在1408A处采用调制的光线束和自由形态光学显示装置来呈现虚拟显示内容。关于图14A中所示的用于采用自由形态光学系统来生成光场显示的方法的更多细节将在下面参考图14B-D来提供。

图14B示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的流程图。在图14B中所示的这些实施例中，该方法可以在1402B处识别在第一光线中表示的虚拟对象，并且在1404B处识别或确定用于在自由形态显示系统中采用第一光线来显示虚拟对象的一个或多个参数。在一些实施例中，用于第一光线的一个或多个参数可以包括在呈现虚拟对象中的第一光线的辐射率、由自由形态显示系统呈现的虚拟内容显示中的虚拟对象的虚拟深度、用于由第一光线呈现的虚拟对象的部分(例如，一个或多个像素)的第一光线的部分的位置、所需或期望的分辨率、自由形态显示装置的视场、一个或多个人体工程学参数、自由形态显示装置的一个或多个形状因子、或其任何组合。

在1406B处，该方法可以至少部分地基于用户的视觉系统的调节范围来确定用于合成与虚拟对象对应的光场的第一光线。在这些实施例的一些中，该方法可以通过在记录或产生可随后用于在虚拟显示内容中再现虚拟对象时调制或映射不同颜色、辐射和/或发射第一光线的虚拟对象的光样本来确定第一光线。该方法可以从光线中提取辐射和/或深度信息，并且使用所提取的信息来确定将光线投射到哪里，哪个图像投影仪用于投射相应的光线，以及图像投影仪在哪里投射相应的光线。在1408B处，该方法可以将来自图像源束的第一光线发送到自由形态光学显示装置。

在这些实施例的一些中，图像源束包括多个投影仪，每一个投影仪注入一条或多条光线以合成虚拟显示内容的光场。在1410B处，该方法可以至少部分地基于无辅助的调节范围来合成与识别的虚拟对象对应的光场。在这些实施例的一些中，该方法可以合成光场以在一定调节范围处寻址调节提示和会聚提示。另外或可替代地，该方法可通过使用从映射虚拟对象的光样本而确定的第一光线来合成用于虚拟对象的光场，以呈现覆盖在由用户使用自由形态光学显示装置感知的真实世界视图上的立体视图。在1412B处，该方法可以进一步采用自由形态光学显示装置呈现用于虚拟对象的第一虚拟显示内容。在一些实施例中，该方法可以在等于在1410B中识别或确定的第一焦距的虚拟图像距离处呈现虚拟显示内容。

图14C-D共同示出在一些实施例中用于采用自由形态光学系统生成光场显示的方法的另一更详细的流程图。在这些实施例中，可以在1402C处从图像源接收光线束，以产生用于光线束中的虚拟对象的虚拟显示内容。在一些实施例中，图像源包括多个投影仪。在这些实施例的一些中，图像源中的投影仪的数量可以部分地或全部地基于虚拟显示内容的期望或所需分辨率、人眼的角分辨率、其组合或任何其它合适因子来确定。

在1404C处可以识别光线束中的虚拟对象，并且可以在1406C处从光线束提取虚拟对象的信息。在这些实施例的一些中，提取的信息可以包括要在虚拟显示内容中呈现的虚拟对象的颜色、辐射和/或深度信息。在一些实施例中，光线束可以在1408C处部分地或全部地基于从光线束提取的信息来调制。

在一些实施例中，调制光线束可以由计算系统来执行，该计算系统将虚拟对象的不同颜色、辐射和/或深度的光样本映射成调制的光样本或调制的光线束。在1410C处，可以部分地或全部地基于从光线束提取的信息来确定调制的光线束要被投射的到哪里。在1412C处，可以确定哪个图像投影仪将用于投射调制的光线或调制的光线束。

在1414C处，在一些实施例中，也可以确定图像投影仪将在哪里投射调制的光线或调制的光线束以呈现光场。然后部分地或全部地基于调节范围，可以在1416C处生成调制的光线束，用于合成与虚拟对象对应的光场。在一些实施例中，计算系统可以生成具有作为一个或多个光线束的方向的函数的调制颜色、辐射和/或深度的调制光束。可以在1418C处确定用于呈现在虚拟内容显示中的虚拟对象的一个或多个参数。

在一些实施例中，一个或多个参数包括例如一个或多个折射特性的一个或多个特性、一个或多个反射表面的一个或多个特性、或一个或多个光学表面的任何其它合适的参数。调制的光线束然后可在1422C处传播到耦合光学组件以形成中间光瞳和/或以改善图像质量。调制的光线束可以在1424C处被中继到自由形态光学显示装置，并且可以部分地或全部地基于在1418C处识别或确定的一个或多个参数而在1426C处在自由形态光学显示装置内反射和/或折射。与虚拟对象对应的光场可以在1428C处部分地或全部地基于无辅助的调节范围来合成，以采用焦距来寻址调节提示和会聚提示。然后可以在1430C处采用自由形态光学显示装置呈现用于虚拟对象的虚拟显示内容。在这些实施例的一些中，虚拟显示内容的虚拟图像距离等于焦距。

在前述说明书中，已经参考本发明的具体实施例描述了本发明。然而，将显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序，而不影响本发明的范围或操作。因此，说明书和附图被认为是说明性的而不是限制性的。