首页> 中国专利> 用于头戴式光场显示器的基于可移动LED阵列和微透镜阵列的光场投影仪

用于头戴式光场显示器的基于可移动LED阵列和微透镜阵列的光场投影仪

摘要

头戴式光场显示系统(HMD)包括两个光场投影仪(LFP),一个眼睛一个,各自包括操作地耦合至微透镜阵列(MLA)的固态LED发射器阵列(SLEA)。SLEA和MLA被放置成使得从SLEA的LED发出的光通过来自MLA的至多一个微透镜到达眼睛。HMD的LFP包括耦合至微透镜阵列以便紧密放置在眼睛之前而无需任何附加的中继或耦合光学器件的可移动固态LED发射器阵列,其中LED发射器阵列相对于微透镜阵列物理移动,以便机械复用LED发射器来经由机械复用实现分辨率。

著录项

  • 公开/公告号CN104246578A

    专利类型发明专利

  • 公开/公告日2014-12-24

    原文格式PDF

  • 申请/专利权人 微软公司;

    申请/专利号CN201380021923.9

  • 发明设计人 A·G·诺瓦兹克;R·G·弗莱克;

    申请日2013-04-18

  • 分类号G02B27/01(20060101);

  • 代理机构31100 上海专利商标事务所有限公司;

  • 代理人潘明婳

  • 地址 美国华盛顿州

  • 入库时间 2023-12-18 08:15:34

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-04-03

    未缴年费专利权终止 IPC(主分类):G02B27/01 授权公告日:20161207 终止日期:20190418 申请日:20130418

    专利权的终止

  • 2016-12-07

    授权

    授权

  • 2015-04-29

    专利申请权的转移 IPC(主分类):G02B27/01 变更前: 变更后: 登记生效日:20150409 申请日:20130418

    专利申请权、专利权的转移

  • 2015-01-14

    实质审查的生效 IPC(主分类):G02B27/01 申请日:20130418

    实质审查的生效

  • 2014-12-24

    公开

    公开

说明书

背景

三维(3D)显示器可通过在光场中呈现所描绘物体的3D结构的忠实印象而用于许多目的,包括视觉研究、远程设备的操作、医学成像、外科训练、科学视觉化和虚拟原型,以及许多其它虚拟和增强现实应用。3D显示器通过模拟实体视像、运动视差和其它光学提示来增强观看者对深度的感知。实体视像向用户的每个眼睛提供不同的图像,使得视网膜像差指示图像内所模拟的物体深度。相反,运动视差随时间根据用户改变的位置改变用户所观看的图像,这再一次模拟了图像内物体的深度。然而,当前的3D显示器(诸如头戴式显示器(HMD))对固定焦距(focal distance)处的每个眼睛演示两个稍微不同的二维(2D)图像,而不考虑所示物体的所认定的距离。如果所演示物体的距离不同于显示器的焦距,则来自运动视差的距离提示也不同于焦点提示,导致眼睛或者聚焦在错误的距离或者物体显现为焦点未对准。焦点提示和其它深度提示之间长时间的差异可引起用户不适。实际上,畸变的主要原因在于典型的3D显示器在二维(2D)表面上演示一个或多个图像,而用户在该二维表面上不得不聚焦在物理2D表面本身提供的深度提示上而非所描绘场景的图像中所绘虚拟物体所提示的深度提示。

头戴式显示器(HMD)对于各种应用是3D显示器的有用且有前景的形式。尽管早期HMD使用小型CRT显示器,但更现代的HMD使用各种显示技术,诸如硅上液晶(LCOS)、MEMS扫描仪、OLED或DLP。然而,HMD设备仍旧庞大且昂贵,并且通常仅提供有限的视野(即,40度)。而且,如同其它3D显示器,HMD通常不支持焦点提示并以帧顺序的方式显示图像,其中在用户头部运动和相应视觉提示的显示之间出现时滞(即延迟)。用户头部方向、光学焦点提示和立体图像之间的差异可能会使用户不适,且可导致晕动和其它不合需要的副作用。此外,HMD通常难以被使用处方眼镜的、具有视力缺陷的人使用。这些缺点又导致基于HMD的虚拟/增强现实系统的接受度有限。

概述

产生立体图像的头戴式显示系统在它们提供具有高分辨率的大视野并支持正确的光学焦点提示以使得用户的眼睛能够聚焦在所显示的物体上如同这些物体位于距用户认定距离处一般时更为有效。光学焦点提示和立体图像之间的差异可能会使用户不适,且可导致晕动或其它不合需要的副作用,因此正确的光学提示被用于创建更为真实的三维效果并最小化副作用。此外,头戴式显示系统纠正不完美的视觉并且考虑眼睛处方(包括对散光的纠正)。

描述了提供具有高分辨率特征的相对较大视野以及使用户的眼睛能够聚焦在所显示的物体上如同这些物体位于距用户的认定距离处的正确光学焦点提示的HMD。若干这样的实现具有轻量设计的特征,轻量设计在尺寸上紧凑、展现较高的光效率、使用低功率消耗并且具有低固有设备成本的特征。某些实现适于用户的不完美视觉(例如,近视、散光等)。

本文公开的各个实现还针对向用户的每个眼睛呈现增强的立体光场的头戴式光场显示系统(HMD)。HMD包括两个光场投影仪(LFP),一个眼睛一个,它们各自包括操作地耦合至微透镜阵列(MLA)并置于每个眼睛之前的固态LED发射器阵列(SLEA)。SLEA和MLA被放置成使得从SLEA的LED发出的光通过来自MLA的至多一个微透镜到达眼睛。若干这样的实现针对HMD LFP,它包括耦合至微透镜阵列以便紧密放置在眼睛之前的可移动固态LED发射器阵列,而不使用任何附加的中继或耦合光学器件,其中LED发射器阵列相对于微透镜阵列物理移动,以便机械复用LED发射器来实现所需分辨率。

各种实现还针对“机械复用”小得多的数目(且更为实际)的LED(大约250000个)以便按时序产生密集的177000000个LED阵列的效果。机械复用可通过移动LED光发射器相对于微透镜阵列的相对位置来实现,并通过有效地利用每一LED来产生构成所得到的显示图像的多个像素来增加显示设备的有效分辨率而不增加LED的数目。六边形采样也可增加并最大化2D光学图像设备的空间分辨率。

提供本概要从而以简要形式引入将在下面具体实施例中进一步描述的概念的选择。本概要不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用来限制所要求保护的主题的范围。

附图说明

当结合附图进行阅读时,可以更好地理解以上概述以及以下对说明性实施例的详细说明。出于说明各实施例的目的,在附图中示出各实现的示例构造;然而,各实现不局限于所公开的具体方法和手段。在附图中:

图1是头戴式光场显示系统(HMD)的光场投影仪(LFP)的实现的侧视图图示;

图2是图1所示的头戴式光场显示系统(HMD)的LFP的实现的侧视图图示,该LFP具有多个主要光束形成单个像素的特征;

图3示出了光是如何被人眼处理用于有限深度提示的;

图4示出了用于产生光源从有限距离散发的效果的图1和2和LFP的示例性实现;

图5示出了用于本文所公开的某些实现的示例性SLEA几何形状;

图6是可被本文所述的各个实现使用的显示处理器的实现的框图;

图7是表示本文公开的各个实现的头戴式光场显示设备(HMD)中图6的显示处理器对LFP的使用的操作流程图;

图8是图6的显示处理器对LFP的机械复用的操作流程图;以及

图9是可结合示例实现和方面使用的示例计算环境的框图。

具体实施方式

对本文公开的各个实现,HMD包括两个光场投影仪(LFP),一个眼睛一个,这些LFP又包括固态LED发射器阵列(SLEA)和微透镜阵列(MLA),MLA包括具有统一直径(例如,大约1mm)的多个微透镜。SLEA包括多个固态发光二极管(LED),它们被集成到具有用于驱动LED的逻辑和电路的基于硅的芯片上。SLEA耦合至MLA,使得SLEA和MLA之间的距离等于构成MLA的微透镜的焦长(focal length)。这使得从SLEA(对应于LED)的表面上的特定点发出的光线在其通过MLA 120时聚焦成“准直”(即光线平行)光束。因此,来自一个特定点源的光将得到将进入眼睛的一个准直光束,准直光束具有大约等于其所通过的微透镜的直径的直径。

在固态LED阵列中,光发射孔径可被设计成与像素间距相比相对较小,这与其它显示阵列相比,允许对每个像素集成多得多的逻辑和支持电路。在具有增加的逻辑和支持电路的情况下,固态LED可被用于基于HMD用户所测得的头部姿态的快速图像生成(包括,对于某些实现,快速无帧(frameless)图像生成),以便减少和最小化物理头部运动和所生成的显示图像之间的延迟。最小化的延迟又减少了晕动的发生以及当HMD用在虚拟或增强现实应用中时的其它负面的副作用。此外,与计算机生成的3D图像固有的立体深度提示一致的焦点提示还可直接被添加到所生成的光场。应注意到,固态LED可被快速驱动,令它们与基于QLED和LCOS的HMD区分开。而且,尽管基于DPL的HMD可能非常快,但它们相对昂贵,因此固态LED为这样的实现提供了更经济的选择。

为了实现大视野而不采用放大组件或中继光学器件,显示设备被置于靠近用户的眼睛。例如,置于每个眼睛前15mm的20mm的显示设备可提供大约66度的立体视野。

图1是头戴式光场显示设备(HMD)的光场投影仪(LFP)100的实现的侧视图图示。LFP 100处于距用户的眼睛130的所设定的目距104处。LFP 100包括固态LED发射器阵列(SLEA)100和耦合的微透镜阵列(MLA)120,使得SLEA和MLA之间的距离(被称为微透镜间隔102)等于构成MLA的微透镜(它们又产生准直光束)的焦长。SLEA110包括多个固态发光二极管(LED),诸如LED 112,它们被集成到具有驱动LED所需的逻辑和电路的基于硅的芯片(未示出)上。类似地,MLA 120包括多个微透镜,诸如微透镜122a、122b和122c,它们具有统一的直径(例如,大约1mm)。应注意,图1所示的具体组件和特征没有彼此按比例显示。应注意到,对本文公开的各个实现,构成SLEA的LED的数目大于构成MLA的透镜的数目一个或多个数量级,尽管在任何给定时间仅特定的LED可发光。

SLEA的多个LED(例如,LED 112)表示可被独立激活的最小的发光单元。例如,SLEA 110中的LED中的每一个可被独立控制,并被设置成在特定时间以特定强度输出光。尽管在图1中示出了构成SLEA 110的某一数目的LED,但这仅用于说明目的,且任何数目的LED可在当前技术所承受的约束的范围内被SLEA 110支持(在本文进一步讨论)。此外,因为图1表示LFP 100的侧视图,SLEA 110中LED的附加列在图1中不可见。

类似地,MLA 120包括多个微透镜,包括微透镜122a、122b和122c。尽管所示的MLA 120包括某个数目的微透镜,这仅是用于说明目的的,且可在当前技术所承受的约束的范围内在MLA 120中使用任何数目的微透镜(在本文进一步讨论)。此外,如上所述,因为图1是LFP 100的侧视图,可能存在MLA 120中在图1中不可见的微透镜的附加列。此外,MLA 120的微透镜可被打包或排列成三角形、六边形或矩形阵列(包括正方形阵列)。

在操作中,SLEA 110中的每一LED,诸如LED 112可从LED 112的发射点发光,并朝向MLA 120发散。当这些光发射通过某些微透镜,诸如微透镜122b时,对于该微透镜122b,使光发射准直并朝向眼睛130,具体地朝向由虹膜136的内缘定义的眼睛的孔径。因此,光发射106中被微透镜122b校准的部分在角膜134处进入眼睛130,并在眼睛130的后部在视网膜132上收敛成单个点或像素140。另一方面,当来自LED 112的光发射通过某些其它微透镜,诸如微透镜122a和122c时,使用于这些微透镜122a和122c的光发射准直并定向为远离眼睛130,具体而言远离虹膜136的内缘所定义的眼睛的孔径。因此,光发射108被微透镜122a和122c校准的部分不进入眼睛130,因此不被眼睛130感知。还应注意到,进入眼睛的准直光束106的焦点被感知为从无限距离发出。而且,从MLA 120进入眼睛的光束,诸如光束106是“主要光束”,而不从MLA 120进入眼睛的光束是“次要光束”。

由于LED在所有方向上发光,来自每一LED的光可照射MLA中的多个微透镜。然而,对于每一个别LED,仅通过这些微透镜之一的光被定向到眼睛(通过眼睛瞳孔的入口孔径),而通过其它微透镜的光被定向为远离眼睛(在眼睛瞳孔的入口孔径之外)。被定向到眼睛的光在本文中被称为主要光束,而被定向为远离眼睛的光在本文中被称为次要光束。构成微透镜阵列的多个微透镜的间距和焦长被用于实现这一效果。例如,如果眼睛和MLA之间的距离(目距104)被设置为15mm,MLA将需要大约直径1mm并具有焦长2.5mm的透镜。否则,次要光束可能会被定向到眼睛中,并产生移位但模拟预期图像的“重影”。

图2是图1中所示的头戴式光场显示系统(HMD)的LFP的实现的侧视图图示,该LFP具有多个主要光束106a、106b和106c形成单个像素140的特征。如图2中所示,光束106a、106b和106c从SLEA 110的表面分别对应于构成SLEA 110的三个个别LED 114、116和118的点处发出。如图所示,构成SLEA 110的LED(包括三个LED 114、116和118)的发射点彼此分开等于每一微透镜的直径的距离,即透镜到透镜的距离(“微透镜阵列间距”或简称为“间距”)。

由于SLEA 110中的LED具有与构成MLA 120的多个微透镜相同的间距(即间隔),通过MLA 120的主要光束彼此平行。因此,当眼睛朝向无限远聚焦时,来自三个发射器的光(经由眼睛的晶状体)收敛到虹膜上的单个点上,并因此被用户感知为位于无限距离处的单个像素。由于眼睛的瞳孔直径根据光照条件变化但大致在3mm到9mm的范围中,来自多个(例如,范围从7到81个)个别LED的光可被组合以产生一个像素140。

如图1和2所示,MLA 120可被置于SLEA 110之前,但SLEA 110和MLA 120之间的距离被称为微透镜间隔102。微透镜间隔102可被选择,使得从构成SLEA 110的每一LED发出的光通过MLA 120的每一微透镜。MLA 120的微透镜可被安排成从SLEA 110的每一个别LED发出的光通过MLA 120的仅一个微透镜可被眼睛130观看。尽管来自SLEA 110中各个LED的光可通过MLA 120中微透镜的每一个,但是来自特定LED(诸如LED 112或116)的光可仅通过至多一个微透镜(分别是122b和126)对眼睛130可见。

例如,如图2中所示,从第一LED 116发出的光束106b可通过微透镜126被目距112处的眼睛130观看。类似地,来自第二LED 114的光106a可通过微透镜124在目距112处的眼睛130处观看,而来自第三LED 118的光106c可通过微透镜128在目距112处的眼睛130处观看。尽管来自LED 114、116和118的光通过MLA 120中的其它微透镜(未示出),但仅仅通过微透镜114、116和118的、来自LED 114、116和118的光106a、106b和106c对眼睛130可见。而且,由于各个LED一般是单色的但确实存在于三原色的每一个中,这些LED 114、116和118中的每一个可对应于三个不同颜色,例如分别对应于红、绿和蓝,且这些颜色可按照不同的强度发出以便在像素140处混合在一起来创造所需的任何得到的颜色。或者,其它实现可使用多个LED阵列,这些LED阵列具有可例如被放置在四个SLA(2x2)元素下的特定的红、绿和蓝阵列。在此配置中,输入可在眼睛处被组合以提供例如1mm级对比在LED阵列中产生的的10μm级的颜色。因此,这种方法可为这样的实现节省子像素计数并减少颜色转换的复杂性。

当然,对某些实现,SLEA可不必包括RGB LED,例如因为红色LED需要不同的制造工艺;因此某些实现可包括仅包括蓝色LED,其中绿和红光由蓝光经由例如使用诸如量子点的荧光材料层的转换而产生。

然而,应注意,在图1和2中所示的实现不支持其中投影图像被叠加在真实世界的视图上的增强现实应用。相反,在这些附图中描述的实现仅提供所生成的显示图像。然而,在图1和2中所示的HMD的替换实现可被实现用于增强现实。例如,对某些增强现实应用,SLEA 110产生的图像可被投影到半透明镜上,该半透明镜具有类似于MLA 120的性质但是具有使得用户能够通过该镜观看真实世界的附加特征。同样地,用于实现增强现实应用的其它实现可使用与HMD集成的摄像机来组合合成图像投影与真实世界视频显示。这些和其它这样的变型是本文所述实现的若干替换实现。

在图1和2所述的实现中,准直主要光束(例如106a、106b和106c)一起在用户的眼睛130的视网膜上绘制像素,该像素被用户感知为从无限距离散发。然而,有限深度提示被用于提供更一致且更全面的3D图像。图3示出了光如何被人类眼睛130处理用于有限深度提示,而图4示出了用于产生从有限距离散发的光源的效果的图1和2的LFP 100的示例性实现。

如图3中所示,从距眼睛的特定距离150处的物体142的尖(或“点”)144发出的光106'将在它进入眼睛130的瞳孔时具有某一发散度。当眼睛130对距眼睛130距离150的物体142正确聚焦时,来自物体142的该点144的光然后将收敛到视网膜132上的单个图像点140(即对应于一个或多个视锥细胞中的光受体的像素)。这种“正确聚焦”向用户提供用于判断至物体142的距离150的深度提示。

为了近似这一效果,且如图4中所示,LFP 100产生在眼睛130的瞳孔处具有类似发散度的光的波前。这是通过选择LED发射点114'、116'和118'使得这些点之间的距离小于MLA间距(与图1和2中用于无限距离处的像素而等于MLA间距相反)而达成的。当这些LED发射点114'、116'和118'之间的距离小于MLA间距时,得到的主要光束106a'、106'和106c'仍各自准直但不再彼此平行;相反它们发散(如图所示)以在视网膜132上的一个点(或像素)140中交集,给出眼睛130的聚焦状态用于相应的有限距离的深度提示。每一个别光束114'、116'和118'仍旧准直,因为显示芯片到MLA的距离未改变。最终结果是显现为源自特定距离150处而非无限远的物体的聚焦图像。然而,应注意,尽管来自三个个别MLA透镜124、126和128(即,每一个别光束的中心)的光106a'、106b'和106c'在视网膜上的单个点140处相交,来自三个个别MLA透镜中的每一个的光不分别收敛在视网膜上的焦点,因为SLEA到MLA的距离未改变。相反,每一个别光束的焦点140'位于视网膜之外。

HMD生成聚焦提示的能力依赖于来自若干主要光束的光在眼睛中组合以形成一个像素的事实。因此,每一个别光束例如仅贡献大约1/10到1/40的像素强度。如果眼睛在不同的距离处聚焦,来自这些若干主要光束的光将散开并显现为模糊的。因此,这些实现的聚焦深度提示的实际范围使用采用全瞳孔的人眼的景深(DOF)与HMD的DOF(但是入口孔径减少至一个光束的直径)之间的差。为了说明这一点,考虑以下示例:

首先,在眼睛瞳孔直径4mm且显示角分辨率2弧分的情况下,如果眼睛聚焦在22英尺距离处的物体上,则几何形状DOF从11英尺延伸至无限远。对DOF存在基于衍射的组件,但在这些条件下,几何组件将主导。相对地,1mm光束将增加DOF成范围从2.7英尺到无限远。换言之,如果这一显示设备的操作范围被设置成在DOF范围上限包括无限远,则所公开的显示器的操作范围将在用户面前大约33英寸处开始。呈现为显现为比该距离近的所显示的物体将开始显现为模糊,即使用户正确地聚焦在它们上。

其次,HMD的工作范围可被移动以便以限制操作上限为代价包括缩短的操作范围。这可通过稍微减少SLEA和MLA之间的距离来进行。例如,调整MLA焦点用于3英尺意味着工作距离将在23英寸到6.4英尺的范围上在HMD中产生正确的聚焦提示。从而有可能通过包括可调整SLEA和MLA之间的距离的机制来调整HMD的操作范围,使得可针对HMD的使用优化操作范围。例如,玩游戏可呈现长距离处的物体(建筑物、风景),而用于修理PC或对患者动手术的教材通常显示附近的物体。

用于某些实现的HMD还可适于用户的眼睛130的不完美。由于眼睛的外表面(角膜134)贡献了眼睛的光学系统的成像折射的大部分,用分段球形补片(对波前显示器的每一个光束一个)近似这一表面可纠正诸如近视和散光的不完美。实际上,纠正可被转换成合适的表面,该表面于是为每一光束产生角度纠正以近似理想的光学系统。

对某些实现,光传感器(光电二极管)可被嵌入到SLEA 110中以传感来自反射回朝向SLEA的光(类似于“红眼现象”)的每一光束在视网膜上的位置。向SLEA添加光电二极管根据IC集成能力而言是容易达成的,因为像素到像素的距离较大并为光电二极管支持电路提供足够的空间。采用这一嵌入式光传感器阵列,有可能测量眼睛的实际光学性质并纠正透镜像差而无需来自之前眼科检查的处方。这种机制在某些光由HMD发出时起作用。取决于光电二极管有多敏感,替换实现可依赖于用于昏暗场景的某种最小背景照明、当光线不足时暂停调整、在使用开始时使用专用调整模式和/或使用IR照明系统。

精确地监视眼睛实时地测量眼间距和眼睛的实际方向,产生用于改善计算机生成的3D场景的精度和逼真度的信息。实际上,透视和立体图像对生成使用对观察者眼睛位置的估计,且知道每一眼睛的实际方向可向软件提供关于正在观察场景的哪一部分的提示。

然而,关于本文公开的各个实现,应注意,MLA间距与显示设备得到的分辨率无关,因为MLA本身不位于像平面中。相反,这一显示设备的分辨率由可多精确地控制光束方向以及可使这些光束多紧密地准直来指示。

较小的LED产生较高的分辨率。例如,2.5mm的MLA焦长和直径1.5微米的LED发射孔径将产生2.06弧分即大约人眼的角分辨率两倍的几何光束发散度。这将产生等同于在大约20英寸的观看距离处的85DPI(每英寸点数)显示器的分辨率。在66度的视野上,这等同于1920像素的宽度。换言之,在两维上,这一配置将导致几乎4百万像素并超过当前高清电视(HDTV)标准的显示器。然而,基于这些参数,SLEA将需要具有大约20mm乘以20mm的有效面积,被1.5微米大小的光发射器完全覆盖——即,总共大约177000000个LED。然而,这样的配置由于若干原因是不切实际的,包括在LED之间没有用于所需布线或驱动电子器件的空间的事实。

为克服这一点,本文公开的各个实现针对“机械复用”大致250,000个LED按时序产生密集的177000000个LED阵列的效果。这种方法利用固态LED所具有的高效率和快速切换速度的特征两者。一般而言,LED效率青睐具有导致高辐射的高电流密度的小设备,这又允许构造其中大多数光是从一小孔径产生的LED发射器。这种类型的红和绿色LED已经为光纤应用生产了超过十年,且高效率蓝色LED现在可用类似小的孔径生产。小设备大小由于低设备容量还有利于快速切换时间,使得LED能够在数纳秒内开关,而小型、专门优化的LED可实现亚纳秒的切换时间。快速切换时间允许一个LED按时序为多个发射器位置产生光。尽管LED发射孔径对于所提议的显示设备而言是小的,但是发射器间距没有这样的约束。因此,LED显示芯片是在LED之间具有足够空间来容纳驱动电路的小发射器的阵列。

换言之,为了实现分辨率,显示芯片的LED被复用以将芯片上的实际LED的数目减少到特定数目。同时,复用释放了芯片表面积,这些面积用于驱动电路以及可能如前所述用于传感功能的光电二极管。青睐稀疏发射器阵列的另一个原因在于容纳三组不同的、交错的发射器LED(每一个颜色一个,颜色是红色、绿色和蓝色)的能力,这可使用不同的技术或附加的设备来将所发出的波长转换成特定的颜色。

对于某些实现,每一LED发射器可被用于显示多达721个像素(721:1复用比率),使得代替实现177000000个LED,SLEA使用大致250,000个LED。尽管因数721是通过以因数15增大六边形像素到像素距离来得到的(即,15x间距比率,即两个六边形阵列中点数目组件的比率是3*n*(n+1)+1,其中n是较粗略阵列的点之间省略的点的数目)。其它复用比率取决于可用技术约束是可能的。然而,像素的六边形排列看上去为给定数目的像素提供最高可能的分辨率而同时减轻混叠伪像。因此,本文公开的实现基于六边形网格,尽管也可使用二次或矩形网格,但本文不旨在将所公开的实现限于仅六边形网格。而且,应注意,MLA结构和SLEA结构不必使用相同的图案。例如,六边形MLA可使用具有正方形阵列的显示芯片,反之亦然。然而,六边形看上去是圆形的较佳近似,且为MLA提供改善的性能。

图5示出了用于本文所公开的某些实现的示例性SLEA几何形状。在附图中,叠加在X轴302和Y轴304上的具有网格特征的增量上的是5微米,SLEA几何形状以8x间距比率为特征(与上述15x间距比率作对比),这对应于LED“轨道”330的两个中心之间的距离,该距离被测量为目标像素310的数目(即,LED轨道330的每一中心间隔分开八个目标像素310)。在附图中,由加号(“+”)表示的目标像素310指示所需LED发射器在表示上述177000000个LED配置的排列的显示芯片表面上的位置。在这一示例性实现中,每一目标像素之间的距离是1.5微米(如上所述,与提供HDTV保真度一致)。星号(类似于“*”)是每一LED“轨道”330(以下讨论)的中心,且因此表示实际物理LED的存在,且所示的七个LED被用于模拟每一目标像素310的所需LED。尽管每一LED可从具有1.5微米直径的孔径发出光,这些LED在附图中间隔分开12微米(对上述15x间距比率,分开22.5微米)。假定当代的集成电路(IC)几何形状使用22nm到45nm的晶体管,这在LED之间提供了用于电路和其它布线的充足间隔。

在由图5的配置表示的这样实现中,SLEA和MLA相对于彼此机械移动以便为每一实际LED实现“轨道”。在某些特定实现中,这是通过移动SLEA、移动MLA或同时移动两者来进行的。无论实现,移动的位移是小的——在大约30微米的数量级上——这小于人类头发的直径。而且,一个扫描周期的可用时间大约与常规显示器的一个帧时间相同,即每秒一百个帧的显示器将需要每秒一百个扫描周期。这是容易达成的,因为移动具有克的分数的重量的物体小于人类头发的直径的距离每秒一百次不需要许多能量,且可或者使用例如压电或者使用电磁致动器来容易地完成。对某些实现,可在驱动系统中使用电容或光学传感器以使该运动稳定化。而且,由于运动是严格周期性的且独立于所显示的图像内容,致动器可使用谐振系统,谐振系统节省功率并避免振动和噪声。此外,尽管可能存在本文公开的各个实现所预期的用于移动阵列的各种机械和机电方法,采用在SLEA和MLA之间采用液晶矩阵(LCM)来提供运动的替换实现也被预期并据此公开。

图5还示出了使用标记为LED“轨道”路径322的圆圈所表示的圆形扫描轨迹的复用操作。对这样的实现,实际的LED在其轨道期间当它们最靠近LED被期望呈现的目标像素310的所需位置(由附图中最佳适合像素320“X”符号示出)时被照射。尽管这一近似在这一特定配置中不是特别良好的(由许多“X”符号离“+”目标像素310位置稍远的事实明证);然而,该近似随扫描轨迹的直径的增加而改善。

当根据机械位移的幅度计算15x间距配置的均值和最大位置误差时,显然圆形扫描路径不是最佳的。相反,Lissajous曲线(它在x和y方向上的正弦偏转以不同频率发生的情况下生成)看上去提供极大减少的误差,且因此正弦偏转通常被选择,因为它自然地从谐振系统中出现。例如,SLEA可被安装在弹性弯曲台(例如,音叉)上,该弹性弯曲台在X方向上移动而MLA附连于在垂直的Y方向上移动的类似的弹性弯曲台。假定3:5频率比,这在每秒一百帧的上下文中将意味着,这些台以300Hz和500Hz(或其任何倍数)操作。实际上,这些频率对仅使用少量亚微米的偏转的系统是实际的,因为3:5Lissajous轨迹当以34毫米的偏转操作时,将具有0.97微米的最差情况的位置误差以及仅0.35毫米的均值位置误差。

替换实现可关于扫描移动可如何实现来使用变型。例如,对某些实现,一方法将是在显示芯片的前面旋转MLA。这样的方法具有角分辨率沿从旋转中心向外延伸的半径增加的性质,这是有用的,因为外部的光束更受益于较高的分辨率。

还应注意,固态LED是当今最高效的光源之一,尤其对于其中冷却因总光输出不大而不是问题的小型高电流密度的设备。具有等同于本文所述的各个SLEA实现的发射面积的LED如果采用全功率(即使没有聚焦光学器件)可容易地在仅瞳孔前15mm的距离照瞎眼睛,且因此仅使用低功率光发射。而且,由于MLA将LED发出的光的大部分直接聚焦到瞳孔中,LED使用甚至比正常更少的电流。此外,LED开启非常短的脉冲以实现用户将感知为明亮的显示器。降低总体显示器亮度防止瞳孔收缩,否则瞳孔收缩会增加眼睛的景深从而降低光学深度提示的有效性。相反,本文公开的各个实现使用相对低光强度的范围以增加显示器“动态范围”,以便在同一场景中显示非常明亮和非常昏暗的物体两者。

HMD的接受度受到它们引起晕动的倾向的限制,这是通常被归因于视觉提示时常被人脑与来自本体感受和前庭系统的信号集成以确定身体位置并保持平衡的事实的问题。因此,当视觉提示背离内耳和身体移动的感觉时,用户变得不适。已经在本领域认识到该问题超过20年,但没有关于可容忍多大滞后的共识。实验表明60毫秒的延迟过高,且下界尚未被建立,因为大多数当前可用的HMD由于使用可用显示技术的图像生成流水线所需的时间而仍具有高于60毫秒的延迟。

然而,本文公开的各个实现由于极大增强的LED显示器的速度和较快的刷新率克服了这一缺点。这使得HMD中的姿态传感器能够在小于1毫秒内确定用户的头部位置,且这一姿态数据然后可用于相应地更新图像生成算法。此外,所提议的显示器可通过扫描LED显示器使得在视野上同时进行改变而没有任何存留来被更新,这是一种不同于其它显示技术的方法。例如,尽管像素在LCOS显示器中持续发光,其强度以扫描线的方式被周期性调整,这引起快速移动场景的撕裂伪像。相反,本文公开的各个实现具有显示器的快速(且对于某些实现而言是无帧的随机更新的特征。(如本领域的技术人员所知并理解地,无帧呈现减少了运动伪像,这结合低延迟位置更新可缓解虚拟现实病的出现)。

图6是可被本文所述的各个实现使用的显示处理器165的实现的框图。显示处理器165可跟踪LFP 100中运动中的LED孔径的位置、每一微透镜在MLA120中的位置、调整构成SLEA的LED的输出以及处理数据以便呈现所需光场。光场可以例如是3D图像或场景,且该图像或场景可以是诸如3D电影或电视广播的3D视频的一部分。各种源可向显示处理器165提供光场。

显示处理器165可跟踪和/或确定LED孔径在LFP 100中的位置。在一些实现中,显示处理器165还可使用与眼睛跟踪相关联的位置和/或跟踪设备来跟踪由眼睛130的虹膜136形成的孔径的位置。可使用用于确定位置的本领域中已知的任何系统、方法或技术。

显示处理器165可使用诸如以下参考图9描述的计算设备500的计算设备来实现。显示处理器165可包括各种组件,包括眼睛跟踪器240。显示处理器165还可包括如前所述的LED跟踪器230。显示处理器165还可包括光场数据220,该数据可包括3D图像或场景的几何描述供LFP 100向用户的眼睛显示。在一些实现中,光场数据220可以是所存储或记录的3D图像或视频。在其它实现中,光场数据220可以是计算机、视频游戏系统或机顶盒等的输出。例如,可从输出描述3D场景的数据的视频游戏系统接收光场数据220。在另一示例中,光场数据220可以是处理3D电影或3D电视广播的3D视频播放器的输出。

显示处理器165可包括像素呈现器210。像素呈现器210可控制LED的输出,使得向LFP 100的观看者显示由光场数据210描述的光场。像素呈现器210可使用LED跟踪器230的输出(即,通过MLA 120中每一个别微透镜在观看孔径140a和140b处可见的像素)和光场数据220来确定LED的输出,该输出将导致向LFP 100的观看者正确地呈现光场数据220。例如,像素呈现器210可为每一LED确定适当的位置和强度以便呈现与光场数据220对应的光场。

例如,对于不透明场景物体,像素的颜色和强度可由像素呈现器210通过按最靠近目标像素的交点处的场景几何的颜色和强度来确定而被确定。可使用各种已知的技术来进行对这一颜色和强度的计算。

在一些实现中,像素呈现器210可激励光场的像素呈现中的聚焦提示。例如,像素呈现器210可呈现光场数据以包括诸如基于光场几何(例如,各个物体在光场中的距离)的适于光场的视网膜模糊的容纳和梯度以及显示距离112的聚焦提示。可使用用于激发聚焦提示的本领域中已知的任何系统、方法或技术。

图7是表示本文公开的各个实现的头戴式光场显示设备(HMD)中图6的显示处理器165对LFP的使用的操作流程图700。在701,显示处理器165标识供在人眼的视网膜上呈现的目标像素。在703,显示处理器从多个LED中确定至少一个LED用于显示该像素。在705,显示处理器将该至少一个LED移动至相对于MLA并对应于该目标像素的最佳适合像素320位置,且在707,该显示处理器使得该LED发出特定强度的主要光束达特定持续时间。

图8是图6的显示处理器165对LFP的机械复用的操作流程图800。在801,显示处理器165为每一目标像素标识最佳适合像素。在803,该处理器使LED绕轨道而行,且在805,当LED位于要被呈现的目标像素的最佳适合像素位置时发出主要光束以便在用户的眼睛的视网膜上至少部分呈现一像素。

还应注意,尽管在与HMD一起使用的上下文中描述了本文提供的概念和方案,但是本发明还构想了其它替换实现,诸如供一般用于投影方案中。例如,本文所述的各个实现可用于仅仅提高具有较小MLA(即,透镜)对SLEA(即,LED)比率的显示系统的分辨率。在一个这样的实现中,可使用较小的MLA元件(在10μm到50μm的数量级上,与1mm作对比)来实现8x乘以8x的方案,其中阵列的运动允许更大的分辨率。当然,这样的实现的某些好处在提供其它好处(诸如增加的分辨率)时可能会丢失(诸如聚焦)。此外,替换实现还可将电移动阵列的结果投入到光导方案中以启用增强现实(AR)应用。

图9是可结合示例实现和方面使用的示例计算环境的框图。计算系统环境只是合适的计算环境的一个示例,并非旨在对使用范围或功能提出任何限制。

可以使用很多其他通用和专用计算机系统环境或配置。适合使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机(PC)、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、网络PC、微型计算机、大型计算机、嵌入式系统、包括任何以上系统或设备的分布式计算环境等。

可以使用诸如程序模块等可由计算机执行的计算机可执行指令。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。也可使用其中任务由通过通信网络或其他数据传输介质链接的远程处理设备执行的分布式计算环境。在分布式计算环境中,程序模块和其他数据可以位于包括存储器存储设备的本地和远程计算机存储介质中。

参考图9,用于实现此处所描述的各方面的示例性系统包括计算设备,诸如计算设备500。在其最基本的配置中,计算设备500通常包括至少一个处理单元502和存储器504。取决于计算设备的确切配置和类型,存储器504可以是易失性的(如随机存取存储器(RAM))、非易失性的(诸如只读存储器(ROM)、闪存等)或两者的某种组合。该最基本配置在图9中由虚线506来示出。

计算设备500可以具有附加特征/功能。例如,计算设备500还可包含附加存储(可移动和/或不可移动),包括但不限于磁盘、光盘或磁带。这样的附加存储在图9中由可移动存储508和不可移动存储510示出。

计算设备500通常包括各种计算机可读介质。计算机可读介质可以是可由设备500访问的任何可用介质,且包括易失性和非易失性介质、可移动和不可移动介质。

计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。存储器504、可移动存储508和不可移动存储510都是计算机存储介质的示例。计算机存储介质包括但不限于,RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或可用于存储信息且可以由计算设备500访问的任何其它介质。任何这样的计算机存储介质都可以是计算设备500的一部分。

计算设备500可包含允许该设备与其它设备通信的通信连接512。计算设备500也可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等的输入设备514。还可包括输出设备516,诸如显示器、扬声器、打印机等。所有这些设备在本领域是众知的并且不必在此详细讨论。

计算设备500可以是由网络互连的多个计算设备500之一。如可以理解的,网络可以是任何合适的网络,每一个计算设备500可用任何合适的方式通过通信连接512与网络连接,并且每一个计算设备500可用任何合适的方式与网络中的其他计算设备500中的一个或多个进行通信。例如,网络可是组织或家庭等内部的有线或无线网络,并且可包括到诸如因特网等外部网络的直接或间接耦合。

应该理解,此处描述的各种技术可以结合硬件或软件,或在适当时结合两者的组合来实现。由此,当前公开的主题的过程和装置或其特定方面或部分可采取包含在诸如软盘、CD-ROM、硬盘驱动器或任何其它机器可读存储介质等有形介质中的程序代码(即,指令)的形式,其中当程序代码被加载到诸如计算机等机器内并由其执行时,该机器成为用于实现当前所公开的主题的装置。

在程序代码在可编程计算机上执行的情况下,计算设备通常包括处理器、该处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。一个或多个程序可以实现或利用结合本发明公开的主题,例如通过使用API、可重用控件等描述的过程。这样的程序可以用高级过程语言或面向对象编程语言来实现,以与计算机系统通信。然而,程序可以用汇编或机器语言来实现。在任何情形中,语言都可以是编译语言或解释语言,且它可以与硬件实现相结合。

尽管示例性实现可涉及在一个或多个独立计算机系统的上下文中利用当前所公开的主题的各方面,但本主题不受此限制,而是可以结合任何计算环境,诸如网络或分布式计算环境来实现。此外,当前所公开的主题的各方面可在多个处理芯片或设备中或跨多个处理芯片或设备实现,且存储可类似地跨多个设备来起作用。这些设备可能包括例如PC、网络服务器、以及手持式设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式公开的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号