用于主动立体的强度调制光图案

摘要

本公开涉及按图案来投射光，其中该图案包含具有不同强度的分量(例如，斑点)。该图案可以基于以下各点的网格：与第一强度相关联的初始点，以及初始点之间的具有第二强度的各点，以此类推。该图案可相对于捕捉该图案的相机来旋转，其中捕捉到的图像使用基于立体图像中的圆点的立体匹配的主动深度感测。

说明书

背景技术

在如主动立体系统所使用的主动深度感测中，投影仪投射诸如红外(IR) 点或线等光图案以照亮被感测的场景。所投射的图案随后被(立体系统中的两 个或更多个)相机/传感器捕捉，其中一个或多个图像被处理以计算深度图等。

例如，在立体系统中，立体相机捕捉来自不同视点的两个图像。随后，例 如，使用立体图像对来执行深度估计的一种方式是找出各图像之间的局部片的 对应关系，例如以将左图像中的每一投射的和感测到的局部点图案与右图像中 的对应局部点图案进行相关。一旦匹配，图像内投射的图案可以彼此相关，且 相关点的一个或多个特征之间的不同被用来估计(例如，三角测量)距该特定 点对的深度。

IR激光器已被用来产生这样的图案。为了允许立体系统在大范围的深度上 工作，需要更强的激光器(约1W或更大)。在这样的功率级，多模激光器是 更加成本高效的。然而，使用多模激光器导致在较近距离处看起来模糊的设计 图案。这在主动立体深度感测中是有问题的，因为将左和右点对的正确各对进 行相关在点被模糊时造成更多误差。

概述

提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一 些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必 要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简言之，本文描述的主题的各方面中的一个或多个涉及用于主动感测的强 度调制光图案。包括激光器和衍射光组件的投影仪将光图案朝场景进行投射。 衍射光组件被配置成将光图案作为多个子图案集合来输出，其中每一集合与不 同强度范围相对应。

一个或多个方面涉及生成包括第一点集合的网格，将第一集合中的每一个 点与第一强度范围内的强度值进行关联，在第一点集合的各点的子集之间添加 第二点集合，以及将第二集合中的每一个点与第二强度范围内的强度值进行关 联。如有必要，这一细分过程可被重复。可基于第一点集合和第二点集合来编 码衍射光组件。另一变型是生成具有大致均匀密度遍布的随机点集合，其中它 们中的随机子集具有指定强度范围，而其余具有不同的强度范围。

一个或多个方面涉及将光投射通过衍射光组件以投射图案，该图案包括与 第一强度范围相对应的各斑点的第一集合和与第二强度范围相对应的各斑点 的第二集合。第一集合中的各斑点的位置基于初始网格布局，并且第二点集合 中的各斑点的位置基于第一集合中的各斑点的位置。感测第一斑点集合和第二 斑点集合作为左和右立体相机图像。处理图像以将左图像中的各斑点与右图像 中的各斑点进行相关，其中图像的扫描线没有与初始网格布局对齐。

结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。

附图简述

作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示 相同或相似的元素，附图中：

图1是根据一个或多个示例实现的表示可被用来投射和捕捉用不同强度来 调制的光图案的示例组件的框图。

图2是根据一个或多个示例实现的具有到场景中的不同强度的投射点的示 例的表示。

图3A和3B是根据一个或多个示例实现的可基于网格来设计(且点细分经 由网格来对齐)以促进具有带不同强度的各点的图案的表示。

图4是根据一个或多个示例实现的具有不同强度的进一步点细分的表示。

图5是根据一个或多个示例实现的表示对点进行布局以用于不同强度(诸 如用于将对应数据编码到衍射光元件)的示例步骤的流程图。

图6是根据一个示例实现的表示投射具有不同强度的光衍射图案的设备的 示例组件的框图。

图7和8是根据一个或多个示例实现的所投射的图案的无旋转对旋转如何 影响包括所投射的图案的捕捉到的图像的扫描的表示。

图9是根据一个或多个示例实现的不同强度的各点可如何在图像的一部分 中被捕捉并随时间移动的表示。

图10是表示其中可实现在本文中所描述的各实施例的一个或多个方面的 游戏系统形式的示例性、非限制性计算系统或操作环境的框图。

详细描述

本文描述的技术的各方面一般涉及将光图案投射到场景中，其中光图案被 配置成提供对被照亮对象的增强的图案匹配，包括在不同的深度处。在一个方 面，光图案包括不同强度的光的混合点(例如，诸如圆点等斑点)。本技术还 通过使图案包括半随机分布的各点来利用图案的深度相关外观。

如将理解的，相邻各点的峰值强度是不同的。这造成强度中的与场景深度 无关的局部变化，从而允许立体匹配正确地工作。

应当理解，本文中的任何示例均是非限制的。例如，所投射的光图案可以 使用斑点，在本文中一般例示为圆点，但圆点可以是任何形状。作为另一示例， 圆点可被例示为根据三角形网格来安排，然而，这只是一个示例，并且可以实 现其他安排(例如，六边形网格)。可以使用图案的旋转角(下文描述)、来 自本文描述的那些的不同角度或强度峰值的值(例如，对于大、中、以及小强 度)，以此类推。因此，本发明不限制于在此描述的任何具体的实施例、方面、 概念、结构、功能或示例。相反，此处所描述的实施例、方面、概念、结构、 功能或示例中的任一个都是非限制性的，并且本发明一般能够以在主动深度感 测以及图像处理中提供益处和优点的各种方式来使用。

图1示出其中图像捕捉系统或子系统104的立体相机102和103捕捉时间 上同步的图像(例如，相机被“同步锁相”)的示例系统。在一个实现中，相 机捕捉红外(IR)图像，因为IR不反映场景的可见外观(如在视频会议和对 象建模应用中，这是高度有利的)。如可容易地理解的，在一些诸如工作室环 境等场景中，可存在两个以上深度感测相机。此外，一个或多个其他相机，如 RGB相机，可存在于给定系统中，且这样的其他相机可被用来帮助例如将不同 立体图像中的点对进行相关。

在图1中，示出了将诸如斑点(例如，圆点)的图案或线图案等IR图案 投射到场景上的投影仪106，尽管可以使用其他圆点形状和/或图案类型。出于 简明的目的，圆点在下文概括地描述。通过用相对大量的分布式红外圆点照亮 场景，相机102和103捕捉纹理数据作为红外图像数据的一部分。如本文描述 的，为促进左图像和右图像之间的更准确的点匹配，图案中的圆点被安排成具 有不同的强度，且该图案还可相对于相机旋转。具有强度调制的图案可被设计 (例如，编码)到将激光分散到场景(例如，作为圆点图案)的衍射光组件(例 如，一衍射光元件或各衍射光元件的组合)。

图2例示了这一投射概念。表示为立体相机102和103之间的圆圈的投影 仪106将圆点图案投射到场景222上。圆点图案是使用不同强度来调制的，且 圆点图案可相对于相机的朝向来旋转(例如，15度)。相机102和103在圆点 从场景222以及(可能的)背景中的物体表面反射时捕捉这些圆点。一般而言， 捕捉到的圆点的一个或多个特征指示距反射表面的距离。注意，图2不旨在缩 放，也不传达任何大小、距离、点分布图案、点密度等。然而，将理解，不同 强度存在于圆点图案中，且圆点图案可相对于相机旋转。

注意，投影仪106的放置可在相机的外部(例如，图1)或相机中间(图 2)，或在另一位置，如在相机之一或两者的上方或下方。本文的示例决不限 制相机和/或投影仪相对于彼此的位置，且类似地，相机可位于相对于彼此的不 同位置。

在一个实现中，示例图像捕捉系统或子系统104包括经由相机接口110控 制相机102和103的操作的控制器108。例示的控制器还经由投影仪接口112 控制投影仪106的操作。例如，相机102和103，诸如通过控制器信号(或对 于每一相机不同的信号)，被同步(同步锁相)以同时捕捉立体图像。投影仪 106可被打开或关闭、暂停、或例如以其他方式具有可控制地改变的一个或多 个参数。

相机102和103捕捉到的图像116被提供给图像处理系统或子系统118。 在一些实现中，图像处理系统118和图像捕捉系统或子系统104或其各部分可 被组合成单个设备。例如，家庭娱乐设备可包括图1中所示的所有组件(以及 其他未示出的组件)。在其他实现中，图像捕捉系统或子系统104的各部分(或 全部)，如相机和投影仪，可以是耦合到游戏控制台、个人计算机、移动设备、 专用处理设备等的分开的设备。确实，游戏控制器在图10中被例示为可被用 于将图像处理成深度数据的一个环境。

图像处理系统或子系统118包括处理器120和包含一个或多个图像处理算 法124的存储器122。一个或多个深度图可经由算法124获得，如通过提取匹 配的特征(如点和/或线)。例如，如所知的，诸如在美国公布专利申请no. 20130100256中描述的，取决于从投影仪到反射表面的距离和/或从相机到反射 表面的距离，不同点或其他所投射的元素在被捕捉时具有不同特征，包括强度 (亮度)。还如所知的，(例如，使用同步锁相立体相机)同时拍摄的不同图 像中的点可以彼此相关，如通过匹配同时捕捉的同一场景的RGB彩色图像之 间的小(例如，RGB)片。因而，使用捕捉到的图像，已知算法可以通过匹配 每一图像中的所投射的光分量(例如，圆点)确定各单独的深度相关特征(深 度图)，使用匹配圆点之间的某些特征的不同来确定深度。这是可经由立体图 像处理获得深度图的一种方式。

图1中还示出了到图像处理系统或子系统118的接口132，如用于连接键 盘、游戏控制器、显示器、定点设备、用于语音命令的话筒等，以适于供用户 与使用深度图的应用等进行交互。

图3A和3B连同图4示出了细分的概念，其中较大强度的圆点(其中具有 “X”形状的较大圆点)被安排成三角形网格布局330(图3A)。在图3B中， 较大强度圆点的每一个三角形被较小强度圆点(圆圈)的三角形来细分，从而 提供图案332。在图4中，这些子图案中的每一个被更小强度圆点(相对于图 3B中的圆圈而言大小更小的圆圈)来进一步细分。因而，图4表示较高强度圆 点、中等强度圆点、以及较低强度圆点的三角形图案440。相对于分布图案以 及相对于彼此的圆点大小只是旨在示出不同相对强度或强度范围的圆点的分 布，且不旨在传达任何特定强度水平或范围。

图5概括了细分，在步骤502开始，其中在该示例中，所指定的顶点之间 距离的三角形网格被生成，例如包括正三角形或基本上正三角形(或其他多边 形)。强度峰值被设置成高值，然而，并非是对于每一个点相同的强度值，高 值可被随机地设置成在高范围内(步骤504)，例如200-255之间(其中255 是最大强度)。注意，如本文所使用的，强度“范围”包括具有少至一个固定 强度值的范围，例如范围可以从200到200。

步骤506表示在先前生成的点之间添加各点，例如作为较小三角形集合 (“细分”)，如图3B所示。步骤508将这些点的强度峰值随机地设置在较 低范围内，例如100-125之间。注意，这些示例强度范围没有彼此重叠，但具 有在某种程度上重叠的不同范围是可行的；如果加权随机技术可被用来将重叠 范围中的大多数值偏置得彼此远离的话。

步骤510评估细分是否已完成到最低所需水平，这是可配置的。因而，通 过返回步骤506，点的另一细分可被可任选地添加，(如在图4中例示的)， 具有更低的强度范围，以此类推，直至达到所需图案和强度/强度范围集合。结 果是包含各子图案的投射图案，在该示例中是三角形子图案的不同集合，如较 大强度子图案集合和较小强度子图案集合(图3B)，或小、中、以及大强度子 图案集合(图4)，以此类推。一般而言，集合/子图案经由细分来交织。

注意，一旦设计了强度调制图案，如经由图5的示例步骤，则一个或多个 衍射光元件可按已知方式制造以输出该图案。各种眼睛安全衍射光元件安排在 上述临时专利申请序列号61/812,232中描述。然而，作为另一(可任选)步骤， 步骤512表示将各点中的至少一些伪随机地重新安排(例如，轻度“抖动”) 到经修改的位置，如以进一步降低重复间隔。通常，点的这一重新定位相对于 其相应三角形(或其他网格图案)而言是很小的，由此正多边形或基本上正多 边形限制被修改成只是大致/近似正多边形。

图6是其中衍射光组件660(例如，一个或多个衍射光元件)被配置成输 出强度调制的照明图案的一个这样的示例配置。组件660可被构建到设备662 内或耦合到设备662，如内置到家庭娱乐设备或作为其一部分。激光器664(例 如，多模)提供光源。立体相机666A和666B捕捉来自所照亮的对象(例如， 人668)的反射，并且按需使用捕捉到的图像；注意，在给定实现中，可以使 用单个相机。

如图6所表示的，衍射光组件660基于本文所描述的所设计的图案将激光 分散成大量斑点，如100,000数量级的圆点。图案中的一些在图1中由来自元 件的实线且由对象/人668和图像平面670上的圆点来表示。注意，对于本文的 附图中的任一，图6或其组件都不旨在是按比例绘制或传达任何特定距离、分 布等。

图7和8解说了另一方面，即经调制图案的旋转。在图7，左图案770L 的一部分的相机捕捉的点被示出在右图案770R的各部分的旁边。一般而言， 点A与点C相关，且被假定为是匹配的。然而，在从左至右扫描(右)图像的 像素行以匹配图案时，存在显著重复，由此点B(或可能的点D)可被错误地 与点A匹配。

在图8，经旋转的左图案880L的一部分的相机捕捉的点被示出在经旋转的 右图案880R的各部分的旁边。如可看到的，在扫描像素行以匹配点A时，例 如，点B或点D都将不被遇到。以此方式，旋转(例如，在该示例中旋转15 度，但可以使用其他旋转角)帮助提供沿扫描线(x方向)的较大重复间隔。

旋转和强度分布在图9的部分图像表示990中概括地示出，其中各点由圆 圈示出且(一些相对)强度由其大小示出。像素由点后的方框表示。注意，在 图9中，圆圈的不同直径只暗示强度变化；圆圈和网格方形的大小不旨在传达 任何特定尺度、分辨率等，也不传达任何特定强度值或相对强度值(除了在至 少两个不同范围内)。此外，点的密度和/或它们的大小或分布不旨在表示任何 实际密度和/或分布。

如可看到的，提供了用不同强度来调制的光图案。该图案可以基于网格， 且被投射，使得捕捉该光图案的相机不与该图案所基于的网格对齐。强度调制 的图案提供更稳健的立体匹配/深度感测。

示例操作环境

可以容易地理解以上所描述的实施方式及其替换方式可实现在任何合适 的计算设备上，包括游戏系统、个人计算机、平板电脑、DVD、机顶盒、智能 电话等。当多个这样的设备被链接在一起时，这样的设备的组合也是可行的。 为了描述的目的，以下描述了一个游戏(包括媒体)系统作为一个示例性操作 环境。

图10是示例游戏和媒体系统1000的功能框图并且更详细地示出各功能组 件。控制台1001具有中央处理单元(CPU)1002以及便于处理器访问各种类 型的存储器的存储器控制器1003，各种类型的存储器包括闪存只读存储器 (ROM)1004、随机存取存储器(RAM)1006、硬盘驱动器1008，以及便携 式媒体驱动器1009。在一种实现中，CPU1002包括1级高速缓存1010和2级 高速缓存1012，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器进行 的存储器访问周期的数量，从而提高了处理速度和吞吐量。

CPU1002、存储器控制器1003、以及各种存储器设备经由一个或多个总 线(未示出)互连。在此实现中所使用的总线的细节对理解此处所讨论的关注 主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、 存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部 总线中的一个或多个。作为示例，这样的架构可以包括工业标准体系结构(ISA) 总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子 标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总 线。

在一个实现中，CPU1002、存储器控制器1003、ROM1004以及RAM1006 被集成到公用模块1014上。在此实现中，ROM1004被配置为经由外围部件互 联(PCI)总线或类似的以及ROM总线(两者都未示出)或类似的连接到存储 器控制器1003的闪存ROM。RAM1006被配置为多个双倍数据速率同步动态 RAM(DDRSDRAM)模块，它们被存储器控制器1003通过分开的总线(未 示出)独立地进行控制。硬盘驱动器1008和便携式媒体驱动器1009被示为通 过PCI总线和AT附加(ATA)总线1016连接到存储器控制器1003。然而， 在其他实现中，也可以备选地应用不同类型的专用数据总线结构。

三维图形处理单元1020和视频编码器1022构成了视频处理流水线，用于 进行高速度和高分辨率(例如，高清晰度)图形处理。数据通过数字视频总线 (未示出)从图形处理单元1020传输到视频编码器1022。音频处理单元1024 和音频编解码器(编码器/解码器)1026构成了对应的音频处理流水线，用于 对各种数字音频格式进行多通道音频处理。通过通信链路(未示出)在音频处 理单元1024和音频编解码器1026之间传送音频数据。视频和音频处理流水线 向A/V(音频/视频)端口1028输出数据，以便传输到电视机或其它显示器/扬 声器。在例示出的实施方式中，视频和音频处理组件1020、1022、1024、1026 以及1028被安装在模块1014上。

图10示出了包括USB主控制器1030和网络接口(NWI/F)1032的模块 1014，网络接口1032可包括有线和/或无线组件。USB主控制器1030被示为通 过总线(例如，PCI总线)与CPU1002和存储器控制器1003进行通信，并作 为外围控制器1034的主机。网络接口1032提供对网络(例如，因特网、家庭 网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制 解调器等的各种不同的有线和无线接口组件中的任何一种。

在图10中描绘的示例实现中，控制台1001包括用于支持四个控制器 1041(1)-1041(4)的控制器支持子部件1040。控制器支持子部件1040包括支持与 诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和/或无线操作所需 的任何硬件和软件组件。前面板I/O子部件1042支持电源按钮1043、弹出按 钮1044，以及任何其它按钮和任何LED(发光二极管)或暴露在控制台1001 的外表面上的其它指示器等多个功能。子部件1040和1042经由一个或多个线 缆子部件1046或类似的与模块1014通信。在其他实现中，控制台1001可以 包括另外的控制器子组件。所示出的实现还示出了被配置为发送和接收可传递 给模块1014的信号(例如来自遥控器1049)的光学I/O接口1048。

存储器单元(MU)1050(1)和1050(2)被示为可以分别连接到MU端口 “A”1052(1)和“B”1052(2)。每一个MU1050都提供附加存储，在其上面可以存 储游戏、游戏参数、及其它数据。在一些实现中，其他数据可以包括数字游戏 组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的一 个或多个。当被插入到控制台1001中时，每个MU1050可由存储器控制器1003 访问。

系统供电模块1054向游戏系统1000的组件供电。风扇1056冷却控制台 1001内的电路。

包括机器指令的应用1060被通常存储在硬盘驱动器1008上。当控制台 1001通电时，应用1060的各个部分被加载到RAM1006和/或高速缓存1010 和1012中以供在CPU1002上执行。总得来说，应用1060可包括一个或多个 程序模块，用于执行各种显示功能，诸如控制对话屏幕供呈现在显示器上(例 如，高分辨率监视器)、基于用户输入控制会话以及控制控制台1001和外部 连接的设备指尖的数据传输和接收。

可以通过简单地将系统连接到高分辨率监视器、电视机、视频投影仪、或 其它显示设备来将游戏系统1000用作独立系统。在此独立模式下，游戏系统 1000允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。 然而，随着宽带连接的集成通过网络接口1032而成为可能，游戏系统1000还 可以作为更大的网络游戏社区或系统的参与组件来操作。

结语

尽管本发明易于作出各种修改和替换构造，但其某些说明性实施例在附图 中示出并在上面被详细地描述。然而应当了解，这不旨在将本发明限于所公开 的具体形式，而是相反地，旨在覆盖落入本发明的精神和范围之内的所有修改、 替换构造和等效方案。