使用结构化光和飞行时间的深度映射

摘要

一种深度相机组件(DCA)确定DCA与DCA的视场内的局部区域中的对象之间的距离。DCA包括将用时间载波信号调制的已知的空间图案投射到局部区域中的照明源。成像装置捕获投射到局部区域中的经调制的图案。成像装置包括包含不同的像素组的检测器，每个像素组被激活以在不同的时间捕获光。因此，不同的像素组捕获来自局部区域的在时间上调制的图案的不同相位。DCA从由不同的像素组捕获的相位确定来自照明源的光被反射并由成像装置捕获的时间，并且还基于由成像装置捕获的空间图案的变形来确定DCA与局部区域中的对象之间的距离。

说明书

技术领域

本公开总体上涉及虚拟或增强现实系统，并且更具体地涉及用于获得局部区域的深度信息的虚拟现实系统的耳机。

背景技术

虚拟现实(VR)系统、或增强现实(AR)系统可以利用以三维(3D)捕获用户周围的环境。然而，传统的深度相机成像架构的尺寸相对大、重、并且消耗大量的电力。用于获得场景的3D信息的常见深度相机成像架构的示例包括：飞行时间(直接检测脉冲和编码波形)、结构化光(SL)、以及立体视觉。不同的深度相机成像架构提供不同的优势和劣势，因此某些深度相机成像架构可以在不同的操作条件下提供比其他的相机架构更好的性能。例如，立体视觉架构在环境照明下运行良好，而具有主动照明源的飞行时间架构可能受到来自环境照明的信噪比限制的损害。然而，由于常规深度相机成像架构的尺寸相对大，包括深度相机的许多系统通常使用为特定使用情况配置的单一类型的深度相机成像架构。随着头戴式系统越来越多地用于在各种操作条件和环境中执行更广泛的功能，选择单一深度相机成像架构来获得头戴式系统和用户周围的区域的深度信息可能损害头戴式系统的用户体验。

发明内容

虚拟现实(VR)或增强现实(AR)系统环境中的耳机包括深度相机组件(DCA)，深度相机组件被配置为确定耳机与围绕耳机的区域中的一个或多个对象之间并且包括在耳机中的成像装置的视场(即“局部区域”)内的距离。DCA包括诸如相机的成像装置、以及被配置为将诸如对称或准随机点、网格、或水平条的指定图案发射到场景上的照明源。例如，照明源将网格或一系列水平条发射到局部区域上。基于投射到局部区域表面上时的图案变形，DCA可以利用三角测量确定表面与耳机之间的距离。

除了控制发射到局部区域上的指定图案之外，DCA还将时变强度嵌入到图案中。捕获描述从照明源发射的光从局部区域中的对象反射回成像装置的净往返时间的信息(“飞行时间信息”)，DCA具有用于捕获耳机局部区域深度信息的附加机制。基于由成像装置捕获的发射光的时间，DCA确定DCA与反射来自照明源的光的局部区域中的对象之间的距离。例如，DCA确定DCA与局部区域中的对象之间的距离一英寸大约二(2)纳秒，以便由包含在DCA中的成像装置捕获发射光。为了捕获飞行时间信息以及结构化光信息，照明源利用具有指定频率(例如30兆赫)的时间载波信号来调制由照明源发射的图案的时间和空间强度。

成像装置捕获来自局部区域的光，包括由照明源发射的由空间和时间轮廓规定的光。为了确定来自由局部区域中的对象反射的照明源的飞行时间信息，成像装置包括具有像素组阵列的检测器。每个像素组可以包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的积分时间中的不同相移相关联，该载波信号被照明源用来调制发射的图案。检测器中的不同的像素组接收不同的控制信号，因此不同的像素组在由控制信号指定的不同的时间捕获光。这允许检测器中的不同的像素组捕获调制图案的不同相位。例如，彼此最接近的四个像素组接收不同的控制信号，这些控制信号使得四个像素组中的每一个在不同的时间捕获光，因此由四个像素组中的每一个捕获的光相对于由四个像素组中的其他像素组捕获的光具有九十(90)度相移。DCA比较四个像素组之间的相对信号，以得到对于对象位置的载波信号的净相位或角度，该对象位置将基于相对视场在检测器上变化。得到的净相位或角度基于检测器中不同的像素组捕获的光的信号差值。使用任何合适的技术，DCA补偿相对信号中的时间偏移以确定发射到局部区域上的结构化图案的图像。例如，DCA通过反转相对信号的相位角以缩放相对逐像素辐照度、对来自相邻像素的相对信号进行求和以去除时间偏差、或者基于相对信号的时间偏移以及来自检测器中的不同像素得到的净相位或角度中的偏移来执行其他合适的操作来补偿相对信号中的时间偏移。因此，由成像装置在DCA中捕获的帧捕获结构化光(即，空间)数据和飞行时间(即，时间)数据，由DCA改进局部区域的深度信息的整体估计。由于结构化光数据和飞行时间数据为相对于DCA的局部区域的相对深度提供不同的信息，通过DCA捕获帧中的结构化光数据和飞行时间数据提高了深度估计的准确性、精度和稳健性。在单个帧中捕获结构化光和飞行时间数据还会降低DCA对移动或运动变化的敏感度，允许DCA使用单个检测器利用飞行时间数据和结构化光数据的相对强度，提供更小、更轻、且更具成本效益的DCA实现。

附图说明

图1是根据一个实施方式的包括虚拟现实系统的系统环境的框图。

图2是根据一个实施方式的虚拟现实耳机的图。

图3是根据一个实施方式的虚拟现实耳机的前刚性体的截面。

图4A是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的示例。

图4B是根据一个实施方式的操作图4A中所示的示例性检测器积分定时的控制信号的示例。

图4C是根据一个实施方式的由图4A中所示的示例性检测器中的不同的像素组针对正弦载波捕获光的示例。

图4D是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的另一个示例。

图5A示出根据一个实施方式的成像装置和将结构化光图案投射到局部区域上的照明源的示例布置。

图5B示出根据一个实施方式的成像装置和将在时间和空间上调制的结构化光图案投射到局部区域上的照明源的示例布置。

附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员根据以下描述将容易认识到，在不脱离本文描述的公开的原理或利益的情况下，可以采用本文所示的结构和方法的替代实施方式。

具体实施方式

系统概述

图1是VR控制台110在其中运行的虚拟现实(VR)系统环境100的一个实施方式的框图。尽管图1为了说明的目的示出VR系统环境，但是本文所描述的部件和功能还可以包括在各种实施方式中的增强现实(AR)系统中。如这里所使用的，VR系统环境100还可以包括向用户呈现用户可以与之交互的虚拟环境的虚拟现实系统环境。图1所示的VR系统环境100包括VR耳机105和耦接到VR控制台110的VR输入/输出(I/O)接口115。尽管图1示出包括一个VR耳机105和一个VR I/O界面115的示例系统100，但是在其他实施方式中，在VR系统环境100中可以包括任何数量的这些部件。例如，可以有许多VR耳机105，每个耳机具有相关联的VR I/O界面115，每个VR耳机105和VR I/O界面115与VR控制台110通信。在替代配置中，VR系统环境100中可以包括不同的和/或附加的部件。另外，在一些实施方式中，结合图1所示的一个或多个部件描述的功能可以以与结合图1所描述的方式不同的方式分布在部件当中。例如，VR控制台110的一些或全部功能由VR耳机105提供。

VR耳机105是向用户呈现内容的头戴式显示器，其包括用计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)增强的物理、现实环境的视图。在一些实施方式中，所呈现的内容包括经由从VR耳机105、VR控制台110或两者接收音频信息的外部装置(例如，扬声器和/或听筒)呈现的音频，并且基于音频信息呈现音频数据。下面结合图2和图3进一步描述VR耳机105的实施方式。VR耳机105可以包含一个或多个刚性体，刚性体可以刚性地或非刚性地彼此耦接在一起。刚性体之间的刚性耦接导致耦接的刚性体充当单个刚性体。相反，刚性体之间的非刚性耦接允许刚性体相对于彼此移动。

VR耳机105包括深度相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。VR耳机105的一些实施方式具有与结合图1描述的那些部件不同的部件。另外，在其他实施方式中，由结合图1描述的各种部件提供的功能可以不同地分布在VR耳机105的部件当中。

DCA 120捕获描述VR耳机105周围的区域的深度信息的数据。DCA 120的一些实施方式包括一个或多个成像装置(例如，相机、摄像机)和被配置为发射结构化光(SL)图案的照明源。如下面进一步讨论的，结构化光将诸如对称的或准随机点的图案、网格、或水平条的指定图案投射到场景上。例如，照明源将网格或一系列水平条发射到VR耳机105周围的环境上。基于三角测量、或在投射到表面上时感知到的图案变形，确定场景内的对象的深度和表面信息。

为了更好地捕获VR耳机105周围区域的深度信息，DCA 120还捕获飞行时间信息，飞行时间信息描述从照明源发射的光从VR耳机105周围的区域中的对象反射回到一个或多个成像装置的时间。在各种实现中，DCA 120同时或几乎同时捕获飞行时间信息与结构化光信息。基于要由一个或多个成像装置捕获发射光的时间，DCA 120确定DCA 120与反射来自照明源的光的VR耳机105周围的区域中的对象之间的距离。为了捕获飞行时间信息以及结构化光信息，照明源使用具有诸如30MHz的指定频率(在各种实施方式中，频率可以从5MHz到5GHz之间的频率范围中选择)的载波信号来调制发射的SL图案。

成像装置捕获并记录光的特定波长范围(即，光的“波段”)。由成像装置捕获的光波段的示例包括：可见波段(～380nm至750nm)、红外(IR)波段(～750nm至2200nm)、紫外波段(100nm至380nm)、电磁频谱的另一部分、或其中的一些组合。在一些实施方式中，成像装置捕获包括可见波段和红外波段中的光的图像。为了共同捕获从VR耳机105周围的区域中的对象反射的结构化光图案的光并且确定来自照明源的载波信号从该区域中的对象反射到DCA 120的时间，成像装置包括具有像素组阵列的检测器。每个像素组包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的不同相移相关。在各种实施方式中，不同的像素组在相对于彼此的不同的时间被激活，以捕获由照明源发射的载波信号调制的图案的不同的时间相位。例如，像素组在不同的时间被激活，使得相邻像素组捕获相对于彼此具有大约90、180、或270度相移的光。DCA 120从由不同的像素组捕获的信号数据导出与DCA120的深度相等的载波信号的相位。捕获的数据还通过总像素电荷在时域上的总和或者在对载波相位信号校正之后生成空间图案的图像帧。下面结合图3至图4D进一步描述DCA120。

电子显示器125根据从VR控制台110接收的数据向用户显示2D或3D图像。在各种实施方式中，电子显示器125包含单个电子显示器或多个电子显示器(例如，对于用户的每只眼睛有一个显示器)。电子显示器125的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器、或其中的一些组合。

光学块130放大从电子显示器125接收的图像光、校正与图像光相关联的光学误差、并将校正的图像光呈现给VR耳机105的用户。在各种实施方式中，光学块130包括一个或多个光学元件。包括在光学块130中的示例性光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射表面、或影响图像光的任何其他合适的光学元件。此外，光学块130可以包括不同光学元件的组合。在一些实施方式中，光学块130中的一个或多个光学元件可以具有一个或多个涂层，诸如抗反射涂层。

由光学块130对图像光进行的放大和聚焦允许电子显示器125与更大的显示器相比在物理上更小、重量更轻并且消耗更少的电力。此外，放大可以增加由电子显示器125呈现的内容的视场。例如，所显示的内容的视场使得所显示的内容利用几乎全部(例如，大约110度的对角线)、并且在一些情况下全部的用户的视场来呈现。另外，在一些实施方式中，可以通过增加或移除光学元件来调整放大倍数。

在一些实施方式中，光学块130可以被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形失真、枕形失真、纵向色差、或横向色差。其他类型的光学误差可以进一步包括由于透镜场曲率、像散、或任何其他类型的光学误差引起的球面像差、彗形像差或误差。在一些实施方式中，提供给电子显示器125用于显示的内容被预失真，并且光学块130在从电子显示器125接收基于内容生成的图像光时校正失真。

IMU 140是基于从一个或多个位置传感器135接收的测量信号以及根据从DCA 120接收的深度信息来生成指示VR耳机105的位置的数据的电子装置。位置传感器135响应于VR耳机105的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器，用于IMU140的误差校正的一类传感器、或其中的一些组合。位置传感器135可以位于IMU 140的外部、IMU 140内部、或其中的一些组合。

基于来自一个或多个位置传感器135的一个或多个测量信号，IMU 140生成指示相对于VR耳机105的初始位置的VR耳机105的估计当前位置的数据。例如，位置传感器135包括用于测量平移运动(前进/后退、上/下、左/右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏航、滚转)的多个陀螺仪。在一些实施方式中，IMU 140快速地对测量信号进行采样并从采样数据计算VR耳机105的估计当前位置。例如，IMU 140对从加速度计接收的测量信号随时间积分以估计速度矢量并对速度矢量随时间积分以确定VR耳机105上的参考点的估计当前位置。可替代地，IMU 140将采样的测量信号提供给VR控制台110，VR控制台110解释数据以减少误差。参考点是可以用于描述VR耳机105的位置的点。参考点通常可以被定义为与VR耳机105的朝向和位置有关的空间中的点或位置。

IMU 140从VR控制台110接收一个或多个参数。如下面进一步讨论的，该一个或多个参数用于保持对VR耳机105的跟踪。基于接收到的参数，IMU 140可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数使IMU 140更新参考点的初始位置，使其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与IMU 140的估计的当前位置相关联的累积误差。累积误差，也被称为漂移误差，使参考点的估计位置随时间从参考点的实际位置漂移。在VR耳机105的一些实施方式中，IMU140可以是专用硬件部件。在其他的实施方式中，IMU 140可以是在一个或多个处理器中实现的软件部件。

VR I/O界面115是允许用户发送动作请求并从VR控制台110接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用程序内执行特定动作的指令。VR I/O界面115可以包括一个或多个输入装置。示例性输入装置包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送给VR控制台110的任何其他合适的装置。由VR I/O界面115接收到的动作请求被传送到VR控制台110，VR控制台110执行对应于动作请求的动作。在一些实施方式中，如上面进一步描述的，VR I/O界面115包括IMU 140，该IMU 140捕获指示相对于VR I/O界面115的初始位置的VR I/O界面115的估计位置的校准数据。在一些实施方式中，VR I/O界面115可以根据从VR控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者当VR控制台110执行动作时，VR控制台110将指令传送给VR I/O界面115，使VR I/O界面115生成触觉反馈。

VR控制台110根据从DCA 120、VR耳机105、以及VR I/O界面115中的一个或多个接收的信息向VR耳机105提供用于处理的内容。在图1所示的示例中，VR控制台110包括应用储存器150、跟踪模块155和VR引擎145。VR控制台110的一些实施方式具有与结合图1描述的那些不同的模块或部件。类似地，下面进一步描述的功能可以以与结合图1描述的方式不同的方式分布在VR控制台110的部件当中。

应用储存器150存储用于由VR控制台110执行的一个或多个应用。应用是一组指令，当该指令由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由VR耳机105或VR I/O界面115的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用、或其他合适的应用。

跟踪模块155使用一个或多个校准参数来校准VR系统环境100，并且可以调整一个或多个校准参数以减少确定VR耳机105或VR I/O界面115的位置时的误差。例如，跟踪模块155将校准参数传送给DCA 120以调整DCA 120的焦点以更准确地确定由DCA 120捕获的SL元素的位置。由跟踪模块155执行的校准还考虑从VR耳机105中的IMU 140和/或包括在VRI/O界面115中的IMU 140接收的信息。另外，如果丢失对VR耳机105的跟踪(例如，DCA 120失去至少阈值数量的SL元素的视线)，则跟踪模块140可以重新校准VR系统环境100中的一些或全部。

跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU 140或其中的一些组合的信息来跟踪VR耳机105或VR I/O界面115的移动。例如，跟踪模块155基于来自VR耳机105的信息在局部区域的映射中确定VR耳机105的参考点的位置。跟踪模块155还可以分别使用来自IMU 140的指示VR耳机105的位置的数据或者使用来自包括在VR I/O界面115中的IMU 140的指示VR I/O界面115的位置的数据来确定VR耳机105的参考点或VR I/O界面115的参考点的位置。另外，在一些实施方式中，跟踪模块155可使用来自IMU 140的指示VR耳机105的位置的数据的部分以及来自DCA 120的本地区域的表示来预测VR耳机105的未来位置。跟踪模块155将估计或预测的VR耳机105或VR I/O界面115的未来位置提供给VR引擎145。

VR引擎145基于从VR耳机105接收的信息生成VR耳机105周围的区域(即，“局部区域”)的3D映射。在一些实施方式中，VR引擎145基于由VR耳机105的DCA 120捕获的变形的SL元素的图像、基于由DCA 120发射的光在由VR耳机105周围的区域中的一个或多个对象反射之后被DCA 120检测到的经过时间、或基于由DCA 120捕获的变形的SL元素的图像和由DCA120发射的光在由VR耳机105周围的区域中的一个或多个对象反射之后被DCA 120检测到的经过时间的组合，来确定针对局部区域的3D映射的深度信息。在各种实施方式中，VR引擎145使用由DCA 120确定的不同类型的信息或由DCA 120确定的各类型的信息的组合。

VR引擎145还执行VR系统环境100内的应用，并且从跟踪模块155接收VR耳机105的位置信息、加速度信息、速度信息、预测的未来位置、或其中的一些组合。基于接收到的信息，VR引擎145确定要提供给VR耳机105以呈现给用户的内容。例如，如果所接收的信息指示用户已经向左看去，则VR引擎145生成用于VR耳机105的内容，该内容反映在虚拟环境中或在用附加内容增强局部区域的环境中的用户的移动。另外，VR引擎145响应于从VR I/O界面115接收到的动作请求，在于VR控制台110上执行的应用内执行动作，并向用户提供动作被执行的反馈。所提供的反馈可以是经由VR耳机105的视觉或听觉反馈或经由VR I/O界面115的触觉反馈。

图2是VR耳机200的一个实施方式的线图。VR耳机200是VR耳机105的实施方式，并且包括前刚性体205、带子210、参考点215、左侧220A、上侧220B、右侧220C、下侧220D、和前侧220E。图2中所示的VR耳机200还包括深度相机组件(DCA)120的实施方式，该深度相机组件包括相机225和照明源230，它们将在下面结合图3和图4进一步描述。前刚性体205包括电子显示器125(未示出)的一个或多个电子显示元件、IMU 130、一个或多个位置传感器135、以及参考点215。

在图2所示的实施方式中，VR耳机200包括DCA 120，DCA 120包括相机225和照明源230，照明源230被配置为将已知的空间图案(例如，网格、一系列线、对称或准随机取向的点的图案)投射到局部区域上。例如，空间图案包含已知宽度和高度的一个或多个几何元素，当空间图案被投射到局部区域上时允许计算各种几何元素的变形，以提供关于局部区域中的对象的信息。照明源230利用具有指定频率的载波信号在时间上调制已知的空间图案。在各种实施方式中，照明源230包括耦接到发光器的控制器(例如，处理器)，控制器被配置为通过载波信号调制由发光器发射的光，以基于载波信号的变化随时间改变由发光器发射的光的强度。当发光器发射已知的空间图案(即，“结构化光的图案”或“结构化光图案”)时，已知的空间图案的强度基于载波信号随时间变化。例如，照明源230包括耦接到控制器的发光器，该控制器用具有10MHz的频率的正弦波、具有100MHz的频率的方波、或用任何其它合适的信号来调制已知的空间图案。如下面结合图3到图4B进一步描述的，相机225捕获局部区域的图像，该图像用于计算局部区域的深度图像。

图3是图2中描绘的VR耳机200的前刚性体205的截面。如图3所示，前刚性体205包括成像装置225和照明源230。在图3的示例中还示出，前刚性体205包括耦接到成像装置225的处理器315。然而，在其他实施方式中，处理器315被包括在成像装置225中。前刚性体205还具有对应于路径的光轴，光沿着该路径传播通过前刚性体205。在一些实施方式中，成像装置225沿着光轴定位并且捕获局部区域305的图像，局部区域305是成像装置225的视场内围绕前刚性体205的环境的一部分。另外，前刚性体205包括上面结合图1进一步描述的电子显示器125以及光学块130。前刚性体205还包括用户眼睛340所在的出射光瞳335。为了说明的目的，图3示出根据单只眼睛340的前刚性体205的截面。局部区域305反射入射的环境光以及由照明源230投射的光。

如上面结合图1所述，电子显示器125朝向光学块130发射形成图像的光，光学块改变从电子显示器125接收的光。光学块130将改变后的图像光引导至出射光瞳335，出射光瞳是用户的眼睛340所位于的前刚性体205的位置。图3示出针对用户的单只眼睛340的前刚性体205的截面，而与图3中所示的那些分开的另一电子显示器125和光学块130包括在前刚性体205中，以向用户的另一只眼睛呈现诸如局部区域305或虚拟内容的增强表示的内容。

包括照明源230和成像装置225的深度相机组件(DCA)120使用检测器捕获描述从照明源230发射的光从局部区域305中的对象反射回到成像装置225的时间的信息，以及由照明源230投射到局部区域305上的结构化光图案的图像。在各种实施方式中，检测器被包括在成像装置225中。如上所述，为了捕获来自照明源230的光从局部区域305中的对象反射的时间，照明源230用具有指定频率的载波信号来调制结构化光图案。例如，照明源230用10MHz的正弦波调制结构化光图案，使得由照明源230发射的光的强度基于载波信号随时间变化。

为了捕获在空间和时间上调制的光图案，成像装置225包括包含多个像素组的检测器。图4A示出包括在成像装置225中的示例性检测器400。图4A中的检测器400包括不同的像素组410、415、420、425，每个像素组接收激活像素组410、415、420、425的不同的控制信号以捕获图像数据。使不同的像素组410、415、420、425接收不同的控制信号允许不同的像素组410、415、420、425以偏移但受控的时序捕获图像数据。例如，当由像素组410、415、420、425接收的控制信号具有特定值时，像素组410、415、420、425捕获来自局部区域305的光，并且当控制信号具有替代值时，像素组410、415、420、425不捕获来自局部区域305的光。检测器400中的像素组410、415、420、425相对于彼此定位，使得彼此最接近的像素组410、415、420、425，425在不同的时间捕获光，导致由彼此最接近的像素组410、415、420、425捕获的光之间的指定的相移。在图4A的示例中，像素组410、像素组415、像素组420、和像素组425在不同的时间捕获光，因此由像素组410捕获的光相对于由像素组415捕获的光具有90度的相移，由像素组415捕获的光相对于像素组420具有90度的相移(并且相对于像素组410是180度相移)。然而，在其他实施方式中，由像素组410捕获的光相对于由最靠近像素组410的其他像素组415、420、425捕获的光具有任何合适的指定相移(例如，45度相移、10度相移等)。同样在图4的示例中，像素组425相对于像素组420具有90度相移(并且相对于像素组410具有270度相移)。类似地，像素组415、像素组420、和像素组425中的每一个捕获相对于其他像素组410、415、420、425具有90度相移的光。例如，像素组410、像素组415、像素组420、和像素组425分别捕获具有0度相移，90度相移、180度相移和270度相移的光。在各种实施方式中，像素组410、415、420、425以重复的图案布置在检测器400中。例如，检测器400包括多个2×2网格，每个2×2网格包括如图4A所示的彼此相对布置的像素组410、415、420、425。

如下面进一步描述的，耦接到成像装置225(或包括在成像装置225中)的处理器310从成像装置225接收数据并确定在时间上调制结构化光图案的载波信号的相位。基于确定的载波信号的相位，处理器310确定经调制的结构化光图案被局部区域中的一个或多个对象反射并且由成像装置225的检测器400捕获的时间。从所确定的由局部区域中的不同对象反射结构化光图案的时间，处理器310确定从检测器400到局部区域中的一个或多个对象的距离，并且生成包括来自检测器400中的每个像素组410、415、420、425捕获的光的结构化光图案的帧。

图4B示出由检测器400中的不同的像素组410、415、420、425接收的控制信号的示例。在图4B的示例中，当控制信号具有最大值时，接收控制信号的像素组410、415、420、425捕获光，而接收不同的控制信号的像素组410、415、420、425不捕获光。类似地，当控制信号具有最小值时，接收控制信号的像素组410、415、420、425不捕获光。如图4B所示，不同的像素组410、415、420、425的控制信号在不同的时间具有最大值，因此单个像素组410、415、420、425在特定时间捕获光。例如，当由像素组415接收的控制信号具有最大值时，由像素组410、420、425接收的控制信号具有最小值，因此像素组410、420、425不捕获光，而像素组415捕获光。不同的像素组410、415、420、425基于其控制信号连续地捕获光。当从每个像素组410、415、420、425捕获光时，检测器生成帧。在各种实施方式中，从每个像素组410、415、420、425多次捕获光，并且检测器根据由像素组410、415、420、425捕获的累积光生成帧以改善帧的信噪比。针对后续帧，在不同的时间从不同的像素组410、415、420、425重复捕获光，其中针对由每个帧的总体积分时间和成像装置225的帧速率确定的帧捕获一段时间的光。

因此，在一个实施方式中，不同的像素组410、415、420、425以不同的偏移时间捕获来自局部区域305的光，这些时间是调制空间图案的载波信号的频率的往返时间的一部分。例如，图4C示出照明源230调制结构化光图案的示例性正弦载波信号430。图4C识别在不同的时间捕获包括载波信号430的光的不同的像素组410、415、420、425。因此，像素组410在由像素组410接收的控制信号具有最大值的时间期间捕获包括载波信号430的一部分的光，而像素组415、420、425不捕获包括载波信号430的部分的光。其余的像素组415、420、425类似地各自在由对应像素组415、420、425接收的控制信号具有最大值的时间间隔期间捕获载波信号430的部分。虽然图4C将载波信号430示出为正弦波，但是在其他实施方式中，载波信号430可以是方波或具有频率和谐波的组合的任何其他信号。因此，在图4A至图4C的示例中，当像素组410捕获光时，其余的像素组415、420、245不捕获光，因此当单个像素组捕获光时，其余的三个像素组不针对该相关的帧捕获光。在每个像素组410、415、420、425为单个连续图案捕获光之后，在由成像装置225捕获的帧的积分时间期间重复该序列。

基于由图像捕获装置320中的不同的像素组410、415、420、425接收的光的强度，DCA 120确定载波信号的相位。例如，DCA 120确定由像素组425捕获的光与由像素组415捕获的光之间的差值。另外，DCA 120确定由像素组410捕获的光与由像素组420捕获的光之间的附加差值。在图4A所示的检测器400的示例配置中(其是最小正交布置)，DCA 120将载波信号的相位确定为差值与附加差值之比的反正切。使用确定的相位，DCA 120确定从照明源230发射的光被局部区域305中的对象反射回成像装置225的时间。从所确定的时间，DCA120使用一个或多个飞行时间方法来确定DCA 120与局部区域305中的各种对象之间的距离。另外，使用所确定的相位，DCA 120将由不同的像素组410、415、420、425捕获的光组合成帧，该帧允许从照明源310发射的结构化光图案提供局部区域305的进一步深度信息。由一个或多个飞行时间方法确定的距离提供局部区域305中的对象与DCA 120之间的距离信息，而由成像装置225捕获的结构化光图案的分析提供局部区域305中的对象与DCA 120之间的相关但唯一的距离测量。

图4D示出包括在深度相机组件120的成像装置中的检测器405的另一个示例。在结合图4A至图4C描述的检测器400中，检测器400中的不同的像素组410、415、420、425被示出为在成像装置225的积分时间的片段内捕获光以生成帧。在图4D的示例中，检测器405的每个像素组410、415、420、425在每像素包括多个电荷存储区，这可以经由软件或诸如循环器或开关的硬件实现。这允许每个像素组410、415、420、425在积分时间期间连续地捕获光，并基于载波信号430的频率和相位定时，动态地改变从捕获的光生成的电流所耦接到的位置。由不同的像素组410、415、420、425捕获的光所累积的电荷被累积在不同的位置(例如，存储器或电容器)中，提供不同的子窗口，如图4D中突出显示的矩形所示。如图4D中所示，子窗口沿着对角线组合以说明子窗口相对于彼此具有90度相移。来自每个像素组410、415、420、425的子窗口在相位上组合以增加信噪比并且生成用于飞行时间测量的帧。因此，由不同的像素组410、415、420、425在不同的时间捕获的光经由先前讨论的方法组合以提取载波信号430的相位。在图4D的示例中，随着每个像素组410、415、420、425连续地捕获光并且改变来自捕获的光的电荷在载波频率的相位处被累积的位置，组合在指定的最大积分时间内突出显示的子窗口。例如，图4D的检测器405的每个像素组410、415、420、425同时捕获光并且在对应于捕获光的像素组41、415、420、425的位置中累积电荷，其中由像素组410、415、420、425累积电荷的位置基于载波信号430改变以保持载波频率的相位。在一些实施方式中，图4D所示的检测器405的每个像素组410、415、420、425被配置为以高达百分之100的占空比捕获光，在一些实施方式中允许检测器405的多个像素组410、415、420、425连续地并且同时地累积来自由多个像素组410、415、420、425捕获的光的电荷。如上面进一步描述的，由不同的像素组410、415、420、425确定的相位角允许辐射度差异的校正以分析结构化光图案。另外，在图4D的示例中，由不同的像素组410、415、420、425对光的连续捕获允许对结构化光图像分析进行被动校正。通过对每个像素组410、415、420、425在整个积分窗口上捕获的全部电荷求和，检测器405作为诸如相机的图像捕获装置运行，这是因为在像素级积分定时中似乎没有偏移。因此，图4D所示的检测器405通过最小化时间调制对结构化光算法的影响来减小相关的固定图案、时间、或系统噪声的电位。

图5A示出成像装置225和将结构化光图案(也被称为空间图案)投射到局部区域上的照明源230的示例布置。在图5A中，示例性空间图案包含在照明源230的视场内投射的垂直条。通过散射或直接反射，空间图案被成像装置225中的检测器捕获，该检测器通过与照明源230的三角测量允许结构化光方法提取局部区域的三维布局。

图5B示出成像装置225和投射来自照明源230的在时间上调制的结构化光图案(也称为空间图案)的照明源230的示例布置。在图5B中，时间调制由在到达局部区域之前的来自照明源230的距离近似相等的矩形区示出。出于说明的目的，在图5B中将空间图案作为四个竖条示出。因此，图5B中的成像装置225和照明源230允许捕获空间图案和飞行时间信息以分别提供空间和时间方法以提取局部区域深度。如上面结合图3至图4D所述，成像装置225包括公共检测器，以通过控制成像装置225中的不同的像素组410、415、420、425之间的相位偏移来捕获空间和时间信息。

为了说明的目的已经呈现了实施方式的前述描述；实施方式并不旨在是详尽无遗的或将专利权限制在所公开的确切形式。相关领域的技术人员可以理解，鉴于上述公开，许多修改和变化是可能的。

本说明书中使用的语言主要是为了可读性和指导的目的而选择的，并且其可能未被选择为描绘或限定本发明的主题。因此，意图是专利权的范围不受本详细描述的限制，而是受限于基于本文的申请发布的任何权利要求。因此，实施方式的公开旨在说明而非限制专利权的范围。