使用彩色图像数据校准深度感测阵列

摘要

公开了一种成像装置(22)，其包括辐射源(40)，该辐射源朝向目标场景(24)发射光学辐射的脉冲束(42)。感测元件(78)的阵列(52)输出指示在感测元件阵列上形成的目标场景的第一图像中光子的相应入射时间的信号。图像传感器(64)捕获与第一图像配准的目标场景的第二图像。处理和控制电路(56,58)响应于该信号而标识该阵列的区域，从目标场景的对应区域反射的光学辐射脉冲入射在该阵列的该区域上，并且处理来自所标识的区域中的感测元件的信号以便基于入射时间来测量目标场景的该对应区域的深度坐标，同时响应于第二图像而将目标场景的该区域中的一个或多个区域标识为无深度区域。

说明书

相关申请的交叉引用

本申请要求2018年9月16日提交的美国临时专利申请62/731,914的权益，该申请以引用方式并入本文。

技术领域

本发明整体涉及用于深度映射的系统和方法，并且具体地涉及在飞行时间感测中使用的传感器阵列。

背景技术

现有的和新兴的消费者应用已产生对实时三维(3D)成像器日益增长的需求。这些成像设备也称为深度传感器或深度映射器，其使得能够通过用光学束照明目标场景并分析反射的光学信号来远程测量与目标场景中每个点的距离(并且常常还有强度)-被称为目标景深。一些系统也捕获目标场景的彩色图像，并且将深度图与彩色图像配准。

用于确定与目标场景上每个点的距离的常用技术涉及将一个或多个脉冲光学束朝向目标场景传输，然后测量光学束在从源行进到目标场景并返回到与源相邻的检测器阵列时所花费的往返时间，即飞行时间(ToF)。

一些ToF系统在测量光子到达时间时使用单光子雪崩二极管(SPAD)(也称为盖革模式雪崩光电二极管(GAPD))，或者可能使用SPAD感测元件阵列。在一些系统中，偏置控制电路将阵列中不同SPAD中的偏置电压设定为不同的相应值。

这种可变偏置能力可用于选择性地致动SPAD阵列中的各个感测元件或感测元件组。(此类阵列中的每个感测元件还称为“像素”。)激光源发射至少一束光脉冲，并且束转向设备在目标场景上传输和扫描该至少一个束。集光光学器件将由所传输的束扫描的目标场景成像到阵列上。电路被耦接以致动阵列的仅选定区域中的感测元件，并且与该至少一个束的扫描同步地在阵列上方扫过所述选定区域。

发明内容

下文描述的本发明的实施方案提供了改进的深度映射系统和此类系统的操作方法。

因此，根据本发明的一个实施方案提供了包括辐射源的成像装置，该辐射源被配置为朝目标场景发射光学辐射的第一多个脉冲束。第二多个感测元件的阵列被配置为输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个脉冲束。物镜光学器件被配置为在感测元件阵列上形成目标场景的第一图像。图像传感器被配置为捕获与第一图像配准的目标场景的第二图像。处理和控制电路被耦接以从该阵列接收该信号并被配置为响应于该信号而标识该阵列的从目标场景的对应区域反射的光学辐射脉冲入射在其上的区域，以及处理来自所标识的区域中的感测元件的信号，以便基于入射时间来测量目标场景的该对应区域的深度坐标，同时响应于该第二图像将目标场景的该区域中的一个或多个区域标识为无深度区域。

在一些实施方案中，第二图像是彩色图像。在所公开的实施方案中，处理和控制电路被配置为响应于彩色图像的对应部分的相应颜色来标识无深度区域。例如，该处理和控制电路可被配置为将彩色图像的蓝色部分标识为天空，并且将天空标记为无深度区域。

另选地，第二图像是深度图。

在一些实施方案中，该处理和控制电路被配置为将第二图像的亮度低于预定义水平的部分标识为无深度区域。

除此之外或另选地，该处理和控制电路被配置为通过将深度学习网络应用于第二图像来标识无深度区域，以计算第二图像的像素在无深度区域中的相应概率。在所公开的实施方案中，该深度学习网络被配置为对第二图像和深度坐标两者进行操作。

在一些实施方案中，当从阵列的所标识的区域中的一者或多者输出的信号低于最小阈值，而目标场景的与所标识的区域中的该一个或多个区域对应的区域不被标识为无深度区域时，该处理和控制电路被配置为重新校准所述阵列，以选择该阵列的一个或多个新区域来从中接收该信号以进行处理。在所公开的实施方案中，该处理和控制电路被配置为通过在感测元件上搜索以找到从目标场景反射的光脉冲被物镜光学器件成像到其上的区域来选择该阵列的该一个或多个新区域。

在一些实施方案中，该感测元件包括单光子雪崩二极管(SPAD)。除此之外或另选地，该处理和控制电路被配置为将所标识的区域中的每个区域中的感测元件分组在一起以限定超像素，并且将来自超像素中的每个超像素中的感测元件的信号一起处理以便测量深度坐标。

根据本发明的一个实施方案，还提供了一种用于成像的方法，该方法包括将光学辐射的第一多个脉冲束朝向目标场景引导。该目标场景的第一图像形成在第二多个感测元件的阵列上，该第二多个感测元件输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个脉冲束。校准该阵列以标识该阵列的从目标场景的对应区域反射的光学辐射脉冲入射在其上的区域。处理来自所标识的区域中的感测元件的信号，以便基于入射时间来测量目标场景的对应区域的深度坐标。捕获与第一图像配准的目标场景的第二图像。在对于场景的对应区域未能从阵列的所标识的区域中的一个或多个区域接收到可用信号时，检查第二图像以便确定是否将对应区域标识为无深度区域。当目标场景的与所标识的区域中该一个或多个区域对应的区域不被标识为无深度区域时，阵列被重新校准，以选择阵列的一个或多个新区域来从中接收信号以进行处理。

结合附图，从下文中对本发明的实施方案的详细描述将更全面地理解本发明，在附图中：

附图说明

图1是根据本发明的实施方案的深度映射系统的示意性图示说明；

图2是根据本发明的实施方案的图1所示深度映射系统的示意性侧视图；

图3A是根据本发明的实施方案的投影到目标场景上的斑点图案的示意图；

图3B是根据本发明的实施方案的ToF感测阵列的示意性前视图；

图3C是根据本发明的实施方案的图3B的ToF感测阵列的一部分的示意性细部图，图3A的目标场景的区域中的斑点的图像被投射到这一部分上；

图4A和图4B是分别由ToF感测阵列和彩色图像传感器捕获的目标场景的图像的示意图；并且

图5是根据本发明的实施方案的示意性地示出用于校准深度映射系统的方法的流程图。

具体实施方式

概述

在本发明的一些实施方案中，SPAD被分组在一起成为“超像素”，这是指多组相互相邻的像素以及直接耦接到这些像素的数据处理元件。在系统操作期间的任何时间，仅阵列的将接收来自束的反射照明的一个或多个区域中的感测元件例如通过所选超像素中SPAD的适当偏置而被致动，而其余的感测元件是不活动的。因此，感测元件只有在其信号提供有用信息时才被致动。该方法减少了背景信号，从而增强了信号与背景的比率，并且降低了检测器阵列的电力需求和必须附接到SPAD阵列的数据处理单元的数量这两者。

在这种深度映射系统中要解决的一个问题是要使用的超像素的尺寸和位置。对于准确深度映射，在高信号/背景比的情况下，重要的是超像素包含反射束的大部分能量被成像到上面的检测器元件，而不接收反射束的感测元件保持不活动。然而，即使在使用发射器的静态阵列时，反射束在检测器阵列上的位置也可例如由于随时间推移的热和机械变化以及光学效应(诸如视差)而改变。

响应于该问题，可校准SPAD阵列上激光斑点的位置。为此，处理和控制电路从阵列接收定时信号并在感测元件上搜索，以便标识阵列的相应区域，从目标场景反射的光脉冲入射在其该相应区域上。可以使用深度映射系统的知识以便预先计算要成像到SPAD阵列上的反射激光斑点的可能区域，并且将搜索聚集在这些区域中。另选地或除此之外，激光斑点的位置的小子集可在初始化阶段中被标识，然后在后续迭代阶段中被使用以预测和验证进一步的激光斑点的位置，直到已定位足够数量的激光斑点。

然而，即使在精细校准之后，在深度映射系统的操作中也可能发生：激光斑点预期被成像在其上的像素或超像素中的一些不能输出可用的定时信号。当由于激光脉冲序列而被这些像素或超像素捕获的反射光子的数量低于某个最小阈值时，可出现这种情况。这种情况下的失效可能是由于SPAD阵列上反射激光斑点的位置的变化，该变化由于热效应、机械效应或光学效应，如上所述。在此类情况下，可能需要重新校准超像素位置以便考虑新斑点位置。

另一方面，不能在SPAD阵列的特定区域中接收到可用信号可能仅仅是因为被成像到阵列的该区域上的目标场景的区域强烈吸收激光辐射或与深度映射系统相距非常远。阵列的此类区域在本文中被称为“无深度”区域，因为深度映射系统不能提取目标场景的对应区域的有意义的深度值。在本说明书和权利要求书中，目标场景的这些对应区域被称为“无深度区域”，即使它们位于与阵列相距有限距离处。在这种情况下，重新校准将简单地浪费深度映射系统的资源，而不导致映射结果的任何改进。然而，仅基于深度图难以确定给定超像素不能输出可用信号是由于其处于无深度区域中还是实际上指示需要重新校准。

本文所述的本发明的实施方案通过使深度映射系统能够在进行重新校准之前利用辅助图像数据标识无深度区域来解决该问题。在所公开的实施方案中，该辅助图像数据由彩色图像传感器提供，该彩色图像传感器捕获与SPAD阵列配准的二维(2D)图像。另选地或除此之外，其他辅助图像数据源可用于此目的，诸如单色图像传感器或由其他深度传感器提供的深度图(如果可用)。

因此，在所公开的实施方案中，成像装置包括用于生成目标场景的深度图的深度感测组件和提供辅助图像数据的图像传感器两者。深度感测组件包括：辐射源，该辐射源朝向目标场景发射光学辐射的多个脉冲束；以及感测元件(诸如SPAD)的阵列，例如，该感测元件输出指示感测元件上光子的入射时间的信号。物镜光学器件在感测元件阵列上形成目标场景的图像，而图像传感器捕获其自己的与在阵列上形成的图像配准的目标场景的图像。

处理和控制电路处理感测元件所输出的信号，以便基于光子的入射时间来测量目标场景的对应区域的深度坐标。在所公开的实施方案中，阵列中感测元件的数量大于辐射源所发射的束的数量。因此，该处理和控制电路在感测元件上搜索，以便基于它们输出的信号来标识从目标场景的对应区域反射的光脉冲所入射在其上的阵列的区域，并且在测量深度坐标中仅使用来自这些区域的信号。该处理和控制电路可将所标识的区域中的每个区域中的感测元件分组在一起以限定超像素，并且将来自超像素中的每个超像素中的感测元件的信号一起处理以便测量深度坐标。对反射光脉冲入射在其上的阵列的区域的搜索可以例如利用随机或聚焦搜索、或者利用任何其他合适的搜索算法来进行。

该处理和控制电路在将目标场景的某些区域标识为无深度区域以及将目标场景的其他区域标识为预期深度数据的区域中可使用辅助图像数据。此类无深度区域通常对应于感测元件阵列的(在上述搜索中标识的区域中)在其中发现从感测元件输出的信号低于某个最小阈值的区域。换句话讲，该处理和控制电路在评估这些区域的光学特性、以及因此推断这些区域不预期返回可用的反射束时使用由图像传感器捕获的这些区域的2D图像。另一方面，当目标场景的与阵列的这些区域中的一个或多个区域对应的区域在图像传感器所捕获的2D图像中不被标识为无深度区域时，处理和控制电路可推断需要重新校准以便选择阵列的一个或多个新区域来从中接收信号以用于处理。

在一些实施方案中，图像传感器所捕获的2D图像是彩色图像，并且该处理和控制电路可基于彩色图像的对应部分的相应颜色来标识某些类型的无深度区域。例如，该处理和控制电路可将彩色图像的蓝色部分标识为天空(特别是当蓝色出现在图像的上部部分中时)，因此将图像的该部分标记为无深度区域。除此之外或另选地，该处理和控制电路可在标识无深度区域时使用来自2D图像的亮度信息，使得图像的具有低于预定义水平的亮度的部分可被标记为无深度区域。

除此之外或另选地，在标识无深度区域、以及从而决定是否需要重新校准中可应用其他标准。例如，图像中某些区域的位置在将其标识为无深度区域时可以是一个考虑因素。此类无深度区域包括图像底部的暗地面、以及图像顶部的天空。在验证图像的哪个部分是顶部以及哪个部分是底部时可以使用成像装置中的惯性传感器。一天中的时间和地理位置也可用作室外天空颜色的指示器。

尽管以上描述涉及用于标识无深度区域的特定决策标准，但整个决策过程可通过训练深度神经网络预测无深度区域来实现。此类网络可以使用彩色图像、亮度图像或这些图像的组合，可能与其他深度感测模态一起使用。在这种情况下，决策标准隐含在神经网络的权重中。

系统描述

图1是根据本发明的实施方案的深度映射系统20的示意性图示说明。在所描绘的场景中，成像设备22生成设备的视场26内的目标场景24的深度图。在该示例中，目标场景24包含前景对象诸如人类身影28和家具30，以及背景对象，包括墙壁32、图片34、窗36和地毯38。为方便起见，将设备22的前平面取为X-Y平面，并且沿Z轴测量目标场景中的点的深度坐标。因此，成像设备22所生成的深度图将目标场景24表示成X-Y平面中的点的网格，具有指示到每个点的测量距离的深度坐标。

然而，对于深度图中的一些点，成像设备22可能无法解析深度坐标。成像设备通过将光学辐射的束朝向目标场景24中的点引导并测量从每个点反射的光子的到达时间来测量深度值。例如，图片34和地毯38可包含吸收辐射的暗区域，从而来自这些区域的反射光子的通量可能对于成像设备22太弱而不能可靠地感测。又如，假设窗36本身不强烈反射(或者窗是打开的或不存在)，去往和来自窗外对象的光子回到成像设备22的飞行时间可能比成像设备所使用的时间窗口长，并且反射的光子的通量可能太弱而不能感测。因此，目标场景24的此类区域将在深度图中作为“无深度”区域出现，这意味着无法为这些区域中的点找到深度坐标。

图2是根据本发明的实施方案的系统20的示意性侧视图，示出了成像设备22的细节。为了简洁和清楚起见，这些细节以举例的方式示出，以有助于理解本发明在生成深度图中，并且具体地讲，在处理此类深度图中的“无深度”区域中的操作原理。另选地，这些原理可应用于具有合适的深度映射和成像能力的其他类型的系统。

成像设备22包括辐射源40，该辐射源朝向目标场景24发射光学辐射的多个脉冲束42。术语“光学辐射”在本说明书和权利要求书中用于指代任何可见、红外和紫外范围内的电磁辐射，并且在本上下文中可与术语“光”互换使用。在本示例中，辐射源40包括垂直腔面发射激光器(VCSEL)的二维阵列44，这些垂直腔面发射激光器被驱动以发射光学辐射的短脉冲序列。任选地，衍射光学元件(DOE)46可用于复制阵列44中VCSEL所发射的实际束，以相对于辐射源40以不同的相应角度输出更大数量的束42(例如，大约500个束)。VCSEL通常被驱动以同时发射其相应的束，但另选地，VCSEL可单个地或以较小的组被致动。进一步另选地，辐射源40可包括扫描束源。准直透镜48(其可定位在阵列44与DOE46之间或在DOE 46之后，如图2所示)朝向目标场景24投射束42。

成像设备22中的接收器50(也称为“深度相机”)包括感测元件诸如SPAD的二维阵列52，该感测元件输出指示感测元件上光子的相应入射时间的信号。物镜光学器件54在阵列52上形成目标场景24的图像。处理单元56耦接到多组相互相邻的感测元件(其在本文中被称为“超像素”)，并且一起处理来自每个超像素中感测元件的信号，以便生成在束42的每个脉冲之后该组中的感测元件上光子的到达时间的量度。为了解释清楚起见，处理单元56在图2中被图示成与阵列52分开，但是在一些具体实施中，处理单元和阵列集成在单个集成电路设备中。

处理单元56包括硬件放大和逻辑电路，其感测和记录相应超像素中的SPAD(或其他感测元件)所输出的脉冲。因此，处理单元56测量产生SPAD所输出的脉冲的光子的到达时间，并且可能测量入射在阵列52上的反射激光脉冲的强度。处理单元56可包括例如时间-数字转换器(TDC)以及数字电路，该数字电路用于在阵列44中的VCSEL所发射的多个脉冲上集合入射在相应超像素上的光子的到达时间的直方图。处理单元56因此输出指示与场景24中相应点的距离的值，并且还可输出信号强度的指示。另选地或除此之外，处理单元56的一些或所有部件可与阵列52分开，并且可例如与控制处理器58集成。为了一般性起见，控制处理器58和处理单元56在本文中统称为“处理和控制电路”。

控制处理器58驱动阵列44发射脉冲，从处理单元56接收到达时间数据，并且向处理单元提供控制信号以便选择阵列52中的要被分配给处理单元所耦接的相应超像素的感测元件。例如，每个处理单元56可耦接到包括四个SPAD像素的超像素，即阵列52的一组四个相互相邻的元件。通常，阵列52中感测元件的数量远大于从辐射源40发射的束42的数量，而处理单元56的数量大致等于束的数量。

为了最佳地利用可用的感测和处理资源，控制处理器58标识从目标场景24的对应区域反射的光学辐射的脉冲被物镜光学器件48成像到的阵列的相应区域，并且选择超像素对应于这些区域。不使用由这些区域之外的感测元件输出的信号，因此这些感测元件可被去激活，例如通过降低或关断这些感测元件的偏置电压。上文描述了用于例如利用各种搜索策略初始地选择超像素的方法。下文描述用于验证和更新超像素的选择的进一步方法。

控制处理器58计算每个束42中光子的飞行时间，并且因此映射与目标场景24中对应点的距离。这个映射基于辐射源40发射束42的定时和处理单元56所测量的到达时间(即，反射光子的入射时间)。控制处理器58将深度坐标存储在存储器60中，并且可输出对应的深度图以用于显示和/或进一步处理。然而，当从阵列中的一个或多个超像素输出的信号低于某个最小阈值时，控制处理器58将不会为这些区域中的点生成深度坐标。

除了上述深度感测功能之外，成像设备22还包括二维成像相机62。相机62包括图像传感器64，诸如RGB颜色传感器，如本领域中所公知的。成像透镜66在图像传感器64上形成目标场景24的图像，图像传感器从而输出目标场景的电子图像。因为相机62相对于接收器50以固定的空间和光学关系安装，所以相机62所输出的电子图像将与阵列52上物镜光学器件54所形成的图像配准(但是，如果接收器50与相机62之间的基线距离相对于目标场景的深度是显著的，则可能需要调节配准以补偿视差)。控制处理器58接收相机62所输出的图像数据，并在标识和处理深度图中的无深度区域中使用，如下文进一步所述。

控制处理器58通常包括可编程处理器，该可编程处理器以软件和/或固件编程来执行本文所述的功能。另选地或除此之外，控制器26包括执行控制处理器的至少一些功能的硬连线和/或可编程硬件逻辑电路。虽然为了简单起见，控制处理器58在图2中被图示成单个单片功能块，但在实施过程中，控制处理器可包括单个芯片或者一组两个或更多个芯片，其具有用于接收和输出信号的合适的接口，所述信号在图中示出并且在本文中描述。

操作方法

图3A是根据本发明的实施方案的投影到目标场景24上的光学辐射的斑点70的图案的示意图。每个斑点70由对应的束42投射(图2)。

图3B是根据本发明的实施方案的目标场景24被成像到其上的阵列52的示意性前视图。阵列52中的感测元件诸如SPAD太小而不能在该图中看到。相反，图3B示出了从目标场景70反射并被物镜光学器件54成像到阵列52上的斑点72的位置。换句话讲，每个斑点72是被辐射源40投影到场景24上的对应斑点70的在阵列52上的图像。物镜光学器件54将目标场景24的区域74(图3A)(包括该区域包含的斑点70)成像到阵列52上的对应区域76上。

图3C为根据本发明的实施方案的阵列52的区域76的示意性细部图，示出了被成像到阵列上的斑点72的位置。在该视图中，可以看出，阵列52包括感测元件78(诸如SPAD)的矩阵。控制处理器58将每个处理单元56分配给包括2×2组感测元件78的超像素80。在该示例中，假设在初始校准阶段期间，斑点72在位置72a处被成像到阵列52上。因此，控制处理器58选择感测元件78来分配给每个超像素80，以使对应斑点72与超像素之间的重叠最大化，并且因此使从每个超像素接收的信号最大化。

然而，在某个稍后阶段，斑点72移位到阵列52上的新位置72b。例如由于成像设备22中的机械震动或热效应，或由于其他原因，可能已经发生了这个移位。位置72b处的斑点72不再与区域76中的超像素80重叠，或仅与超像素最小程度地重叠。然而，斑点现在被成像于其上的感测元件78是不活动的并且不连接到任何处理单元56。因此，控制处理器58不再从区域76中的超像素80接收可用信号，或者最多仅接收弱信号，从而导致有噪声且不可靠的深度测量。

在这种情况下，在不重新校准感测元件78到超像素80的分配的情况下，控制处理器58不能找到位置72b。此外，仅基于接收器50的输出，控制处理器58不能确定不能接收可用信号是由于需要校准还是仅由于区域74中的斑点70被如此弱地反射以致太少的反射光子入射在位置72a处。这后一种情况例示于图4A/图4B中。

图4A和图4B是根据本发明的实施方案的分别由阵列52和图像传感器64捕获的目标场景24的图像90和96的示意图。(在该示例中，束42的连续行相对于彼此偏移，并且因此阵列52上反射斑点72的连续行相对于彼此偏移；但在其他方面，系统20的配置类似于前述附图中所示的配置。)

目标场景24中的暗区域94(在本例中，由于场景背景中的图片的暗部分)在图像90中产生对应的无深度区域，其中斑点72太弱而不能给出可用信号。在这种情况下，重新校准感测元件78到超像素80的分配不太可能以任何方式改善结果。控制处理器58能够使用来自相机62所输出的图像的辅助图像数据以便确定区域94是暗的，并且因此避免此类不必要的重新校准。

图5是根据本发明的实施方案的示意性地示出用于校准深度映射系统20的方法的流程图。如前所述，该校准的目的是找到并保持感测元件78对超像素80的最佳分配(图3C)，这通常意味着超像素80与相应斑点72之间的重叠最大化。

在初始校准步骤100中，控制处理器58校准接收器50(也称为“深度相机”，如上所述)。上文描述了可在该步骤中使用的校准程序。通常，在该步骤中，控制处理器58进行处理单元56对感测元件78的分组的初始分配，然后驱动辐射源以输出束42中的脉冲序列。控制处理器58评估该脉冲序列的结果，例如通过对于每个处理单元56检查作为被发射脉冲的数量的一部分所接收的光子的数量。重复该过程，同时将处理单元56连接到多个不同组的感测元件78，直到发现处理单元56对感测元件的最佳分配。最佳分配将使阵列52上斑点72与对应的超像素80之间的重叠最大化，如图3C所示。

在图采集步骤102处，基于经校准的分配，成像设备22采集深度图。为了采集此类深度图，辐射源40在束42中发射脉冲序列，并且接收器50测量每个脉冲之后光子在超像素80上的入射时间。处理单元56可以输出光子到达时间相对于脉冲传输时间的相应直方图。控制处理器58从每个超像素80的直方图中提取飞行时间值，并且因此构建目标场景24的深度图。

在无深度检查步骤104处，控制处理器58检查处理单元56的输出以确定在深度图中是否存在任何无深度区域，即，其中深度坐标未限定的区域。目标场景24中的无深度区域可由阵列52的其中多个超像素80无法输出可用直方图并且因此不能提供有意义的深度数据的对应区域限定，例如，因为作为被发射脉冲的数量的一部分而接收的光子的数量低于某个最小阈值。控制处理器58据以将某个区域标识为无深度区域的参数(诸如用于限定“无深度”超像素的相对于所发射脉冲接收的光子的最小阈值分数，以及标识深度图中无深度区域所需的相邻“无深度”超像素的数量)可由系统20的操作员根据应用要求来设置。如果深度图不包含此类无深度区域，则过程终止。

当控制处理器58在步骤104处标识出深度图中的无深度区域时，其在颜色评估步骤106处继续检查相机62所输出的目标场景24的二维彩色图像中的对应区域。在该阶段可应用多个测试，以便基于该图像将目标场景的区域标识为无深度区域，例如：

·如果二维图像中对应区域的亮度低于预定义水平。这种情况由图4A/B中的区域94、以及图1中图片34和地毯38的暗区域例示。术语“亮度”在本说明书的上下文和权利要求书中是指相机62从目标场景24中的每个点捕获的光学辐射的强度的量度。例如，假设图像传感器64是RGB颜色传感器，亮度可被计算为红色、绿色和蓝色像素值的加权和，如本领域中所公知的。另选地，可在该步骤中使用亮度的其他量度。

·如果颜色落在与无深度区域相关联的范围内。例如，某个范围的蓝色调可与天空相关联，如可透过窗36(图1)所见。天空由于其与设备22相距大距离而将不会给出可用的深度值。在此类情况下，控制处理器58可在标识天空区域中应用其他图像相关因素，诸如蓝色区域在图像内的位置(通常在上部中)和蓝色区域的形状。

·在标识特定种类的无深度区域中也可使用颜色和亮度信息的组合。例如，地面的暗区域可被标识为地毯，从该地毯不能检索深度数据。矩形灰色区域可被标识为计算机屏幕，其同样不提供可用的深度数据。

在另选的实施方案中，深度学习网络可应用于彩色图像，以便标识无深度区域。该网络在RGB图像和对应的准确的基准真相深度数据上训练，并且因此学习以预测图像内无深度区域的外观。在该训练之后，对于图像中的每个像素，网络输出对应于该像素在无深度区域中的概率的量度。根据这些概率量度，控制处理器58计算图像中的整个区域是无深度区域的可能性。如果这个可能性大于某个阈值，则该区域被归类为无深度区域。另选地，可以训练网络以使用原始深度图的低分辨率版本来预测无深度概率。进一步除此之外或另选地，网络可对彩色图像和深度图进行操作，并且产生每个像素在无深度区域中的概率的量度。除此之外或另选地，机器学习技术可用于对目标场景24中的对象进行分类，并且这个分类可在标识无深度区域中使用。

在另一实施方案中，当另一深度映射模态(诸如基于图案或立体深度映射)可用于成像设备22时，其可用于预测无深度区域。当所述另一模态不受视差影响时，该替代方案特别有利，并且因此提供独立的深度估计。

在颜色检查步骤108处，控制处理器58检查在步骤104中发现的所有无深度区域是否在步骤106中被归类为目标场景24的无深度区域。该步骤可基于上述测试和/或也如上所述的深度学习网络的输出。如果所有无深度区域确实被归类为无深度区域，则过程终止。如果不是，则控制处理器58可推断超像素80在阵列52的对应无深度区域内的位置应移位。在这种情况下，在重新校准步骤110处，控制处理器58重新校准处理单元56对感测元件78的分配。该重新校准可仅在阵列52的无深度区域上延伸，或者另选地，在阵列的更大区域上或甚至在整个阵列上延伸。重新校准可使用与在步骤100处使用的搜索策略相同的搜索策略，或任何其他合适的用于此目的的策略。然后，控制返回到步骤102以用于采集下一深度图。

在本发明的另一实施方案中，无深度区域的标识可在增强接收器50所进行的深度测量的后续灵敏度和准确度中使用。具体地讲，控制处理器58可处理接收器50在此类无深度区域中输出的直方图，以便估计由于诸如传感器电路的非线性、设备22内所传输束的反射、定时变化等因素引起的深度测量中的缓慢变化的伪影。然后，控制处理器58可在增强设备22的灵敏度和性能中应用这些估计。

应当理解，上文所描述的实施方案以示例的方式引用，并且本发明不限于上文已特别示出和描述的内容。相反，本发明的范围包括上文所述的各种特征，以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。