针对多相机环境进行优化的飞行时间测量视觉相机

摘要

本发明涉及TOF视觉相机并提出电子控制电路，其包括用于调制载波时钟信号的调制电路MOD，应用相机特定的的脉冲位置调制函数k(t)以输出作为相机光源调制信号S‑LED在相机中应用的调制时钟信号fe，以便控制一系列光脉冲SE的发射并且以便同步地控制相机的矩阵图像传感器C1的N个捕获相位ST0、ST1、ST2、ST3。该调制时钟信号fe使得时钟脉冲fe具有恒定脉冲持续时间Tp，其由载波频率fp确定，其中Tp＝1/2fp，并且具有由所述调制函数k(t)调制的两个连续脉冲之间的可变时间间隔Toff，所述时间间隔至少等于脉冲持续时间，其定义可变但小于或等于50％的调制时钟循环比fe。

说明书

技术领域

本发明涉及称为TOF相机(用于“飞行时间”)的3D飞行时间测量视觉相机(camérasde vision)，其使用图像传感器(CMOS、CCD)作为矩阵接收机。这些相机显著用于诸如机器视觉(机器人)和汽车视觉(导航辅助、停车)、三维地图、安全等的应用中的障碍物检测、码垛、人员计数，其中操作距离从1米到几百米。

背景技术

使用飞行时间测量技术的距离测量以一种确立已久的方式利用被目标反射的波的往返路径。在TOF相机中，并且如图1和图2所示，技术如下：相机向目标发射光信号S

一般而言，如图1和图2所示，传感器在光脉冲捕获周期内捕获4个相位ST0、ST1、ST2和ST3(因此，相位彼此之间相差π/2rad)。然后，我们可以通过以下三个等式利用发射信号S

EQ.1

EQ.2

EQ.3

(接近2kπrad下的)相移测量使计算到目标的距离D(EQ.0)成为可能。我们还知道如何确定反射点相对于像素的角度位置。这是众所周知的。

在实际应用中，由于其易于在数字电路中实现，因此使用了方形信号调制而不是正弦调制。这特别适合于具有CCD或CMOS图像传感器的TOF视觉相机。例如，如果图像阵列传感器是具有有源像素的CMOS传感器，则集成到像素结构中的晶体管可以电子控制像素的开启相位，在此期间像素的一个或多个图像点(photosite)将对光进行积分。因此，传感器的捕获相位对应于像素的电子快门的打开命令，并且它们在同一时间(同时)应用于所有像素。它被称为整体快门(与时移快门控制相反，允许逐行积分到像素阵列中)。这些CMOS传感器能够积分大约10纳秒的非常短的周期，这适合于用于从1米到几百米的任何地方的操作距离(TOF相机的“范围”)。

图2中的时间表示出了对于四相飞行时间测量，在这种方形信号调制环境中的相位A0至A3，其中循环比(rapport de cycle)为50％：光源发射的信号S

矩阵接收机和光源的控制电子设备是同步的，以调整捕获相位到传输相位。然后，基于计算，我们因此可以确定，对于每个传送的脉冲，返回信号被发现于矩阵接收机的一个或多个捕获相位中的哪几个中，并且以什么比例。在每个捕获相位，像素图像点将根据给定的捕获相位和相应的返回信号脉冲(以及反射信号的目标的角度位置)的重合度从0到几个光子进行积分。一系列K个光脉冲(例如，K等于1000到2000)的发射使得光子在每个捕获周期积累在图像点中。这就是在测量结束时有可能获得有效信号电平的原因。在读取电路读取对应于不同捕获相位的信号A0到A3并且传感器将它们从模拟转换为数字之后，然后在传感器、相机中和/或通过外部系统、通过特定算法对它们进行数字利用，特别是为了提取所寻求的距离(或深度)信息，以及给定视觉应用所需的其他信息。这些方面是众所周知的并且将不再进一步描述，因为这不是本发明的主题。

T

同样，以已知的方式，当像素的结构允许时，用于检测反射光脉冲的位置(相位)的各个捕获相位可以同时进行。例如，对于每个像素结构的4个图像点来说，可以同时进行四个捕获相位。如果每个像素只有一个图像点，则光源被控制为连续发射4个光脉冲序列，每个分别对应于0°、90°、180°和270°的相移，并且每个系列与四个捕获相位中的一个相关联。每种解决方案(并联/串联)都有其优缺点(像素大小、精度、测量时间)。

最终获得4个图像样本A0到A3，每个测量相位一个，并应用上述等式EQ.1、EQ.2、EQ.3。虽然这些等式确实是针对正弦调制而建立的，但它们提供了数值a、h和Δφ的良好近似值。然后，可以显著地提取所寻求的信息D(EQ.0)。

这些测量和计算由传感器中为此目的专门配置的数字处理电路在读取像素之后在每个像素中执行。然后，有效检测到回波的像素在矩阵中的位置将确定检测到的目标的角度位置。应注意的是，刚才所说的关于4-相测量的所有内容同样适用于2-或3-捕获相位测量。

技术问题

这些关于TOF相机、测量原理及其操作的后续工作已经完成，可以理解的是，当在同一空间中使用多个相同类型的TOF相机时，每个相机可能会因其视野中存在其他相机而潜在受到阻碍：根据光源的接近度、角度位置和功率，检测到的相移可能会因这些其他TOF相机发射的光信号的干扰而受到影响，并且距离测量可能会失真。例如，距离将不再是将被操纵的阵列或路径上的障碍物的距离，而是另一个TOF相机的距离。

调整相机的调幅频率以限制其干扰的余地很小，因为这些频率确定测量上的操作距离和精度。而这并不能解决独立相机不被连接到同一(封闭)成像系统的问题。可以考虑同步相机，以便在每个源处建立传输时间，使得传输相位不重叠。在这种情况下，系统中的TOF相机被配置在主模式中以同步其他相机。除了这只能应用于封闭成像系统的事实之外，为了使这种同步有效，需要(在工厂中)提供调整每个相机的方法，以校正电子设备中的变化(技术分散)。考虑到讨论中的脉冲的频率和持续时间，这因而需要精确同步到几皮秒左右。甚至不能考虑使用昂贵的高精度时钟。这样的同步解决方案因此限制性很强，并且不能为3D成像系统提供适应的灵活性。例如，在系统中更改或添加相机需要检查同步。WO 2017/061104涉及多TOF相机环境中的该中断问题，并特别提出调制循环的持续时间，尤其是两种测量的组合：将每个相位的脉冲数除以N，并例如借助于伪随机数发生器(线性反馈移位寄存器)通过从几个预定值中随机选择循环比值来调制每个脉冲的截止时间的持续时间。

发明内容

本发明提出了用于解决可能在同一空间共同运行的多个TOF相机的这一问题的另一种解决方案，其不具有上述缺点。

本发明背后的想法并不是要使源不受干扰，而是使其变得不太可能。然后，无论TOF相机的操作空间内是否存在其他TOF相机，该解决方案都适用。也就是说，所提出的解决方案不再是限制性的：不需要知道同一空间中是否存在其他相机。

更具体地说，本发明提出使用应用于来自传输时钟(其对相机的光源进行脉冲)和捕获相位时钟(其控制接收机中的捕获相位)的同步信号的附加调制，并且该附加调制用于在不改变它们的持续时间或宽度的情况下，也就是说在不改变相机的操作距离的情况下，调制脉冲的位置，对于给定的载波频率：它们的循环比和时钟频率是可变的。

在为飞行时间测量而发射的一系列光脉冲的持续时间内，脉冲的位置中的这种可变性有效地降低了由于来自其他TOF相机的其他光源而导致的相位干扰的比例，并且即使这些其它相机不实现根据本发明的这样的调制，也是如此。也就是说，该解决方案提高了在其他TOF相机可能操作的空间中操作的TOF相机的距离测量的可靠性，无论该系统是开放的(独立相机)还是封闭的(集成到相干成像系统中的相机)。

优点是，如果在同一空间中操作的所有TOF相机都实现了本发明的解决方案，则与系统中的其他相机一起有效地保护每个相机免受光干扰，并且整个系统的可靠性得到了提高。

因此，本发明涉及具有N个捕获相位的飞行时间测量视觉相机，N为至少为2的整数，其在相机壳体内具有：

-用于飞行时间测量的电子控制电路，其接收具有为相机定义的载波频率的载波时钟信号，并且被配置成产生载波频率下的调制时钟信号；

-由所述调制时钟信号调制以向目标场景发射一系列光脉冲的发光源，一个脉冲的持续时间和两个脉冲之间的间隔定义了一个循环比；

-图像阵列传感器，其被配置成控制每个积分周期的N个图像捕获相位，其与源发射的光脉冲同步，其中积分周期对应于载波时钟周期。

在本发明中，电子控制电路包括载波时钟信号调制电路，其应用特定于相机的脉冲位置调制函数，由其自身频率低于载波频率的周期信号合成，使得应用于光源和控制传感器的N个捕获相位的所述调制时钟的脉冲具有由载波频率设置的恒定脉冲持续时间，并且在两个可变连续脉冲之间的时间间隔处，由所述调制函数调制，所述时间间隔至少等于脉冲持续时间，其定义可变循环比，但可变循环比小于或等于50％。

相机特定的调制函数f(t)有利地可配置。在一个实施例中，具有低于载波频率的其自身频率的周期信号是由锁相回路提供的正弦信号，其是有利地可配置的。

理想情况下，调制函数使得调制时钟循环比在10％到30％之间变化。

优选地，载波时钟信号调制电路是图像阵列传感器的集成电路，并且调制时钟信号在内部被应用以控制飞行时间测量捕获相位，并且在外部被提供以同步相机的光源的调制。

本发明还涉及被配置成每个载波时钟周期执行N个捕获相位处的飞行时间测量的图像阵列传感器，其包括这样的电子控制电路，其提供调制时钟信号以控制N个图像捕获相位，并作为飞行时间测量视觉相机的外部光源调制同步信号。

本发明的其他特征、细节和优点将在阅读以下描述时呈现，以下描述参考作为示例的附图，并且在附图中：

图1表示用于测量N个捕获相位处的飞行时间的原理图，以测量目标反射的光信号的相位；

图2表示根据现有技术的用于四相飞行时间测量的与TOF相机的脉冲光源发射的光脉冲串的发射同步的阵列传感器中的图像捕获相位的时序图；

图3示出了根据本发明的脉冲位置、同步发光信号和图像捕获相位的附加调制的时序图；

图4和图5反映了在飞行时间测量每个飞行时间测量积分周期具有2个捕获相位的情况下(对于表示环境光的偏移测量，加上周期外捕获相位)，根据现有技术和根据本发明的调制的类似时序图；

图6表示应用于根据本发明的用于飞行时间测量的电子调制控制电路、应用于3个TOF相机的附加调制载波时钟信号，以及针对3个相机在输出处获得的调制时钟信号的时序图；

图7表示包括根据本发明的电子调制控制电路的用于TOF相机的图像传感器的简化框图；以及

图8通过示意性地示出了包括根据本发明的这种图像传感器的TOF相机。

具体实施方式

我们先前参考图1和图2解释了如何通过每个积分周期(对应于一个载波时钟周期)捕获4个图像相位来在TOF相机中执行距离测量，图像捕获和光脉冲的发射由调制时钟以同步方式控制。我们已经看到，图1中以图形表示的3个配置a、h和Δφ然后可以从等式EQ.1到EQ.3中提取出来。

我们已经看到，定义发射光信号S

根据本发明，并且如图3所示，应用附加调制函数，其是调制时钟的脉冲的位置调制。这意味着调制时钟信号不再是周期性的(因此以同步方式再现其形状的信号S

如果我们将调制函数表示为预定最小值(持续时间)的倍增调制因子k(t)，我们得到：

在定义的载波频率下，我们具有调制函数的至少两个参数：Toff

可采用预定最小值Toff

但是，鉴于所寻求的两个脉冲之间的间隔的可变性，以值Tp的1到100的比率，并且优选地以10到100的比率(我们知道如何在几个比特中进行数字编码)，下面参考在乘法型调制因子k(t)下的调制函数。

如在本发明的发明内容中所解释的，通过对调制时钟脉冲的位置应用调制，相机的传感器对由另一TOF相机发射的脉冲光进行积分的概率降低。换言之，相机只对其自身光进行积分的概率显著提高。

本发明的这种附加调制原理通常适用于通过具有N个捕获相位的图像阵列传感器进行的飞行时间测量，其中N为至少为2的整数。例如，图4和图5示出了通过与光信号脉冲周期S

应当注意，图5对应于根据本发明的调制函数的表示，作为对捕获相位控制循环的两个脉冲之间的间隔的基本Toff

也就是说，图4的N个捕获相位(示例中的相位STx0、STx1和STy)的基本循环的模式P(Tp,Toff

根据本发明调制两个脉冲之间的间隔的函数(或调制脉冲位置的函数)优选为周期性函数，其提供了容易和容易配置的实施方式。

该周期性函数优选为正弦曲线，其频率和幅度被配置成获得期望的调制函数k(t)，如上所述(最小和最大循环比)。图6示出了应用于3个TOF相机的这种调制。在示例中，调制信号k

这种周期性正弦调制函数可以很容易地由锁相回路PLL进行数字合成和配置。值得注意的是，通过设置回路的操作分频器的值来配置每个TOF相机的调制频率，并且通过设置增益值来配置每个TOF相机的幅度。

根据本发明的这种可配置调制将一个TOF相机与另一个TOF相机区分开来。

上面所述的一切类似地应用于具有预定值Toff0的附加调制因子v(t)的调制函数的合成，如上面参考图4和图5所示出的那样。

如图7和图8所示，用于提供根据本发明的用于飞行时间测量的调制时钟信号的电子调制控制电路可以直接在TOF相机的矩阵传感器中实现。也就是说，集成到相机中(在相机壳体中)的图像传感器Cl随后包括电子调制控制电路C-MOD，其包括SYNT电路，其被配置成根据提供给传感器的参数(例如载波频率、捕获相位的数量等)、实际上存储在寄存器Reg中的参数数字地合成调制函数k(t)。如我们已经看到的，该合成电路可以是锁相回路PLL。最小值Toff0可以作为设置被提供，或者由传感器本身(用于飞行时间测量的配置算法)确定。电路输出根据本发明的调制时钟信号fe，其中脉冲的位置由函数k(t)调制，并且该时钟信号fe被应用于传感器的时序电路SEQ，以控制用于飞行时间测量的各种捕获相位。该调制时钟信号fe也作为用于TOF相机的S-LED光源的调制时钟信号从外部被提供。实际上，每次必须进行飞行时间测量(S-TOF信号)时，相机都会激活该电子调制电路。在图8的示例中，由与各个捕获相位相对应的图像传感器Cl捕获的样本被提供给相机的数据处理电路μP，以便通过计算获取用于所讨论的视觉应用的各种3D成像数据。电子控制电路也可以集成到相机的控制电子设备中，并且正是这些控制电子设备向传感器提供根据本发明的调制时钟信号fe，以控制传感器中与光源同步的飞行时间测量。