一种结合结构光相机和TOF深度相机的深度信息获取装置和方法

摘要

本发明公开了一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器、结构光传感器、控制器以及处理器，主动光源发射装置和处理器均与控制器相连，所述TOF传感器和结构光传感器均与处理器相连。方法包括：控制器控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器采集照明下的结构光图像，得到强度信息；合并多帧TOF传感器所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。

说明书

技术领域

本发明涉及深度传感器、机器视觉、三维重建、TOF技术、结构光技术领域，尤其涉及一种结合结构光相机和TOF深度相机的深度信息获取装置和方法。

背景技术

近年来，常用的深度信息获取方法包括3D结构光，TOF(Time of Flight，飞行时间)和双目等技术。深度信息获取对于图像识别与处理、场景理解、VR、AR和机器人等应用有其不可或缺的作用，但是不同的深度信息获取方式有各自的局部性，如：结构光利用投影在被观察物体上的大小和形状计算深度信息，相对而言计算量少功耗低，在近距离范围内精度更高，更适合静态场景，但受强自然光和反光影响，不适于户外场景，工艺相对复杂，成本较高，速度较慢；TOF利用发射光脉冲并接收反射回来的光脉冲计算深度信息，相对而言更利于设备的小型化，帧率高，算法简易，速度快，更适合动态场景，测量距离较大，适用于远距离，测量精度不会随着测量距离的增大而降低，对室外强光环境有一定的鲁棒性，但受多重反光影响，且目前分辨率较低，功耗偏高；双目计算复杂，受环境影响大，可靠性差。

为此，我们提出了一种结合结构光相机和TOF深度相机的深度信息获取装置和方法，具有结构光相机近距离精度高的优点的同时，提高测量效率，根据不同情况合并深度信息，可适用于更广泛的场景。

发明内容

本发明实施例的目的是提供一种结合结构光相机和TOF深度相机的深度信息获取装置和方法，以解决现有技术中存在的测量时间偏长，测量效率偏低的问题，增强动态场景下深度信息获取的准确性和可靠性。同时机构光编码空间照明有益于减小TOF多路径散射的问题，增强TOF测距的准确性。

本发明解决其技术问题所采用的技术方案如下：

第一方面，本发明实施例提供一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器、结构光传感器、控制器以及处理器，所述主动光源发射装置和处理器均与控制器相连，所述TOF传感器和结构光传感器均与处理器相连。

进一步地，所述主动光源发射装置包括主动光源、空间调制器及成像系统，所述控制器控制所述主动光源的发射时间调制的光，所述控制器控制所述空间调制器，时间调制的光经空间调制器调制后，由成像系统形成具有空间明暗分布的照明场景。

进一步地，所述结构光传感器与TOF传感器布置时具有重合视野范围。

进一步地，所述TOF传感器和结构光传感器有各自的镜头，需要先进行外参标定，同时像素的映射关系依赖TOF获得深度信息。

进一步地，所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息，实现最大的视场。

进一步地，所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息中，采用分光方法也需要在实施之前标定出结构光传感器和TOF传感器的相对旋转关系，建立像素坐标的映射关系。

进一步地，所述主动光源发射装置的时间调制为正弦波、快速方波序列或者脉冲序列。

第二方面，本发明实施例还提供一种利用第一方面所述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：

步骤(1)，控制器控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器采集照明下的结构光图像，得到强度信息；

步骤(2)，合并多帧TOF传感器所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。

根据以上技术方案，本发明的有益效果如下：

本发明以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。兼具TOF技术的快速测量和结构光近距离高精度等优点，降低了无法识别和错误识别的风险，稳定性和可靠性更好。

同时采集低分辨率的深度图像和高分辨率的结构光图像，用深度图像映射到结构光坐标系，细分编码和粗分编码相结合，按照光学三角法原理得到高分辨率的深度信息，大幅降低了算法复杂度和计算时间。本发明方法或装置包含一路主动光源发射装置，可以进行空间和时间调制，空间调制对目标投射具有一定空间分布的图案；时间调制用于TOF获取深度图像。TOF传感器和结构光传感器都只响应主动光源，并增加同波段滤光片减少环境光影响，保证在近距离或者较远距离、强环境光和弱环境光下都能获得可识别的图像。

附图说明

为了更好的理解，在以下的描述中将参照附图更详细地解释本发明。应理解，本发明不限于此示范性实施例，指定的特征也可以被方便地结合和/或修改，而不背离本发明的由权利要求书所限定的范围。在附图中：

图1是本发明实施例提供的一种结合结构光技术和TOF技术的深度信息获取装置的结构图；

图2是本发明实施例提供的一种结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法的流程图；

图中：1、被测物体投影区域；2、同波段滤光片；3、空间调制器及成像系统；4、图像传感器；5、TOF传感器；6、处理器；7、控制器；8、主动光源。

具体实施方式

在以下描述中，陈述多个特定细节以提供对实施例的透彻理解。然而，相关领域的技术人员应认识到，本文所描述的技术可被实践而不需一或多个特定细节，或使用其它方法、组件、材料等。

如图1所示，本发明实施例提供一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器5、结构光传感器4、控制器7以及处理器6，所述主动光源发射装置和处理器6均与控制器7相连，所述TOF传感器5和结构光传感器4均与处理器6相连。

本申请一实施例中，所述主动光源发射装置包括主动光源8、空间调制器及成像系统3，所述控制器7控制所述主动光源8的发射时间调制的光，所述控制器7控制所述空间调制器，时间调制的光经空间调制器调制后，由成像系统形成具有空间明暗分布的照明场景。实施例中主动光源8采用850nm激光模组，主动光源8的时间调制为调制频率为12MHz的正弦波信号，空间调制器为液晶空间调制器，空间调制器产生相移为2π/3和4π/3的正弦条纹，成像系统为微透镜阵列。

本申请一实施例中，所述主动光源发射装置的时间调制为正弦波、快速方波序列或者脉冲序列。主动光源发射装置也可以分为脉冲激光投射器和编码结构光投射器。

本申请一实施例中，所述结构光传感器4与TOF传感器5布置时具有重合视野范围，所述TOF传感器5和结构光传感器4有各自的镜头，需要先进行外参标定，同时像素的映射关系依赖TOF获得深度信息。所述结构光传感器4和TOF传感器5采用分光方法采集同样条件下的图像和深度信息，实现最大的视场。

使用时，优选将所述的TOF传感器和结构光传感器平行放置；所述的TOF传感器5和结构光传感器4前方各加一片同波段滤光片2。TOF传感器5接收主动光源8发射到场景目标并反射回来的回波信号，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的结构光传感器4接收主动光源8照明下的结构光图像。

所述结构光传感器4和TOF传感器5采用分光方法采集同样条件下的图像和深度信息中，采用分光方法也需要在实施之前标定出结构光传感器4和TOF传感器5的相对旋转关系，建立像素坐标的映射关系。TOF传感器5获得的深度信息辅助结构光传感器4计算深度信息，提高效率；结构光传感器4计算得到的深度信息又能反过来反馈给TOF传感器5，提高TOF传感器在近距离的测量精度，降低噪声。也可以仅包含一个传感器同时用作结构光传感器4和TOF传感器5。

本发明实施例还提供一种利用上述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：

步骤(1)，控制器7控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器5接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器4采集照明下的结构光图像，得到强度信息；

步骤(2)，合并多帧TOF传感器5所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器4根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。

本发明考虑的是如何结合结构光和TOF技术各自的特点，在一定范围内，提高计算深度信息的精度和效率，使其适用于更多场景。具有结构光近距离高分辨率的同时，大幅降低算法要求，提高测量速度，减少环境光影响，适用于室内外和远近距离。相对于简单的多种传感器融合，不仅成本降低，集成度更好，而且性能上也更稳定。

实施例：

如图2所示，本发明实施例还提供一种利用上述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：

1、控制器7控制主动光源8发射波长为850nm调制频率为12MHz的正弦波光信号，经过液晶空间调制器调制后形成正弦条纹照射被测物体投影区域1，实现时间调制为高频正弦波、空间分布为正弦条纹的调制光照明。

2、TOF传感器5接收目标反射的回波信号，计算光波飞行时间得到各点的深度信息，分辨率为320×240，图像传感器4同步采集正弦条纹调制后的目标强度图像，分辨率为640×480，帧率100Hz。

3、控制器7控制液晶空间调制器产生相移为2π/3和4π/3的正弦条纹。

4、TOF传感器5和图像传感器4同步接收两幅深度图像和强度图像。

5、预先标定TOF传感器5和结构光传感器4的内外参。

6、TOF传感器5接收的三幅深度图像合并，每幅图像加权系数与TOF信号强度成正比。深度图像合并时可实现HDR，即根据不同的曝光时间计算深度数据，并相对应到最佳范围来合成最终的TOF深度数据。根据预先标定的TOF传感器5和图像传感器4外参将深度数据对齐到图像传感器4。

7、TOF传感器5根据深度数据计算每个像素的粗分编码，编码精度为正弦条纹周期。

8、图像传感器4根据采集的三幅强度数据i0、i1、i2，计算每个像素的细分编码，公式为：C＝atan(1.732*(i1-i2)/(2*i0-i1-i2))*N，N为正弦条纹周期。

9、合并粗分编码和细分编码，实现结构光完整编码，根据三角法原理计算深度信息。合并TOF深度数据与结构光深度数据，结构光深度数据加权与距离平方成反比。最终实现640*480分辨率33Hz高精度深度图像采集。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。