一种结构光与TOF技术融合的3D成像装置

摘要

本发明公开一种结构光与TOF技术融合的3D成像装置，包括：投射模块(10)，包含光源(101)、准直透镜(102)和衍射光学元件(103)；所述投射模块(10)具有结构光发射模式和TOF发射模式；在结构光工作模式下，向目标物体投射结构光图案；在TOF发射模式下，向目标物体投射泛光照明图案；接收模块(20)，用于采集所述目标物体发射的光信号；和控制计算模块(30)，用于控制所述的投射模块(10)和接收模块(20)，并根据接收模块(20)采集的光信号计算目标物体的深度信息。本发明的装置融合结构光与TOF技术两种工作模式，而不必增加其他的部件架构，减少集成后部件的数量，使得模组尺寸缩小，有效提高集成度，装置的应用场景范围得到极大的提升。

说明书

技术领域

本发明涉及光电技术领域，具体涉及一种结构光与飞行时间技术融合的方法及3D成像装置。

背景技术

3D成像装置在市场上已经开始应用于一些电子消费产品，如体感游戏的动作识别、新一代iphone的结构光3D人脸识别。3D成像装置可以大大地丰富用户的体验，提升产品竞争力，尤其是3D人脸识别，相对于2D的人脸识别，由于增加了一维的信息，在体验和安全性等方面是后者无法比拟的。相对于传统的生物识别，如指纹识别，3D人脸识别的可靠性和安全性要高出一个台阶。

不同于传统的2D成像装置，如摄像机，只能获取物体的平面2D信息，3D成像装置还可以获取物体的深度信息，构建一个立体的3D模型，因此3D成像装置被广泛应用于工业测量，零件建模，医疗诊断，安防监控，机器视觉，生物识别，增强现实AR，虚拟现实VR等领域，具有极大的应用价值。

3D成像技术分为主动式和被动式两类，主动式以结构光和时间飞行技术为主流，被动式以双目视觉为主流。由于被动式的双目视觉技术受到外部环境和拍摄对象表面纹理属性等客观因素影响，且在特征点自动匹配算法上较为复杂，当前在3D成像消费电子领域并未普及，市场上以结构光与时间飞行技术(TOF，time of flight)的主动式应用为主，尤其在3D人脸识别、支付领域。结构光技术方案的特点是含有散斑投射器与IR成像模块，在近距离1m以内的精度达到亚毫米，满足金融支付行业最高的3D人脸识别精度要求。时间飞行技术TOF方案的特点是含有照明发射模块与TOF sensor接收模块，可以在距离10m以内做3D成像，应用场景多。

目前市面上的结构光技术与时间飞行技术均以各自独立应用的形式出现，如公开号CN109343070A和公开号CN206805630U的中国专利申请描述的技术内容，虽各自在不同成像距离上各有优势，但是不能将二者的优势充分结合起来。

发明内容

为了实现结构光和TOF技术的优势结合以及实现模组更高的集成度，本发明提出一种结构光与TOF技术融合的3D成像装置，将两种技术充分融合，且装置的部件架构相比单独的结构光技术方案没有增加，如此既可以近距离内高精度3D成像，也可以远距离内一般精度3D成像；同时减少集成后部件的数量，使得模组尺寸缩小，有效提高集成度，装置的应用场景范围得到极大的提升。

本发明采用的具体技术方案如下：

一种结构光与TOF技术融合的3D成像装置，包括：

投射模块，包括光源、准直透镜和衍射光学元件；所述投射模块具有结构光发射模式和TOF发射模式；在结构光发射模式下，向目标物体投射结构光图案；在TOF发射模式下，向目标物体投射泛光照明图案；

接收模块，用于采集所述目标物体发射的光信号；

和控制计算模块，用于控制所述的投射模块和接收模块，并根据接收模块采集的光信号计算目标物体的深度信息。

本发明的投射模块具有结构光发射模式和TOF发射模式两种工作模式，两种模式共用相同的后继发射光路，由控制计算模块控制切换。

为实现在同一投射模块内集成上述的两种发射模式，本发明对光源或准直透镜的设置进行改进。

作为进一步改进，设置驱动所述光源在光轴方向移动的动力部件；在光源处于光学系统的对焦位置时，投射模块处于结构光发射模式；在光源处于光学系统的失焦位置时，投射模块处于TOF发射模式。

在上述优选的技术方案中，通过动力部件沿光轴方向移动光源，使光源处理光学系统的对焦位置和失焦位置，控制投射模块的发射模式。进一步优选的，所述动力部件可以为微机械装置或者微动平台。

作为进一步改进，所述投射模块的准直透镜可在光轴方向移动，控制投射模块在结构光发射模式和TOF发射模式间切换。

同理，在优选的技术方案中，也可以在光轴方向移动准直透镜，使光源处理光学系统的对焦位置和失焦位置，来控制透射模块的发射模式。

另外，本发明的技术方案中，也可以无需增加其他部件，通过改变光源的发光孔布置，使投射模块具有结构光发射模式和TOF发射模式。

作为进一步改进，所述的光源分为在光轴方向上具有高度差的TOF工作区域和结构光工作区域；所述TOF工作区域对应的光轴位置是光学投射系统的失焦位置，用于向目标物体投射泛光照明图案；所述结构光工作区域对应的光轴位置是光学投射系统的对焦位置，用于向目标物体投射结构光图案。

在上述优选的技术方案中，光源的发光孔分为与结构光发射模式和TOF发射模式对应的结构光工作区域和TOF工作区域，两个工作区域内的发光孔在光轴方向上具有高度差，相对于同一准直透镜，形成失焦位置和对焦位置，在不同区域的发光孔点亮时，形成相应的结构光发射模式和TOF发射模式。

作为进一步改进，所述TOF工作区域内的发光孔呈规则的点阵排布或随机散点分布。

在另一优选的技术方案中，还可以通过控制发光孔的点亮密度，控制投射模块处于结构光发射模式或TOF发射模式。

作为进一步改进，所述光源具有处于同一发光面的发光孔，在部分发光孔出射光束时处于结构光工作模式，所有发光孔均出射光束时处于TOF发射模式。

作为进一步改进，所述光源的发光孔分为TOF工作区域和结构光工作区域，结构光工作区域内的部分发光孔为独立的连通区域；TOF工作区域的发光孔覆盖整个光源的发光面。

作为进一步改进，所述TOF工作区域和结构光工作区域的发光孔均覆盖整个光源的发光面，结构光工作区域内的发光孔密度小于TOF工作区域。

作为进一步改进，所述的接收模块包括图像传感器(201)、滤光片和成像透镜，所述图像传感器由阵列像素单元构成，用于光信号采集并转换为电信号。

作为进一步改进，在结构光发射模式下，所述控制计算模块根据采集的光信号，基于三角测距原理来计算得到目标物体的深度信息；

在TOF发射模式下，所述控制计算模块根据采集的光信号，基于飞行时间测距原理来计算得到目标物体的深度信息。

相较于现有技术中，本发明的装置融合结构光与TOF技术两种工作模式，而不必增加其他的部件架构，减少集成后部件的数量，使得模组尺寸缩小，有效提高集成度，装置的应用场景范围得到极大的提升。

附图说明

图1为本发明实施例的一种结构光与TOF技术融合的3D成像装置示意图；

图2为本发明实施例中的一种投射模块示意图；其中(a)图为投射模块内部结构；(b)图为两种投射模式对应的散斑图案；

图3为本发明实施例中的结构光散斑图案和TOF泛光照明图案；其中(a)图为结构光工作模式下的散斑图案；(b)图为TOF泛光照明图案；

图4为本发明实施例中的一种投射模块示意图；

图5为本发明实施例中的一种投射模块示意图；其中(a)图为投射模块内部结构，(b)图为两种工作区域内的发光孔分布；

图6为本发明实施例中的一种投射模块示意图；其中(a)图为投射模块内部结构，(b)图为两种工作区域内的发光孔分布；

图7为本发明实施例中的高密度散斑图案和稀疏散斑图案示意图；其中(a)图为高密度散斑图案，(b)图为稀疏散斑图案；

图8是本发明实施例中的一种激光光源分区示意图；

图9是本发明实施例中的图像传感器像素阵列示意图；

图10是本发明实施例中的图像传感器单个像素的内部电路示意图；

图11是结构光工作模式下的信号时序示意图；

图12是TOF工作模式下的信号时序示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1所示的3D成像装置，包括：

投射模块10，包含光源101、准直透镜102和衍射光学元件103；投射模块10具有结构光发射模式和TOF发射模式；在结构光工作模式下，向目标物体投射结构光图案；在TOF发射模式下，向目标物体投射泛光照明图案；

接收模块20，用于采集所述目标物体发射的光信号；

和控制计算模块30，用于控制所述的投射模块10和接收模块20，并根据接收模块20采集的光信号计算目标物体的深度信息。

本实施例中，投射模块10一方面用于在结构光工作模式下，向前方物体目标投射结构光图案，该结构光图案可以包含伪随机散斑、条纹、二维编码等图案形式的一种或多种，可以组成不同的实施例；另一方面，投射模块10也用于在TOF工作模式下，向前方目标物体投射泛光照明的图案，该泛光照明图案可以是整面照明的矩形光斑图案，也可以是密度足够高的高密点阵图案。在控制计算模块30的控制作用下，投射模块10有两种工作模式：结构光发射模式和TOF发射模式，两种模式共用相同的后继发射光路，不同之处在于对应的光源工作区域不一样、驱动脉冲不一样，其中结构光发射模式对应的是低频宽脉冲，TOF发射模式对应的是高频窄脉冲。

接收模块20用于接收前述投射模块10发射出的再经目标物体折返回来的光信号，包含了图像传感器201、滤光片202、成像透镜203三个子模块。同样的，在控制计算模块30的控制作用下，接收模块20有两种工作模式：结构光接收模式和TOF接收模式。

控制计算模块30用于控制投射模块10选择不同的光源工作模式，并根据不同工作模式给予投射模块10不同的驱动信号。同时也控制接收模块20的工作模式，还可以对返回的光信号进行合适的采集，基于发射光信号与返回光信号进行相应的算法处理，计算出图像的深度信息(距离信息)。

如图1所示，投射模块具体包含激光光源101、准直透镜102和衍射光学元件DOE103。其中激光光源101采用的是伪随机点阵分布的垂直腔面激光发射器vcsel，发射光波长为940nm，该波长可以根据系统需要来选择不同发射波长的vcsel光源。准直透镜102在本图中由一个透镜lens构成，也可以由其他数量的透镜lens共同构成，其作用是把激光光源101的所有发光孔1010发出的光束进行准直，使各个光束以近似平行光束的形态进入后续衍射光学元件DOE 103。衍射光学元件DOE 103由微纳工艺制作，其作用是对入射的各个光束进行空间光调制，优选的本实施中的具体作用是对各个光束进行分裂复制，例如激光光源含400个发光孔，经过DOE的分裂复制后，光束数量增大到80倍，得到400×80＝32000个光束。

图2的(a)图是根据本发明一个实施例的投射模块10，激光光源101搭载可运动的微机械装置作为动力部件，在控制计算模块30的控制下，可以沿着光轴z做前后移动。根据成像光学基本原理，在散斑投射光学系统中，当激光光源处在光学系统的对焦位置时，投射出来的散斑是聚焦状态，斑点最小且清晰明亮。反之，当激光光源处在光学系统的失焦位置时，投射出来的散斑是弥散的，斑点不断扩大，光能量分布也随之弥散开来，该过程见图2的(b)图。在本实施例中，当系统工作在结构光模式时，激光光源101的z轴位置被控制在图2的(a)图中的“结构光工作模式”位置，此时投射模块10投射出来的散斑如图3的(a)图，散斑是离散的、聚焦的、清晰明亮的状态。该散斑图案打在目标物体上并折返，接收模块20在对应工作模式下采集此散斑图案，控制计算模块30根据采集到的目标物体散斑图案，基于三角测距原理来计算得到目标物体的深度信息。当系统工作在TOF模式时，激光光源101的z轴位置被控制移动到图2的(a)图中的“TOF工作模式”位置，处在失焦位置，此时投射模块10投射出来的散斑如图3的(b)图，散斑是弥散的，且互相填充彼此之间的间隙，连成一片，构成整面一体照明的泛光照明图案。该泛光照明图案打在目标物体上并折返，接收模块20在对应工作模式下采集此泛光照明图案，控制计算模块30根据采集到的目标物体的泛光照明图案，基于飞行时间测距原理来计算得到目标物体的深度信息。需要指出的是，激光光源101的移动量根据不同光学的焦距大小来随之调整，既可以沿+z轴方向，也可以沿-z轴方向。

在另一个实施例中，如图4所示，可以通过移动准直透镜102的方式来实现让光学投射系统处在“失焦位置”，以达到投射出来的散斑由聚焦清晰变为弥散模糊的状态，实现投射模块从结构光工作模式所需的清晰散斑图案的投射切换到TOF工作模式所需的泛光照明图案的投射。

在另一个实施例中，如图5的(a)图所示，该投射模块10的激光光源101在y轴方向均分为两个区域：TOF工作区域1011和结构光工作区域1012。图5的(b)图是激光光源的俯视图，这两个区域在z轴方向具有高度差，其中TOF工作区域对应的z轴位置是光学投射系统的失焦位置，结构光工作区域对应的z轴位置是光学投射系统的对焦位置。当系统处在TOF工作模式时，控制计算模块对TOF工作区域1011施加对应的驱动信号，使发光孔点亮，由于失焦作用而产生整面一体照明的泛光照明图案。当系统处在结构光工作模式时，控制计算模块对结构光工作区域1012施加对应的驱动信号，使发光孔点亮，产生清晰聚焦的结构光散斑图案。对应的接收模块工作方式跟上述同样，最终得到前方目标物体的基于三角测距原理的结构光深度信息，以及基于飞行时间测距原理的TOF深度信息，在此不做详述。需要指出的是，TOF工作区域的发光孔排布既可以是本实施例图示的随机散点分布，也可以是规则的点阵排布，因为TOF测距系统对光源的发光孔排布无要求，只需要最终在目标物体上形成的是整面的泛光照明图案即可。需要指出的是，激光光源的分区也可以是在x轴方向进行均分。

在另一个实施例中，如图6的(a)图所示，该投射模块10的激光光源101的结构光工作区域1012只占整个光源面积的一半，而TOF工作区域1011则是整个光源部分，包含了结构光工作区域。图6的(b)图部分是激光光源101的俯视图，所有发光孔区域均处在光学投射系统的对焦位置，最终投射出聚焦且清晰的散斑图。当系统处在TOF工作模式时，控制计算模块对TOF工作区域1011的所有发光孔施加对应的驱动信号，使发光孔点亮，由于所有发光孔均出射激光，数量足够多，最终在前方目标物体上形成聚焦清晰的高密度散斑图案，密度足够高，使其照明效果接近整面一体照明的泛光照明图案，如图7的(a)图所示，同样能适合TOF工作模式，可以称之为散斑TOF或者点阵TOF，相比泛光照明的TOF技术方案，其光学能量相对更集中一点，但散斑也不至于太稀疏，因此可以提升测距范围和抗环境光干扰能力。当系统处于结构光工作模式时，控制计算模块对结构光工作区域1012的发光孔施加对应的驱动信号，产生清晰聚焦的结构光散斑图案，该散斑图案相比TOF模式的散斑要稀疏，如图7的(b)图所示。对应的接收模块工作方式跟上述同样，最终得到前方目标物体的基于三角测距原理的结构光深度信息，以及基于飞行时间测距原理的TOF深度信息，在此不做详述。需要指出的是，激光光源101的分区方式不限定在本实施例的一分为二，还有其他形式多样的分区方法，如图8所示，最终目的都是TOF工作模式时对应的是打开更多区域的发光孔，形成高密度散斑图案或点阵图案，结构光工作模式时对应的是打开部分区域的发光孔，形成相对稀疏的散斑图案。或者激光光源的发光孔总数足够多(>300个)，两种工作模式都统一对应高密度的散斑图案，不采取分区方式，这是因为对于结构光工作模式来说，高低密度的散斑图案都可以正常工作，区别是低密度时，平均到单个发光孔所给到的驱动电流上限更大、功率更高，能适配更远距离目标物体的结构光3D成像。

相对应的，本实施例中的接收模块20也分为两种工作模式：TOF工作模式和结构光工作模式。在控制计算模块的控制调配下，接收采集相应工作模式的投射模块10发出的照明图案。接收模块20包含图像传感器201、滤光片202、成像透镜203，其中图像传感器201由阵列像素单元2010构成，如图9所示，阵列像素单元2010在水平方向和竖直方向的数量可以根据系统设计来决定，本实施列优选的是1280*800分辨率。阵列像素单元2010可以是电荷耦合元件(CCD)和互补金属氧化物半导体(CMOS)中的一种，特点是可以对光线信号进行采集和电信号转换，并进行积分计算，量化光线强度。如图10所示，每个阵列像素单元2010包含至少2个高速门开关G1、G2，以及与之连接的电荷积分单元C1与C2，光线照射到阵列像素单元2010上，被光电转换元件PD接收，将光信号能量转换为电荷信号，并存储在对应的高速门开关所接通的电荷积分单元上，电荷量的大小将直接代表光强的大小。一般与阵列像素单元2010连接的还包括信号放大器、模数转换器(ADC)等器件中的一种或多种组成的读出电路。滤光片202的作用是阻绝周围环境光中的无用光线进入图像传感器201，避免造成干扰，通常是对应发射模块的激光波长的窄带滤光片。

一般3D成像装置还配有彩色成像摄像头、接近光传感器、IMU等器件，都属于辅助配件，非核心功能模块，目的是实现更加丰富的功能，例如3D纹理建模、红外人脸识别等。这些器件的技术成熟，本实施例不做详述。

根据上述实施例的装置结构，本发明装置的具体工作过程如下：

当3D成像装置启动工作时，如图11，首先在结构光工作模式下，控制计算模块30提供低频的宽脉冲电流驱动信号给到发射模块10，形成光发射驱动时序401，通常频率低于120赫兹，脉宽宽度大于1毫秒。在控制计算模块30的控制下，激光光源101切换到“结构光工作模式”，并随光发射驱动时序401而发射激光，经过后继发射光路，最终形成结构光的散斑图案照射到前方空间中的目标物体上，部分散斑光信号再折返到接收模块20被采集。在投射模块10启动工作的同时，控制计算模块30会提供一个光接收同步时序402信号给到接收模块20，收到该信号后，图像传感器sensor 201的阵列像素单元2010会在该同步信号时序的高电平时间段内始终接通两个高速门开关G1、G2，完成该时间段内的返回光信号到电信号的转换，并积分存储到相应的电荷积分单元内，至此完成了结构光部分的一次图像曝光采集。接收模块20会将采集到的结构光图像送给控制计算模块30进行算法处理，基于三角测距原理，得到短距离范围内的目标物体的高精度深度图。一般情况下会让光发射驱动时序401持续一到多个脉冲周期，光接收同步时序402则同理，优选的本实施例持续1个脉冲周期，频率为30Hz，即接收模块20的图像帧率为30fps，最终在33ms内得到1帧的短距离范围内的目标物体高精度深度图。

结构光工作模式完成后，如图12所示，控制计算模块30会提供高频的窄脉冲电流驱动信号给到发射模块10，形成光发射驱动时序402，通常频率达1兆赫兹到100兆赫兹之间，脉宽宽度小于100微秒。在控制计算模块30的控制下，激光光源101切换到“TOF工作模式”，并随光发射驱动时序403而发射激光，经过后继发射光路，最终形成用于TOF的泛光照明图案照射到前方空间中的目标物体上，部分照明光信号再折返到接收模块20被采集。在投射模块10切换为“TOF工作模式”的同时，控制计算模块30会提供C1工作时序404和C2工作时序405的信号，分别给到高速门开关G1、G2，高电平代表开关接通，如此二者在高速时序信号下实现高速开关。从图7中可以看到C1工作时序404与光发射驱动时序403完全同步，且与C2工作时序405完全相反，即高速门开关G1接通的时间段内，高速门开关G2一定处于打开状态，则电荷积分单元C1与C2的工作采样积分时间段也完全相反。

在TOF工作模式下，投射模块10发出泛光照明图案，照射到前方空间的物体后会有部分光线折返到接收模块20，形成图12中的反射光信号500，可以看到反射光信号500相对于光发射驱动时序403在时间上有一个“延迟”，即产生了相位延迟，通过获得所有阵列像素单元2010的相位延迟，便可以直接计算出前方空间中所有物体上的采样点的深度信息，也即距离信息，采用如下公式：

距离＝相位延迟×光速/2

在本优选的实施列中，相位延迟＝Q2/(Q1+Q2)，Q1代表电荷积分单元C1在反射光信号500的高电平区间内采样积分到的电荷大小，即表征采样到的反射光能量，如图7中的阴影部分面积，Q2则代表电荷积分单元C2在反射光信号500的高电平区间内采样积分到的电荷大小。这种相位延迟的获得方法和计算方法是业界实际操作中常用的一种方法，在一些实施例中还会有包含环境光抑制的改进计算方法、多高速门开关的远距离方案等，基本原理类似，在此不做详述。另一种较为常用的四步相移法也可以用来计算相位延迟，对应的阵列像素单元2010结构会不同，但最终目的也是为了获得相位延迟，不脱离本实施例的描述范围。

在控制计算模块30的控制下，光发射驱动时序403、C1工作时序404、C2工作时序405会一直持续到单帧的曝光时间结束(如33ms)，这期间一般会有上千次的脉冲时序周期。当接收模块20的单帧曝光时间结束后，通过所获得的全部阵列像素单元2010的相位延迟可以计算得到1帧的长距离范围内的普通精度深度图。

至此，系统得到了1帧的短距离范围内的高精度深度图和1帧的长距离范围内的普通精度深度图，再通过控制计算模块30内嵌的深度图分割、帧间融合算法，将这两帧深度图的信息充分融合，构成一张完整的深度图输出，其中近距离(如1m以内)为高精度，由结构光3D成像技术获得，远距离(如1-10m)为普通精度，由飞行时间3D成像技术获得。因此本实施例提供的一种结构光与飞行时间技术融合的方法，既可以近距离内高精度3D成像，也可以远距离内一般精度3D成像，使装置的应用场景范围得到极大的提升。

通常在静态3D成像应用场景中，本装置只需要两帧的时间即可完成。如果应用在动态3D成像场景中，则帧率会在接收模块20原有的基础上下降一半，如优选的实施例中接收模块20帧率为30fps，那么最终系统装置的深度信息输出帧率为15fps。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。