TOF深度解算中的多径干扰抑制方法、TOF深度解算方法及装置

摘要

本发明公开了一种TOF深度解算中的多径干扰抑制方法、TOF深度解算方法及装置，包括：接收TOF相机采集场景反射的第一反射光信号，第一反射光信号由TOF相机以某一调制频率对场景进行点阵式照明反射而得；对第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；接收TOF相机采集场景反射的第二反射光信号，第二反射光信号由TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；对第二反射光信号进行数据重构，将第二反射光信号表示为直接分量与间接分量之和；在点阵式照明光斑对应位置处利用所述相位从第二反射光信号中分解出间接分量；将间接分量进行二维插值，得到整个场景的间接分量；将整个场景的间接分量从第二反射光信号中去除。

说明书

技术领域

本发明涉及飞行时间相机3D成像技术领域，具体涉及为一种TOF深度解算中的多径干扰抑制方法、TOF深度解算方法及装置。

背景技术

近年来，三维成像技术成为研究的热门领域，TOF(Time-of-Flight，飞行时间法)深度成像技术也得到了快速发展。TOF相机通过向被测场景发出红外调制光波，并用传感器接收反射光线来解算光的飞行时间，从而得到被测场景的深度信息。目前大多采用连续波调制的方法，通过检测反射光与出射光的相位偏移来记录光的飞行时间，工作原理简单，并且在人脸识别、人机交互等多种领域都得到广泛应用。

TOF成像装置包括发射照明模块和感光接收模块两个核心模块，在理想情况下，TOF相机的光源发出的泛光光束仅在被测场景表面经过一次反射即回到相机的感光芯片，经过一次泛光照明即可得到一幅深度图像来反映场景的深度信息。然而在实际使用过程中，感光芯片接收到的光束不仅包含场景的目标表面直接反射回来的光束，还通常会包含其他表面的反射光，此时测得的相移是由直接反射光和其他路径的反射光叠加而计算的，这种现象称为多径干扰(multipath interference,MPI)。多径干扰的存在会导致深度测量产生较大的误差，有必要对其进行抑制。

目前存在许多针对TOF相机多径干扰进行抑制的方案，包括建立辐射模型来估计MPI，并迭代校正深度图像，但这种方法过于理论化，计算量巨大，实用性不强；通过瞬态成像及稀疏分解来分离多径干扰的方法也引起众多学者研究，但该方法需要大量的调制频率，对硬件方面的要求很高；深度学习的快速发展也为MPI的抑制提供了一种解决方案，但是该方法需要大量的数据来进行训练，训练数据和真实数据的获取较为困难，使得该方法的应用受到限制。因此对于硬件简单、计算简便的TOF成像多径干扰抑制方法进行研究具有很重要的意义。

发明内容

本申请实施例的目的是提供一种TOF深度解算中的多径干扰抑制方法、TOF深度解算方法及装置，将场景一次反射的直接分量与多径干扰引起的间接分量进行分离，以解决相关技术中存在的直接反射光与其他多条路径反射光信号叠加导致深度测量结果产生严重误差的技术问题。

根据本申请实施例的第一方面，提供一种TOF深度解算中的多径干扰抑制方法，包括：

接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

将所述间接分量进行二维插值，得到整个场景的间接分量；

将所述整个场景的间接分量从所述第二反射光信号中去除。

根据本申请实施例的第二方面，提供一种TOF深度解算方法，包括：

接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

将所述间接分量进行二维插值，得到整个场景的间接分量；

将所述整个场景的间接分量从所述第二反射光信号中去除，得到直接分量；

从所述直接分量中解算出抑制多径干扰的深度值。

进一步地，在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量，包括：

将所述第二反射光信号中的低频反射光信号和高频反射光信号在所述点阵式照明光斑对应位置处的直接分量的相位值分别固定为所述相位对应于泛光照明所用低频和高频的相位值；

将所述相位值固定后，根据分解误差最小的原则，从所述点阵式照明光斑对应位置处的第二反射光信号中解算出间接分量的幅值以及相位；

根据解算出的间接分量的幅值和相位计算所述点阵式照明光斑对应位置处的间接分量值。

进一步地，将所述间接分量进行二维插值，得到整个场景的间接分量，包括：

当所述场景表面中存在反射率变化的区域R时，检测得到该区域R的位置，并对该区域R的相对反射率k进行估计；

在求解所述点阵式照明光斑对应位置处的间接分量MPI之后，将属于所述区域R的所述点阵式照明光斑对应位置处的间接分量MPI

对所述点阵式照明光斑对应位置处的间接分量MPI′进行二维插值得到整个场景表面的间接分量MPI′

将所述相对反射率k的影响附加回所述区域R对应的间接分量，

根据本申请实施例的第三方面，提供一种TOF深度解算中的多径干扰抑制装置，包括：

第一接收模块，用于接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

第一解算模块，用于对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

第二接收模块，用于接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

第一重构模块，用于对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

第一分解模块，用于在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

第一插值模块，用于将所述间接分量进行二维插值，得到整个场景的间接分量；

第一去除模块，用于将所述整个场景的间接分量从所述第二反射光信号中去除。

根据本申请实施例的第四方面，提供一种TOF深度解算装置，包括：

第三接收模块，用于接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

第二解算模块，用于对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

第四接收模块，用于接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

第二重构模块，用于对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

第二分解模块，用于在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

第二插值模块，用于将所述间接分量进行二维插值，得到整个场景的间接分量；

第二去除模块，用于将所述整个场景的间接分量从所述第二反射光信号中去除，得到直接分量；

第三解算模块，用于从所述直接分量中解算出抑制多径干扰的深度值。

根据本申请实施例的第五方面，提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面所述的方法。

根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面或第二方面所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请通过结合点阵式照明和两次不同频率的泛光照明的深度测量结果，将场景一次反射的直接分量与多径干扰引起的间接分量进行分离，抑制了TOF深度解算中的多径干扰的影响，使得TOF相机在对存在多径干扰的场景成像时得到更加准确的深度测量值。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的多路径反射示意图。

图2是根据一示例性实施例示出的一种TOF深度解算中的多径干扰抑制方法的流程图。

图3是根据一示例性实施例示出的TOF测量示意图。

图4是根据一示例性实施例示出的点阵式照明图样的示意图。

图5是根据一示例性实施例示出的存在反射率变化的场景测量示意图。

图6是根据一示例性实施例示出的一种TOF深度解算中的多径干扰抑制装置框图。

图7是根据一示例性实施例示出的一种TOF深度解算方法的流程图

图8是根据一示例性实施例示出的一种TOF深度解算装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

实施例1：

图1是根据一示例性实施例示出的多路径反射示意图，参考图1，用墙角模型对多路径干扰情况进行说明：常见的TOF相机都是由光源对场景进行一次泛光照明并由感光接收模块采集反射光信号进行深度解算，然而场景表面被光源发出的光束101照射后进行一次反射会产生直接分量，还会被其他表面反射产生的杂散光(如102、103)照射并进行反射，产生间接分量，感光接收模块接收到的反射光信号104即为直接分量与间接分量的叠加。该叠加信号解算得到的深度值会与真实深度值产生较大偏差。

图2是根据一示例性实施例示出的一种TOF深度解算中的多径干扰抑制方法的流程图，参考图2，本发明实施例提供一种TOF深度解算中的多径干扰抑制方法，该方法可包括：

步骤S11，接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

步骤S12，对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

步骤S13，接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

步骤S14，对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

步骤S15，在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

步骤S16，将所述间接分量进行二维插值，得到整个场景的间接分量；

步骤S17，将所述整个场景的间接分量从所述第二反射光信号中去除。

由上述实施例可知，本申请通过结合点阵式照明和两次不同频率的泛光照明的深度测量结果，将场景一次反射的直接分量与多径干扰引起的间接分量进行分离，抑制了TOF深度解算中的多径干扰的影响。

还可包括预处理步骤，构建不含多径干扰的场景，对TOF相机在点阵式照明与泛光照明情况下分别进行深度校正；

具体地，如图3所示，TOF相机的照明模块301可以发出点阵图样的光束302对场景进行点阵照明，反射光束被感光接收模块303接收；照明模块304可以发出光束对场景进行泛光照明，光束的视场角与光束302一致，两个照明模块不同时工作。构建一个不含多径干扰的场景，对TOF相机在点阵照明与泛光照明情况下分别进行深度校正，可使得对感光接收模块在不同照明条件下采集到的同一场景的反射光信号进行解算时得到的深度值均与真实深度一致。

在步骤S11的具体实施中，接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

具体地，调制频率的选取要使得场景深度在该调制频率的最大测量范围之内，所述点阵式照明光斑的占空比设置要使得照明位置处测得的间接分量与直接分量的比例满足测量所需的精度要求，并且对漫反射物体照明时产生的反射光场满足缓慢变化。图4所示为所用点阵图样的示意图，为方便说明，图中照明光斑401的尺寸为3*3像素，相邻光斑之间的间隔402为12个像素宽度，即照明光斑的面积占总图样面积的1/25，由于照明光斑分布很稀疏，且能量集中，感光模块接收到的信号可以近似认为只存在直接分量而不存在间接分量。实际使用中照明光斑401与光斑间隔402可以是其他尺寸，光斑形状也并不局限于矩形而可以选用圆形或其他任意形状。

在步骤S12的具体实施中，对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

具体地，感光接收模块的相位解析通常采用多次移相测量来计算，最常用双正弦波混频四相测量，获得移相为0、

根据各S

在步骤S13的具体实施中，接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

具体地，发射照明模块分别以两个不同的调制频率f

在步骤S14的具体实施中，对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

具体地，以余弦形式为例，将所述第二反射光信号表达为直接分量与间接分量叠加的模式：

上式中等号左边为接收模块的实际测量值，右边则是根据理论假设而分解出的直接分量与间接分量。其中字母上标代表发射光信号的调制频率，字母下标中的0代表其属于直接分量，1代表其属于间接分量。

在步骤S15的具体实施中，在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；该步骤可以包括以下子步骤：

步骤S151，将所述第二反射光信号中的低频反射光信号和高频反射光信号在所述点阵式照明光斑对应位置处的直接分量的相位值分别固定为所述相位对应于泛光照明所用低频和高频的相位值；

步骤S152，将所述相位值固定后，根据分解误差最小的原则，从所述点阵式照明光斑对应位置处的第二反射光信号中解算出间接分量的幅值以及相位；

具体地，要准确地将所述第二反射光信号进行直接分量与间接分量分解，即要求得a

上式针对所述点阵式照明光斑对应位置的像素进行解算，前述步骤将直接分量的相位值

步骤S153，根据解算出的间接分量的幅值和相位计算所述点阵式照明光斑对应位置处的间接分量值。

具体地，将间接分量的幅值a

在步骤S16的具体实施中，将所述间接分量进行二维插值，得到整个场景的间接分量；

具体地，如图5所示，当所述场景表面存在反射率变化的区域501时，需要先消除反射率突变对间接分量造成的影响；该步骤可以包括以下子步骤：

步骤S161，当所述场景表面中存在反射率变化的区域501时，记为区域R，检测得到该区域R的位置，并对该区域R的相对反射率k进行估计；

步骤S162，在求解所述点阵式照明光斑对应位置处的间接分量MPI之后，将属于所述区域R的所述点阵式照明光斑对应位置处的间接分量MPI

具体地，在泛光照明时得到的反射光测量值会受到相对反射率的影响，由

步骤S163，对所述点阵式照明光斑对应位置处的间接分量MPI′进行二维插值得到整个场景表面的间接分量MPI′

步骤S164，将所述相对反射率k的影响附加回所述区域R对应的间接分量，

具体地，整个场景表面的间接分量MPI′

在步骤S17的具体实施中，将所述整个场景的间接分量从所述第二反射光信号中去除。

具体地，直接分量direct可以通过从泛光照明的所述第二反射光信号W

与前述的TOF深度解算中的多径干扰抑制方法的实施例相对应，本申请还提供了TOF深度解算中的多径干扰抑制装置的实施例。

图6是根据一示例性实施例示出的一种TOF深度解算中的多径干扰抑制装置框图。参照图6，该装置包括：

第一接收模块61，用于接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

第一解算模块62，用于对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

第二接收模块63，用于接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

第一重构模块64，用于对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

第一分解模块65，用于在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

第一插值模块66，用于将所述间接分量进行二维插值，得到整个场景的间接分量；

第一去除模块67，用于将所述整个场景的间接分量从所述第二反射光信号中去除。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的TOF深度解算中的多径干扰抑制方法。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的TOF深度解算中的多径干扰抑制方法。

实施例2：

图7是根据一示例性实施例示出的一种TOF深度解算方法的流程图，参考图7，本发明实施例提供一种TOF深度解算方法，该方法可以包括：

步骤S21，接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

步骤S22，对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

步骤S23，接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

步骤S24，对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

步骤S25，在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

步骤S26，将所述间接分量进行二维插值，得到整个场景的间接分量；

步骤S27，将所述整个场景的间接分量从所述第二反射光信号中去除，得到直接分量；

步骤S28，从所述直接分量中解算出抑制多径干扰的深度值。

由上述实施例可知，本申请通过结合点阵式照明和两次不同频率的泛光照明的深度测量结果，将场景一次反射的直接分量与多径干扰引起的间接分量进行分离，抑制了TOF深度解算中的多径干扰的影响，使得TOF相机在对存在多径干扰的场景成像时得到更加准确的深度测量值。

步骤S21-步骤S27参考实施例1的步骤S11-步骤S17，

与前述的TOF深度解算方法的实施例相对应，本申请还提供了TOF深度解算装置的实施例。

图8是根据一示例性实施例示出的一种TOF深度解算装置框图。参照图8，该装置包括：

第三接收模块81，用于接收TOF相机采集场景反射的第一反射光信号，所述第一反射光信号由所述TOF相机以某一调制频率对所述场景进行点阵式照明反射而得；

第二解算模块82，用于对所述第一反射光信号进行相位解算，得到点阵式照明光斑对应位置的相位；

第四接收模块83，用于接收TOF相机采集场景反射的第二反射光信号，所述第二反射光信号由所述TOF相机以两个不同的调制频率对场景进行泛光照明反射而得；

第二重构模块84，用于对所述第二反射光信号进行数据重构，将所述第二反射光信号表示为直接分量与间接分量之和；

第二分解模块85，用于在所述点阵式照明光斑对应位置处利用所述相位从所述第二反射光信号中分解出间接分量；

第二插值模块86，用于将所述间接分量进行二维插值，得到整个场景的间接分量；

第二去除模块87，用于将所述整个场景的间接分量从所述第二反射光信号中去除，得到直接分量；

第三解算模块88，用于从所述直接分量中解算出抑制多径干扰的深度值。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的TOF深度解算方法。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的TOF深度解算方法。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。