深度检测方法、深度检测装置、存储介质与电子设备

摘要

本公开提供了一种深度检测方法、装置、存储介质与电子设备，涉及计算机视觉技术领域。该方法包括：获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的所述待测对象的至少两张图像；通过解析上述点云数据确定待测对象的第一深度信息，第一深度信息包括待测对象的不同区域的第一深度值；通过对上述至少两张图像进行立体匹配，确定待测对象的第二深度信息，第二深度信息包括待测对象的不同区域的第二深度值；确定不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值；利用第一权重值与第二权重值对第一深度信息与第二深度信息进行融合，得到待测对象的目标深度信息。本公开扩展了适用场景，具有较高的实用性。

说明书

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种深度检测方法、深度检测装置、计算机可读存储介质与电子设备。

背景技术

深度检测是指检测观察者与待测对象之间在深度方向上的距离，以便于恢复待测对象的三维立体信息。

相关技术中，深度检测大多是通过特定的传感器及其配套的算法实现的，传感器包括双目相机，激光雷达(LightLaser Detection and Ranging，简称LiDAR)，TOF(Time OfFlight，飞行时间)传感器，结构光相机等。其中，采用每种传感器进行深度检测均存在一定的局限性，例如上述所有传感器对超出检测范围的待测对象所检测的深度值准确度较低，双目相机对于物体弱纹理部分所检测的深度值精度较低，激光雷达容易受多径干扰效应的影响，对于物体边缘部分所检测的深度值精度较低，等等。因此，相关技术对于深度检测场景的要求较高，实用性较低。

发明内容

本公开提供了一种深度检测方法、深度检测装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术对于深度检测场景的要求较高的问题。

根据本公开的第一方面，提供一种深度检测方法，包括：获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的所述待测对象的至少两张图像；通过解析所述点云数据确定所述待测对象的第一深度信息，所述第一深度信息包括所述待测对象的不同区域的第一深度值；通过对所述至少两张图像进行立体匹配，确定所述待测对象的第二深度信息，所述第二深度信息包括所述待测对象的不同区域的第二深度值；确定所述不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值；利用所述第一权重值与所述第二权重值对所述第一深度信息与所述第二深度信息进行融合，得到所述待测对象的目标深度信息。

根据本公开的第二方面，提供一种深度检测装置，包括：数据获取模块，被配置为获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的所述待测对象的至少两张图像；第一深度信息确定模块，被配置为通过解析所述点云数据确定所述待测对象的第一深度信息，所述第一深度信息包括所述待测对象的不同区域的第一深度值；第二深度信息确定模块，被配置为通过对所述至少两张图像进行立体匹配，确定所述待测对象的第二深度信息，所述第二深度信息包括所述待测对象的不同区域的第二深度值；权重值确定模块，被配置为确定所述不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值；深度信息融合模块，被配置为利用所述第一权重值与所述第二权重值对所述第一深度信息与所述第二深度信息进行融合，得到所述待测对象的目标深度信息。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的深度检测方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的深度检测方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

本方案实现了激光雷达与双目(或多目)相机所检测的深度信息的融合，能够克服单一传感器系统的局限性，扩展所能检测的深度值范围以及所能适用的深度检测场景，并提高深度检测的准确度，具有较高的实用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1示出本示例性实施方式中运行环境的系统架构图；

图2示出本示例性实施方式中一种电子设备的结构示意图；

图3示出本示例性实施方式中一种深度检测方法的流程图；

图4示出本示例性实施方式中一种获取点云数据的流程图；

图5示出本示例性实施方式中一种确定第二深度信息的流程图；

图6示出本示例性实施方式中一种确定第一权重值与第二权重值的流程图；

图7示出本示例性实施方式中深度值范围的示意图；

图8示出本示例性实施方式中另一种确定第一权重值与第二权重值的流程图；

图9示出本示例性实施方式中另一种深度检测方法的流程图；

图10示出本示例性实施方式中一种深度检测装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

相关技术中，出现了将主动式深度传感器与双目相机融合的方案。例如，将激光雷达与双目相机所采集的数据进行融合，通过两种传感器独立采集的数据相互验证，以剔除错误的数据。然而，激光雷达与双目相机均具有各自的检测范围，对两者的检测范围取交集所得到的检测范围较小，使得深度检测场景非常受限。

鉴于上述问题，本公开的示例性实施方式首先提供一种深度检测方法。图1示出了本示例性实施方式运行环境的系统架构图。参考图1所示，该系统架构包括数据采集设备110与计算设备120。其中，数据采集设备110包括相机系统111、激光雷达112与同步器113。相机系统111可用于采集待测对象的图像数据，其包括至少两个相机，如图1所示的第一相机1111与第二相机1112，可见相机系统111为双目相机系统。此外相机系统111还可以包括第三相机、第四相机等，本公开对此不做限定。激光雷达112可用于向待测对象发射激光信号，并通过解析所接收的反射信号，得到待测对象的点云数据。同步器113可用于对相机系统111与激光雷达112进行时间同步，使得相机系统111采集图像数据的时间与激光雷达112采集点云数据的时间同步。数据采集设备110与计算设备120可以通过有线或无线的通信链路形成连接，使得数据采集设备110将所采集的数据发送至计算设备120。计算设备120包括处理器121与存储器122。存储器122用于存储述处理器121的可执行指令，也可以存储应用数据，如图像数据、视频数据等。处理器121配置为经由执行可执行指令来执行本示例性实施方式的深度检测方法，以对数据采集设备110发送的数据进行处理，得到对应的目标深度信息。

在一种实施方式中，数据采集设备110与计算设备120可以是相互独立的两台设备，例如数据采集设备110是机器人，计算设备120是用于控制机器人的计算机。

在另一种实施方式中，数据采集设备110与计算设备120也可以集成在同一台设备中，例如车载智能设备包括数据采集设备110与计算设备120，通过执行数据采集与数据处理的全过程，实现深度检测与车辆的自动行驶。

本示例性实施方式的深度检测方法的应用场景包括但不限于：车辆或机器人在自动行驶中，控制至少两个相机对前方的待测对象采集图像数据，控制激光雷达对待测对象采集点云数据，通过执行本示例性实施方式的深度检测方法，对所采集的图像数据与点云数据进行处理，得到待测对象的目标深度信息，进而重建待测对象的三维结构，并据此确定自动行驶中的决策。

本公开的示例性实施方式还提供一种电子设备，用于执行上述深度检测方法。该电子设备可以是上述计算设备120或者包括数据采集设备110的计算设备120。

下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、相机模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。

编码器可以对图像或视频数据进行编码(即压缩)，例如对拍摄的待测对象的图像进行编码，形成对应的码流数据，以减少数据传输所占的带宽；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，例如对待测对象的图像所对应的码流数据进行解码，得到原始的图像数据。移动终端200可以支持一种或多种编码器和解码器。这样，移动终端200可以处理多种编码格式的图像或视频，例如：JPEG(JointPhotographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。

在一种实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括易失性存储器与非易失性存储器。处理器210通过运行存储在内部存储器221的指令，执行移动终端200的各种功能应用以及数据处理。

外部存储器接口222可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储图像，视频等文件。

USB接口230是符合USB标准规范的接口，可以用于连接充电器为移动终端200充电，也可以连接耳机或其他电子设备。

充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在移动终端200上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

移动终端200可以通过GPU、显示屏290及AP等实现显示功能，显示用户界面。例如，当用户开启拍摄功能时，移动终端200可以在显示屏290中显示拍摄界面和预览图像等。

移动终端200可以通过ISP、相机模组291、编码器、解码器、GPU、显示屏290及AP等实现拍摄功能。例如，用户可以启动深度检测的相关服务，触发开启拍摄功能，此时可以通过相机模组291采集待测对象的图像。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。

传感器模块280可以包括环境光传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现相应的感应检测功能。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话与移动通信等功能。

下面结合图3对本示例性实施方式的深度检测方法进行说明，图3示出了深度检测方法的示例性流程，可以包括：

步骤S310，获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的待测对象的至少两张图像；

步骤S320，通过解析点云数据确定待测对象的第一深度信息，第一深度信息所述待测对象的不同区域的第一深度值；

步骤S330，通过对上述至少两张图像进行立体匹配，确定待测对象的第二深度信息，第二深度信息包括待测对象的不同区域的第二深度值；

步骤S340，确定不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值；

步骤S350，利用第一权重值与第二权重值对第一深度信息与第二深度信息进行融合，得到待测对象的目标深度信息。

通过上述方法，实现了激光雷达与双目(或多目)相机所检测的深度信息的融合，能够克服单一传感器系统的局限性，扩展所能检测的深度值范围以及所能适用的深度检测场景，并提高深度检测的准确度，具有较高的实用性。

下面对图3中的每个步骤进行具体说明。

参考图3，在步骤S310中，获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的待测对象的至少两张图像。

其中，待测对象是指激光雷达与相机前方的环境，包括环境中的物体。激光雷达一般包括发射器与接收器，发射器发射激光信号，在待测对象处发生反射后由接收器接收反射的激光信号，通过解析发射与接收的激光信号之间的时间差，可以计算待测对象的深度信息，同时根据激光雷达自身的坐标系确定待测对象的三维信息，从而生成待测对象的点云数据。

与此同时，包括至少两个相机的相机系统可以采集待测对象的图像。以双目相机系统为例，所采集的至少两张图像包括第一图像与第二图像，第一图像可以是双目中的左视图，第二图像可以是右视图。

在一种实施方式中，参考图4所示，上述获取由激光雷达采集的待测对象的点云数据，可以包括：

步骤S410，获取激光雷达在运动过程中所采集多帧点云数据；

步骤S420，对上述多帧点云数据进行配准，并融合配准后的多帧点云数据，得到待测对象的点云数据。

激光雷达在运动过程中，随着位姿的变化，其自身的坐标系也在变化，在不同位姿下采集得到多帧点云数据，其中每一帧点云数据是待测对象处于激光雷达的不同坐标系中的三维信息。由此，可以将多帧点云数据进行配准，使配准后的点云数据处于同一坐标系中，进而对多帧点云数据进行融合，以得到相比于单帧更加稠密的点云数据，并可以剔除点云数据中部分错误的点，以提高点云数据的准确度。

在一种实施方式中，可以从上述多帧点云数据中选取一帧为基准帧，将其他帧均向基准帧配准。例如，激光雷达在运动过程中共采集k帧点云数据，以第1帧为基准，将第2帧至第k帧均向第1帧配准。

一般的，待测对象为静态物体，即在激光雷达在运动过程中待测对象的形态不变，因此不同帧点云数据对应于相同形态的待测对象。由此，在进行配准时，对待配准帧确定最优的变换参数，使其变换后与基准帧实现尽可能地重合。

本公开对于具体的配准算法不做限定。例如可以采用ICP算法(IterativeClosest Point，迭代最邻近点)，在将第2帧向第1帧配准时，基于初始的变换参数(一般包括旋转矩阵和平移向量)将第2帧点云数据变换至第1帧的坐标系中，并与第1帧点云数据进行最邻近点配对；计算最邻近点对的平均距离，以构建损失函数；通过迭代优化变换参数，使损失函数值不断减小，直到收敛，得到优化后的变换参数；利用优化后的变换参数将第2帧点云数据变换至第1帧的坐标系中，从而完成第2帧向第1帧的配准。

在一种实施方式中，步骤S420可以通过以下方式实现：

在上述多帧点云数据中确定基准帧，将除基准帧以外的其他帧点云数据配准至基准帧对应的坐标系中，该坐标系为三维坐标系；

在基准帧对应的坐标系中，根据激光雷达的分辨率以及实际需求等划分出正方体或长方体格子；

将配准后的每一帧点云数据中的点按照其x、y、z坐标划分至上述格子内，同一格子内的点视为同名点；

统计每个格子内的点数量，如果点数量小于同名点数量阈值，则判断该格子内的点为错误点，予以剔除，同名点数量阈值可以根据经验确定，也可以结合点云数据的帧数确定，例如在共获取k帧点云数据的情况下，同名点数量阈值可以为s*k，s为小于1的系数，如可以是0.5、0.25等；

将剩余的点形成集合，得到融合后的点云数据。

继续参考图3，在步骤S320中，通过解析上述点云数据确定待测对象的第一深度信息，第一深度信息包括待测对象的不同区域的第一深度值。

第一深度信息是指基于激光雷达的点云数据所确定的待测对象的深度信息，包括待测对象的不同区域的第一深度值。本示例性实施方式为便于区分，将基于激光雷达得到的深度值记为第一深度值，将基于相机系统得到的深度值记为第二深度值。

点云数据中包括点的坐标，其中对应于深度方向的轴坐标为深度值，例如一般z轴坐标为深度值，当然x轴或y轴也可以作为深度方向的轴，这与坐标系的方向设置相关，本公开对此不做限定。可见，从点云数据中可以直接获取待测对象的深度值。

考虑到点云数据中的深度值是在激光雷达坐标系中的坐标值，可以将其进一步变换至相机系统的坐标系中，以便于后续深度信息的融合。在一种实施方式中，步骤S320可以包括：

基于激光雷达与上述至少两个相机中的第一相机间的第一标定参数，将点云数据投影至第一相机的坐标系，得到待测对象的第一深度信息。

在相机系统中，每个相机具有各自的相机坐标系，通常从中选取一台相机作为主相机，以主相机的坐标系作为整个相机系统的坐标系。本示例性实施方式中将所选取的主相机记为第一相机，其可以是上述至少两个相机中的任一相机。例如，在双目相机系统中，一般将左相机作为主摄，则可以将左相机作为第一相机。

本示例性实施方式中，可以预先对激光雷达与第一相机进行标定，例如可以采用张正友标定法。第一标定参数是激光雷达与第一相机间的标定参数，可以是激光雷达的坐标系与第一相机的坐标系间的变换参数。由此，在得到激光雷达的点云数据后，可以采用第一标定参数将点云数据从激光雷达的坐标系投影至第一相机的坐标系中，得到每个点在第一相机的坐标系中的坐标，进而得到每个点在第一相机的坐标系中的深度值，即上述第一深度值。

需要说明的是，激光雷达与相机系统在检测深度信息时，均具有一定的分辨率。例如激光雷达的接收器包括很多元件组成的阵列，接收待测对象不同区域反射的激光信号，每个元件所解析得到的深度值被表示为待测对象上一个点的深度值，实际上对应于待测对象的一个局部区域。因此，元件的数量越多，阵列的密度越大，所得到的深度值的分辨率越高，即每个点所对应的区域越小。对于相机系统来说，所检测的深度信息的分辨率与图像中纹理特征、特征点的数量等相关。本示例性实施方式中，对于待测对象中的点与区域两个概念不做特别区分。

第一深度信息主要包括不同区域的第一深度值的集合。此外，第一深度信息还可以包括第一深度值以外的其他信息，例如第一深度值对应的第一置信度等。

在一种实施方式中，激光雷达可以输出第一置信度。例如，根据接收器接收到的激光信号的强度，定量计算不同区域的第一深度值对应的第一置信度，一般的，激光信号的强度与第一置信度正相关。

在另一种实施方式中，可以根据上述多帧点云数据的融合结果确定第一置信度。例如，在将配准后的每一帧点云数据中的点按照其x、y、z坐标划分至格子内之后，统计每个格子内的点数量以及每个格子内的不同点之间的深度差(即不同点的深度方向轴坐标之差，如z轴坐标之差)，格子内的点数量越多，点之间的深度差越小，则这些点的第一置信度越高。示例性的，可以采用如下公式(1)计算：

其中，Conf1表示第一置信度。grid

由公式(1)可见，第一置信度由两部分乘积得到。其中，格子内点数量越多，则与帧数k之比越大，第一部分值越大，第一置信度越大；格子内的深度值越集中，标准差越小，与深度值跨度之比越小，第二部分值越大，第一置信度越大。

继续参考图3，在步骤S330中，通过对上述至少两张图像进行立体匹配，确定待测对象的第二深度信息，第二深度信息包括待测对象的不同区域的第二深度值。

第二深度信息是指基于相机系统所确定的待测对象的深度信息，包括待测对象的不同区域的第二深度值。上述至少两张图像是不同相机针对同一待测对象所采集的图像，因此通过三维重建可以恢复待测对象的三维信息，得到第二深度信息。

在一种实施方式中，参考图5所示，步骤S330可以包括：

步骤S510，基于上述至少两个相机间的第二标定参数，对上述至少两张图像进行立体匹配，以得到双目视差图；

步骤S520，根据双目视差图确定待测对象的第二深度信息。

由上可知，相机系统中的每个相机具有各自的相机坐标系，选取第一相机(即主相机)的坐标系作为整个相机系统的坐标系，可以预先对相机系统中的其他相机与第一相机进行标定，例如可以采用张正友标定法。第二标定参数是其他相机与第一相机间的标定参数，可以是其他相机的坐标系与第一相机的坐标系间的变换参数。当相机系统包括三台或以上相机时，可以将第二相机、第三相机等均向第一相机进行标定，得到多组第二标定参数。

基于第二标定参数，可以对上述图像进行两两的立体匹配。举例来说，如果相机系统包括两台相机，两台相机分别采集一张图像，其中第一相机采集第一图像，第二相机采集第二图像；基于第一相机与第二相机间的第二标定参数对第一图像与第二图像进行立体匹配，得到第一图像与第二图像对应的双目视差图。如果相机系统包括三台相机，三台相机分别采集一张图像，其中第一相机采集第一图像，第二相机采集第二图像，第三相机采集第三图像；基于第一相机与第二相机间的第二标定参数对第一图像与第二图像进行立体匹配，得到第一图像与第二图像对应的双目视差图，为便于区分，可记为(1-2)双目视差图；基于第一相机与第三相机间的第二标定参数对第一图像与第三图像进行立体匹配，得到第一图像与第三图像对应的双目视差图，可记为(1-3)双目视差图。

本公开对于立体匹配的具体算法不做限定，例如可以采用SGM算法(Semi-GlobalMatching，半全局匹配)实现。

双目视差图中包括每个点的视差值，结合相机的参数与第二标定参数(主要是不同相机间的基线长度)，可以计算出每个点的第二深度值，一般以第一相机为基准，计算第一图像中每个点的第二深度值，从而得到上述第二深度信息。

当得到多张双目视差图时，可以根据每张双目视差图分别计算得到一组第二深度信息，例如根据上述(1-2)双目视差图得到(1-2)第二深度信息，根据上述(1-3)双目视差图得到(1-3)第二深度信息。进一步的，将不同组的第二深度信息中同一区域(或同一点)的第二深度值进行融合，例如可以计算平均值，得到一组融合后的第二深度信息。

第二深度信息包括不同区域的第二深度值的集合。此外，第二深度信息还可以包括第二深度值以外的其他信息，例如第二深度值对应的第二置信度等。

在一种实施方式中，可以利用机器学习模型估计第二置信度。例如，预先训练卷积神经网络，将上述至少两张图像与第二深度信息(通常可以是第一图像对应的深度图像)输入卷积神经网络，经过处理，输出第二置信度的图像，包括待测对象中每个点的第二置信度。

在另一种实施方式中，可以采用LRC(Left-Right Consistency，左右一致性)检测算法来检测错误的视差匹配，尤其是待测对象深度断层处的遮挡区域，为其赋予较低的第二置信度。

继续参考图3，在步骤S340中，确定不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值。

由上可知，第一深度信息与第二深度信息是通过不同途径得到的待测对象的深度信息，待测对象的不同区域在第一深度信息中具有第一深度值，在第二深度信息中具有第二深度值。本示例性实施方式确定不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值，以便于后续进行加权融合。

需要说明的是，第一深度信息与第二深度信息通常难以覆盖待测对象的所有区域或所有点。因此，可能存在一些区域，仅在第一深度信息与第二深度信息中的一者被检测出深度值，即这些区域只具有第一深度值与第二深度值中的一者。在进行第一深度信息与第二深度信息融合时，可以直接采用其所具有的第一深度值或第二深度值，无需计算第一权重值与第二权重值。另一些区域在第一深度信息与第二深度信息中均被检测出深度值，即具有第一深度值与第二深度值，步骤S340主要针对这些区域计算第一权重值与第二权重值。

在一种实施方式中，参考图6所示，步骤S340可以包括：

步骤S610，获取第一深度值范围与第二深度值范围，第一深度值范围是激光雷达的深度值检测范围，第二深度值范围是上述至少两个相机的深度值检测范围；

步骤S620，根据第一深度值范围、第二深度值范围、上述不同区域的第一深度值与第二深度值，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

其中，第一深度值范围即激光雷达的量程，一般是激光雷达性能参数中的一项指标。第二深度值范围可以根据上述至少两个相机的内参、基线长度等确定。示例性的，手机内设置激光雷达与双目相机，进行深度检测时，激光雷达的深度值检测范围一般较近，双目相机的深度值检测范围相对较远，参考图7为例，激光雷达的第一深度值范围为0.1～3米，相机系统的第二深度值范围为0.6～5米。

在第一深度值范围内，基于激光雷达检测的第一深度值较为可信，可以设置较高的第一权重值，在第二深度值范围内，基于相机系统检测的第二深度值较为可信，可以设置较高的第二权重值。由此，通过将待测对象的不同区域的第一深度值、第二深度值与第一深度值范围、第二深度值范围进行对比，可以确定第一权重值与第二权重值。

在一种实施方式中，参考图8所示，步骤S620可以包括：

步骤S810，确定第一深度中位值与第二深度中位值，第一深度中位值是第一深度值范围的中位值，第二深度中位值是第二深度值范围的中位值；

步骤S820，根据第一深度值与第一深度中位值之差，以及第二深度值与第二深度中位值之差，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

一般的，第一深度值越接近第一深度中位值，可信程度越高，可以设置越大的第一权重值，第二深度值同理。因此，可以将第一深度值与第一深度中位值之差，第二深度值与第二深度中位值之差，作为度量第一权重值与第二权重值的依据。

在一种实施方式中，可以根据第一深度值与第一深度中位值之差计算第一深度值对应的第一权重值，根据第二深度值与第二深度中位值之差计算第二深度值对应的第二权重值，再将第一权重值与第二权重值归一化。

在一种实施方式中，可以结合第一深度值与第一深度中位值之差，以及第二深度值与第二深度中位值之差，同时计算第一权重值与第二权重值。示例性的，可以采用如下公式(2)计算：

其中，w1(p)表示p点的第一权重值，w2(p)表示p点的第二权重值。d1(p)表示p点的第一深度值，d2(p)表示p点的第二深度值。med1表示第一深度中位值，med2表示第二深度中位值。|d1(p)-med1|为第一深度值与第一深度中位值之差，|d2(p)-med2|为第二深度值与第二深度中位值之差。Δd1表示第一深度值范围的跨度(即上限值与下限值之差)，Δd2表示第二深度值范围的跨度。可见，diff1(p)为归一化的第一深度值与第一深度中位值之差，diff2(p)为归一化的第二深度值与第二深度中位值之差。根据diff1(p)与diff2(p)计算得到第一权重值与第二权重值。

在一种实施方式中，可以对第一深度值范围与第二深度值范围进行划分。参考图7所示，将激光雷达的第一深度值范围与相机系统的第二深度值范围取交集，得到公共范围，即0.6～3米的范围；第一深度值范围中公共范围的补集为第一单边范围，即0.1～0.6米的范围；第二深度值范围中公共范围的补集为第二单边范围，即3～5米的范围。对于待测对象的任一区域来说，如果其第一深度值处于第一单边范围内，第二深度值接近第一单边范围与公共范围的边界(例如与0.6米的差值小于一定的边界阈值，边界阈值例如为0.1米)，则将该区域的第一权重值设为1，第二权重值设为0；如果其第一深度值接近第二单边范围与公共范围的边界(例如与3米的差值小于一定的边界阈值，边界阈值例如为0.1米)，第二深度值处于第二单边范围内，则将该区域的第一权重值设为0，第二权重值设为1；如果其第一深度值与第二深度值均处于公共范围内，则根据第一深度值与第一深度中位值之差以及第二深度值与第二深度中位值之差，计算第一权重值与第二权重值，例如可以参考上述公式(2)进行计算。

在计算第一深度信息与第二深度信息时，可以得到对应的第一置信度与第二置信度，可用于计算第一权重值与第二权重值。在一种实施方式中，步骤S620可以包括：

根据第一深度值范围、第二深度值范围、上述不同区域的第一深度值与第二深度值，以及第一深度值对应的第一置信度与第二深度值对应的第二置信度中的至少一者，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

下面分两种情况分别说明：

(1)获取第一置信度与第二置信度中的一者。

以获取第一置信度为例，对于待测对象的任一区域来说，如果该区域的第一置信度低于第一置信下限阈值，则将该区域的第一权重值设为0，第二权重值设为1；如果该区域的第一置信度高于第一置信上限阈值，则将该区域的第一权重值设为1，第二权重值设为0；如果该区域的第一置信度介于第一置信上限阈值与第一置信下限阈值之间，则根据第一深度值与第一深度中位值之差以及第二深度值与第二深度中位值之差，计算第一权重值与第二权重值。其中，第一置信上限阈值与第一置信下限阈值可以根据经验与实际需求设置，例如第一置信上限阈值为0.8，第一置信下限阈值为0.2。

(2)获取第一置信度与第二置信度

在一种实施方式中，对于待测对象的任一区域来说，如果其第一置信度低于第一置信阈值，且第二置信度高于第二置信阈值，则将该区域的第一权重值设为0，第二权重值设为1；如果其第一置信度高于第一置信阈值，且第二置信度低于第二置信阈值，则将该区域的第一权重值设为1，第二权重值设为0；如果其第一置信度高于第一置信阈值，且第二置信度高于第二置信阈值，则根据第一深度值与第一深度中位值之差以及第二深度值与第二深度中位值之差，计算第一权重值与第二权重值，例如可以参考上述公式(2)进行计算；如果其第一置信度低于第一置信阈值，且第二置信度低于第二置信阈值，则舍弃该区域的第一深度值与第二深度值。其中，第一置信阈值是激光雷达所检测的深度值的置信度下限阈值，第二置信阈值是相机系统所检测的深度值的置信度下限阈值，可以根据传感器的性能、实际需求等设置，第一置信阈值与第二置信阈值可以相同，也可以不同。示例性的，第一置信阈值与第二置信阈值可以均为0.2。

在一种实施方式中，可以将上述根据第一深度值与第一深度中位值之差以及第二深度值与第二深度中位值之差所计算的第一权重值与第二权重值，进一步与第一置信度、第二置信度进行融合，例如可以根据第一置信度对第一权重值进行指数或系数的修正计算，根据第二置信度对第二权重值进行指数或系数的修正计算，以优化第一权重值与第二权重值，再对优化后的第一权重值与第二权重值进行归一化，输出最终的第一权重值与第二权重值。

继续参考图3，在步骤S350中，利用第一权重值与第二权重值对第一深度信息与第二深度信息进行融合，得到待测对象的目标深度信息。

具体地，对于待测对象的任一区域来说，如果该区域具有第一深度值，不具有第二深度值，则将第一深度值作为该区域的目标深度值；如果该区域具有第二深度值，不具有第一深度值，则将第二深度值作为该区域的目标深度值；如果该区域具有第一深度值与第二深度值，则利用第一权重值与第二权重值对第一深度值与第二深度值进行加权计算，得到该区域的目标深度值。由此得到每个区域的目标深度值，将其形成集合，即上述目标深度信息。

通过融合第一深度信息与第二深度信息，可以结合激光雷达与相机系统检测深度的优势，填补第一深度信息中由于待测对象的材质反射率、多径干扰效应所导致的深度空洞或信息缺失，填补第二深度信息中由于遮挡所导致的深度断层处的深度空洞或信息缺失，同时改善第一深度信息与第二深度信息中可信程度较低的深度值，提高深度检测的准确度，得到更加准确、可靠的目标深度信息。从深度值检测范围、适用场景上进行了扩展，使方案具有更高的实用性。

在一种实施方式中，还可以对目标深度信息进行滤波处理，例如可以采用BF(Bilateral Filter，双边滤波)，GF(Guided Filtering，引导滤波)，FBS(Filter BankSummation，滤波器组求和)等保边滤波算法，在实现深度信息平滑处理的同时，可以保留待测对象中的边缘信息。

图9示出了以激光雷达与双目相机的硬件配置为例，深度检测方法的实现流程，包括：

步骤S901，对双目相机进行标定；

步骤S902，对双目相机中的第一相机与激光雷达进行标定；

步骤S903，通过激光雷达采集多帧点云数据，通过双目相机采集两张图像；

步骤S904，对所采集的多帧点云数据进行配准，并在配准后融合多帧点云数据，得到一帧稠密的点云数据；

步骤S905，根据第一相机与激光雷达的标定参数，将点云数据投影至第一相机的坐标系中，得到第一深度信息；

步骤S906，根据双目相机的标定参数，对所采集的两张图像进行双目立体匹配，得到第二深度信息；

步骤S907，利用LRC算法或者机器学习模型对上述两张图像与第二深度信息进行处理，计算第二置信度；

步骤S908，根据第二置信度以及第一深度信息、第二深度信息确定第一权重值与第二权重值，并以此对第一深度信息与第二深度信息进行加权融合；

步骤S909，进一步融合后的深度信息进行滤波处理；

步骤S910，滤波处理后输出目标深度信息。

在一种实施方式中，可以将目标深度信息与相机系统所采集的图像形成数据集，其中图像作为训练数据，目标深度信息作为标注数据(Ground truth)，可用于训练深度估计相关的机器学习模型，有利于改善数据集的精度与完整性。

本公开的示例性实施方式还提供一种深度检测装置。参考图10所示，该深度检测装置1000可以包括：

数据获取模块1010，被配置为获取由激光雷达采集的待测对象的点云数据，以及由至少两个相机采集的待测对象的至少两张图像；

第一深度信息确定模块1020，被配置为通过解析上述点云数据确定待测对象的第一深度信息，第一深度信息包括待测对象的不同区域的第一深度值；

第二深度信息确定模块1030，被配置为通过对上述至少两张图像进行立体匹配，确定待测对象的第二深度信息，第二深度信息包括待测对象的不同区域的第二深度值；

权重值确定模块1040，被配置为确定不同区域的第一深度值对应的第一权重值与第二深度值对应的第二权重值；

深度信息融合模块1050，被配置为利用第一权重值与第二权重值对第一深度信息与第二深度信息进行融合，得到待测对象的目标深度信息。

在一种实施方式中，数据获取模块1010，被配置为：

获取激光雷达在运动过程中所采集的多帧点云数据；

对多帧点云数据进行配准，并融合配准后的多帧点云数据，得到待测对象的点云数据。

在一种实施方式中，第一深度信息确定模块1020，被配置为：

基于激光雷达与至少两个相机中的第一相机间的第一标定参数，将点云数据投影至第一相机的坐标系，得到待测对象的第一深度信息。

在一种实施方式中，第二深度信息确定模块1030，被配置为：

基于至少两个相机间的第二标定参数，对至少两张图像进行立体匹配，以得到双目视差图；

根据双目视差图确定待测对象的第二深度信息。

在一种实施方式中，权重值确定模块1040，被配置为：

获取第一深度值范围与第二深度值范围，第一深度值范围是激光雷达的深度值检测范围，第二深度值范围是至少两个相机的深度值检测范围；

根据第一深度值范围、第二深度值范围、不同区域的第一深度值与第二深度值，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

在一种实施方式中，权重值确定模块1040，被配置为：

确定第一深度中位值与第二深度中位值，第一深度中位值是第一深度值范围的中位值，第二深度中位值是第二深度值范围的中位值；

根据第一深度值与第一深度中位值之差，以及第二深度值与第二深度中位值之差，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

在一种实施方式中，权重值确定模块1040，被配置为：

根据第一深度值范围、第二深度值范围、不同区域的第一深度值与第二深度值，以及第一深度值对应的第一置信度与第二深度值对应的第二置信度中的至少一者，确定第一深度值对应的第一权重值与第二深度值对应的第二权重值。

上述装置中各部分的细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。