一种主动结构光的双目深度感知方法

摘要

本发明提供了一种主动结构光的双目深度感知方法，采用编码图案投射器投射出编码图案，对投射空间或目标物体进行结构光编码(特征标定)，再利用同一基线上、左右对称地排列在投射器两侧的两个摄像头获取编码图案，通过预处理和投射阴影检测，按图像块进行两种模式的块匹配运动估计(双目块匹配和自匹配)，求出最优匹配块的偏移量，按深度计算公式求出深度值，并对投射阴影进行深度补偿，生成高分辨率、高精度的深度信息。本发明结合了双目立体测距和主动结构光编码的优点，可大幅提升深度测量的精度和空间分辨率，且易于硬件实现。

说明书

技术领域

本发明属于图像处理、人机交互和机器视觉技术领域，具体涉及一种主 动结构光的双目深度感知方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三 维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情 况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉 能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系 统研究的难点。

深度感知技术和装置在工业领域，高分辨率、高精度的三维深度信息在 汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联 网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技 术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来全新的 人机交互体验，在智能电视、智能手机、家电、平板PC等实现创新应用。

深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距一 种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方 法主要有结构光编码和ToF两种方法。其中基于结构光编码的主动视觉模式 可以较为准确地获取图像深度信息，且不受环境光影响、立体匹配过程简单。 如微软体感交互设备Kinect，2013年美国苹果公司新申请的发明专利 “Depth Perception Device and System，深度感知设备与系统”，2014年 美国英特尔公司发布的一款深度摄像装置，都是主动发射激光计算深度距 离。当前微软、苹果、英特尔开发的深度感知装置都采用单一的摄像头接收 模式，主要适用于消费类电子，在深度图分辨率、精度、适用范围等方面难 以满足汽车辅助安全、工业、3D打印等领域的需求。其中，立体匹配计算 过程深受光照、纹理、遮挡等因素的影响，存在较多误差、计算量大、实时 生成深度图困难。

发明内容

鉴于此，本发明提供了一种主动结构光的双目深度感知方法，基于结构 光编码的主动视觉模式，先采用编码图案投射器(激光散斑投射器或其它投 影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用 与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的 两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向 量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息 (距离)。

根据本发明的一种主动结构光的双目深度感知方法，包括：

步骤1、采用结构光编码的主动视觉模式，利用编码图案投射器投射出 编码图案，对投射空间进行结构光编码，即主动进行特征标定；

步骤2、双目摄像头采集、固化各自的参考编码图案R_l、R_r；

步骤3、双目摄像头各自采集含编码图案的输入图像I_l、I_r，并对输入 图像I_l、I_r进行预处理；

步骤4、对预处理后的输入图像I_l、I_r分别进行目标物体投射阴影区域 的检测，分别标记为A_l、A_r；

步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量， 其中，利用输入图像I_l、I_r互相之间的双目块匹配计算，得到X轴方向偏移 量Δx_l，r或Y轴方向偏移量Δy_l，r；利用输入图像I_l、I_r与其对应的参考编码图案 R_l、R_r之间的块匹配计算，得到X轴方向偏移量Δx_l、Δx_r或Y轴方向偏移量 Δy_l、Δy_r；

步骤6、进行深度计算，包括：

(6a)选择偏移量Δx_l，r或Δy_l，r，结合摄像头图像传感器焦距f、两个摄 像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式 计算得到投射图像块block_m×n中心点o的深度信息d_l，r；

(6b)选择偏移量Δx_l、Δx_r或Δy_l、Δy_r，结合参考编码图案的已知距离 参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和 摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像I_l、I_r中 对应同一位置的投射图像块block_m×n中心点o的深度信息d_l、d_r；

步骤7、进行深度补偿：利用深度信息d_l、d_r结合步骤4检测出来的投 射阴影区域A_l、A_r对深度信息d_l，r进行补偿和修正，输出投射图像块block_m×n中 心点o的最终深度值d_out；

步骤8、将投射图像块的中心点o移到同一行的下一个像素点，重复步 骤5-7，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上 往下的计算顺序，逐点计算得到整幅图像深度信息。

本发明结合双目立体测距和主动结构光编码的优势，大幅提高了深度测 距的精度和空间分辨率。采用本发明技术方案的有益效果还将通过以下实施 例的阐述而得到具体的体现。

附图说明

图1是本发明实施例的主动结构光的双目深度感知方法流程图；

图2是本发明实施例的双目摄像头的结构示意图；

图3是本发明实施例的编码图像投射器和双目摄像头视场及投射阴影 的示意图；

图4是本发明实施例的双目摄像头深度感知计算模块结构图；

图5是本发明实施例的输入图像块与搜寻最优匹配块的示意图；

图6是本发明实施例的双目块匹配深度计算示意图；

图7是本发明实施例的双目摄像头视场融合的示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步的详细说明。

总体而言，本发明实施例的主动结构光的双目深度感知方法，是基于结 构光编码的主动视觉模式，采用编码图案投射器(激光散斑投射器或其它投 影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用 与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的 两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向 量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息 (距离)。

图1示意性图示了本发明实施例的主动结构光的双目深度感知方法的 整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图 7来描述该方法。

步骤1：编码图案投射器进行空间编码。采用结构光编码的主动视觉模 式，利用编码图案投射器(激光散斑投射器或投影装置)投射出编码图案， 对投射空间或目标物体进行结构光编码，即主动进行特征标定。

所述的编码图案投射器可以是激光散斑投射器或其他投影装置。优选 地，激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不 可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑 图像，而投影装置则可以投射出可控的编码图案。编码图案投射器所投射出 的图案一般是固定的，或采用一定的控制策略与摄像头接收图像的图像传感 器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范 围特征不重复或随机分布。投射器所投射的视场角FoV(包括水平、垂直视 场角)一般大于接收摄像头的视场角FoV。

步骤2、双目摄像头采集、固化各自的参考编码图案R_l、R_r。

优选地，双目摄像头是两个性能指标相同(相同的光学透镜和图像传感 器)、独立的两个摄像头，且左右对称、等距地排列在编码图案投射器的两 侧，其光轴与编码图案投射器光轴平行、并处于同一基线上，接收其发出的 一定波长范围的编码图案，如图2所示。摄像头图像传感器焦距为f，摄像 头到编码图案投射器的基线距离为S，摄像头图像传感器点距参数为μ。

在实际应用中，可以根据不同的需求对两个相机的基线进行调整，也可 采用两个不同焦距或型号的相机，以满足不同的功能。双目摄像头一般通过 滤光片只接收一定波长范围的投射器发出的图像，最大程度地消除其它光源 或光线的干扰，从而可清晰稳定地接收编码图案投射器所投射的图案。

在投入工作前，需先采集、固化双目摄像头各自的参考编码图案用于作 为匹配比较的参考基准。所述的参考编码图案是将编码图案投射器投射出编 码图案到与该投射器的光学中心轴(Z轴)垂直、且距离投射器为d的平面 上(该平面可由投影布、平板等构成，用于呈现清晰稳定的图像，该平面可 称之为参考基准平面)，由摄像头采集得到静态图像，并经图像预处理后存 储固化在存储器中用于匹配基准和深度感知计算的标准图案。优选地，激光 散斑投射器的参考编码图案是由多个散斑点组成、已知距离d的标准散斑 图。参考编码图案的获取可以通过如上方式实现，这些方式仅用于说明上述 实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获 取参考图案。

步骤3、双目摄像头各自采集含编码图案的输入图像I_l、I_r，并对输入 图像I_l、I_r进行预处理。

双目摄像头接收的含有编码图案的输入图像，可以含有目标物体，其深 度信息未知，但其在编码图案投射器照射和摄像头接收的有效距离范围内。

所述的图像预处理是对不同特性的输入图像进行自适应、一致性的处 理，目的是通过输入图像的预处理，使图案更清晰、减少误匹配和噪声干扰， 并有利于本发明内容的深度感知计算。优选地，预处理方法包括视频格式转 换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空 间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法 包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强 方法。参考编码图案及双目摄像头实时采集的输入图像都经过相同的图像预 处理模块。

步骤4、对预处理后的输入图像I_l、I_r分别进行目标物体投射阴影区域 的检测，分别标记为A_l、A_r。

所述的投射阴影区域是由于编码图案投射器投射过程中由于目标物体 的边缘遮挡，导致摄像头接收的图像在目标物体边缘处有阴影区域存在，即 无编码图案存在的区域。如图3所示投射阴影示意图，左右摄像头接收输入 图像过程中由于目标物体遮挡引起的投射阴影区域A_l、A_r。

优选地，投射阴影区域检测方法为：在一定大小的输入图像块内检测所 包含的特征点个数，若检测出的特征点个数小于预定阈值，则认为该输入图 像块区域为投射阴影区域。以激光散斑投射器为例，其投射出的编码图案为 散斑点构成的散斑图像，可以在一定大小的输入图像块内检测散斑点的个 数，如散斑点个数小于一定的阈值，则认为该输入图像块区域为投射阴影区 域。本发明检测投射阴影区域的方法不限于检测激光散斑图像，也适用于检 测其它编码图案的特征信息。一般地，不在编码图案投射器照射和摄像头接 收的有效距离范围内的区域也按投射阴影区域处理。

步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量， 其中，利用输入图像I_l、I_r互相之间的双目块匹配计算，得到X轴方向偏移 量Δx_l，r或Y轴方向偏移量Δy_l，r；利用输入图像I_l、I_r与其对应的参考编码图案 R_l、R_r之间的块匹配计算，得到X轴方向偏移量Δx_l、Δx_r或Y轴方向偏移量 Δy_l、Δy_r。

双目摄像头采集输入图像序列后，送入图4所示的深度感知计算模块， 经步骤3的预处理后，送入块匹配运动估计模块按两种模式的块匹配运动估 计方法进行匹配计算。

一种模式是输入图像I_l、I_r互相之间的双目块匹配计算。具体为：

在输入图像I_l中提取一定大小的输入图像块B′block_m×n，中心点为o；在 输入图像I_r中提取跟输入图像块中心点o点位置对应、一定范围大小的匹配 搜索窗Match_M×N，大小为M×N，M、N都是整数，可以相等或不相等，一 般M≥N、M＞m、N≥n；然后在匹配搜索窗Match_M×N中提取所有跟输入图 像块一样大小的匹配块match_k，大小为m×n，匹配块中心点o_k，k是整数， 表示匹配块个数。

接下来分别计算输入图像块B′block_m×n与k个匹配块match_k之间的相似度 值match_value_k，该值作为图像块匹配的相似度测量指标。

最后，在所有相似度值match_value_k中求最小值，该值对应的匹配块 match_k即为图像块B′block_m×n拟搜寻的最优匹配块B，该最小值对应的位置信 息即为图像块block_m×n中心点o的偏移量(Δx_l，r，Δy_l，r)，即该输入图像块B′的 运动向量。如图5所示，输入图像块为输入图像I_l中灰色表示区域，最优匹 配块为输入图像I_r的匹配搜索窗中斜线表示区域，其中心点o_k与匹配搜索窗 block_M×N中心点o(该中心点o与输入图像块中心点o位置对应)的最优偏移 量为(Δx_l，r，Δy_l，r)，分别表示X、Y轴方向位移，偏移量值为匹配搜索窗中 心点o坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)后取绝 对值计算得到，用像素点个数表示。

另一种模式是输入图像I_l、I_r与其对应的参考编码图案R_l、R_r之间的块 匹配计算。具体方法：如图5所示，输入图像I_l中提取输入图像块B′，在其 参考编码图案R_l中搜寻与之最为匹配(即相似度最高)的图像块B；输入图 像I_r中提取输入图像块B′，在其参考编码图案R_r中搜寻与之最为匹配(即相 似度最高)的图像块B；两者搜索最优块匹配的方法同上一种模式的输入图 像之间的双目块匹配运动估计方法，得到输入图像I_l的输入图像块与其最优 匹配块的最优偏移量(Δx_l，Δy_l)和输入图像I_r的输入图像块与其最优匹配块 的最优偏移量(Δx_r，Δy_r)。偏移量值为输入图像块对应的匹配搜索窗中心点 o坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)计算得到， 用像素点个数表示，正负值在空间上对应与参考图案平面的前后关系。

优选地，输入图像块大小的选取是根据水平或垂直方向一定范围内该图 像块具有相对的唯一性，即该图像块特征与其它相同大小的图像块特征不 同，能与其它相同大小的图像块区分开来。

优选地，本发明的相似度值计算方法采用输入图像块与匹配块对应像素 之间求差绝对之和(SAD)的方法，但不限于这种方法。

步骤6、进行深度计算，包括：

(6a)选择偏移量Δx_l，r或Δy_l，y，结合摄像头图像传感器焦距f、两个摄 像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式 计算得到投射图像块block_m×n中心点o的深度信息d_l，r，如图6所示的双目摄像 头深度计算示意图。

其中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l，r；若 双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l，r。

在本实施例中，按以下深度计算公式计算d_l，r，以水平偏移量Δx_l，r作为输 入参数为例：

$d_{l,r}=\frac{2\mathrm{fS}}{{\mathrm{\Delta x}}_{l,r}\mu }---\left(1\right)$

式中，水平偏移量Δx_l，r为输入图像I_l的输入图像块B′与其对应的输入图 像I_r上的最优匹配块B在X方向的最优偏移量，即输入图像I_r的匹配搜索窗 中心点x坐标值减去输入图像块B′在匹配搜索窗中搜寻到的最优匹配块B 中心点x′坐标值，再取绝对值，用像素点个数表示。

(6b)选择偏移量Δx_l、Δx_r或Δy_l、Δy_r，结合参考编码图案的已知距离 参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和 摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像I_l、I_r中 对应同一位置的投射图像块block_m×n中心点o的深度信息d_l、d_r。

其中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l、Δx_r； 若双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l、Δy_r。

在本实施例中，按以下深度计算公式计算d_l、d_r，以水平偏移量Δx_l、Δx_r作为输入参数为例：

$d_l=\frac{\mathrm{fSd}}{\mathrm{fS}+{\mathrm{\Delta x}}_l\mathrm{\mu d}},d_r=\frac{\mathrm{fsd}}{\mathrm{fS}+{\mathrm{\Delta x}}_r\mathrm{\mu d}}---\left(2\right)$

式中，Δx_l、Δx_r为分别为输入图像I_l、I_r的输入图像块与其对应最优匹 配块在X方向的最优偏移量，用像素点个数表示。

步骤7、进行深度补偿：利用深度信息d_l、d_r结合步骤4检测出来的投 射阴影区域A_l、A_r对深度信息d_l，r进行补偿，输出投射图像块block_m×n中心点o 的最终深度值d_out。

结合图7所示的双目摄像头视场融合示意图，深度补偿的具体方法为： 如投射图像块的中心点o落在左视图非交叉区域①，则选择d_l作为d_out输出； 如投射图像块的中心点o落在右视图非交叉区域③，则选择d_r作为d_out输出； 如投射图像块的中心点o落在左右视图的交叉区域②，对于非投射阴影区 域，如|d_l-d_r|≤th₁，且(表示深度值d_l和d_r相差不大、而深度值 d_l，r与d_l、d_r的均值相差大，则认为d_l，r属于深度误差值，th₁和th₂表示阈值)， 则选取d_l或d_r作为d_out输出，否则选d_l，r作为d_out输出；对于投射阴影A_l区域， 选择d_r作为d_out输出；对于投射阴影A_r区域，则选择d_l作为d_out输出。

以上举例仅为一种具体深度补偿方法，但不限于这种方法。

步骤8、将投射图像块的中心点o移到同一行的下一个像素点，重复步 骤5-7，可计算得到下一个像素点对应的深度值，如此按逐行从左向右、从 上往下的计算顺序，逐点计算得到整幅图像深度信息(距离)。同理也可以 用于计算输入图像序列的深度信息。

作为示例，本发明双目摄像头采用两个性能指标相同(相同的光学透镜 和图像传感器)、独立的两个摄像头，左右对称、等距地排列在编码图案投 射器的两侧，其光轴与编码图案投射器光轴平行、并处于同一基线上，但也 可以根据不同的需求对两个摄像头的基线进行调整，或采用两个不同焦距或 型号的摄像头。

作为示例，本发明投射阴影区域检测方法不限于本发明举例采用的方 法；本发明匹配块的搜索策略采用传统全搜索块匹配，但是也可以采用其他 各种改进的搜索策略；相似度值计算方法采用差绝对值之和SAD的方法，但 不限于这种方法；深度补偿方法也不限于本发明举例采用的方法；所有采用 与本发明内容流程相似的方法都应包含在本发明的权利要求范围内。

本发明中，捕捉的输入图像包括所述物体移动过程中捕捉的一系列测试 图像，并可根据所估计的位置跟踪目标区域内物体的运动。

上述中提到本发明同样可以现将两个摄像头的预处理后的图像进行拼 接，再计算深度。但拼接过程会增加很多冗余匹配计算，虽然实施例中未详 细介绍该方法，但未脱离本发明的精神和范围，应包含在上述的权利要求范 围内。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明 可类似的应用到相似的编码图案投射和图像传感器系统中。本发明不仅支持 不同激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也 适用不同图案的投射方案，如圆点状、块状、十字状、条纹状等的图案。因 而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要 求范围内。