一种多深度相机联合获取高精度深度图的方法

摘要

本发明公开了一种多深度相机联合获取高精度深度图的方法，该方法通过使用高精度深度相机对若干低精度深度相机进行同时采集，利用两种相机重合部分对使用双边滤波器及高斯滤波器对低精度深度相机进行在线补偿，同时实时标定双边滤波器和高斯滤波器的参数，从而能够获取更高精度的深度图像。本发明的方法能够获得多幅高质量深度图像，降低了获取高精度深度图像的整体成本，其实现方法简便，手段灵活，深度图像质量显著提升，且与硬件具体型号及应用场景无关。

说明书

技术领域

本发明为深度相机补偿和标定技术领域，具体地涉及一种多深度相机联合获取高精度深度图的方法。

背景技术

深度相机又称之为3D相机，可以通过该相机检测出拍摄空间的景深距离。能准确知道图像中每个点离摄像头距离，这样加上该点在 2D 图像中的（x,y）坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用，目前已应用于许多场景，如机器人，自动驾驶等。

主流的深度相机方案有三种：结构光（代表为微软Kinect1，英特尔RealSense）、双目视觉（代表为Leap Motion，MYNT AI）和TOF（光飞行时间法，代表为微软Kinect2）。结构光（散斑）的优点主要有：方案成熟，资源消耗较低，使用主动光源，在一定范围内精度高，分辨率高；TOF 的优点主要有：检测距离远，受环境光干扰比较小；双目相机的主要优点有：硬件要求低，室内外都适用。从整体性能来看，结构光和TOF原理的深度相机精度较高且稳定性较好，但是成本相对双目来说要高许多。目前各种深度成像方式逐渐趋于成熟，并且成像精度及稳定性与硬件成本成正相关。而当前市场对深度相机需求较大，对成本相对敏感，一个急需解决的问题就是如何提高低成本深度相机的精度。

发明内容

针对现有技术存在的问题，本发明提供了一种多深度相机联合获取高精度深度图的方法。

为实现此目的，本发明采用如下技术方案：一种多深度相机联合获取高精度深度图的方法，包括以下步骤：

步骤一：在移动平台边缘的中间位置,固定一台高精度深度相机,所述高精度深度相机的视场角平视前方且无遮挡；

步骤二：在所述高精度深度相机周围安装低精度深度相机，所述低精度深度相机的数量为1~10，且所述低精度深度相机的视场角内无遮挡；

步骤三：随后对所述高精度深度相机和每个低精度深度相机进行外参标定，标定出每个低精度深度相机和高精度深度相机的重合区域深度图图像；

步骤四：在室内场景中移动移动平台，采集所述高精度深度相机与每个低精度深度相机的深度图数据，将所述高精度深度相机的深度图数据作为真实数据，将每个低精度深度相机的深度图数据使用高斯滤波和双边滤波进行动态补偿和动态标定；最后，每个低精度深度相机输出更高精度的深度图图像。

进一步地，所述低精度深度相机分别位于高精度深度相机的竖直及水平方向，每个低精度深度相机与高精度深度相机的成像焦点均位于同一竖直面，且每个低精度深度相机与高精度深度相机的成像焦点距离为15~20cm。

进一步地，步骤四通过以下子步骤来实现：

（4.1）在室内场景下缓慢移动移动平台，并实时采集高精度深度相机和每个低精度深度相机的深度图数据，所述深度图数据包括高精度深度相机某一帧深度图图像、每个低精度深度相机的某一帧深度图图像、包含高精度深度相机某一帧深度图图像的重合区域深度图图像，包含某个低精度深度相机的某一帧深度图图像的重合区域深度图图像；

（4.2）针对包含某个低精度深度相机的某一帧深度图图像的重合区域深度图图像先后使用高斯滤波和双边滤波，选取10~20组不同值的参数，根据不同参数搭配，生成滤波后的图片，每组参数包括高斯滤波参数和双边滤波参数；

（4.3）将生成滤波后的图片分别与包含高精度深度相机某一帧深度图图像的重合区域深度图图像计算欧氏距离，选取欧式距离最小的作为最终滤波后的图片，并取其高斯滤波参数，双边滤波参数为第0帧标定好的滤波参数；

（4.4）重复步骤（4.2）-（4.3），获得10~20组标定的高斯滤波参数，双边滤波参数，对高斯滤波参数、双边滤波参数分别取平均值，用于低精度深度相机输出更高精度的深度图图像。

与现有技术相比，本发明具有如下有益效果：

（1）本方案使用高精度深度相机对低精度深度相机标定，能够大幅度提升低精度深度相机成像效果。

（2）本方案采取在线多帧动态标定补偿方法，相比于离线单帧标定，加快了速度并提高了补偿效果。

附图说明

图1为本发明多深度相机联合获取高精度深度图的方法流程图；

图2为原始场景图和高精度深度相机成像效果对比图：图2（a）为原始场景图，图2（b）为高精度深度相机成像图；

图3为原始场景图和低精度深度相机成像效果对比图：图3（a）为原始场景图，图3（b）为低精度深度相机成像图；

图4为双边滤波不同参数效果图。

具体实施方式

如图1为本发明一种多深度相机联合获取高精度深度图的方法流程图，包括以下步骤：

步骤一：在移动平台边缘的中间位置,固定一台高精度深度相机

步骤二：在所述高精度深度相机

所述低精度深度相机

步骤三：随后对所述高精度深度相机

步骤四：在室内场景中移动移动平台，采集所述高精度深度相机

（4.1）在室内场景下缓慢移动移动平台，并实时采集高精度深度相机

（4.2）针对

（4.3）将

计算图片的欧氏距离用于判断两幅图片的相似度，由上式可得

（4.4）重复步骤（4.2）-（4.3），获得10-20组标定的高斯滤波参数

表1 本发明方法与传统方法低精度深度图像处理结果对比

表1是针对低精度深度图像的传统处理方法和本发明方法的效果对比，这里选择了精度误差标准差和精度误差均值两个指标来评价，两个指标是将低精度深度图与高精度深度图对应的各个像素的深度值相减，统计全部像素深度值相减结果的误差均值和标准差，其中误差标准差代表深度图的噪声水平，误差均值代表着深度图的精度水平。从表1的结果可以看到，传统方法（高斯滤波+双边滤波）较原始图像的精度误差标准差与精度误差均值均有较大的下降，能够减少低精度深度图像的噪声和深度误差；而本发明的方法，在开始时选取10-20组滤波参数，经过滤波后与高精度深度相机对比，能够选取滤波结果较好的一组高斯滤波参数和双边滤波参数，可以达到与传统处理方法相同的效果；而当经过若干次高斯滤波参数和双边滤波参数选择后，高斯滤波和双边滤波参数经过优化，获取了当前运行环境下最优的滤波参数，能够使得处理后的低精度深度图像更加接近高精度深度图像，效果明显优于传统处理方法，大幅度减少深度图的噪声并明显提升深度精度，提高了补偿效果。同时，本发明方法使用的是在线参数计算，相比于传统处理方法的离线参数计算，省去了大量时间，加快了整体速度。因此通过本发明的方法能够获得更高精度的图像，该图像的深度信息更加精确，并且图像的噪声大幅度减少。