全景深度测量方法、四目鱼眼相机及双目鱼眼相机

摘要

本发明提供了全景深度测量方法、四目鱼眼相机和双目鱼眼相机。所述方法包括：获取鱼眼镜头拍摄的鱼眼图像；对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；根据所述深度图获得全景深度图。本发明旨在利用全景相机上的多个鱼眼镜头获取的图像进行立体匹配，形成全景深度图像，并测量目标物体的深度，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的深度图即方位，从而达到避障的效果。

说明书

技术领域

本发明属于全景图像领域，尤其涉及一种全景深度测量方法、四目鱼眼相机及双目鱼眼相机。

背景技术

现有技术中实时避障大部分采用的避障技术都是依赖于大量传感器如超声波、激光雷达等。上述避障方法存在一些缺陷，比如检测距离短造成无法及时避开障碍物，或设备体积质量庞大不能简单的进行装配。

全景相机一般都是采用鱼眼镜头来进行360°拍照实现全景的效果。鱼眼镜头拍摄的鱼眼图像的最大视角可以达到180度或者270度，如何根据鱼眼镜头所拍摄的图片测定出目标在现实环境中的方位也成为全景相机的一个重要应用点。

发明内容

本发明提出一种全景深度测量方法、四目鱼眼相机及双目鱼眼相机，旨在利用全景相机上的多个鱼眼镜头获取的图像进行立体匹配，形成全景深度图像，并测量目标物体的深度。

本发明利用多个鱼眼镜头提出了一种全景深度测量方法，该方法可以计算场景的3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的深度图计算物体的方位，从而达到避障的效果。

本发明第一方面提供了一种全景深度测量方法，适用于四目鱼眼相机，包括步骤：获取鱼眼镜头拍摄的鱼眼图像；对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；根据所述深度图获得全景深度图。

进一步地，上述方法中，所述四目鱼眼相机在平行的表面上分别设置两个所述鱼眼镜头，所述对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图，还包括：对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图；分别对所述四目鱼眼相机同一表面上的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并分别计算第二重叠区域的第二深度图和第三重叠区域的第三深度图；所述根据所述深度图获得全景深度图，还包括：将所述第一深度图、第二深度图、第三深度图合并，获得全景深度图。

进一步地，上述方法中，所述对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图，还包括：分别对所述四目鱼眼相机不同表面上位于同一端的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图。

进一步地，上述方法中，所述获取所述鱼眼镜头拍摄的鱼眼图像，包括获取当前每个所述鱼眼镜头拍摄的图片或者视频帧。

进一步地，上述方法中，所述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点。

进一步地，上述方法中，所述四目鱼眼相机为无人机的机身或者外接装置。

进一步地，上述方法中，所述重叠区域包括360度全景区域。

进一步地，上述方法中，还包括步骤：从所述深度图中确定障碍物。

本发明第二方面提供了一种四目鱼眼相机，包括：图像获取模块，用于获取鱼眼镜头拍摄的鱼眼图像；立体匹配模块，用于对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；全景合成模块，用于根据所述深度图获得全景深度图。

进一步地，上述四目鱼眼相机中，在平行的表面上分别设置两个鱼眼镜头，所述对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图，还包括：对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图；分别对所述四目鱼眼相机同一表面上的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并分别计算第二重叠区域的第二深度图和第三重叠区域的第三深度图；所述根据所述深度图获得全景深度图，还包括：将所述第一深度图、第二深度图、第三深度图合并，获得全景深度图。

进一步地，上述四目鱼眼相机中，所述对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图，还包括：分别对所述四目鱼眼相机不同表面上位于同一端的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，计算第一重叠区域的第一深度图。

进一步地，上述四目鱼眼相机中，所述获取所述鱼眼镜头拍摄的鱼眼图像，包括获取当前每个所述鱼眼镜头拍摄的图片或者视频帧。

进一步地，上述四目鱼眼相机中，所述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点。

进一步地，上述四目鱼眼相机中，所述四目鱼眼相机为无人机的机身或者外接装置。

进一步地，上述四目鱼眼相机中，所述重叠区域包括360度全景区域。

进一步地，上述四目鱼眼相机中，还包括：障碍检测模块，用于从所述深度图中确定障碍物。

本发明第三方面提供了一种全景深度测量方法，适用于双目鱼眼相机，包括步骤：获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像；对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；根据所述深度图获得全景深度图。

进一步地，上述方法中，所述获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像，还包括：获取所述双目鱼眼相机在第一位置时所述鱼眼镜头拍摄的鱼眼图像，以及获取所述双目鱼眼相机在第二位置时所述鱼眼镜头拍摄的鱼眼图像；根据所述双目鱼眼相机从第一位置到第二位置的位移，计算所述深度图。所述重叠区域包括360度全景区域。

进一步地，上述方法中，所述双目鱼眼相机为无人机的机身或者外接装置。

进一步地，上述方法中，还包括步骤：从所述深度图中确定障碍物。

本发明第四方面提供了一种双目鱼眼相机，包括：图像模块，用于获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像；计算模块，用于对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；深度模块，用于根据所述深度图获得全景深度图。

进一步地，上述双目鱼眼相机中，所述获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像，还包括：获取所述双目鱼眼相机在第一位置时所述鱼眼镜头拍摄的鱼眼图像，以及获取所述双目鱼眼相机在第二位置时所述鱼眼镜头拍摄的鱼眼图像；根据所述双目鱼眼相机从第一位置到第二位置的位移，计算所述深度图。所述重叠区域包括360度全景区域。

进一步地，上述双目鱼眼相机中，所述双目鱼眼相机为无人机的机身或者外接装置。

进一步地，上述双目鱼眼相机中，还包括：避障模块，用于从所述深度图中确定障碍物。

本发明通过对全景相机对上下和/或左右鱼眼镜头拍摄的图像进行立体匹配，根据匹配特征点实现计算物体的深度的方法，本发明可以计算场景3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的方位，从而达到避障的效果。

附图说明

图1是本发明一实施例提供的一种全景深度测量方法的流程图；

图2是本发明一实施例提供的一种四目鱼眼相机的示意图；

图3是本发明另一实施例提供的一种四目鱼眼相机的示意图；

图4是本发明一实施例提供的一种双目鱼眼相机的示意图；

图5是本发明一实施例提供的一种双目鱼眼相机运动状态的示意图；

图6是本发明另一实施例提供的双目鱼眼相机的示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

参照图1，本发明实施例公开了一种全景深度测量方法，适用于四目鱼眼相机，其特征在于，包括步骤：

S101，获取鱼眼镜头拍摄的鱼眼图像；

S102，对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；

S103，根据所述深度图获得全景深度图。

其中，所述获取所述鱼眼镜头拍摄的鱼眼图像，包括获取当前每个所述鱼眼镜头拍摄的图片或者视频帧。本实施例中，获取的是鱼眼镜头拍摄的照片。

参照图2，本实施例中，上述四目鱼眼相机在平行的表面上分别设置两个所述鱼眼镜头，共四个鱼眼镜头，即f1、f2、f3、f4，S102中对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图的步骤，还包括：对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图。分别对所述四目鱼眼相机同一表面上的两个所述鱼眼镜头f1和f3，以及f2和f4拍摄的所述鱼眼图像分别进行立体匹配，并分别计算第二重叠区域的第二深度图S5和第三重叠区域的第三深度图S6。S103中根据所述深度图获得全景深度图，还包括：将所述第一深度图S3和S3’、第二深度图S5、第三深度图S6合并，获得全景深度图。

四个鱼眼镜头的拍摄视角均远超180°，如240°等；其他实施例中，鱼眼相机鱼眼镜头的数量可以为大于或等于4个。

本实施例中，对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图的步骤中，具体包括：分别对所述四目鱼眼相机不同表面上位于同一端的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图。具体来说，就是通过对f1和f2进行立体匹配，计算环形的视角重叠区域S3的深度图，通过对f3和f4进行立体匹配，计算环形的视角重叠区域S3’的深度图，S3和S3’共同构成第一重叠区域的第一深度图。应当理解，上述重叠区域都是三维立体空间区域。

在其他实施例中，S102可以包括获取四目鱼眼相机一侧的任一个鱼眼相机的图像与另一侧任一个鱼眼相机的图像进行双目立体匹配，得到视角图像重叠区域，如图4该区域为环形的S0区域，然后与相机另外两面的重叠区域形成一个等于或者超过360度的区域。

应当理解，上述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点，可以是稠密光流、稀疏光流等匹配方法。

应当理解，为了获得360度全景深度图，所述重叠区域也相应的包括了360度全景区域。由于深度图中可以在一个区域中区分出物体的远近距离，因此可以从所述深度图中确定障碍物。

作为本实施例中四目鱼眼相机的应用场景，该四目鱼眼相机可以为无人机的机身或者也可以为无人机的外接装置。无人机既可以是无人飞行器，也可以是无人驾驶机器人。本实施例中四目鱼眼相机在无人机上的应用，可以为无人机提供感知周边环境的深度图，并可进行障碍物的检测，从而辅助无人机进行避障，或者实现路径规划。

本发明通过对全景相机对上下和/或左右鱼眼镜头拍摄的图像进行立体匹配，根据匹配特征点实现计算物体的深度的方法，本发明可以计算场景3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的方位，从而达到避障的效果。

参照图3，本发明另一实施例公开了一种四目鱼眼相机100，四目鱼眼相机100在平行的表面上分别设置两个所述鱼眼镜头，共四个鱼眼镜头，即f1、f2、f3、f4，立体匹配模块12中对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图的步骤，还包括：对所述四目鱼眼相机不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图。分别对所述四目鱼眼相机同一表面上的两个所述鱼眼镜头f1和f3，以及f2和f4拍摄的所述鱼眼图像分别进行立体匹配，并分别计算第二重叠区域的第二深度图S5和第三重叠区域的第三深度图S6。全景合成模块13中根据所述深度图获得全景深度图，还包括：将所述第一深度图S3和S3’、第二深度图S5、第三深度图S6合并，获得全景深度图。

本实施例中，对所述四目鱼眼相机100不同表面上的所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图的步骤中，具体包括：分别对所述四目鱼眼相机不同表面上位于同一端的两个所述鱼眼镜头拍摄的所述鱼眼图像进行立体匹配，并计算第一重叠区域的第一深度图。具体来说，就是通过对f1和f2进行立体匹配，计算重叠区域S3的深度图，通过对f3和f4进行立体匹配，计算重叠区域S3’的深度图，S3和S3’共同构成第一重叠区域的第一深度图。应当理解，上述重叠区域都是三维立体空间区域。

应当理解，上述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点。

应当理解，为了获得360度全景深度图，所述重叠区域也相应的包括了360度全景区域。由于深度图中可以在一个区域中区分出物体的远近距离，因此可以从所述深度图中确定障碍物。

作为本实施例中四目鱼眼相机的应用场景，该四目鱼眼相机可以为无人机的机身或者也可以为无人机的外接装置。无人机既可以是无人飞行器，也可以是无人驾驶机器人。本实施例中四目鱼眼相机在无人机上的应用，可以为无人机提供感知周边环境的深度图，并可进行障碍物的检测，从而辅助无人机进行避障，或者实现路径规划。

本发明通过对全景相机对上下和/或左右鱼眼镜头拍摄的图像进行立体匹配，根据匹配特征点实现计算物体的深度的方法，本发明可以计算场景3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的方位，从而达到避障的效果。

参照图4和图5，本发明实施例还公开了一种全景深度测量方法，适用于双目鱼眼相机，包括步骤：获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像；对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；根据所述深度图获得全景深度图。

本实施例中，上述获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像，还包括：获取所述双目鱼眼相机在第一位置t1时所述鱼眼镜头拍摄的鱼眼图像，以及获取所述双目鱼眼相机在第二位置t2时所述鱼眼镜头拍摄的鱼眼图像；根据所述双目鱼眼相机从第一位置t1到第二位置t2的位移，计算所述深度图。重叠区域包括360度全景区域。

本实施例图4中，双目鱼眼相机的鱼眼镜头f1和f2是背向设置的，与上述原理相同，可以实现计算得出重叠区域S3和S4的深度图，但尚且有未有重叠因而无法获得深度图的区域S1和S2。如图5所示，当双目鱼眼相机产生了一定的位移，而这一位移又是可以测定的，再利用在前后两个位置t1和t2时拍摄的图像，原来未产生重叠的区域将被重叠区域覆盖，因此可以对这些区域进行立体匹配，从而得到这些区域的深度图，这样也就可以合成得到360度的深度图。利用前后两个位置分别的拍摄图像，就相当于用双目鱼眼相机达到了四目鱼眼相机的效果。

应当理解，上述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点。

应当理解，为了获得360度全景深度图，所述重叠区域也相应的包括了360度全景区域。由于深度图中可以在一个区域中区分出物体的远近距离，因此可以从所述深度图中确定障碍物。

作为本实施例中双目鱼眼相机的应用场景，该双目鱼眼相机可以为无人机的机身或者也可以为无人机的外接装置。无人机既可以是无人飞行器，也可以是无人驾驶机器人。本实施例中双目鱼眼相机在无人机上的应用，可以为无人机提供感知周边环境的深度图，并可进行障碍物的检测，从而辅助无人机进行避障，或者实现路径规划。

本发明通过对全景相机对上下和/或左右鱼眼镜头拍摄的图像进行立体匹配，根据匹配特征点实现计算物体的深度的方法，本发明可以计算场景3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的方位，从而达到避障的效果。

参照图6，本发明实施例还公开了一种双目鱼眼相机200，包括：图像模块21，用于获取所述双目鱼眼相机在不同位置时，所述鱼眼镜头拍摄的鱼眼图像；计算模块22，用于对所述鱼眼图像进行立体匹配，并计算重叠区域的深度图；深度模块23，用于根据所述深度图获得全景深度图。

本实施例中，上述获取所述双目鱼眼相机200在不同位置时，所述鱼眼镜头拍摄的鱼眼图像，还包括：获取所述双目鱼眼相机在第一位置t1时所述鱼眼镜头拍摄的鱼眼图像，以及获取所述双目鱼眼相机在第二位置t2时所述鱼眼镜头拍摄的鱼眼图像；根据所述双目鱼眼相机从第一位置t1到第二位置t2的位移，计算所述深度图。重叠区域包括360度全景区域。

参照图4，双目鱼眼相机200的鱼眼镜头f1和f2是背向设置的，与上述原理相同，可以实现计算得出重叠区域S3和S4的深度图，但尚且有未有重叠因而无法获得深度图的区域S1和S2。如图5所示，当双目鱼眼相机产生了一定的位移，而这一位移又是可以测定的，再利用在前后两个位置t1和t2时拍摄的图像，原来未产生重叠的区域将被重叠区域覆盖，因此可以对这些区域进行立体匹配，从而得到这些区域的深度图，这样也就可以合成得到360度的深度图。利用前后两个位置分别的拍摄图像，就相当于用双目鱼眼相机达到了四目鱼眼相机的效果。

应当理解，上述立体匹配包括从不同的所述鱼眼图像中找到匹配的对应点。

应当理解，为了获得360度全景深度图，所述重叠区域也相应的包括了360度全景区域。由于深度图中可以在一个区域中区分出物体的远近距离，因此可以从所述深度图中确定障碍物。

作为本实施例中双目鱼眼相机的应用场景，该双目鱼眼相机可以为无人机的机身或者也可以为无人机的外接装置。无人机既可以是无人飞行器，也可以是无人驾驶机器人。本实施例中双目鱼眼相机在无人机上的应用，可以为无人机提供感知周边环境的深度图，并可进行障碍物的检测，从而辅助无人机进行避障，或者实现路径规划。

本发明通过对全景相机对上下和/或左右鱼眼镜头拍摄的图像进行立体匹配，根据匹配特征点实现计算物体的深度的方法，本发明可以计算场景3D坐标，还可以为全景相机运动或者为全景相机的载体比如无人机等实时提供目标物体的方位，从而达到避障的效果。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。