创建3维网络地图的方法和控制自动行进设备的方法

摘要

一种创建3维网格地图的方法和控制自动行进设备的方法。在创建3维地图以辨别无人驾驶车辆或者移动式机器人的当前位置和周围环境的过程中，2维定位和3维图像再现被适当地使用，以更快地准确创建3维网格地图。

说明书

本申请要求于2008年8月12日提交到韩国知识产权局的第2008-0078692号韩国专利申请的利益，该申请的公开通过引用包含于此。

技术领域

本发明涉及一种用于创建3维网格地图的方法，更具体地讲，涉及一种通过利用立体全方位照相机辨别周围环境来创建3维网格地图的方法。

背景技术

全方位照相机是利用旋转反射镜、聚光透镜和图像拾取装置同时在所有方向上进行拍摄的照相系统，并且全方位照相机被应用到安全性设施、监控摄像机(surveillance camera)和机器人视觉系统等。旋转反射镜可具有双曲线形形状、球形形状、锥形形状或者它们的组合形状。电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)被用作图像拾取装置。被投射在图像拾取装置的拾取表面上的图像(即，全方位图像)通过从旋转反射镜反射而形成，并显示不适于观察的失真图像。因此，为了准确地观察图像，图像拾取装置的输出坐标通过(例如)外部微处理器被转换，以产生新的全景图像。

通过全方位照相机获得的全方位图像提供了关于该照相机的周围的2维信息。如果使用通过多个全方位照相机从不同方向拍摄的多个全方位图像，则可以获得关于全方位照相机的周围的3维信息。包括多个全方位照相机的图像设备被称作立体全方位照相机。通过使用立体全方位照相机来装备无人驾驶车辆或者移动式机器人，由立体全方位照相机拍摄的全方位图像被用于无人驾驶车辆或者移动式机器人的位置识别和地图的产生。

发明内容

因此，本发明的一方面在于提供这样一种方法，该方法能够在3维定位和地图构建中在很短的时间内准确地识别3维位置并创建地图，以识别无人驾驶车辆或者移动式机器人的当前位置和周围环境。

本发明的其它方面和/或优点一部分在以下的描述中进行阐述，一方面将从描述中变得清楚，或者可以通过实施本发明而了解。

根据本发明，上述和/或其它方面可以通过提供一种用于创建3维网格地图的方法被实现，该方法包括以下步骤：利用立体全方位照相机获得周围的全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图。

使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。

可使用全方位图像的核线上的特征点来执行2维位置的确认。

可通过提取颜色边界获得特征点。

可使用3维再现的结果来获得3维网格的占据的程度。

如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定为被占据。

根据本发明的另一方面，提供了一种用于控制自动行进设备的方法，该方法包括以下步骤：利用立体全方位照相机获取周围的全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图；基于所述3维再现来确定从当前位置到目标点的行进路径；控制自动行进设备沿着所述行进路径行进到目标点。

使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。

可使用全方位图像的核线上的特征点来执行2维位置的确认。

可通过提取颜色边界来获得特征点。

可使用3维再现的结果来获得3维网格的占据的程度。

如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定为被占据。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其它方面和优点将会变得清楚和更加易于理解，其中：

图1示出了根据本发明示例性实施例的立体全方位照相机的构造；

图2是示出图1中所示的立体全方位照相机的控制系统的框图；

图3示出了由图1中的立体全方位照相机捕捉的图像；

图4示出了在图3中所示的两个全方位图像的全景图和视差图；

图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提取概念；

图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。

具体实施方式

现在，将详细描述本发明的实施例，其示例在附图中被示出，其中，相同的标号始终表示相同的元件。以下，将参照附图描述实施例，以解释本发明。

参照图1至图6描述用于创建3维网格地图的方法和利用该3维网格地图来控制自动行进设备的方法的示例性实施例。当通过辨别无人驾驶车辆和移动式机器人等的当前位置和周围环境来确定行进路径时，可以应用根据本发明示例性实施例的用于创建3维网格地图的方法。该方法还可以被应用到安全装置和监控装置等中。

图1示出了根据本发明示例性实施例的立体全方位照相机的构造。立体全方位照相机100包括按行布置并面向相同方向的第一全方位照相机102和第二全方位照相机104。虽然没有示出，但是第一全方位照相机102和第二全方位照相机104可以通过另外的固定单元被固定。

在第一全方位照相机102中，照相机模块102a面对旋转反射镜102b。旋转反射镜102b反射第一全方位照相机102的外围360°的入射光，以使入射光投射到照相机模块102a。照相机模块102a包括CCD 102c，以形成拾取表面，并且照相机模块102a将在旋转反射镜102b处反射的入射光转换成电能，从而产生图像信号。

第二全方位照相机104包括照相机模块104a和旋转反射镜104b。照相机模块104a包括CCD 104c，以形成拾取表面，并且照相机模块104a将在旋转反射镜104b处反射的入射光转换成电能，从而产生图像信号。

第一全方位照相机102和第二全方位照相机104的每个捕捉360°的视角的图像(即，全方位图像)，以产生图像信号。但是，由于一个全方位图像仅提供物体的2维信息，所以利用在不同位置捕捉的两个全方位图像来获得物体的3维信息。

图2是示出图1中所示的立体全方位照相机的控制系统的框图。立体全方位照相机100的第一全方位照相机102和第二全方位照相机104电连接到控制器202的输入端，以能够与控制器202通信。控制器202将从第一全方位照相机102和第二全方位照相机104产生的电信号转换成图像信号，并从通过图像信号获得的图像中创建立体全方位照相机100的周围的3维地图。创建的3维地图被存储在存储器204中，并当立体全方位照相机100的位置改变时被更新。如果无人驾驶车辆或者移动式机器人装备有立体全方位照相机100，则通过从3维地图中识别无人驾驶车辆或者移动式机器人的当前位置和周围地形来执行位置控制或者移动控制。

图3示出了由图1中的立体全方位照相机捕捉的图像。如图3所示，当使用立体全方位照相机100来拍摄立体全方位照相机100的周围时，第一全方位图像302通过第一全方位照相机102来捕捉，第二全方位图像304通过第二全方位照相机104来捕捉。在本发明的示例性实施例中，获得了通过第一全方位照相机102获得的第一全方位图像302的核线(epipolar line)306，并且提取核线306上的特征点308以获得特征点308的2维坐标。使用特征点308的2维坐标来创建3维网格地图。根据本发明的示例性实施例，使用颜色边界提取方法来提取特征点308。

图4示出了在图3中所示的两个全方位图像的全景图和视差图。参照图4，标号402表示第一全方位图像302的全景图，即，第一全景图，参考标号404表示第二全方位图像304的全景图，即，第二全景图，参考标号406表示第一全景图402和第二全景图404的立体匹配图(stereo matching map)，即，视差图。在视差图406中，靠近立体全方位照相机100的物体表现得相对明亮，远离立体全方位照相机100的物体显得相对暗。可以使用该亮度信息(即，图像的深度)估计立体全方位照相机100和物体之间的距离。

图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提取概念。参照图5，b是基线，即，第一全方位照相机102和第二全方位照相机104之间的距离，r′和r分别是旋转反射镜102b和104b的半径，p和p′是各自全方位图像上的特征点，d′和d是第一全方位照相机102和第二全方位照相机104与物体P之间的距离，α是第一全方位照相机102的中心和物体P之间的连线与旋转反射镜102b所在的平面的夹角，β是第二全方位照相机104的中心和物体P之间的连线与旋转反射镜或104b所在的平面的夹角。如图1所示，标号102c和104c分别表示第一全方位照相机102和第二全方位照相机104的拾取表面。

通过下面的等式(1)获得第二全方位照相机104与物体P之间的距离d。可以类似地获得第一全方位照相机102与物体P之间的距离d′。

[等式1]

$d=\frac{\cos \left(\beta \right)}{\sin (\alpha -\beta )}b...............................\left(1\right)$

如果计算立体第二全方位照相机104与物体P之间的距离d，并且从图4的全景图中计算物体P以立体全方位照相机100为基准的方位角，则可以获得由下面的等式(2)表示的物体P的3维坐标P(X，Y，Z)。

[等式2]

X＝d*cos(α)*cos(azimuth)

Y＝d*cos(α)*sin(azimuth)

Z＝d*sin(α)

图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。同时执行定位和地图构建被称为同步定位与地图构建(SLAM)。使用2维SLAM 600a和3维SLAM 600b二者来实现根据本发明示例性实施例的SLAM。由于3维SLAM 600b需要大量的操作，所以结合2维SLAM 600a和3维SLAM 600b，从而减少操作的总数量，并提高定位和地图构建的速度。如果在可以仅使用2维SLAM 600a可获得需要数据的情况下，仅执行2维SLAM 600a，并且如果在需要3维SLAM 600b的情况下执行3维SLAM 600b，则与当通过3维SLAM 600b获得全部数据时相比，所述操作的数量大大地减少。用于定位的操作的数量的减少意味着能够更加快速地确认位置，还可以意味着装备有立体全方位照相机100的自动行进设备(例如，无人驾驶车辆或者移动式机器人)可以以更高的速度运动。

在2维SLAM 600a中，在步骤602中，分别使用立体全方位照相机100的第一全方位照相机102和第二全方位照相机104来获得第一全方位图像302和第二全方位图像304。在步骤604中，获取利用第一全方位照相机102获得的第一全方位图像302的核线306，并且提取核线306上的特征点308。在2维SLAM 600a中，获取特征点308的2维坐标。为此，使用3维SLAM 600b的结果。

在3维SLAM 600b中，在步骤606中，通过第一全景图402和第二全景图404的立体匹配产生视差图406。在步骤608中，使用参照图5所述的方法通过视差图406使立体全方位照相机100的周围的3维图像再现。

再参照2维SLAM 600a，在步骤610，通过将下面的等式(3)、等式(4)和等式(5)应用到立体全方位图像而获得被提取的特征点308的2维坐标。

[等式3]

${\hat{X}}_k=f(X_{k--1},U_k+Q_v)$

Z＝h(X_k+Q_s)

[等式4]

$x=\left(\begin{array}{c}x\\ y\\ \phi \\ X_1\\ Y_1\\ X_2\\ Y_2\\ ·\end{array}\right)$

[等式5]

$z=\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\\ {\theta }_3\\ {\theta }_4\\ ·\\ ·\\ ·\\ ·\\ ·\end{array}\right)$

在2维SLAM的等式(3)中，(X_k)是状态向量，U_k是输入向量，Q_v是输入误差，Z是测量值，Q_q是测量误差。等式(3)的状态向量(X_k)由立体全方位照相机100的位置和特征点308的2维坐标构成，如等式(4)所示。等式(5)的测量值是由立体全方位照相机100测量的特征点的角度(方位角)。使用等式(3)、等式(4)和等式(5)，可以估计核线306上的特征点308的位置和立体全方位照相机100的位置。

如果根据本发明的立体全方位照相机100被安装在无人驾驶车辆、移动式机器人等中，则立体全方位照相机可以运动。因此，在步骤612中，通过估计立体全方位照相机100的运动可以重新更新先前测量的2维坐标。

在步骤614中，通过将在2维SLAM 600a中获得的2维坐标的结果和在3维SLAM 600b中获得的3维定位的结果结合，可以产生立体全方位照相机100的周围的3维网格地图。如果由体素占据的数在指定的水平之上，则体素被确定为被占据并且可以创建3维网格地图。如果在立体全方位照相机100的视角领域内存在多个体素(即，如果可以确认占据或者不占据)，并且如果由3维网格的体素占据的数超过预定数量，则对应的体素被确定为被占据。

虽然已经显示并描述了本发明的几个实施例，但是本领域技术人员应该理解，在不脱离权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行改变。