一种扫地机双目摄像机实现运动三维重建的方法及系统

摘要

本发明公开了一种扫地机双目摄像机实现运动三维重建的方法及系统，该方法包括以下步骤：S1、利用两组平行设置的摄像机获取周围景物的数字图像；S2、提取数字图像的特征点及特征线；S3、对摄像机进行标定，并得出标定参数；S4、对提取的特征点及特征线进行匹配，并生成深度图；S5、根据标定参数及深度图输出景物三维位置信息。有益效果：通过采用张正友标定法获取立体相机的内部参数及其之间的相对位置关系，并应用交互信息算法对纠正后的立体相机影像进行逐像素匹配，从而生成目标场景的深度图，且该三维重建方法具有一定的实时性，能够重建出质量较好的深度信息；本发明能够稳定地获得较好的重建效果，且实时性及稳定性较好。

说明书

技术领域

本发明涉及视觉领域，具体来说，涉及一种扫地机双目摄像机实现运动三维重建的方法及系统。

背景技术

扫地机器人是智能家用电器的一种，其能凭借一定的人工智能，自动在房间里完成地板清洁工作。一般扫地机器人通过其底端的边刷及风机将地面杂物进行收集并吸纳进入自身的尘桶中，从而完成地面清理的功能，而且操作人员只需定期将尘桶进行清理即可。扫地机器人在工作之前一般需要对周围环境进行识别，现有的扫地机器人一般通过双目摄像机实现环境识别。

双目立体视觉是非接触性测量技术。属于光学三维视觉中被动式的分支，双目视觉技术是由两个工业相机同时采集左右相机图片来恢复场景或物体的三维信息。用左右眼视差及神经系统产生远近感。结合约束条件及匹配准则进行三维重建或测量。双目视觉系统原理较简单且容易实施，对光照和材质的变化有较好鲁棒性，在室内外场景重建中有很大优势。双目视觉系统在国内外多种行业都展现了极具商业价值的应用，如工业、农业、医学及国防建设等社会领。

在计算机视觉系统中，人们常常是采用多个，从不同角度同时获取周围景物的数字图像，然后用计算机重建方法来识别周围景物的三维形状与位置，如何快速而又准确地由两副图像恢复物体的三维形状，是阻碍计算机视觉进一步发展的一大难题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种扫地机双目摄像机实现运动三维重建的方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了一种扫地机双目摄像机实现运动三维重建的方法，该方法包括以下步骤：

S1、利用两组平行设置的摄像机获取周围景物的数字图像；

S2、提取数字图像的特征点及特征线；

S3、对摄像机进行标定，并得出标定参数；

S4、对提取的特征点及特征线进行匹配，并生成深度图；

S5、根据标定参数及深度图输出景物三维位置信息。

进一步的，所述S2中提取数字图像的特征点及特征线还包括以下步骤：

S21、输入数字图像；

S22、对数字图像实行融合颜色和光照信息的灰度化；

S23、对灰度化后的数字图像提取特征点及特征线。

进一步的，S21中所述数字图像包括左图像和右图像，所述左图像为左摄像机获取的图像，所述右图像为右摄像机获取的图像。

进一步的，所述S22中采用尺度不变特征变换匹配算法对数字图像实行融合颜色和光照信息的灰度化。

进一步的，所述S3中采用张正友标定法对摄像机进行标定。

进一步的，所述S3中对摄像机进行标定，并得出标定参数还包括以下步骤：

S31、将标定板放置在双目摄像机的正前方；

S32、通过调节标定板的位置及角度获取标定板图像；

S33、根据左右摄像机获取的标定板中棋盘格交点位置，确定两摄像机之间坐标关系；

S34、根据两摄像机之间坐标关系，得出标定参数。

进一步的，S34中所述标定参数包括两摄像机镜头的畸变参数、镜头焦距、主点坐标及两摄像机的外部参数。

进一步的，所述S4中采用交互信息算法对提取的特征点及特征线进行匹配。

根据本发明的另一个方面，还提供了一种扫地机双目摄像机实现运动三维重建的系统，该系统包括采集模块、提取模块、校准模块、匹配模块及生成模块；

其中，采集模块，用于利用两组平行设置的摄像机获取周围景物的数字图像；

提取模块，用于提取数字图像的特征点及特征线；

校准模块，用于对摄像机进行标定，并得出标定参数；

匹配模块，用于对提取的特征点及特征线进行匹配，并生成深度图；

生成模块，用于根据标定参数及深度图输出景物三维位置信息。

进一步的，所述校准模块中采用张正友标定法对摄像机进行标定。

本发明的有益效果为：通过采用张正友标定法获取立体相机的内部参数及其之间的相对位置关系，并应用交互信息算法对纠正后的立体相机影像进行逐像素匹配，从而生成目标场景的深度图，且该三维重建方法具有一定的实时性，能够重建出质量较好的深度信息；利用双目视觉实现三维重建的方法相对成熟，能够稳定地获得较好的重建效果，且实时性及稳定性较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种扫地机双目摄像机实现运动三维重建的方法的流程示意图；

图2是双目摄像机实现运动三维成像的原理图；

图3是根据本发明实施例的一种扫地机双目摄像机实现运动三维重建的系统的原理框图。

图中：

1、采集模块；2、提取模块；3、校准模块；4、匹配模块；5、生成模块。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种扫地机双目摄像机实现运动三维重建的方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的扫地机双目摄像机实现运动三维重建的方法，其特征在于，该方法包括以下步骤：

S1、利用两组平行设置的摄像机获取周围景物的数字图像；

S2、提取数字图像的特征点及特征线；

S3、对摄像机进行标定，并得出标定参数；

S4、对提取的特征点及特征线进行匹配，并生成深度图；

S5、根据标定参数及深度图输出景物三维位置信息。

借助于上述方案，通过采用张正友标定法获取立体相机的内部参数及其之间的相对位置关系，并应用SGM(Semi-global Matching，交互信息)方法对纠正后的立体相机影像进行逐像素匹配，从而生成目标场景的深度图，且该三维重建方法具有一定的实时性，能够重建出质量较好的深度信息。

在一个实施例中，所述S2中提取数字图像的特征点及特征线还包括以下步骤：

S21、输入数字图像；

S22、对数字图像实行融合颜色和光照信息的灰度化；

S23、对灰度化后的数字图像提取特征点及特征线。

具体的，双目立体视觉三维测量是基于视差原理，建立双目摄像机左右两个成像平面摄像机坐标与被测物体世界坐标之间的关系，双目立体成像原理的简单示意图如图2所示；

为描述方便和简化计算，图2中将左右成像平面(O

其中：(x

可计算出真实世界坐标系中某点P在左摄像机坐标系中的坐标，因此，通过建立世界坐标中某点与左右两个摄像机像面上的相应点的匹配关系，利用摄像机双目标定获得的摄像机内外参数，就可以确定这个点的三维世界坐标。

在一个实施例中，S21中所述数字图像包括左图像和右图像，所述左图像为左摄像机获取的图像，所述右图像为右摄像机获取的图像。

在一个实施例中，所述S22中采用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法对数字图像实行融合颜色和光照信息的灰度化。

具体的，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

在一个实施例中，所述S3中采用张正友标定法对摄像机进行标定。

具体的，张正友相机标定法是张正友教授1998年提出的单平面棋盘格的相机标定方法。传统标定法的标定板是需要三维的，需要非常精确，这很难制作，而张正友教授提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

在一个实施例中，所述S3中对摄像机进行标定，并得出标定参数还包括以下步骤：

S31、将标定板放置在双目摄像机的正前方；

S32、通过调节标定板的位置及角度获取标定板图像；

S33、根据左右摄像机获取的标定板中棋盘格交点位置，确定两摄像机之间坐标关系；

S34、根据两摄像机之间坐标关系，得出标定参数。

具体的，双目立体视觉系统的标定是通过摄像机的内部参数标定，确定视觉系统中两个摄像机之间的位置关系，即两个摄像机之间的旋转矩阵R和平移向量T。通常采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数。在实际标定中采用14*14的棋盘格标定板进行标定。

将标定板放置在双目摄像机的正前方，确保标定板在左右两摄像机的视场范围内。通过调节标定板的位置、角度获取多组标定板图像，通过左右摄像机中摄取到的标定板中棋盘格交点位置，确定两摄像机之间坐标关系，从而标定确定两个摄像机的内部参数，包括两镜头的畸变参数，镜头焦距，以及主点坐标等，以及两个摄像机的外部参数(R

其中，R

假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为x

x

x

则x

x

两个摄像机之间的位置关系R、T可表示为：

R＝R

T＝T

在一个实施例中，S34中所述标定参数包括两摄像机镜头的畸变参数、镜头焦距、主点坐标及两摄像机的外部参数。

在一个实施例中，所述S4中采用SGM算法对提取的特征点及特征线进行匹配。

目前，常用的逐像素影像匹配算法有BeliefPropagation算法、Graph Cuts算法和SGM算法等。SGM算法作为一种基于互信息和多方向动态规划的影像匹配算法，其具有匹配效果好、速度快、鲁棒性强等特点。因此，本发明采用SGM算法作为立体影像的匹配算法，基本思想是：先基于互信息执行逐像素代价计算，再用多个一维的平滑约束来近似一个二维的平滑约束。

根据本发明的另一个实施例，如图3所示，还提供了一种扫地机双目摄像机实现运动三维重建的系统，该系统包括采集模块1、提取模块2、校准模块3、匹配模块4及生成模块5；

其中，采集模块1，用于利用两组平行设置的摄像机获取周围景物的数字图像；

提取模块2，用于提取数字图像的特征点及特征线；

校准模块3，用于对摄像机进行标定，并得出标定参数；

匹配模块4，用于对提取的特征点及特征线进行匹配，并生成深度图；

生成模块5，用于根据标定参数及深度图输出景物三维位置信息。

在一个实施例中，所述校准模块3中采用张正友标定法对摄像机进行标定。

综上所述，借助于本发明的上述技术方案，通过采用张正友标定法获取立体相机的内部参数及其之间的相对位置关系，并应用SGM方法对纠正后的立体相机影像进行逐像素匹配，从而生成目标场景的深度图，且该三维重建方法具有一定的实时性，能够重建出质量较好的深度信息；利用双目视觉实现三维重建的方法相对成熟，能够稳定地获得较好的重建效果，且实时性及稳定性较好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。