基于双目立体视觉实现工件三维重建的方法

摘要

本发明公开了一种基于双目立体视觉实现工件三维重建的方法，包括构建工件图像采集系统；工件三维旋转装置从初始位置开始每旋转一个角度，双目相机硬件系统采集一帧工件图像，测量工件三维旋转装置倾斜角度；对采集的图像进行处理；采用SIFT算法对左右轮廓图提取特征点，进行立体匹配；将特征点的像素坐标转换成实际的坐标；将得到图像特征点的世界坐标进行曲线拟合，得到工件轮廓图。本发明可在不同条件下完成工作，高效且检测精度较高。

说明书

技术领域

本发明属于计量检测技术领域，特别是一种基于双目立体视觉实现工件三维重建的 方法。

背景技术

随着计算机视觉的应用越来越来受到各行业的关注，涉及的范围不断扩大。计算机 视觉技术为人们创造机会的同时也带来了很多挑战。三维重建技术作为其中的备受关注 的研究课题之一，已被普遍的用以科研和生活中。在工业上，三维重建可以用于工件焊接、模具等工程上。但是由于工业环境复杂，一方面很难进行接触式测量，另一方面非 接触式测量又会由于光照不足、工件空洞较多，容易受到环境的干扰，很难有效的测量 出来。

发明内容

本发明的目的在于提供了一种基于双目立体视觉实现工件三维重建的方法。

实现本发明目的的技术方案为：一种基于双目立体视觉实现工件三维重建的方法， 包括：

步骤1：构建工件图像采集系统，所述工件图像采集系统包括工件三维旋转装置和双目相机硬件测量系统；

步骤2：工件三维旋转装置从初始位置开始每旋转一个角度，双目相机硬件系统采集一帧工件图像，测量工件三维旋转装置倾斜角度；

步骤3：对采集的图像进行灰度处理、ROI区域选取、自适应中值滤波得到二值化图像，利用canny边缘提取算法对二值化图像进行轮廓提取；

步骤4：采用SIFT算法对左右轮廓图提取特征点，进行立体匹配；

步骤5、根据步骤1得到标定结果及激光雷达测量出来的距离，将特征点的像素坐标转换成世界坐标系下的坐标；

步骤6、将得到图像特征点在世界坐标系的坐标进行曲线拟合，得到工件轮廓图。

优选地，所述双目相机硬件测量系统包括两个相机和激光雷达，两个相机中心与工 件旋转装置处于同一水平线上，激光雷达位于两个相机之间。

优选地，所述工件三维旋转装置上设置有倾斜传感器，所述倾斜传感器用于测量旋 转角度。

优选地，采用SIFT算法对左右轮廓图提取特征点的具体步骤为：

搜索所有尺度上的图像位置，通过高斯微分函数识别对于尺度和旋转不变的兴趣点；

在每个兴趣点的位置上，通过拟合模型确定特征点位置和尺度。

优选地，通过拟合模型确定特征点位置和尺度的具体方法为:

利用DoG函数在尺度空间的Talor展开式进行曲线拟合,DoG函数在尺度空间的Talor展开式为：

式中，D(X)为高斯差分算子，X(x,y,σ)表示尺度下像素坐标，σ为尺度因子，(x,y)为图像像素坐标系的任一像素点坐标，X

对Talor展开式求导并让方程等于零，得到极值点的偏移量为：

对应极值点方程的值为：

优选地，特征点的像素坐标和世界坐标转换关系具体为：

式中，(u,v)为特征点在像素坐标系坐标，dy为特征点像素在物理坐标系中x,y方向 的尺寸，f表示相机焦距，R表示的是旋转三阶矩阵，T代表平移的列向量，(X

本发明与现有技术相比，其显著优点：

(1)本发明操作简单，运算处理简单快捷，对环境要求不高，适合不同环境下工 件测量；

(2)本发明解决了工业环境下因光照不足而在图像上产生了阴影区域的影响，通过旋转工件，获取不同角度下工件图像，有效避免阴影区域对后续三维重建工作带来的 影响；

(3)本发明采用激光雷达可以测量出工件与相机之间的距离，结合图像坐标转换，可以得出工件完整的三维坐标；

(4)本发明采用倾斜传感器ADXL345可以测量出工件旋转角度，通过多角度对左右图像进行特征匹配；

(5)本发明直接将OpenCV移植到ARM开发板上，并调用计算机视觉库的相关函数核算法，对工件图像进行采集核一系列图像预处理，从而选取ROI区域并识别，使用起 来简单易操作。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是基于双目立体视觉实现工件三维重建的方法的流程图。

图2是基于双目立体视觉实现工件三维重建的方法原理图。

图3是本发明的工件旋转原理图。

具体实施方式

如图1～3所示，一种基于双目立体视觉实现工件三维重建的方法，包括：

步骤1：构建工件图像采集系统，所述工件图像采集系统包括工件三维旋转装置和双目相机硬件测量系统，所述工件三维旋转装置上设置有倾斜传感器，所述倾斜传感器 用于测量旋转角度；所述双目相机硬件测量系统包括两个相机和激光雷达，两个相机中 心与工件旋转装置处于同一水平线上，激光雷达位于两个相机之间；测量出双目相机硬 件测量系统与工件三维旋转装置之间的距离，两个相机可以移动实现不同距离间的测量。

对左右相机进行标定，获取两个摄像机的内参和相对姿态参数；激光雷达测量出工 件特征点的Z坐标；

在某些实施例中，双目相机硬件测量系统与工件三维旋转装置中心位于同一水平线 上，可以减少空间转换的计算量。

工件采集图像时，在工业环00下，会由于光照不足的影响，产生了大片的阴影区域。 因此需要减少阴影区域的影响，本发明中采用的是旋转工件，来获取不同角度下的工件 图像，减少阴影区域的影响。

步骤2：工件三维旋转装置从初始位置开始，每旋转一个角度，双目相机硬件系统采集一帧图像，倾斜传感器测量出倾斜角度；

先使用OpenCV中的VideoCapture来打开摄像头，这个类是用来处理视频文件或者摄像头视频流的类，可控制摄像头的打开与关闭，利用cap＞＞frame，可将视频流读入 硬件平台，并保存在矩阵frame中，以便对视频中每一帧图像进行处理。

步骤3：对采集的图像进行分析和处理，包括灰度处理、ROI区域选取、自适应中 值滤波得到二值化图像，利用canny边缘提取算法对二值化图像进行轮廓提取；

由于本发明中摄像头采集的视频为彩色，处理时应先将其处理成灰度图像，RGB格式的灰度图像R、G、B三个分量都相等，且等于灰度值。在OpenCV中，实现RGB颜色 空间到灰度图的转换的函数声明是：cvCvtColor(const CvArr*src,CvArr*dst,int code)，即将原图像src转化为dst，code代表颜色空间转换参数，可使用这个函数对 每一帧彩色图像进行灰度转换。具体函数实现为cvtColor(frame,edges,CV_BGR2GRAY)， 其中frame即原始图像，edges为灰度图像。

图像去噪是图像预处理中常用的一个步骤，常用的图像去噪算法有自适应中值滤波， 高斯滤波等。其中适应性中值滤波更适用于有突变的白点或黑点的这种椒盐噪声。图像 噪声主要来源于图像获取和传输过程，常见的噪声有加性噪声、乘性噪声、量化噪声以及椒盐噪声等。因此，本发明采用自适应中值滤波来消除噪声。

对二值化图像进行canny边缘检测，检测出图像的边缘，得到工件边缘轮廓图；

步骤4、采用SIFT算法对左右轮廓图提取特征点，进行立体匹配。

SIFT算法是用于图像处理领域的一种描述，可在图像中检测出关键点，是一种局部 特征描述子。SIFT算法主要分为尺度空间极值检测、关键点定位和关键点特征描述。

尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的 对于尺度和旋转不变的兴趣点。将空间的尺度图像描述为：

式中，L(x,y,σ)表示尺度空间的图像，I(x,y)为输入图像，G(x,y,σ)表示尺度可以改变 的二维高斯核函数，像素点坐标(x,y)，σ为尺度因子。

关键点定位：在每个兴趣点的位置上，通过一个拟合精细的模型来确定位置和尺度。 在某些实施例中，利用DoG函数在尺度空间的Talor展开式进行曲线拟合；

DoG函数在尺度空间的Talor展开式为：

式中，D(X)为高斯差分算子，X(x,y,σ)表示尺度下像素坐标，σ为尺度因子，(x,y)为图像像素坐标系的任一像素点坐标，X

求导并让方程等于零，得到极值点的偏移量为：

对应极值点方程的值为：

对左右图像得到的特征点进行匹配。

步骤5、根据步骤1得到标定结果及激光雷达测量出来的距离，将特征点在图像像素坐标系下的坐标转换成世界坐标系下的坐标；

步骤5.1：将图像特征点的像素坐标转换到图像物理坐标；

对于特征点p，其在像素坐标系坐标为(u,v),在物理坐标系坐标为(x,y)。已知单个像 素在物理坐标系中x,y方向的尺寸分别为dx，dy，则有如下等式成立：

整理成其次变换矩阵的形式如下：

式中，(u

步骤5.2：将图像特征点的物理坐标转换的相机坐标。

相机坐标系是以相机镜头的光心为原点建立的空间三维坐标系，Z轴垂直于图像物 理坐标系，根据相似三角形原理得到转换矩阵如下：

式中，(X

步骤5.3将图像特征点的相机坐标转换到世界坐标；

最终得到世界坐标系和像素坐标系转换关系如下：

式中，f表示相机焦距，R表示的是旋转三阶矩阵，T代表平移的列向量，(X

步骤6、将得到图像特征点的世界坐标进行曲线拟合，得到工件轮廓图。

本发明采用多角度融合来实现工件三维重建，通过每旋转工件一定角度，记录工件 角度数据，左右相机分别采集一帧图像。之后对每一帧图像进行图像预处理、图像特征匹配等图像算法来提取图像的特征点，获取特征点的像素坐标，然后对特征点的像素坐 标进行坐标转换获取工件特征点的实际物理坐标。本发明操作简便，能够有效实现小型 工件的三维重建工作，有效减少图像阴影区域的影响。