一种用于获取汽车零件尺寸的双目测量系统、方法及装置

摘要

一种用于获取汽车零件尺寸的双目测量系统、方法及装置，它属于机器人视觉检测领域。本发明解决了由于3D传感器单次拍摄范围小导致的对汽车零件尺寸测量步骤复杂以及测量误差大的问题。本发明引入双目视觉与3D传感器相结合进行工业检测，测量步骤比较简单，可以把3D传感器拍摄的点云统一转化到双目坐标系下计算，方便测量，尤其对于大型零件，只需要利用双目系统多次跟踪机器人末端的立体标定靶即可完成被测汽车零件完整点云的坐标转换，便于测量几何信息，方便快捷，具有很高的实用性，而且大大提高了零件尺寸测量的精度，减小了尺寸测量的误差。本发明可以用于汽车零件尺寸的测量。

说明书

技术领域

本发明属于机器人视觉检测领域，具体涉及一种用于获取汽车零件尺寸的双目测量系统、方法及装置。

背景技术

目前视觉测量中，3D传感器已被广泛应用于工厂自动化、质量检查和过程优化，为工业网络和动态制造过程提供可操作的数据。但是弊端在于3D传感器拍摄范围较小，对于尺寸较大、待测尺寸较多的汽车零件，很难通过单次测量就完成，只能每次测量一小部分，然后匹配每次测量的公共点，进而组合成完整点云进行比对，这样极大地增加了对汽车零件尺寸测量的误差，而且测量过程较为复杂。双目视觉测量作为一种较好的非接触测量方式，逐步开始应用到工业检测中，并且精度方面会有很大的上升空间，具有很高的研究价值。

发明内容

本发明的目的是为解决由于3D传感器单次拍摄范围小导致的对汽车零件尺寸测量步骤复杂以及测量误差大的问题，而提出了一种用于获取汽车零件尺寸的双目测量系统、方法及装置。

本发明为解决上述技术问题所采取的技术方案是：

一种用于获取汽车零件尺寸的双目测量系统，所述系统包括：机械臂、立体标定靶、3D传感器、双目相机、被测汽车零件和计算机，其中：

所述立体标定靶与3D传感器一起固定于机械臂的末端，所述双目相机固定于机械臂的侧方，用于拍摄立体标定靶的图像，并将拍摄的图像发送到计算机；

所述3D传感器用于采集被测汽车零件表面的点云信息，并将采集的点云信息发送到计算机；

计算机用于对拍摄的图像进行处理，得到立体标定靶到双目相机的转换矩阵，基于立体标定靶到双目相机的转换矩阵，将3D传感器采集的点云信息转换到双目相机坐标系下进行计算，得到被测汽车零件的尺寸。

一种用于获取汽车零件尺寸的双目测量方法，所述方法具体包括以下步骤：

对立体标定靶和3D传感器进行标定，根据标定得到3D传感器到立体标定靶的转换矩阵；

计算机对双目相机拍摄的立体标定靶图像进行处理，得到立体标定靶到双目相机的转换矩阵；

3D传感器采集被测汽车零件表面的点云信息后，再根据得到的3D传感器到立体标定靶的转换矩阵以及立体标定靶到双目相机的转换矩阵，将3D传感器采集的点云信息转换到双目相机坐标系下进行计算，得到被测汽车零件的尺寸。

一种用于获取汽车零件尺寸的双目测量装置，用于存储和/或运行一种用于获取汽车零件尺寸的双目测量系统。

本发明的有益效果是：本发明提出了一种用于获取汽车零件尺寸的双目测量系统、方法及装置，本发明引入双目视觉与3D传感器相结合进行工业检测，测量步骤比较简单，可以把3D传感器拍摄的点云统一转化到双目坐标系下计算，方便测量，尤其对于大型零件，只需要利用双目系统多次跟踪机器人末端的立体标定靶即可完成被测汽车零件完整点云的坐标转换，便于测量几何信息，方便快捷，具有很高的实用性，而且大大提高了零件尺寸测量的精度，减小了尺寸测量的误差。

本发明利用双目视觉以及摄影测量，实现对3D传感器与立体标定靶的标定。本发明可以通过对3D传感器与立体标定靶的标定，达到对机械臂末端的跟踪效果，从而完成工业应用中检测、测量等目的，具有很广阔的应用场景。

附图说明

图1为整个双目测量系统的标定原理图；

图2为整个双目测量系统的结构示意图及标定过程，其中①、②、③、…、n代表第1、2、3、…、n次拍摄过程；

图3为摄影测量拍摄过程的示意图；

图4为重建好的立体标靶点云图；

图5为重建好的标定物点云图；

图6为点云匹配过程的点云图；

图7为标尺的测量长度与真实长度的对比图。

具体实施方式

具体实施方式一、本实施方式所述的一种用于获取汽车零件尺寸的双目测量系统，所述系统包括：机械臂1、立体标定靶2、3D传感器3、双目相机4、被测汽车零件5和计算机，其中：

所述立体标定靶2与3D传感器3一起固定于机械臂1的末端，所述双目相机4固定于机械臂1的侧方，用于拍摄立体标定靶2的图像，并将拍摄的图像发送到计算机；

所述3D传感器3用于采集被测汽车零件5表面的点云信息，并将采集的点云信息发送到计算机；

计算机用于对拍摄的图像进行处理，得到立体标定靶2到双目相机4的转换矩阵，基于立体标定靶2到双目相机4的转换矩阵，将3D传感器3采集的点云信息转换到双目相机坐标系下进行计算，得到被测汽车零件5的尺寸。

具体实施方式二、本实施方式与具体实施方式一不同的是，所述将3D传感器3采集的点云信息转换到双目相机坐标系下还需要利用3D传感器3到立体标定靶2的转换矩阵，所述3D传感器3到立体标定靶2的转换矩阵是通过对立体标定靶2和3D传感器3进行标定来获得的。

具体实施方式三、基于具体实施方式一所述的一种用于获取汽车零件尺寸的双目测量系统的双目测量方法，所述方法具体通过以下步骤实现：

对立体标定靶2和3D传感器3进行标定，根据标定得到3D传感器3到立体标定靶2的转换矩阵；

计算机对双目相机4拍摄的立体标定靶2图像进行处理，得到立体标定靶2到双目相机4的转换矩阵；

3D传感器3采集被测汽车零件5表面的点云信息后，再根据得到的3D传感器3到立体标定靶2的转换矩阵以及立体标定靶2到双目相机4的转换矩阵，将3D传感器3采集的点云信息转换到双目相机坐标系下进行计算，得到被测汽车零件5的尺寸。

具体实施方式四、本实施方式与具体实施方式三不同的是，所述对立体标定靶2和3D传感器3进行标定，根据标定得到3D传感器3到立体标定靶2的转换矩阵，其具体过程为：

首先设置标定物，并在标定物表面上随机贴附标记点；

建立标定的数学模型，根据图1，将立体标定靶2到双目相机4的转换矩阵表示为

其中，i和j分别表示第i次和第j次拍摄，

在每次拍摄时，3D传感器3到立体标定靶2的转换矩阵

将

AX＝XB (3)

通过求解公式(3)，得到3D传感器3到立体标定靶2的转换矩阵

假设立体标定靶到双目系统的转换矩阵为

其中i、j分别表示第i、j次拍摄。

因此：

两边同时左乘以

两边同时右乘以

其中，

设其为X，则上式可变形为：

AX＝XB

得到3D传感器3到立体标定靶2的转换矩阵

不管立体标定靶2如何运动，都能使得双目相机4的左、右摄像机拍摄到立体标定靶2上的标记点具有尽可能多的公共标记点。本发明具有自动化程度高、精度高、准确性高、速度快等优点，可以有效解决对标定物的加工精度要求过高、人为因素影响过高等问题，并且操作简单，可移植性强，所需器材较为常见。

具体实施方式五：本实施方式与具体实施方式四不同的是，所述立体标定靶2到双目相机4的转换矩阵

所述立体标定靶2的表面上随机设置有标记点，通过双目相机4拍摄立体标定靶2的图像，利用标记点圆心提取、立体匹配和最小二乘法重建双目相机4视野中标记点的点云，并计算出双目相机4视野中标记点的三维坐标值，将得到的三维坐标值与重建好的点云进行匹配得到立体标定靶2到双目相机4的转换矩阵。

点云匹配过程如图6所示。

具体实施方式六：本实施方式与具体实施方式五不同的是，所述3D传感器3到标定物的转换矩阵

利用3D传感器3拍摄标定物，再利用标记点圆心提取、立体匹配和最小二乘法重建3D传感器3视野中标记点的点云，并计算出3D传感器3视野中标记点的三维坐标值，将得到的三维坐标值与重建好的点云进行匹配得到3D传感器3到标定物的转换矩阵。

具体实施方式七：本实施方式与具体实施方式六不同的是，所述3D传感器3的视野中标定物上应不少于4个标记点。

具体实施方式八：本实施方式与具体实施方式七不同的是，所述标定物的每个表面上随机贴附至少5个标记点。

本实施方式中的标定物为结构稳定的多面体即可，每个表面随机贴附至少5个标记点。然后需要利用摄影测量对标记点进行三维重建，得到所有标记点的三维空间特征。

具体实施方式九：本实施方式与具体实施方式八不同的是，所述3D传感器3到立体标定靶2的转换矩阵

对于AX＝XB的求解问题，通常采用Tsai的“两步法”或者Navy手眼标定算法。两者都需要多组数据，求解过程均需要定义一个需要优化的目标函数，进而通过多组数据拟合出目标函数的未知量，假设多组测量数据为：

{(A

则可以定义优化目标函数。

具体实施方式十：本实施方式与具体实施方式九不同的是，所述3D传感器3到立体标定靶2的转换矩阵

其中，d表示欧氏距离测度，(A

具体实施方式十一：本实施方式的一种用于获取汽车零件尺寸的双目测量装置，该装置用于存储和/或运行具体实施方式一的一种用于获取汽车零件尺寸的双目测量系统。

下面结合实施例对本发明的技术方案进行进一步说明：

步骤1为：利用摄影测量对标定物与立体标靶进行三维重建

在目标物体周围随意放置编码标记点，如图3，并对目标物体进行多角度拍摄得到多幅不同角度的图像，采用数码相机进行拍摄工作。

然后把采集的图片全部导入软件中，然后进行特征点(包括标志点与编码点)的检测，并且手动删除一些不需要的特征点。

最后使两两图片进行特征点匹配，完成三维重建，得到标定物与立体标靶的三维点云，分别如图4和图5所示。

步骤2为：抓取图像

首先令双目系统与标定物之间的位姿关系保持不变，如图2所示，控制工业机器人进行移动，利用3D传感器拍摄标定物，同时用双目摄像机抓取此时标定靶的图像。

然后重复此过程，移动机器人从不同角度拍摄标定物，这样机器人末端的标定靶位姿也会不同，双目摄像机抓取的图像也会有所不同，共拍摄10次以上，实验部分基本完成，进行第二步算法计算。

步骤3为：解算矩阵

利用算法对得到的图片进行处理，得到每组标定靶到双目系统、3D传感器到标定物的n组转换矩阵，然后首先求最小二乘解，然后根据目标函数进行求解优化：

其中，d表示欧氏距离测度，i表示测量次数，最终得到3D传感器到立体标定靶的转换矩阵。

对整个双目测量系统进行实验，采用工业测量标准尺(scale-bar)进行精度的检测，通过3D传感器拍摄标尺两端的编码点，获取标尺两端编码点圆心在3D传感器中的三维坐标，然后通过标定的转换，得到标尺的测量长度。而标尺的真实长度已知。共采集了10组测量数据，误差如图7所示，整个系统的总平均测量误差为0.1575mm。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。