一种基于多视点立体视觉的工业部件尺寸估计方法及系统

摘要

本发明公开了一种基于多视点立体视觉的工业部件尺寸估计方法及系统，包含如下过程：通过已预标定内参的多个相机对工业部件进行多视点视觉采集，获得若干张多视点工业部件图像；利用多个相机的内参，通过SfM算法从所述若干张多视点工业部件图像选取适合尺度估计的图像，并计算适合尺度估计的图像的图像位姿以及生成稀疏点云；利用多个相机的内参、所述适合尺度估计的图像、所述图像位姿以及所述稀疏点云，通过深度学习的MVS算法进行稠密重建，获得工业部件的稠密三维立体视觉；利用所述稠密三维立体视觉，通过一致性检验算法进行工业部件的尺度估计。本发明采用立体视觉方法来解决工业部件尺寸估计问题，能够平衡估计精度和昂贵设备限制之间的矛盾。

说明书

技术领域

本发明属于工业部件尺寸估计领域，具体说是一种基于多视点立体视觉的工业部件尺寸估计方法及系统。

背景技术

工业部件的尺寸估计是现代化大生产中必不可少的重要环节。传统的检验往往由人工进行层层检测，不仅耗时费力，而且易受到检测人员的主观因素的影响，不能保证检测的效率和精度。特别是随着生产过程自动化程度不断提高，自动化产品流水线越来越多，流程越来越快，人类视觉检验越来越难以满足当今工业领域的要求，从而急需利用机器视觉方法来提升估计的效率和精度。但是，现有的机器视觉设备大多采用昂贵的硬件设备，比如深度相机，多GPU等设备。针对不同的应用场合有时精度相差巨大，这使得整个估计方法不稳定、周期长、成本高，同时以前的利用机器视觉进行尺度估计的方法还停留在只进行低精度、大范围的尺寸估计。如何解决工业部件尺寸估计以及平衡估计精度和昂贵设备限制之间的矛盾，是本领域亟待解决的问题。

发明内容

为解决现有技术中存在的问题，本发明的目的在于提供一种基于多视点立体视觉的工业部件尺寸估计方法及系统，本发明采用立体视觉方法来解决工业部件尺寸估计问题，能够平衡估计精度和昂贵设备限制之间的矛盾。

本发明采用的技术方案如下：

一种基于多视点立体视觉的工业部件尺寸估计方法，包含如下过程：

通过已预标定内参的多个相机对工业部件进行多视点视觉采集，获得若干张多视点工业部件图像；

利用多个相机的内参，通过SfM算法从所述若干张多视点工业部件图像选取适合尺度估计的图像，并计算适合尺度估计的图像的图像位姿以及生成稀疏点云；

利用多个相机的内参、所述适合尺度估计的图像、所述图像位姿以及所述稀疏点云，通过深度学习的MVS算法进行稠密重建，获得工业部件的稠密三维立体视觉；

利用所述稠密三维立体视觉，通过一致性检验算法进行工业部件的尺度估计。

优选的，通过已预标定内参的多个相机对工业部件进行多视点视觉采集，获得若干张多视点工业部件图像的过程包括：

当工业部件稳定地在已预标定内参的多个相机视野内移动时，利用目标检测算法和数据采集脚本采集多种空间组合下的多视点工业部件图像。

优选的，所述SfM算法采用增量式SfM算法。

优选的，利用多个相机的内参、所述适合尺度估计的图像、所述图像位姿以及所述稀疏点云，通过深度学习的MVS算法进行稠密重建，获得工业部件的稠密三维立体视觉的过程包括：

对多个相机的内参、所述适合尺度估计的图像、所述图像位姿以及所述稀疏点云进行处理，以多种分辨率分层提取特征，从粗糙到精细的方式推进深度图估计，在估计深度图后，进行点云融合，得到工业部件的稠密三维立体视觉。

优选的，利用所述稠密三维立体视觉，通过一致性检验算法进行工业部件的尺度估计的过程包括：

对所述稠密三维立体视觉进行下采样，基于3D RANSAC算法拟合下采样点云中的总成平面，获得总成平面方程的参数，根据总成平面方程参数中的法向量将总成平面变换至平行XOY平面处进行点云对齐，检测XOY平面点的外围轮廓点同时滤除外围轮廓点外的噪声，基于二维RANSAC算法对外围轮廓点进行参数拟合，获得稠密三维立体视觉与工业部件的尺度比例，根据稠密三维立体视觉中工业部件的虚拟尺寸来对工业部件的现实物理尺寸进行估计，得到工业部件的尺度估计。

优选的，对所述多个相机标定内参时，根据棋盘标定版对所述多个相机进行标定，获得每个相机的内参。

优选的，所述棋盘标定版采用黑白相间的矩形构成的棋盘图。

优选的，根据棋盘标定版对所述多个相机进行标定时，在室内良好的灯光照明条件下对标定板在不同位置、不同角度、不同姿态下拍摄，每个相机拍摄若干张照片，最后根据正交和归一化约束得到每个相机的内参。

本发明还提供了一种基于多视点立体视觉的工业部件尺寸估计系统，包括：

图像采集单元：采用已预标定内参的多个相机，用于对工业部件进行多视点视觉采集，获得若干张多视点工业部件图像；

SfM计算单元：用于利用多个相机的内参，通过SfM算法从所述若干张多视点工业部件图像选取适合尺度估计的图像，并计算适合尺度估计的图像的图像位姿以及生成稀疏点云；

MVS计算单元：用于利用多个相机的内参、所述适合尺度估计的图像、所述图像位姿以及所述稀疏点云，通过深度学习的MVS算法进行稠密重建，获得工业部件的稠密三维立体视觉；

一致性检验单元：用于利用所述稠密三维立体视觉，通过一致性检验算法进行工业部件的尺度估计。

优选的，所述多个相机采用有源以太网连接。

与现有技术相比，本发明具有如下有益效果：

本发明基于多视点立体视觉的工业部件尺寸估计方法采用了目标检测、SfM、MVS和一致性检验的方法，首先搭建多视点相机的合理空间布局并利用目标检测算法和数据采集脚本获取工业部件的多视点图像、利用SfM对采集的图像计算相机位姿和稀疏点云、采用深度学习的MVS从粗糙到细致、从低分辨率到高分辨率逐步生成深度图，然后重新投影到空间生成3D点云、最后对工业部件的密集点云进行一致性检验，过滤异常点，最后实现对工业部件的尺寸估计。本发明能够在工业流水线上得到实际的应用。它具有以下优点：(1)可搭建最适合工业流水线的多视点相机的空间布局，获得多视点、全方位、多层次的图像来进行立体视觉重建，良好的图像质量很大程度上决定重建点云的质量；(2)SfM算法能保证获得的相机位姿具有稳健性和完整性，同时又能保证效率；(3)基于学习的MVS算法能学习到工业部件的低纹理区域，从而能大大提高稠密三维立体视觉的完整度，这对工业部件的结构重建十分重要；(4)一致性检验能够滤除稠密三维立体视觉背景中的无关噪音，使得结构更加鲁棒，计算的稠密三维立体视觉与实际工业部件的尺度比例能保证尺度估计的准确性。综上所述，本发明利用多视点的图像进行立体视觉重建，而且重建的稠密三维立体视觉能够鲁棒地估计工业部件的尺度。

附图说明

图1为本发明实施例中模拟的工业部件。

图2为本发明实施例中进行图像采集的合理空间布局。

图3为本发明实施例中利用增量式SfM重建的稀疏点云与相机位姿。

图4为本发明实施例中实施基于深度学习的MVS流程图。

图5为本发明实施例中在三维点云上进行一致性检测的流程图。

图6为本发明基于多视点立体视觉的工业部件尺寸估计方法的流程图。

具体实施方式

以下结合附图和具体实施方法对本发明作进一步的详细说明。

为了对工业部件的尺寸进行估计以满足任务要求，本发明提供一种基于多视点立体视觉的工业部件尺寸估计方法及系统，本发明依次完成四种进程：目标检测、SfM、MVS和一致性检验，分别为获取了工业部件的多视点图像、计算相机的位姿和稀疏点云、并从粗糙到细致、从低分辨率到高分辨率逐步生成深度图，然后重新投影到空间生成稠密三维立体视觉，对工业部件的密集点云进行一致性检验，最后实现对工业部件的尺寸估计。

参照图6，本发明基于多视点立体视觉对工业部件进行尺寸估计方法具体包括如下步骤：

S1：根据棋盘标定版对多个相机进行标定，获得每个相机的内参；

棋盘是一块由黑白方块间隔组成的标定板，可以采用它作为相机标定的标定物。标定图像需要使用标定板在不同位置、不同角度、不同姿态下拍摄，最少需要3张，以10～20张为宜。最后根据正交和归一化约束得到相机的内参。

S2：对工业部件进行多视点视觉采集，当工业部件在采集设备视野内进行移动时，利用检测算法和数据采集脚本每隔一段时间收集若干张多视点工业部件图像；

如图1所示，对此模拟工业部件进行多视点视觉采集。如图2所示，搭建好最适合尺度估计的多视点相机空间布局，通过POE(有源以太网)连接多个相机采集设备，当工业部件稳定在相机视野内由position3移动到position1时，利用目标检测算法和数据采集脚本采集多种空间组合下的多视点图像。

S3：利用从S1获得的多个相机的内参以及S2获取的若干张多视点工业部件图像，通过SfM(运动恢复结构)选取适合尺度估计的图像，适合尺度估计的图像一般需满足以下条件：(1)图像中的特征数量足够多、(2)图像中的特征能与其他图像的特征尽量匹配的数量也要足够多，适合尺度估计的图像的选取可以根据技术人员的需求和具体情况进行条件设定，此处不做限定；随后计算选取的适合尺度估计的图像的图像位姿并生成稀疏点云，保存相机内参、选取的适合尺度估计的图像、图像位姿和稀疏点云；

增量式SfM方法虽然速度较慢，但更稳健和准确，所以在工业部件估计中拟采用增量式SfM算法。本阶段的输入是S1得到的相机内参

S4：将S3中保存的相机内参、选取的适合尺度估计的图像、图像位姿和稀疏点云输入采用深度学习的MVS(多视图立体)进行稠密重建，获得工业部件的稠密三维立体视觉；

如图4所示，PatchmatchNet是一种新颖且可学习的级联pipeline，可用于高分辨率多视图立体视觉处理。将S3中保存的相机内参、N个大小为W×H(W代表水平像素数，H代表垂直像素数)的选取图像、图像位姿和稀疏点云作为输入，以多种分辨率分层提取特征，从粗糙到精细的方式推进深度图估计。在估计深度图后，进行点云融合，得到工业部件的三维稠密点云(即稠密三维立体视觉)。

S5：利用获得的稠密三维立体视觉，通过一致性检验算法进行工业部件的尺度估计。

如图5所示，从S4中获取点云数据后，为确保鲁棒性对点云进行下采样，基于3DRANSAC算法拟合下采样点云中的总成平面，获得总成平面方程的参数。根据所述参数中的法向量将总成点云(即所述总成平面)变换至平行XOY平面处进行点云对齐，检测XOY平面点的外围轮廓点同时滤除外围轮廓点外的噪声，基于二维RANSAC算法对外围轮廓点进行参数拟合，获得稠密点云与工业部件的尺度比例，进而根据三维稠密点云中工业部件的虚拟尺寸来对工业部件的现实物理尺寸进行估计，即可得到工业部件的尺度估计。

本方法利用了基于学习的MVS，相比于传统方法重建得到的结果，现在的基于学习的MVS方法能在精度和完整度上达到工业要求的标准，这能极大提升工业效率和精度，对工业部件尺寸估计的误差能达到厘米级，同时在速度上还能满足工业流水线的要求。本方法通过一致性检验算法，可以获得三维点云与工业部件的正确的尺度比例，从而进行比较获得工业部件的尺度。

实施例

本实施例基于多视点立体视觉的工业部件尺寸估计方法，包括如下步骤：

步骤一：首先根据棋盘标定版对4个相机进行标定，获得每个相机的内参；

标定板需要是黑白相间的矩形构成的棋盘图，制作精度要求较高。在室内良好的灯光照明条件下对标定板在不同位置、不同角度、不同姿态下拍摄，每个相机拍摄16张，总计64张照片。最后根据正交和归一化约束得到相机的内参K

步骤二：对模拟工业部件进行4个视点视觉采集；

按照如图2所示的相机空间布局，通过POE(有源以太网)连接4个相机采集设备，当工业部件稳定在相机视野内由position3移动到position1时，利用目标检测算法和数据采集脚本采集多种空间组合下的多视点图像，每个相机采集大约16张，总计64张图像。

步骤三：利用从步骤一获得的4个相机的内参K

增量式SfM方法虽然速度较慢，但更稳健和准确，所以在工业部件估计中拟采用增量式SfM算法。本阶段的输入是步骤一得到的相机内参

步骤四：将步骤三中保存的相机内参、22张选取的图像、22张图像位姿和稀疏点云输入采用深度学习的MVS(多视图立体)进行稠密重建，获得工业部件的稠密三维立体视觉；

PatchmatchNet由多尺度特征提取、从粗到细框架中的基于学习的Patchmatch和空间细化模块组成。给定22个大小为2592x2048的输入图像，使用第17张图像和剩余的21张图像分别表示参考图像和源图像。采用类似特征金字塔网络(FPN)提取像素特征，以3种分辨率分层提取特征，这使得能够以粗到细的方式推进深度图估计。最后，在估计深度图后，进行3D点云融合，得到工业部件的3D稠密点云(即稠密三维立体视觉)。

步骤五：利用步骤四获得的三维立体视觉，通过一致性检验算法进行工业部件的尺度估计。

从步骤四中获取点云数据后，为确保鲁棒性对点云进行下采样，基于3D RANSAC算法拟合下采样点云中的总成平面，获得总成平面方程的参数。根据所述参数中的法向量将总成点云(即所述总成平面)变换至平行XOY平面处进行点云对齐，检测XOY平面点的外围轮廓点同时滤除外围轮廓点外的噪声，基于二维RANSAC算法对外围轮廓点进行参数拟合，获得3D稠密点云与工业部件的尺度比例，进而根据3D稠密点云中工业部件的虚拟尺寸来对工业部件的现实物理尺寸进行估计。

通过统计方法确定模拟工业部件的点云中螺钉点的方向，利用双间隔采样方法获取不同弧度间隔内的点数量，在均值阈值的限制下获取螺钉位置，最后沿螺钉方向扫描获取螺钉点云数量并统计不同长度下的点数，利用点云与工业部件的尺度比例计算螺钉长度。

综上可以看出，本发明首先搭建多视点相机的合理空间布局，当工业部件稳定通过多视点相机视野时，利用目标检测算法和数据采集脚本获取工业部件的多视点图像，将采集的图像进行相机标定后，将标定结果输入SfM计算相机的位姿和稀疏点云、最后采用基于深度学习的MVS从粗糙到细致、从低分辨率到高分辨率逐步生成深度图，然后重新投影到空间生成稠密三维立体视觉。稠密三维立体视觉的质量好坏与尺度估计的准确度密切相关，所以在之前的步骤中，采集到多视点的高分辨率图像、相机标定、增量式SfM以及基于深度学习的MVS同时对重建稠密三维立体视觉的质量做出了不可或缺的贡献，满足尺度估计的稳定性和鲁棒性。最后对工业部件的稠密三维立体视觉进行一致性检验，过滤异常点，最后实现对工业部件的尺寸估计。本发明能够在工业流水线上得到实际的应用，与人工检验比较，可节省大量人力物力，同时能够显著提高检验的准确度，具有重大的经济价值。