一种标志点定位与智能反向定位混合的定位方法和系统

摘要

本发明涉及一种标志点定位与智能反向定位混合的定位装置及方法，包括双目相机以及第三相机，第三相机的视野与双目相机的视野不完全重叠，双目相机的左相机与右相机之间设有激光器，双目相机、第三相机以及激光器分别与上位机信号连接；激光器用于发出激光投影，双目相机用于获取被扫描物体表面带有激光线和反光标志点的影像，所述第三相机用于获取周边环境中带有编码点以及标志点的影像；所述方法包括以下步骤：S1，标定各相机在不同扫描模式下的参数，并使得切换扫描模式时各相机的参数同步对应变换；S2，通过扫描场景判断并切换扫描模式为标志点模式或智能反向跟踪模式。本发明两种定位方式灵活切换，方便用户的使用。

说明书

技术领域

本发明涉及三维扫描技术领域，具体涉及一种标志点定位与智能反向定位混合的定位方法和系统。

背景技术

随着高端智能制造的大力发展，各种高端智能制造技术不断涌现。传统的工业测量和检测技术难以满足智能制造的需求，所以应运而生了三维激光扫描仪。随着工业4.0的步伐，高端制造业的发展，对产品质量有更高的要求，因此对工业产品的测量和检测也有更高的要求，即对三维激光式的扫描仪也提出了新的需求。三维激光式的扫描仪的轻巧化、便携性、实时智能处理、良好的人机交互、自动化工作都是需要考虑的。

目前市面上存在的高精度三维激光扫描仪类型主要分为几种：标志点跟踪式三维扫描、光学追踪式仪器结合3D球形扫描仪。前者标志点跟踪扫描，测量精度较高，存在问题为：需在物体表面粘贴标志点，灵活度不高；后者光学追踪式仪器结合3D球形扫描仪，解决物体表面不粘贴标志点的问题，但是精度有所下降，同时，需要光学跟踪仪器，并将激光扫描仪设计为球形，便于跟踪器跟踪，使用复杂度较高，同时精度相较贴点低。

发明内容

本发明针对现有技术中存在的技术问题，提供一种标志点定位与智能反向定位混合的定位装置和方法，两种定位方式灵活切换，解决被扫描物体表面需粘贴标志点和灵活度不高的问题，方便用户的使用，同时精度较高、使用简便、自动化程度高。

本发明解决上述技术问题的技术方案如下：

一种标志点定位与智能反向定位混合的定位装置，包括双目相机以及第三相机，所述第三相机的视野与所述双目相机的视野不完全重叠，所述双目相机的左相机与右相机之间设有激光器，所述双目相机、所述第三相机以及所述激光器分别与上位机信号连接；所述激光器用于发出激光投影，所述双目相机用于获取被扫描物体表面带有激光线和反光标志点的影像，所述第三相机用于获取周边环境中带有反光编码点以及反光标志点的影像，所述上位机用于根据所述双目相机和/或所述第三相机获取的图像计算被扫描物体的表面点云数据。

进一步，所述双目相机以及所述第三相机上均设有LED。

基于上述装置，本发明还提供一种标志点定位与智能反向定位混合的定位方法，包括以下步骤：

S1，标定各相机在不同扫描模式下的参数，并使得切换扫描模式时各相机的参数同步对应变换；

S2，通过扫描场景判断并切换扫描模式为标志点模式或智能反向跟踪模式。

进一步，所述步骤S2中，所述标志点模式，包括以下步骤：

通过双目相机获取带有激光线以及标志点的影像，提取影像中激光线坐标信息以及标志点坐标信息，采用空间前方交会算法计算激光线的三维坐标并建立激光线点云，采用空间前方交会算法计算标志点的三维坐标并建立标志点集，通过激光线点云与标志点集建立标志点坐标系，将当前帧与之前所有帧影像标志点集的信息进行匹配，得到当前帧与之前帧影像之间的转换关系，将当前帧影像依次通过转换关系转换到标志点坐标系下，进行拼接，从而得到标志点坐标系下被扫描物体的表面点云数据。

进一步，所述步骤S2中，所述智能反向跟踪模式，包括以下步骤：

获取第三相机在左相机坐标系下的三维坐标，通过双目相机获取带有激光线的影像并提取激光线三维坐标信息，采用空间前方交会算法计算激光线在左相机坐标系中的三维坐标点；通过第三相机获取周边环境中带有编码点以及标志点的影像并提取标志点的坐标，通过后方空间交会算法计算出标志点在第三相机坐标系下的坐标，通过左相机在第三相机坐标系下的三维坐标以及标志点在第三相机坐标系下的坐标计算出左相机坐标系到第三相机坐标系的转换关系，通过转换关系将每帧影像的激光线三维坐标点从左相机坐标系转换到第三相机坐标系下完成拼接，得到第三相机坐标系下被扫描物体的表面点云。

进一步，所述步骤S2中，由标志点模式切换到智能反向跟踪模式，包括：

在过渡区域通过多帧数据计算标志点坐标系下激光点云到第三相机坐标系下激光点云之间的转换关系，通过转换关系将标志点坐标系下的激光点云转换到第三相机坐标系下。

进一步，所述步骤S2中，由智能反向跟踪模式切换到标志点模式，包括：

在过渡区域通过多帧数据计算第三相机坐标系下激光点云到标志点坐标系下激光点云之间的转换关系，通过转换关系将第三相机坐标系下的激光点云转换到标志点坐标系下。

进一步，所述过渡区域为第三相机能够识别到周边环境中编码点以及标志点的区域。

进一步，若扫描过程中第三相机坐标系和标志点坐标系的相对位置发生变动，则需要重新计算转换关系。

本发明的有益效果是：本发明的三维扫描仪结合了智能反向跟踪式扫描以及标志点跟踪式三维扫描的特点，物体表面无需粘贴标志点即可扫描、同时精度较光学追踪式三维扫描仪高，而且可以使用粘贴标志点与不粘贴标志点的混合模式，自由切换，一机多用，实现扫描的高速及高精度，使用简便、自动化程度高。

附图说明

图1为本发明装置结构示意图；

图2为本发明获取的影像中激光线和反光的标志点示意图；

图3为本发明完全遮挡区域示意图；

图4为本发明过渡区域示意图；

图5为本发明实施例一流程图；

图6为本发明实施例二流程图。

附图中，各标号所代表的部件列表如下：

1、双目相机，2、第三相机，3、激光器，4、范围指示器，5、编码点，6、标志点，7、墙体，8、被扫描物体。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示的一种标志点定位与智能反向定位混合的定位装置，通常作为三维扫描仪使用，其包括双目相机1以及第三相机2，所述第三相机2的视野与所述双目相机1的视野不完全重叠，本实施例中，第三相机2的镜头垂直双目相机1的镜头设置，使得第三相机2的视野与双目相机1的视野不重叠。第三相机2上还设有范围指示器4，用于指示第三相机2的拍摄范围。所述双目相机1的左相机与右相机之间设有激光器3，激光器3的数量根据实际需求可灵活调整，如图1所示，本实施例使用了四个激光器3。所述双目相机1、所述第三相机2以及所述激光器3分别与上位机信号连接。所述激光器3用于发出激光投影，所述双目相机1用于获取被扫描物体8表面带有激光线和反光的标志点6的影像，激光线及反光的标志点6的图像如图2所示。所述第三相机2用于获取周边环境中带有反光的编码点5以及反光的标志点6的影像，上位机控制激光器3在被扫描物体8表面投射激光线、并控制双目相机1与第三相机2获取视野内的影像，获得的影像在上位机进行处理。所述上位机根据所述双目相机1和/或所述第三相机2获取的图像计算被扫描物体8的表面点云数据。

本实施例中，所述双目相机1以及所述第三相机2上均设有LED，多个LED呈环形阵列排布在各个相机外周。LED发出光线，为贴在被扫描物体8表面以及周围墙上的反光的标志点6、反光的编码点5提供用于反光的光源。

如图1所示，本实施例中设置在装置顶部的第三相机2使用高分辨率，对焦在2000mm左右，满足摄影测量条件，可以清晰的拍摄周围墙上的反光的编码点5，以便于智能反向跟踪定位。正面上下相机为双目相机1，上下相机分别作为双目相机1的左相机与右相机。双目相机1进行双目视觉处理，在智能反向跟踪模式下，双目视觉采集激光线数据，生成实时三维模型；在标志点模式下，双目相机1在采集激光线数据的同时，通过反光的标志点6进行跟踪定位，从而生成三维数据。双目相机1的中间设置有多个激光器3，发出激光投影到被扫描物体8的表面，形成激光投影，从而被双目相机1捕捉。

本装置作为三维扫描仪使用，可通过设备或者人工移动本装置对被测物体进行三维扫描。例如通过一个设备驱动该装置进行俯仰运动，周围墙体7上按照一定的规律布置好反光的编码点5以及反光的标志点6，根据扫描要求来决定被扫描物体8上是否粘贴反光的标志点6。当三维扫描仪进行移动(例如俯仰运动或横摇运动)开始扫描时，周围墙体7上的编码点5以及标志点6在第三相机2的视野范围内的区域被称为过渡区域，例如图4所示。当正常扫描中第三相机2的视野内识别不到编码点5以及标志点6时，该区域被称为完全遮挡区域(可以理解为第三相机2的视野被遮挡)，例如图3所示。

基于上述装置，本实施例还提供一种标志点定位与智能反向定位混合的定位方法，包括以下步骤：

S1，标定各相机在不同扫描模式下的参数，并使得切换扫描模式时各相机的参数同步对应变换；

S2，通过扫描场景判断并切换扫描模式为标志点模式或智能反向跟踪模式。

进一步，所述步骤S2中，使用所述标志点模式进行扫描，仅双目相机1参与获取影像的过程，第三相机2不工作。步骤S2包括以下步骤：

通过双目相机1获取带有激光线以及标志点6的影像，提取影像中激光线坐标信息以及标志点6坐标信息，采用空间前方交会算法计算激光线的三维坐标并建立激光线点云，采用空间前方交会算法计算标志点6的三维坐标并建立标志点集，通过激光线点云与标志点集建立标志点坐标系，将当前帧与之前所有帧影像标志点集的信息进行匹配，得到当前帧与之前帧影像之间的转换关系，将当前帧影像依次通过转换关系转换到标志点坐标系下，进行拼接，从而得到标志点坐标系下被扫描物体8的表面点云数据。

使用所述标志点模式进行扫描，详细步骤如下：

1.在物体表面贴有反光的标志点6，本装置在扫描时，双目相机1的左右相机采集带有激光线和反光的标志点6的第一帧影像，如图2所示。

①通过识别并提取标志点6的像点坐标，采用空间前方交会等算法计算标志点6的三维坐标，建立标志点集。

②通过提取影像的激光线中心点坐标(激光线在物体的表面)，采用空间前方交会等算法计算激光线的三维坐标，即物体表面的三维坐标。

③标志点6的三维坐标和激光线的三维坐标都在“第一帧时左相机的相机坐标系”下，并将该坐标系称为“标志点坐标系”。

2.扫描仪在移动扫描时，通过左右相机获取第二帧影像，以同样的方式计算第二帧影像的标志点三维坐标和激光线三维坐标。

3.扫描仪在采集影像时，相机的帧率特别高，因此相邻的第一帧和第二帧影像中存在重复的标志点6(至少3个点，原则上重复的标志点6越多精度与可靠性越高，本实施例为了保证更高的精度与可靠性，以4个重复的标志点6为例进行详细说明)，将第二帧中的标志点三维坐标和标志点集合中的标志点三维坐标进行匹配。假设第一帧4个标志点三维坐标用

通过以下公式计算“第二帧左相机的相机坐标系”与“标志点坐标系”之间的转换关系：

其中

4.通过第3步中计算得到的旋转矩阵R

其中：

5.通过第3步中计算得到的旋转矩阵R

6.第三帧影像获取后，以同样的方式计算标志点三维坐标和激光线三维坐标。重复上述步骤3、4、5，以此类推，直至所有的三维坐标都转换到“标志点坐标系”下完成点云拼接，即得到了被扫描物体8的表面点云数据。

本实施例中，所述步骤S2中，采用所述智能反向跟踪模式进行扫描，双目相机1以及第三相机2均参与扫描过程。步骤S2包括以下步骤：

获取第三相机2在左相机坐标系下的三维坐标，通过双目相机1获取带有激光线的影像并提取激光线三维坐标信息，采用空间前方交会算法计算激光线在左相机坐标系中的三维坐标点；通过第三相机2获取周边环境中带有编码点5以及标志点6的影像并提取标志点6的坐标，通过后方空间交会算法计算出标志点6在第三相机坐标系下的坐标，通过左相机在第三相机坐标系下的三维坐标以及标志点6在第三相机坐标系下的坐标计算出左相机坐标系到第三相机坐标系的转换关系，通过转换关系将每帧影像的激光线三维坐标点从左相机坐标系转换到第三相机坐标系下完成拼接，得到第三相机坐标系下被扫描物体8的表面点云。

标志点6设置在相邻的编码点5之间，且相邻标志点6等距设置。每个编码点5上都含有一个数字信息。通过第三相机2提取标志点6的坐标时，首先识别编码点5的数字，建立粗略的第三相机坐标系，再识别编码点5之间的标志点6，实现精准识别标志点6在第三相机坐标系下的坐标。根据扫描精度要求，可调整编码点5以及标志点6的密度。

采用所述智能反向跟踪模式进行扫描，详细步骤如下：

1.对本装置进行出厂标定，获得第三相机2(如图1所示)在“左相机坐标系”下的三维坐标，用

2.本装置开始扫描时，利用扫描仪上的激光器3在待测物体表面投射激光线，配合本装置扫描仪上的左右相机获取当前帧激光线影像，在影像中提取激光线的像点坐标，通过空间前方交会等算法，计算激光线位于“当前帧左相机的相机坐标系”下的三维坐标。

3.在扫描的同时扫描仪顶部相机会获取周围墙体7上反光的标志点6及编码点5的影像，然后识别并提取反光的标志点6的像点坐标，通过后方空间交会等算法计算出反光标志点6在“第三相机坐标系”坐标系下的坐标。用

其中

求得R

其中：

5.重复上述步骤2、3、4，将扫描仪每一帧影像获取的激光线三维坐标转换到“第三相机坐标系”下，进行点云拼接，直至扫描完成。

单独使用以上两种模式各有优缺点：标志点模式需要在待扫描的物体表面贴标志点6，以完成点云的拼接工作，其操作较为繁琐，耗时也长，但操作者可手持该装置对被扫描物体8进行扫描，不会因为扫描物体体积大，导致遮挡问题；智能反向跟踪模式扫描时不需要在被扫描物体8表面贴标志点6，在被扫描物体8周围的背景墙体7上设置编码点5以及标志点6，通过智能反向跟踪完成点云拼接问题，其耗时少、扫描效率高，但是会因为扫描物体体积大的原因，第三相机2无法正常跟踪，由于遮挡编码片等问题导致无法进行定位，而无法完成拼接工作。因此结合两种扫描模式，可以很好的完成大物体的扫描工作。

本实施例，在所述步骤S2中，根据用户的使用需求，可以进行扫描模式之间的灵活切换。

第三相机2的视野被被扫描物体8完全遮挡之前的区域称之为“过渡区域”，即在过渡区域内，第三相机2能识别到周围墙体7上的编码点5以及标志点6；第三相机2的视野获取不到周围墙体7上的编码点5以及标志点6的区域称之为“完全遮挡区域”，该区域有可能是被被扫描物体8遮挡了第三相机的视线，也有可能是因为扫描仪旋转角度较大导致第三相机拍摄不到墙体7上的编码点5以及标志点6，如图3所示。在过渡区域内墙体7上的编码点5、标志点6在第三相机2视野内，并且被扫描物体8上贴有标志点6，如图4所示。在过渡区域通过多帧数据可以计算出“标志点坐标系”和“第三相机坐标系”的转换关系。

由标志点模式切换到智能反向跟踪模式，包括以下步骤：

在过渡区域通过多帧影像的数据计算标志点坐标系下激光点云到第三相机坐标系下激光点云之间的转换关系，通过转换关系将标志点坐标系下的激光点云转换到第三相机坐标系下。

转换关系计算方式如下：

在某一时刻当前帧计算的激光线三维数据坐标P

令：

其中：三维坐标点由“标志点坐标系”转换到“第三相机坐标系”的旋转矩阵为R

由智能反向跟踪模式切换到标志点模式，包括以下步骤：

在过渡区域通过多帧影像的数据计算第三相机坐标系下激光点云到标志点坐标系下激光点云之间的转换关系，通过转换关系将第三相机坐标系下的激光点云转换到标志点坐标系下。

转换关系计算方式如下：

在某一时刻当前帧计算的激光线三维数据坐标P

令：

其中：三维坐标点由“第三相机坐标系”转换到“标志点坐标系”的旋转矩阵为R

扫描模式转换的过程中需保证在整个扫描过程中“第三相机坐标系”和“标志点坐标系”的相对位置不会发生变动，即该扫描仪装置和粘贴标志点6的被扫描物体8相对位置不会发生变动。如果相对位置改变，需要重新计算“第三相机坐标系”和“标志点坐标系”的转换关系，即两种模式之间的转换关系。

现将扫描模式转换过程具体到应用案例中进行说明。

实施例一：

本实施例以初始模式为“智能反向跟踪模式”为例，如图5的流程图所示，详细扫描模式转换步骤如下：

1.开始设置为“智能反向跟踪模式”扫描，此时的“第三相机坐标系t1”作为初始坐标系；

2.模式切换1：进入到“过渡区域”后，进行模式切换，切换到“标志点模式”；

3.然后计算三维坐标点由“标志点坐标系”转换到“第三相机坐标系t1”的旋转矩阵为R

4.第三相机2(即反向跟踪设备)停止工作；

5.将标志点模式下得到的在“标志点坐标系”下的激光线三维坐标转换到“第三相机坐标系t1”下；

6.模式切换2：退出“完全遮挡区域”后，再次进入“过渡区域”，再切换回“智能反向跟踪模式”；

7.计算三维坐标点由“第三相机坐标系”转换到“标志点坐标系”的过渡旋转矩阵为R

8.第三相机2反向定位重新开始工作。由于第三相机2反向重新开始工作，此时的“第三相机坐标系”不是初始的“第三相机坐标系t1”，命名为“第三相机坐标系t2”，因此需要进行“第三相机坐标系t2”到“第三相机坐标系t1”的转换；转换公式如下：

令：

其中：R

根据R

实施例二：

本实施例以初始模式为“标志点模式”为例，将其命名为“标志点坐标系t2”，如图6的流程图所示，详细扫描模式转换步骤如下：

1.开始设置为“标志点模式”扫描，此时的“标志点坐标系t1”作为初始坐标系；

2.模式切换1：进入到“过渡区域”后，进行模式切换，切换到“智能反向跟踪模式”；

3.然后计算三维坐标点由“第三相机坐标系”转换到“标志点坐标系”的旋转矩阵为R

4.第三相机2反向跟踪，设备开始来回扫描工作；

5.将智能反向跟踪模式下得到在“第三相机坐标系”下的激光线三维坐标转换到“标志点坐标系”下；

6.模式切换2：退出“完全遮挡区域”后，再次进入“过渡区域”，再切换回“标志点模式”；

7.然后计算三维坐标点由“标志点坐标系”转换到“第三相机坐标系”的过渡旋转矩阵为R

8.第三相机2反向重新停止工作。此时的“标志点坐标系”不是初始的“标志点坐标系t1”，将其命名为“标志点坐标系t2”，因此需要进行“标志点坐标系t2”到“标志点坐标系t1”的转换；

转换公式如下：

令：

其中：R

根据R

本发明适用到三维扫描仪上，结合了智能反向跟踪式扫描以及标志点6跟踪式三维扫描的特点，物体表面无需粘贴标志点6即可扫描、同时精度较光学追踪式三维扫描仪高，而且可以使用粘贴标志点6与不粘贴标志点6的混合模式，自由切换，一机多用，实现扫描的高速及高精度，使用简便、自动化程度高。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。