一种基于柔性特征点的三维数据拼接方法

摘要

本发明一种基于柔性特征点的三维数据拼接方法属于计算机视觉测量技术领域，涉及一种基于柔性特征点的三维数据拼接方法。该方法针对具有自由曲面的大型零件的三维数据测量，采用阶梯式测量系统，利用全局控制系统和局部测量系统公共视场区域内的控制点信息，匹配控制点并求得转换矩阵；利用该转换矩阵将局部测量系统测得的三维点云数据统一到全局控制系统中，最终对全局控制系统的数据进行三维重建，实现大型零件的三维数据拼接。该方法利用投影柔性控制点，解决了传统大型零件测量过程中控制点布局繁琐和测量盲区的问题，便于测量过程中根据被测零件表面特征实时调整测量站位，提高了测量系统的现场适应性和数据拼接的精度及测量稳定性。

说明书

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于柔性特征点 的三维数据拼接方法

背景技术

在航空航天等领域，为保证零件的加工精度及部件的装配精度， 需要对零件的三维几何尺寸等数据进行精确的测量。目前，机器视觉 测量的方法凭借其测量精度高、速度快、非接触及易于操作等优点， 已被广泛应用于工业现场。然而，针对一些特殊的情况，如被测零件 尺寸太大、零件存在视觉盲区等，仅凭单一视场的测量数据，无法满 足零部件的高精度全局测量要求。因此，需要根据大型被测零件的尺 寸，先利用视觉传感器对其局部区域进行精确快速测量，获取到零件 在局部坐标系下的三维数据，然后将所有局部区域的信息统一到全局 坐标系下，从而获取大型零件完整的三维数据。

经文献检索，中国发明专利号：CN102944191A，魏新国、张广 军、刘震等人发明的发明专利“一种基于平面圆靶标的三维视觉测量 数据拼接方法及装置”的发明专利提出了基于单一圆靶标的三维拼接 方法，该方法通过放置平面圆靶标在被测物前，移动已标定的双目视 觉系统，拍摄平面圆靶标在移动前后测量位置所成的椭圆图像，提取 并拟合椭圆方程，重建出平面圆靶标在前后两次局部测量坐标系下的 圆特征，从而根据所述圆特征构造优化目标函数求解拼接矩阵。该方 法有效解决了平面靶标部分被遮挡情况下的三维拼接失败问题，但是 由于只采用单一圆特征，拼接稳定性不高。中国发明专利号：CN 102445164A，刘震、张广军、孙军华等人发明的专利名称为：“一 种大型构件表面三维形貌视觉测量方法及系统”的发明专利提出了一 种包括图像采集系统、控制器、计算机、一个三维光学测头、多个平 面靶标的测量系统。该方法通过三维光学测头中的双目视觉系统测量 不同区域的三维形貌，在通过三维光学测头中的宽视场相机测量大型 构件周围的多个平面靶标的位置，将不同区域的三维形貌信息统一到 同一全局坐标系下，以实现三维形貌的测量。但是由于该方法多次进 行坐标转换，存在累积误差，并且需要多次移动三维光学测头位置， 操作较麻烦。

发明内容

本发明为克服现有技术的缺陷，发明一种基于柔性特征点的三维 数据拼接方法，该方法采用双目视觉技术对具有自由曲面的大型零件 进行快速全局测量，不需要预先布置控制点，省去了繁琐的布点流程， 可根据零件表面特征自由安排测量站位，现场适应性高，并且由于坐 标转换简便，随着局部测量次数的增多不会产生累积误差，具有非常 高的拼接精度。

本发明采用的技术方案是一种基于柔性特征点的三维数据拼接 方法，其特征是，该方法针对具有自由曲面的大型零件的三维数据测 量，采用阶梯式测量系统，利用全局控制系统和局部测量系统公共视 场区域内的控制点信息，匹配控制点并求得转换矩阵；利用该转换矩 阵将局部测量系统测得的三维点云数据统一到全局控制系统中，最终 对全局控制系统的数据进行三维重建，实现大型零件的三维数据拼接； 方法的具体步骤如下：

第一步、安装阶梯式测量系统

阶梯式测量系统中，采用两台分辨率高且视场大的左、右工业相 机1、2固定于测量区域后方，构成全局控制系统I，用以建立固定的 全局坐标系；局部测量系统II采用两台视场较小的左、右相机8、9 放置于测量区域的前方，通过移动以获取被测零件的局部信息；将被 测物4放置在阶梯式测量系统中，用投影仪3投影柔性控制点阵，投 影出的点阵同时被两套双目系统采集到，以实现局部坐标系到全局坐 标系的坐标转换，最终完成零件的三维数据拼接；

第二步、全局坐标系与局部坐标系的建立

为建立全局控制坐标系，选择全局控制系统的左工业相机1坐标 系作为全局坐标系，并对左工业相机的内外参数进行标定；通过单相 机的标定，得到视场范围内任意点P在二维图像坐标系中的像素坐标 (u_P,v_P)与世界坐标系中的坐标(x_P,y_P,z_P)间的转换关系：

$\left(\begin{array}{c}{u}_P\\ v_P\\ 1\end{array}\right)=K·H·\left(\begin{array}{c}{x}_P\\ y_P\\ z_P\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)·\left(\begin{array}{cc}{R}_C& T_C\end{array}\right)·\left(\begin{array}{c}{x}_P\\ y_P\\ z_P\\ 1\end{array}\right)---\left(1\right)$

其中，K为相机的内参矩阵，H为相机的外参矩阵，f_x为焦距长 度与相机芯片每个单元x方向尺寸的乘积，f_y为焦距长度与相机芯片 每个单元y方向尺寸的乘积，(c_x,c_y)为相机的主点坐标，R_C为像素坐标 系与世界坐标系间的旋转矩阵，T_C为像素坐标系与世界坐标系间的平 移矩阵；

然后，对右工业相机2也进行标定，通过立体标定得到左、右工 业相机的对应关系，利用空间交汇的原理，将视场内的任意空间点在 左相机坐标系下进行重建，得到点在全局坐标系下的三维空间坐标；

按照上述建立全局坐标系的方法，将局部坐标系建立在局部测量 系统的左相机8上；利用相同的标定方法对右相机9也进行标定，得 到空间中任意一点在局部坐标系下的三维空间坐标；

第三步、全局控制点的布局与匹配

1)全局控制点的布局

为实现三维数据的全局拼接，需要在全局坐标系和局部坐标系下 设立具有公共信息的全局控制点，利用具有相同特征的控制点阵，求 解局部坐标系与全局坐标系间的转换矩阵；采用投影仪投影柔性全局 控制点阵，点阵要求充满整个视场，其尺寸要根据测量现场全局控制 系统与零件表面的位置关系实时调整，使控制点由尽可能多的像素表 示，提高点的提取精度；布局好全局控制点后，利用已经标定好的相 机对全局控制点图像进行采集；

设同一位置下局部测量系统测量得到的局部坐标系下控制点集 为P：

P＝{P_i|P_i∈P,i∈N,i≥3}(2)

其中P_i＝(x_i,y_i,z_i)为点P_i在局部坐标系下的三维坐标，N为控制点个 数；全局控制系统得到的全局坐标系下的控制点集为Q：

Q＝{Q_i|Q_i∈Q,i∈N,i≥3}(3)

其中Q_i＝(x_i,y_i,z_i)为点Q_i在全局坐标系下的三维坐标；

2)全局控制点的匹配

为了使局部测量系统与全局控制系统上的全局控制点相互匹配， 分别构建局部坐标系下控制点集P中第i个点的描述向量A_i和全局坐 标系下控制点集Q中第i个点的描述向量B_i：

A_i＝|d(P_i,P₁)d(P_i,P₂)…d(P_i,P_n),n≠i(4)

B_i＝|d(Q_i,Q₁)d(Q_i,Q₂)…d(Q_i,Q_n)|,n≠i(5)

其中,d(P_i,P_j)＝||P_i-P_j||₂为点P_i与P中其他点P_j间的欧式距离， d(Q_i,Q_j)＝||Q_i-Q_j||₂为点Q_i与Q中其他点Q_j间的欧式距离，n为控制点个数；

由于点的提取和重建存在误差，互相匹配的点对的描述向量并不 完全相同，因此设定阈值φ，若点P_i和点Q_j的描述向量满足如下公式：

||A_i-B_j||₂＜φ(6)

则认为点P_i和点Q_j是相互匹配的，Q(P_i,Q_j)为匹配点对；对点集P和中 的所有点进行匹配，并找到其匹配点对；最后，将P、Q中的点根据 匹配关系重新编号排序，得到高精度匹配的局部坐标系下控制点集P' 和全局坐标系下控制点集Q'：

$\left(\begin{array}{c}{P}^{\prime }=\left\{P_k\right|P_k\in P,k\in N\}\\ Q^{\prime }=\left\{Q_k\right|Q_k\in Q,k\in N\}\end{array}\right)---\left(7\right)$

其中，N为控制点个数，此时(P_k,Q_k)为匹配的控制点对；

第四步、三维数据拼接及优化

利用全局坐标系下与局部坐标系对应匹配的点，建立局部坐标系 与全局坐标系间的坐标转换关系，即计算旋转矩阵R和平移矩阵T；

首先，计算两匹配点集的质心点，计算公式如下：

$\bar{P}=\frac{1}{n}\underset{k=1}{\overset{n}{\Sigma }}{P}_k---\left(8\right)$

$\bar{Q}=\frac{1}{n}\underset{k=1}{\overset{n}{\Sigma }}{Q}_k---\left(9\right)$

其中为局部坐标系下控制点集的质心点，为全局坐标系下控 制点集的质心点，P_k为局部坐标系下第k个控制点，Q_k为全局坐标系 下第k个控制点；根据两坐标系下点对的匹配关系，也为一个匹 配点对；

然后分别计算两匹配点集中的特殊向量，计算公式如下：

$\overrightarrow{p_k}=\bar{P}-P_k---\left(10\right)$

$\overrightarrow{q_k}=\bar{Q}-Q_k---\left(11\right)$

其中，为局部坐标系下第k个点的特殊向量，为全局坐标系 下第k个点的特殊向量；又由于局部坐标系和全局坐标系的匹配点对 存在以下关系：

Q_k＝R·P_k+T(12)

其中，R和T分别为全局坐标系与局部坐标系之间的旋转矩阵和 平移矩阵；则根据以上公式，还可以表示为：

$\overrightarrow{q_k}=\frac{1}{n}\underset{k=1}{\overset{n}{\Sigma }}{Q}_k-Q_k=\frac{1}{N}\underset{k=1}{\overset{n}{\Sigma }}(R·P_k+T)-(R·P_k+T)=R·\overrightarrow{q_k}---\left(13\right)$

建立如下目标函数：

则求解旋转矩阵R的过程就转化为了求取使得f最小的问题； 利用矩阵的奇异值分解计算得到后，根据式(11)，得到计算平 移矩阵公式如下：

$\hat{T}=\bar{Q}-\hat{R}·\bar{P}---\left(15\right)$

其中为优化后的局部坐标系与全局坐标系间的旋转矩阵，为 优化后的局部坐标系与全局坐标系间的平移矩阵；

得到局部坐标系与全局坐标系间的旋转矩阵与平移矩阵后， 将局部坐标系下的扫描测量数据根据公式(12)统一到全局坐标系下；

最后通过移动局部测量系统，使局部测量视场覆盖所有的感兴趣 区域，并将每一部分的测量点云数据均统一到固定不变的全局坐标系 下，最终实现大型零件的全局三维数据拼接。

本发明的有益效果是该方法利用投影柔性控制点，解决了传统大 型零件测量过程中控制点布局繁琐和测量盲区的问题，提高了测量系 统的现场适应性。采用阶梯式双目系统进行局部和全局的三维数据采 集，便于测量过程中根据被测零件表面特征实时调整测量站位，保证 公共视场中存在足够多的拼接控制点，提高了数据拼接的精度和测量 稳定性。

附图说明

图1为基于柔性控制点的全局三维数据拼接方法原理图，图2为 柔性全局控制点阵图。其中，I-全局控制系统，II-局部测量系统， 1-左工业相机，2-右工业相机，3-投影仪，4-被测物，5-局部测量系 统当前拍摄区域，6-矩形外边框是局部测量时视觉传感器的测量范围， 7-边框内部作为全局控制点的控制点阵，8-左相机，9-右相机。

图3-拼接方法流程图。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施方式。

实施例1，如附图1所示，搭建阶梯式测量系统。局部测量系统 II由两台相机(VC-12MC-M/C65，焦距28mm，分辨率3072*4096) 和一台投影仪3(EPSON，3000lm)组成，全局控制系统I由两台高 精度大视场工业相机(VC-29MC-M/C，焦距50mm,分辨率4384*6576) 组成。被测物4为大型复合材料壁板。首先建立全局坐标系与局部坐 标系。以全局控制系统中左工业相机1的相机坐标系作为全局坐标系， 以局部测量系统中左相机8的相机坐标作为局部坐标系。保持全局控 制系统I位置不变，并对全局控制系统I和局部测量系统II进行双目 标定；打开投影仪3，向被测物4投影如附图2所示的柔性控制点阵。 利用相机分别采集不同测量区域的图像，通过数据处理得到不同测量 区域全局控制点的三维数据；将同一位置的局部坐标系下的控制点与 全局坐标系下的控制点进行匹配；建立局部坐标系与全局坐标系的转 换关系，将局部坐标系下的三维数据统一到全局坐标系下，最终实现 三维数据的拼接与优化。

附图3为测量方法流程图。整个测量过程包括全局坐标系与局部 坐标系的建立、全局控制点的布局与匹配、三维数据拼接与优化三个 步骤。通过将不同位置下的局部测量系统得到的数据统一到全局坐标 系下，完成三维数据拼接。实施例的具体步骤如下：

第一步、全局坐标系与局部坐标系的建立

以全局控制系统中左工业相机1的相机坐标系作为全局坐标系， 以局部测量系统中左相机8的相机坐标作为局部坐标系。

根据双目系统测量视场的大小，基于张氏标定法，利用合适的二 维平面靶标，对前后两套双目视觉测量系统进行标定。

首先，对全局控制系统I即后双目系统进行标定，得到标定结果 如下：

左工业相机1的内参：f_x＝8767.1，f_y＝8751.4，c_x＝3106.6，c_y＝2242.1， k₁＝0.10661，k₂＝-0.07177；

右工业相机2的内参：f_x＝8868.9，f_y＝8852.4，c_x＝3451.1，c_y＝2194.9， k₁＝0.066，k₂＝1.218；

然后，对局部测量系统II进行标定，标定结果如下：

左相机8内参：f_x＝5206.1，f_y＝5208.4，c_x＝2053.9，c_y＝1527.6， k₁＝-0.026，k₂＝0.209；

右相机9内参：f_x＝5177.0，f_y＝5185.5，c_x＝2138.3，c_y＝1497.2， k₁＝-0.026，k₂＝0.178。

第二步、全局控制点的布局与匹配

1)全局控制点的布局

本实例采用投影仪3投影控制点阵，根据测量现场全局控制系统 I与零件表面的位置关系确定柔性控制点的尺寸，并使控制点充满整 个视场，投影出的控制点阵如附图2所示，其中，矩形外边框是局部 测量时视觉传感器的测量范围6，用以保证局部测量的过程可以覆盖 所有的感兴趣区域。边框内部作为全局控制点的控制点阵7，要求充 满整个视场。投影柔性控制点的尺寸可根据测量现场全局控制系统与 零件表面的位置关系实时调整，使控制点由尽可能多的像素表示，提 高点的提取精度，从而保证三维数据拼接的质量。

利用全局控制系统I采集图像，得到局部坐标系下控制点集 P＝{P_i|P_i∈P,i∈N,i≥3}，其中P_i＝(x_i,y_i,z_i)为点P_i在局部坐标系下的三维坐标， 全局坐标系下的控制点集为Q＝{Q_i|Q_i∈Q,i∈N,i≥3}，其中Q_i＝(x_i,y_i,z_i)为点 Q_i在局部坐标系下的三维坐标。

2)匹配控制点

为了匹配控制点，构建公式(4)、(5)的点集描述向量。由于点的 提取和重建存在误差，互相匹配的点对的描述向量并不完全相同，因 此设定阈值φ，根据公式(6)来匹配点对，将所有控制点一一匹配。最 后，将P、Q中的点根据匹配关系重新编号排序，得到高精度匹配的 控制点集P'＝{P_k|P_k∈P,k∈N,3≤k≤i}和Q'＝{Q_k|Q_k∈Q,k∈N,3≤k≤i}。

第三步、三维数据拼接与优化

利用全局坐标系下与局部坐标系对应匹配的点，建立全局坐标系 与局部坐标系的坐标转换关系。首先，利用公式(8)、(9)计算两匹配 点集的质心点和并且根据两坐标系下点对的匹配关系，也 为一个匹配点对。然后利用公式(10)、(11)分别计算两匹配点集中的 向量和建立公式(14)所示的目标函数，则利用矩阵的奇异值分 解方法计算得到的即为局部坐标系与全局坐标系的旋转矩阵。接着 利用公式(15)求得局部坐标系与全局坐标系的平移矩阵最后将局 部坐标系下的扫描测量数据根据公式(12)统一到全局坐标系下，实现 局部坐标系下的点云信息向全局坐标系的转换。

实例过程中，采集三个不同位置的图像数据，并将每一位置的测 量点云数据均统一到固定不变的全局坐标系下，实现三维数据的拼接， 从而完成大型零件的全局三维测量。通过计算拼接点云数据与三维数 模间的均方根误差对拼接方法进行评价，通过数据对比，测量点云数 据与模型对应点间的均方根误差为0.4734mm，可以满足大型壁板的 测量要求。

实施例利用本发明提出的三维数据拼接方法对大型复材壁板零 件进行了多站位测量，并进行了三维数据拼接和重建，重建结果显示 该拼接方法可以满足大型零件的现场测量要求。