三维扫描系统中圆形标志点的检测方法

摘要

一种三维扫描系统圆形标志点的检测方法。该方法首先对左右摄像机拍摄的图像进行预处理，标志点的特征是在预处理后得到的边缘图中边界连续闭合，其次以边界连续闭合区域作为标志物的特征，设计相应的特征检测方法在图像中检测可能的标志点，将可能的标志点组成疑似点集，然后利用各疑似点的空间对应点在点云中的位置和微切平面与成像平面之间的夹角自适应设定形状描述阈值，并利用该阈值对疑似点的实际形状描述结果进行验证得到图像中的标志点，最后将左右摄像机拍摄的图像中的标志点进行匹配得到左右对应的标志点对，并获取匹配标志点对应的空间标志点。

说明书

技术领域：

本发明涉及一种物体检测识别方法，尤其涉及一种三维扫描系统中圆形标志点检测方法，属于图像处理和计算机视觉技术领域。

背景技术：

在三维测量系统中，将光栅图样投影到被测物表面，利用安装在不同方位的左右两个摄像机拍摄物体的光栅条纹图像，图像采集卡将CCD接收到的图像信号输入计算机，由计算机按像素进行图像处理，通过建立的摄像机数学模型，根据左右摄像机拍摄的光栅条纹图像信息就可计算出物体的三维曲面轮廓或三维空间点坐标。

对于大型曲面，受测量系统测量范围的限制，不能一次性完整测量，必须分块测量，测量结果是多块点云数据，需要进行坐标归一化和消除冗余数据的处理，这一过程称为三维数据拼接。基于点拼接等众多拼接算法为使拼接顺利进行，首先在两块点云之间定位一些公共的标志点，然后根据标志点在两块点云中的对应关系计算出拼接的全局变换参数。快速准确地检测点云中的标志点成为拼接的关键，

在三维测量系统的拼接过程中选取圆形的小物体的圆心作为拼接点是普遍的，因为与角点相比，其圆的先验知识使误检测的可能性大大降低，而且很多被测物面自身具备圆形的标志物可供检测，对自身没有标志物的物面，可以贴若干圆作为标志点，以圆形标志点的型心作为拼接点。在点云中直接检测标志点非常困难，需要首先检测标志点在左右摄像机拍摄的图像中的投影点，然后根据投影点在图像中的位置计算标志点在点云中的三维坐标，这里的图像是指保持左右摄像机与被测物体位置关系不变的情况下拍摄的无投影光栅的原始图像。物体(包括标志点)在有投影光栅图像和无投影光栅原始图像中的位置相同，检测标志点在左右两幅原始图像中的投影点位置后，利用建立的左右光栅图像与物体三维坐标的关系计算标志点的空间坐标。

高级的图像检测系统包括特征检测和假设验证部分：在特征检测时常用图像分割的方法得到物体的特征，然后对特征进行检测得到可能的物体，常见的圆检测方法是Hough变换法；假设验证部分根据物体的先验知识进行验证，一般的验证方法首先对可能的标志点计算验证需要的值，然后设定一个固定阈值对实际值进行比较，根据比较结果完成验证。在实际的三维测量系统标志点检测中，由于圆形的标志物面积小且分布随机，它们对图像的灰度分布影响小，所以难以选取合适的分割阈值；标志点形状在透视投影后相比实际的三维形状发生变形，圆投影后变形为类椭圆，常用的Hough变换法检测面积小的非标准圆时效果不好，而且计算量比较大，难以达到实时检测；相对摄像机的位置不同，标志点投影后在图像中的变形情况也不同，选择单一的固定阈值验证可能的标志点容易出现误检测，需要对各可能标志点自适应设定阈值进行验证。

发明内容：

本发明提供一种能够提高复杂背景图中标志点检测准确性的三维扫描系统中圆形标志点的检测方法。

本发明所采用的技术方案是：

步骤1采集图像并进行预处理

步骤1.1通过图像采集设备将图像输入计算机中；

步骤1.2图像预处理，使标志点的边界连续闭合

1)检测图像边缘：

利用经典的Canny边缘算子检测图像的边缘，得到图像的边缘图，图像的边缘图由边缘像素点和非边缘像素点组成，各边缘像素点的边缘方向由Canny边缘算子计算；

2)采取边界跟踪的方法提取图像的边缘，对于提取到的每一条连续的边缘s，计算s的长度l(s)，如果l(s)小于等于5个像素或者大于等于300个像素，则s的长度超出了标志物边界的范围，将s在边缘图中删除；如果l(s)大于5个像素并且小于300个像素，考察边缘s的两个端点p_l和p_r，沿端点p_l处的边缘方向延伸一个像素，得到p_l+1，以p_l+1为中心点在3×3像素领域内寻找边缘像素点，如果发现边缘像素点并且该边缘像素点不属于边缘s，则将p_l+1置为边缘像素点，对s的另一个端点p_r进行同样的处理；

步骤2检测可能的标志点

以边缘图的左下角为原点，向右和向上的方向分别为X轴正方向和Y轴正方向，图像的宽度和高度分别为W和H，起始扫描点p的初始坐标为(0，0)，检测方法为：

步骤2.1寻找第一个可能的标志点

步骤2.1.1

以p为起始点沿X轴正方向逐行向上扫描边缘图的像素点，直到扫描到边缘像素点时中止；

将扫描到的边缘像素点记为p_l，从p_l起沿X轴正方向继续扫描，直到此后出现第一个非边缘像素点时，将与该第一个非边缘像素点相邻且已被扫描到的边缘像素点记为p_r，如果扫描到图像的最右边仍未出现非边缘像素点，则将该行中图像最右边的点记为p_r，p_l和p_r为一条边缘的最下面一行的左右端点；

步骤2.1.2

记录p_l和p_r的坐标值分别为(x_i^l，y_j)和(x_i^r，y_j)，以p_l为基准点，依次考察坐标值为(x_i^l，y_j+1)、(x_i^l-1，y_j+1)、(x_i^l+1，y_j+1)三个像素点，判断它们之中是否有边缘像素点，如果有，将其中的第一个边缘像素点记为p_l¹；对p_r做同样的处理，以p_r为基准点，依次考察坐标值为(x_i^r，y_j+1)、(x_i^r+1，y_j+1)、(x_i^r-1，y_j+1)的点，如果有边缘像素点，将第一个边缘像素点记为p_r^l；

如果没有这样的p_l¹或p_r¹，或者p_l¹等于p_r¹，则p_l和p_r所在的边缘不是连续闭合的，这时令p_r右侧的非边缘像素点为新的起始点p，以步骤2.1.1的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点。

步骤2.1.3

以p_l¹和p_r¹作为基准点，记录它们的坐标值，采用与步骤2.1.2相同的方法在上一行中寻找新的基准点，并重复这一过程，对于找到的每一对新的基准点p_l^k和p_r^k，如果下面情况至少出现一种时：1)p_l^k等于p_r^k，2)p_l^k与p_r^k之间的像素全是边缘像素点并且上面一行相应位置的像素是非边缘像素点，则检测到一个边界连续闭合区域，如果在上一行中没有找到新的基准点，则令p_r右侧的非边缘像素点为新的起始点p，以步骤2.1.1的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点；

对于检测到的一个边界连续闭合区域，边缘像素点p_l，p_r，p_l¹，p_r¹...p_l^k，p_r^k属于该边界闭合区域的边界，将它们添加入链表list，计算list的均值作为边界连续闭合区域的型心，将该型心的值作为可能的标志点的坐标；将边缘像素点p_l，p_r，p_l¹，p_r¹...p_l^k，p_r^k标记为Bm，此后的扫描过程中将标记为Bm的像素按非边缘像素处理；

步骤2.2  寻找边缘图中所有剩余可能的标志点

步骤2.2.1

令p_r右侧的非边缘像素点为新的起始点p，以步骤2.1中的方法在边缘图中继续扫描寻找其他的边界连续闭合区域，每检测完一条边缘是否边界连续闭合后，p_l和p_r更新为该条边缘的最下面一行的左右端点；

步骤2.2.2

不断重复步骤2.2.1寻找图像中所有剩余的边界连续闭合区域，直到将边缘图中所有的像素扫描完毕，将每一个边界闭合区域的型心值作为可能的标志点的坐标，将所有可能的标志点组成疑似点集{q₁，q₂，…，q_m}，其中q₁，q₂，…，q_m为疑似点，m为疑似点的个数；

步骤3.验证疑似点

步骤3.1疑似点形状描述

对于疑似点集中的各疑似点q_t(1≤t≤m)，计算包含q_t的边界连续闭合区域的面积area(q_t)，提取该边界连续闭合区域的边界，对提取到的边界采用最小二乘方法拟合椭圆，计算出拟合的圆心值q_t^o(x₀，y₀)和拟合均方差q_t(e)，采用area(q_t)、q_t^o(x₀，y₀)、q_t(e)描述疑似点q_t的形状，形状描述结果以像素为单位；

步骤3.2计算疑似点对应的空间点的三维坐标和微切平面与成像平面夹角

1)在三维测量系统中，二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系为已知量，对于疑似点集中的各疑似点q_t(1≤t≤m)，计算q_t对应的三维空间点Q_t在点云中的三维坐标值Q_t(x，y，z)，空间点的坐标值以摄像机坐标系表示；

2)计算Q_t在点云中的微切平面S(Q_t)的法向量n：

取点云中与Q_t距离最短的30个点组成邻近点集KNB(Q_t)，KNB(Q_t)＝{X₁，X₂，…，X₃₀}，其中X₁，X₂，…，X₃₀。为邻近点；

利用KNB(Q_t)的最小二乘逼近平面作为Q_t的微切平面S(Q_t)，计算S(Q_t)的法矢量n＝{A，B，C}；

3)计算微切平面与成像平面的夹角θ

成像平面的法线向量为n₀＝{0，0，1}，则微切平面S(Q_t)与成像平面的夹角Q_t(θ)的余弦$\cos \left(Q_t\left(\theta \right)\right)=\left|\cos \widehat{(n_0,n)}\right|,$按两向量夹角余弦的坐标表示式，Q_t(θ)可由$\cos \left(Q_t\left(\theta \right)\right)=\frac{\left|C\right|}{\sqrt{A^2+B^2+C^2}}$来确定；

步骤3.3自适应设定阈值

疑似点的形状阈值不仅与疑似点的空间对应点的位置和微切平面与成像平面的夹角有关，还与采用的标志点和摄像机有关，假设Z为采用的标志点距离摄像机镜头的垂直距离，N为采用的标志点在摄像机镜头上方Z cm处透视投影成像后的圆面积，投影时空间标志点所在平面与成像面夹角为0，即两平面平行。根据Q_t(x，y，z)、Q_t(θ)、Z、N为疑似点q_t设定面积阈值和拟合均方差阈值，面积阈值T_area(qt)和拟合均方差阈值T_qt(e)分别设为：

$T_{\mathrm{area}\left(q_t\right)}=\left(\begin{array}{cc}\frac{Z\times N\times 1.2}{d}& 0\le \theta <30\\ \frac{Z\times N}{d}& 30\le \theta <60\\ \frac{Z\times N\times 0.8}{d}& 60\le \theta \le 90\end{array}\right),$$T_{q_t\left(e\right)}=\left(\begin{array}{cc}1& 0\le \theta <30\\ 2& 30\le \theta <60\\ 3& 0\le \theta \le 90\end{array}\right),$

其中d为疑似点q_t的空间对应点Q_t(x，y，z)的z坐标值，θ＝Q_t(θ)；

步骤3.4验证标志点

将T_area(qt)、T_qt(e)与疑似点q_t的实际描述结果area(q_t)、q_t(e)进行比较，如果area(q_t)<T_area(qt)并且q_t(e)<T_qt(e)，则q_t验证为标志点，拟合得到的椭圆圆心值q_t^o(x₀，y₀)作为标志点在图像中的位置；

步骤4.匹配左右图像中的标志点

采用上述方法得到左右摄像机拍摄的图像中的标志点，用极线约束和唯一性约束的方法匹配左右图像的标志点；

步骤5.将相匹配标志点对转化为空间标志点

利用相匹配标志点对的位置和二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系，计算得到标志点在点云中的三维坐标。

三维扫描系统圆形标志点检测的难点有：1)对于某些被测物面，图像背景复杂，噪声特性未知；2)圆形标志点面积小，并且分布随机；3)在透视投影成像后，标志点形状会有不同程度的畸变，圆变形为类椭圆，难以采用单一阈值进行验证。针对图像背景复杂、标志点小、透视投影变形的实际问题，本发明根据三维扫描系统的特点，提供一种基于边界连续闭合区域特征检测和自适应设定阈值验证的标志点检测方法，本发明以边界连续闭合区域作为特征，不需要对边界进行严格的数学描述，变形的小标志点符合该特征，所以检测具有良好的鲁棒性，而且与Hough变换法相比检测边界连续闭合区域方法的速度快。因为疑似点的空间对应点在点云中的位置和微切平面与成像平面的夹角能够反映疑似点的投影情况，所以据此可以对每个疑似点设定最合适的阈值，这与单一的固定阈值方法相比，提高了验证的准确性。

本发明的有益效果是：本发明中的基于边界连续闭合区域的特征检测方法在搜索复杂背景下的小面积非标准圆时鲁棒性更强，而且处理时间短，采用各疑似点的空间对应点在点云中的位置和微切平面与成像平面的夹角设定阈值提高了验证的准确性。本发明提供的标志点检测方法可以快速准确的检测到三维扫描系统中的圆形标志点，而且在面对复杂背景图像时具有良好的鲁棒性。

附图说明：

下面结合附图和实施方式对本发明进一步说明：

图1为检测方法流程图；

图2为单个边界连续闭合区域特征检测流程图；

图3为验证流程图；

图4为维纳斯头像模型图像；

图5为预处理后的维纳斯头像边缘图；

图6为投影变形后的边缘断裂的圆；

图7为边界连续闭合区域示意图；

图8为维纳斯头像的疑似点图；

图9为验证后的维纳斯头像标志点图；

图10为左右摄像机拍摄的图像中的匹配标志点图。

具体实施方式：

下面结合附图示对本发明的具体实施方式作进一步描述。编程工具选用Visual C++6.0。选用维纳斯头像作为被测物体进行测量，因为头像曲面复杂，需要多次拼接才可得到完整曲面，选用半径为5mm的标准圆作为标志点，如果小标志点具有其他形状，选择适当的描述算子仍然可以使用本发明提出的基于边界连续闭合区域特征验证和自适应阈值验证的标志点检测算法。

1.采集图像并进行预处理

图4为拍摄的维纳斯头像模型的图像，采用经典的Canny边缘算子检测图像的边缘，得到图像的边缘图如图5所示，图像的边缘图由边缘像素点和非边缘像素点组成，各边缘像素点的边缘方向由Canny边缘算子计算，在边缘图中，大部分标志点的边界连续闭合，但少量标志点的边界中间断裂，导致边界不连续，断裂的标志点边界如图6所示。对边缘图作进一步的预处理使标志点的边界连续：如果l(s)小于等于5个像素或者大于等于300个像素，则s的长度超出了标志物边界的范围，将s在边缘图中删除；如果l(s)大于5个像素并且小于300个像素，考察边缘s的两个端点pl和pr，沿端点pl处的边缘方向延伸一个像素，得到p_l+1，以p_l+1为中心点在3×3像素领域内寻找边缘像素点，如果发现边缘像素点并且该像素点不是边缘s中的点，则将p_l+1置为边缘像素点，对s的另一个端点p_r进行同样的处理。

经过边缘预处理后，标志点的边界是连续闭合的，标志点的特征为边界连续闭合的小区域。

2.设计特征检测方法检测可能的标志点

检测的原理是首先寻找每一条边缘的最下面一行的左右两个端点，然后以这两个端点为基准点向上一行寻找边缘中与这两个端点相连的边缘点，并以新的边缘点为基准点不断重复这个过程，直到可以判断边缘是否满足闭合条件。

检测时以边缘图的左下角为原点，向右和向上的方向分别为X轴正方向和Y轴正方向，图像的宽度和高度分别为W和H，起始扫描点p的初始坐标为(0，0)，检测方法为：

2.1寻找第一个可能的标志点

图7为将标志点的边界连续闭合区域的示意图，图2为寻找单个边界连续闭合区域的流程图，具体方法为：

第一步：

以p为起始点沿X轴正方向逐行向上扫描边缘图的像素点，直到扫描到边缘像素点时中止。

将扫描到的边缘像素点记为p_l，从p_l起沿X轴正方向继续扫描，直到此后出现第一个非边缘像素点时，将与该第一个非边缘像素点相邻且已被扫描到的边缘像素点记为p_r，如果扫描到图像的最右边仍未出现非边缘像素点，则将该行中图像最右边的点记为p_r，p_l和p_r为一条边缘的最下面一行的左右端点，p_l和p_r有可能为同一个点，但仍符合本发明的描述，可以继续第二步。

第二步：

记录p_l和p_r的坐标值分别为(x_i^l，y_j)和(x_i^r，y_j)，以p_l为基准点，依次考察坐标值为(x_i^l，y_j+1)、(x_i^l-1，y_j+1)、(x_i^l+1，y_j+1)三个像素点，判断它们之中是否有边缘像素点，如果有，将其中的第一个边缘像素点记为p_l¹；对p_r做同样的处理，以p_r为基准点，依次考察坐标值为(x_i^r，y_j+1)、(x_i^r+1，y_j+1)、(x_i^r-1，y_j+1)的点，如果有边缘像素点，将第一个边缘像素点记为p_r¹。

如果没有这样的p_l¹或p_r¹，或者p_l¹等于p_r¹，则p_l和p_r所在的边缘不是闭合区域的边缘，这时令p_r右侧的非边缘像素点为新的起始点p，以第一步的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点。

第三步：

以p_l¹和p_r¹作为基准点，记录它们的坐标值，采用与第二步相同的方法在上一行中寻找新的基准点，对于找到的每一对新的基准点p_l^k和p_r^k，如果下面情况至少出现一种时：1)p_l^k等于p_r^k，2)p_l^k与p_r^k之间的像素全是边缘像素点并且上面一行相应位置的像素是非边缘像素点，则检测到一个边界连续闭合区域，如果在上一行中没有找到新的基准点，则令p_r右侧的非边缘像素点为新的起始点p，以第一步中的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点。

对于检测到的一个边界连续闭合区域，边缘像素点p_l，p_r，p_l¹，p_r¹...p_l^k，p_r^k属于该边界闭合区域的边界，将它们添加入链表list，计算list的均值作为边界连续闭合区域的型心，将该型心作为可能的标志点；将边缘像素点p_l，p_r，p_l¹，p_r¹...p_l^k，p_r^k标记为Bm，此后的扫描过程中将标记为Bm的像素按非边缘像素处理。

2.2寻找边缘图中所有剩余可能的标志点

第一步：

令p_r右侧的非边缘像素点为新的起始点p，以2.1中的方法在边缘图中继续扫描寻找其他的边界连续闭合区域，每检测完一条边缘是否边界连续闭合后，p_l和p_r更新为该条边缘的最下面一行的左右端点；

第二步：

不断重复第一步的方法寻找图像中所有剩余的边界连续闭合区域，直到将边缘图中所有的像素扫描完毕，将每一个边界闭合区域的型心值作为可能的标志点的坐标，将所有可能的标志点组成疑似点集{q₁，q₂，…，q_m}，其中q₁，q₂，…，q_m为疑似点，m为疑似点的个数。维纳斯头像模型图像中的疑似点如图8所示。

3 验证疑似点

3.1疑似点形状描述

对于疑似点集中的各疑似点q_t(1≤t≤m)，计算包含q_t的边界连续闭合区域的面积area(q_t)，提取该边界连续闭合区域的边界，对提取到的边界采用最小二乘方法拟合椭圆，计算出拟合的圆心值q_t^o(x₀，y₀)和拟合均方差q_t(e)，采用area(q_t)、q_t^o(x₀，y₀)、q_t(e)描述疑似点q_t的形状，形状描述结果以像素为单位。

3.2计算疑似点对应的空间点三维坐标和微切平面与成像平面夹角

1)在三维测量系统中，二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系为已知量，对于疑似点集中的各疑似点q_t(1≤t≤m)，计算q_t对应的三维空间点Q_t在点云中的三维坐标值Q_t(x，y，z)，空间点的坐标值以摄像机坐标系表示。

2)计算Q_t在点云中的微切平面S(Q_t)的法向量n：

取点云中与Q_t距离最短的30个点组成邻近点集KNB(Q_t)，KNB(Q_t)＝{X₁，X₂，…，X₃₀}，其中X₁，X₂，…，X₃₀为邻近点；

利用KNB(Q_t)的最小二乘逼近平面作为Q_t的微切平面S(Q_t)，计算S(Q_t)的法矢量n＝{A，B，C}；

3)计算微切平面与成像平面的夹角θ

成像平面的法线向量为n₀＝{0，0，1}，则微切平面S(Q_t)与成像平面的夹角Q_t(θ)的余弦$\cos \left(Q_t\left(\theta \right)\right)=\left|\cos \widehat{(n_0,n)}\right|,$按两向量夹角余弦的坐标表示式，Q_t(θ)可由$\cos \left(Q_t\left(\theta \right)\right)=\frac{\left|C\right|}{\sqrt{A^2+B^2+C^2}}$来确定。

3.3自适应设定阈值

疑似点的形状阈值不仅与疑似点的空间对应点的位置和微切平面与成像平面的夹角有关，还与采用的不同的标志点和摄像机有关，假设Z为采用的标志点距离摄像机镜头的垂直距离，N为采用的标志点在摄像机镜头上方Z cm处透视投影成像后的圆面积，投影时空间标志点所在平面与成像面夹角为0(两平面平行)。在本实施例中，标准圆的半径为5mm。根据Q_t(x，y，z)、Q_t(θ)、Z、N为疑似点q_t设定面积阈值和拟合均方差阈值，面积阈值T_area(qt)和拟合均方差阈值T_qt(e)分别设为：

$T_{\mathrm{area}\left(q_t\right)}=\left(\begin{array}{cc}\frac{Z\times N\times 1.2}{d}& 0\le \theta <30\\ \frac{Z\times N}{d}& 30\le \theta <60\\ \frac{Z\times N\times 0.8}{d}& 60\le \theta \le 90\end{array}\right),$$T_{q_t\left(e\right)}=\left(\begin{array}{cc}1& 0\le \theta <30\\ 2& 30\le \theta <60\\ 3& 0\le \theta \le 90\end{array}\right),$

其中d为疑似点q_t的空间对应点Q_t(x，y，z)的z坐标值，θ＝Q_t(θ)。

3.4验证标志点

将T_area(qt)、T_qt(e)与疑似点q_t的实际描述结果area(q_t)、q_t(e)进行比较，如果area(q_t)<T_area(qt)并且q_t(e)<T_qt(e)，则q_t验证为标志点，拟合得到的椭圆圆心值q_t^o(x₀，y₀)作为标志点在图像中的位置，图9为维纳斯头像模型图像中的标志点。

4.匹配左右图像中的标志点

以上述的方法得到左右摄像机拍摄的图像中的标志点的位置，采用极线约束和唯一性约束的方法匹配左右摄像机拍摄图像的标志点。极线约束是指匹配对应点只能落在对应图像的极线上，这将减少匹配标志点的搜索空间，唯一性约束说明了一幅图像中的一个像素只能对应另一幅图像中的一个像素。应用这些约束条件可以匹配左右摄像机拍摄图像的标志点，而且消除了不良的匹配点。左右摄像机拍摄的维纳斯头像的匹配结果如图10所示。

5.将相匹配标志点对转化为空间标志点

利用相匹配标志点对的位置和二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系，计算得到标志点在点云中的三维坐标。