一种单目显微视觉引导下微管插入微孔的控制装置及方法

摘要

本发明公开了一种单目视觉引导下微管插入微孔的控制装置及方法，该装置包括：隔振平台、显微视觉系统、平移平台、微管、操作器、夹持器、姿态调整平台、位置调整平台、带微孔的零件。该方法包括：调节显微视觉系统位置、姿态调节平台和操作器，使微孔和微管末端在显微视觉系统成像；对微孔和微管进行聚焦，使其同时处于显微视觉系统的聚焦平面上；对微孔进行椭圆拟合求其中心点，对微管进行边缘直线拟合求取微管末端中心点；结合显微视觉系统的标定信息，控制微管末端对准到微孔上方；对微管末端进行聚焦和定位，控制微管插入微孔。本发明实施简单，可实现在单目视觉引导下的三维空间中微管和微孔的插入装配，能够大幅度提高微装配的自动化程度。

说明书

技术领域

本发明属于微装配领域中的基于显微视觉的测量和控制，尤其是一种 单目视觉引导下微管插入微孔的控制装置及方法。

背景技术

目前，3D微装配操作中常常利用显微视觉测量目标在三维空间的位 置和姿态。由于显微视觉景深小、视场小，单目显微视觉一般只能提供二 维的位置信息，要得到微装配零件的三维位置信息，通常会采用两路相互 垂直的显微视觉(可参见文献：X.Zeng，X.Huang，M.Wang，Micro-assembly  of micro parts using uncalibrated microscopes visual servoing method， Information Technology Journal，7(3)：497-503，2008.)。两路或者更多路的显 微视觉会大大限制微装配的操作空间，甚至在某些装配中无法应用。若使 用单目显微视觉，则其引导的三维微装配首先会在x-y平面对准，然后再 结合具体微装配的特点进行z轴对准(可参见文献：Lidai Wang，James K. Mills，William L.Cleghorn.Automatic Microassembly Using Visual Servo  Control.IEEE Transactions on Electronics Packaging Manufacturing，2008， 31(4)：316-325)。这种分步进行三维操作的方法比较耗时，而且z轴的对 准限制较多，精度不容易保证。

发明内容

为了解决多路显微视觉系统操作空间小和单目视觉通常只能测量两 维位置坐标的缺点，本发明的目的在于提供一种单目显微视觉引导下微管 插入微孔的控制装置及方法。

为实现上述目的，根据本发明的一方面，提出一种单目显微视觉引导 下微管插入微孔的控制装置，该装置包括：隔振平台1、显微视觉系统7、 平移平台8、微管6、操作器2、夹持器5、姿态调整平台3、位置调整平 台9、带有微孔4的零件，其中：

所述显微视觉系统7安装于所述平移平台8上，所述显微视觉系统7 指向所述微管6和微孔4；

所述平移平台8安装在所述位置调整平台9上；

所述夹持器5安装在所述操作器2的末端；

所述微管6安装于所述夹持器5的末端，随着操作器2一起运动；

所述位置调整平台9、操作器2安装在所述隔振平台1上；

所述姿态调整平台3用于放置带有微孔4的零件，所述操作器2和所 述显微视觉系统7位于所述姿态调整平台3的两侧。

根据本发明的另一方面，提出一种单目显微视觉引导下微管插入微孔 的控制方法，该方法包括以下步骤：

步骤S1：通过调整位置调整平台9带动显微视觉系统7运动，改变显 微视觉系统7的位置，使得微孔4能够在显微视觉系统7的视野内；

步骤S2：调节操作器2带动微管6进入显微视觉系统7的视野，调整 操作器2的坐标使得显微视觉系统7能够采集到微管6末端的图像；

步骤S3：通过图像分割确定微孔4的图像区域和微管6的图像区域， 然后根据聚焦评价函数，通过控制平移平台8带动显微视觉系统7沿其光 轴前后运动以实现对微孔4的聚焦，之后，固定显微视觉系统7的位置不 再调整，调节操作器2带动微管6沿显微视觉系统光轴进行前后运动实现 微管6末端的聚焦；

步骤S4：对微孔4进行图像特征点的提取；

步骤S5：对微管6进行图像特征点的提取；

步骤S6：计算微管6的图像特征点到微孔4的图像特征点的图像距离， 根据显微视觉系统7的标定信息计算二者的三维空间相对位置，并将微管 6的末端对准到微孔4的上方；

步骤S7：再次对微管6的末端进行自动聚焦并重新定位，同样根据显 微视觉系统7的标定信息，确定二者的三维空间相对位置，控制操作器2 将微管6插入微孔4。

本发明的特点是能够在单目显微视觉引导下控制微管在x，y，z轴同 时对准微孔，从而大大简化了装配过程。

附图说明

图1为本发明单目显微视觉引导下微管插入微孔的控制装置结构示意 图。

图2为本发明单目显微视觉引导下微管插入微孔的控制方法流程图。

图3为微管和微孔对准和插入过程的轨迹图。

图4为微管和微孔对准和插入的过程图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。

图1为本发明单目显微视觉引导下微管插入微孔的控制装置结构示意 图，如图1所示，所述单目显微视觉引导下微管插入微孔的控制装置包括： 隔振平台1、显微视觉系统7、平移平台8、微管6、操作器2、夹持器5、 姿态调整平台3、位置调整平台9、带有微孔4的零件，其中：

所述显微视觉系统7安装于所述平移平台8上，所述显微视觉系统7 指向所述微管6和微孔4；

所述平移平台8安装在所述位置调整平台9上，在本发明一实施例中， 所述位置调整平台9的上表面是倾斜的，以使所述显微视觉系统7与所述 隔振平台1的平面之间具有倾角；

所述夹持器5安装在所述操作器2的末端；

所述微管6安装于所述夹持器5的末端，随着操作器2一起运动；

所述位置调整平台9、操作器2安装在所述隔振平台1上；

所述姿态调整平台3用于放置带有微孔4的零件，所述操作器2和所 述显微视觉系统7位于所述姿态调整平台3的两侧；

所述装置还包括计算机10，用于控制所述平移平台8和所述操作器2 的运动，所述显微视觉系统7通过视觉连接线11连接至计算机10；所述 平移平台8通过控制连接线12连接至计算机10；所述操作器2通过控制 线13连接至计算机10。

所述装置工作时，通过位置调整平台9带动显微视觉系统7运动，改 变显微视觉系统7的位置，使得微孔4的图像出现在显微视觉系统7的视 野中。随着操作器2的运动，操作器2带动微管6进入显微视觉系统7的 视野。对同时含有微孔4和微管6的图像进行图像分割确定二者的区域， 并对其各自进行自动聚焦和准确定位。根据对微管6和微孔4的特征提取 (在本发明一实施例中，所述特征指的是微管6末端的中心点和微孔4的中 心点)和显微视觉系统的标定信息，按照PI(PI，proportional-integral，比 例-积分)控制策略控制操作器2带动微管6在清晰成像平面上运动，对准 到微孔4的上方。重新对微管6的末端进行聚焦和定位，计算其与微孔4 的三维相对距离，控制操作器2带动微管6插入微孔4。

在本发明一实施例中，所述操作器2采用运动平台，具有三个平移自 由度，可分别沿垂直方向和水平面横向、纵向进行平移运动；所述平移平 台8采用单轴运动平台，可沿所述平移平台8的轴线方向运动；显微视觉 系统7由PointGrey摄像机和Navitar镜头构成；计算机10采用Dell Inspiron 545S；微管6为空心玻璃圆柱体拉伸而成，末端外圆直径为10μm。

图2为本发明单目显微视觉引导下微管插入微孔的控制方法流程图， 如图2所示，该方法包括以下步骤：

步骤S1：通过调整位置调整平台9带动显微视觉系统7运动，改变显 微视觉系统7的位置，使得微孔4能够在显微视觉系统7的视野内；

步骤S2：调节操作器2带动微管6进入显微视觉系统7的视野，调整 操作器2的坐标使得显微视觉系统7能够采集到微管6末端的图像；

步骤S3：通过图像分割确定微孔4的图像区域和微管6的图像区域， 然后按照一定的聚焦评价函数(在本发明一实施例中，所述聚焦评价函数 为像素sobel值的平方和累加值)，通过控制平移平台8带动显微视觉系统 7沿其光轴前后运动以实现对微孔4的聚焦，之后，固定显微视觉系统7 的位置不再调整，调节操作器2带动微管6沿显微视觉系统光轴进行前后 运动实现微管6末端的聚焦；

步骤S4：对微孔4进行图像特征点的提取；

该步骤中对微孔4进行图像特征点的提取包括以下步骤：

步骤S41：对微孔4的ROI(region of interest，感兴趣区域)进行二 值化处理，在本发明一实施例中，采用OTSU(大津法，日本人命名的一 种自动阈值二值化方法)进行所述二值化处理；

步骤S42：扫描得到边缘点；

步骤S43：将所述边缘点进行椭圆拟合求其中心作为微孔4的图像特 征点；

步骤S5：对微管6进行图像特征点的提取；

该步骤中对微管6进行图像特征点的提取包括以下步骤：

步骤S51：对微管6的ROI进行二值化处理；

所述二值化处理可表示为：

其中，g(i，j)为图像像素灰度值，g_h为背景灰度值，为微管6的ROI的灰 度直方图最大值所对应的灰度，g_t为选定的阈值，用于区分微管6的图像 与背景图像；

步骤S52：扫描得到左右边缘点；

步骤S53：将所述左右边缘点分别进行直线拟合(在本发明一实施例 中，利用RANSAC(Random Sample Concensus，随机抽样一致性算法) 进行直线拟合)，得到的两侧直线的角平分线与微管6的ROI的下边缘交 点取为微管6的末端中心点作为微管6的图像特征点；

步骤S6：计算微管6的图像特征点，即微管6末端中心点到微孔4 的图像特征点，即微孔4中心的图像距离(所述图像距离指的是像素增量， 即，间隔的像素个数)，根据显微视觉系统7的标定信息计算二者的三维 空间相对位移量，并基于所述相对位移量使用PI控制策略移动微管6的 末端使其对准到微孔4的上方；

所述使用PI控制策略移动微管6的末端使其对准到微孔4的上方的 步骤进一步包括以下步骤：

步骤S61：利用下式来计算微管6的图像特征点(即微管6末端中心 点)与微孔4的图像特征点(即微孔4中心点)在三维空间上的初始相对 位移量：

$\{\left(\begin{array}{c}\Delta x_m=n_x{k}_x\mathrm{\Delta u}+o_x{k}_y\mathrm{\Delta v}\\ \Delta y_m=n_y{k}_x\mathrm{\Delta u}+o_y{k}_y\mathrm{\Delta v}\\ \Delta z_m=n_z{k}_x\mathrm{\Delta u}+o_z{k}_y\mathrm{\Delta v}\end{array}\right)---\left(2\right)$

其中，(Δx_m，Δy_m，Δz_m)是微管6末端中心点与微孔4中心点在三维空间上的 相对位移量，(Δu，Δv)是微管6末端中心点与微孔4中心点的清晰图像的坐 标增量(即图像距离)，n_x，n_y，n_z和o_x，o_y，o_z是标定的显微视觉系统的旋转 矩阵的元素，为已知值，k_x，k_y是标定的图像坐标与显微视觉系统坐标 的比例系数，也为已知值。

步骤S62：移动微管6一初始步长，然后再利用上式计算微管6末端 中心点与微孔4中心点在三维空间上的当前相对位移量；

所述初始步长可根据经验来确定。

步骤S63：根据得到的前两步相对位移量计算下一步移动的步长；

该步骤中，利用下式来计算下一步移动的步长：

$\{\left(\begin{array}{c}\Delta x_t\left(n\right)=K_p(\Delta x_m\left(n\right)-\Delta x_m(n-1)))+K_i\Delta x_m\left(n\right)\\ \Delta y_t\left(n\right)=K_p(\Delta y_m\left(n\right)-\Delta y_m(n-1)))+K_i\Delta y_m\left(n\right)\\ \Delta z_t\left(n\right)=K_p(\Delta z_m\left(n\right)-\Delta z_m(n-1)))+K_i\Delta z_m\left(n\right)\end{array}\right)---\left(3\right)$

其中，K_p，K_i为PI控制策略的比例系数和积分系数，为已知值，Δx_t(n)、Δy_t(n)、 Δz_t(n)分别为微管6第n步在x、y、z轴上移动的步长，Δx_m(n)、Δy_m(n)、Δz_m(n) 分别为微管6末端中心点与微孔4中心点第n步在x、y、z轴上的相对位 移量，Δx_m(n-1)、Δy_m(n-1)、Δz_m(n-1)分别为微管6末端中心点与微孔4中 心点第n-1步在x、y、z轴上的相对位移量。

步骤S64：根据计算得到的步长移动微管6；

步骤S65：重复所述步骤S63和步骤S64直至微管6的末端对准到微 孔4的上方。

步骤S7：再次对微管6的末端进行自动聚焦并重新定位，与所述步骤 6相似，根据显微视觉系统7的标定信息，确定二者的三维空间相对位移 量，基于所述相对位移量控制操作器2将微管6插入微孔4中。

在实际操作中，首先，按照步骤S1和S2调整显微视觉系统1的视野 和微管位置；然后，按照步骤S3对微管和微孔进行自动聚焦，使二者同 时处于显微视觉系统的清晰成像平面；接着步骤S4和S5实现了对二者的 图像特征点的提取；步骤S6中通过视觉伺服控制微管对准到微孔上方； 步骤S7重新对微管聚焦和定位，消除误差，然后开环控制其插入微孔。 在本发明一实施例中，步骤S6进行了7步伺服运动，获得的视觉伺服运 动中的微管图像坐标和整个插入过程的操作器坐标如下：

其中，微管和微孔对准和插入过程的轨迹如图2所示，整个过程的图 像如图3所示。

本发明提出的一种单目视觉引导下的微管插入微孔的控制装置及方 法，实现了单目显微视觉引导下的三维微装配过程。本发明的一种单目视 觉引导下的微管插入微孔的控制装置及方法，运动轨迹简单，应用方便， 可以实现单目显微视觉引导下三维微操作的适应性和可用性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。