机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法

摘要

机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，属于显微注射系统定位领域。显微注射过程中只能手动控制针尖移动到特定的位置，只能捕捉到针尖模糊图像。一种机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，在光照区域以外时采用大步长扫描方法，将光敏电阻安装在微量吸液管上并通过一个分压电路来获得视野外的光照信息，在光敏电阻进入光照区域后，终止大步长扫描，启动扰动算法，使得光敏电阻移动到光照区域的中心。根据图像的轮廓方向多次调整载物台和物镜，可以最终定位到针尖并得到清晰的图像。本发明方法能快速对针尖进行定位并得到清晰的针尖图像，且较传统手动定位方法相比定位速度提高5倍左右。

说明书

技术领域

本发明涉及一种机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法。

背景技术

在显微注射过程中，第一步要做的是将针尖移动到特定的位置以便进行后续的操作。然而，传统的针尖定位大多数都是由手动完成的，这需要对操作人员长时间的训练且实际应用中效率不高。此前提出的针尖定位方法也存在一定的局限性：首先，由于在视野区域外不存在反馈，故要求定位前针尖的初始位置与视野区域相距很近；此外，此前的方法只考虑到焦点对准的情况，而实际往往处于焦点未对准的状态，故只能捕捉到针的模糊图像，这使得检测和跟踪针尖变得非常困难。

本发明针对这一难题，提出了一种大范围针尖自动定位的方法。

发明内容

本发明的目的是为了解决现有的显微注射过程中只能手动控制针尖移动到特定的位置，只能捕捉到针尖模糊图像的问题，而提出一种机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法。

一种机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，所述方法通过以下步骤实现：将光敏电阻安装在微量吸液管上、显微镜安装相机后，

步骤一、令微量吸液管针尖从显微镜视野的右侧向光照区域移动，以微量吸液管针尖所在的当前点为起点移动，设定显微注射系统的大步长折线形的扫描路线，初步确定光照区域位置；其中，大步长折线形的扫描路线的步长为20mm；

步骤二、存储当前点的位置对应的电压值后，载物台按步骤一设定的扫描路线移动到下一个点的位置处；

步骤三、测量载物台移动后的点的位置对应的电压值，并与上一个点的位置对应的电压值的95％进行比较，

若比较结果为小于等于关系，说明光敏电阻进入光照区域，转至步骤四；

若比较结果为大于关系，则转至步骤二；

步骤四、启动扰动算法，直到微量吸液管针尖上的光敏电阻移动至光照区域中央，此时在显微镜视野中看到微量吸液管针尖的模糊阴影；

步骤五、对此时显微镜上相机拍摄到的图像进行高斯滤波并转化为二值图像，再使用填充算法将二值图像中微量吸液管针尖变成实心图像；利用只有黑白两色的二值图像，寻找二值图像的重心并得到微量吸液管针尖的方向；

步骤六、设定二值图像中靠近微量吸液管针尖一侧边界的中点坐标(x^m,y^m)，并判断是否成立，其中，W表示视野横向长度；(x^m,y^m)表示微量吸液管针尖在二值图像中最左侧竖向轮廓的中点坐标；m是midpoint的缩写，表示中点；

若成立，则表明针尖已经移动到右侧屏幕，转至步骤九，

若不成立，转至步骤七；

步骤七、确定二值图像的重心位置，以计算下一步位移向量；

步骤八、将物镜探索步长e变为原来的η倍，其中，0<η<1；

步骤九、根据二值图像中微量吸液管针尖方向，沿针的反方向移动载物台，采用探索性搜索算法获得使得图像更清晰的位置坐标；

步骤十、若且e＜ε则结束，否则转步骤六；其中，ε＝10μm，ε为预先设定的正数，作为物镜探索步长e足够小的判断条件。

本发明的有益效果为：

本发明在光照区域以外时采用大步长扫描的方法，将光敏电阻安装在微量吸液管上并通过一个分压电路来获得视野外的光照信息，若检测到电压突然减小则说明此时进入光照区域。在光敏电阻进入光照区域后，终止大步长扫描，启动扰动算法，使得光敏电阻移动到光照区域的中心。由于光照区域中心应与视野中心一致，这时会显示一个微量吸液管的模糊图像，根据图像的轮廓方向多次调整载物台和物镜，可以最终定位到针尖并得到清晰的图像，且较传统手动定位方法相比定位速度提高5倍左右。具体地效果体现在：

在微量吸液管上安装光敏电阻，使得在视野区域外也可以获得微量吸液管的位置信息，从而显著扩大了针尖定位的范围，从原先的4mm立方体增大到114mm×75mm×4mm。

步骤四中，过大的梯度增益q会导致越过光照强度最大的点，而过小的q会降低搜索速度。因此根据s的正负分别给出了两种情况下o(k+1)的形式，使得o(k)和o(k+1)的距离至少为Δp。同时也考虑到当光照强度最大的点在步长以内的情况，此时令o(k+1)＝o(k)并减小步长重新测量，直到步长足够小为止。

步骤三中，考虑到光敏电阻不动时电压的波动小于2％，所以当电压减小到原来的95％时足以说明光敏电阻已经进入光照区域。

步骤七的算法可以在多次执行后准确地将针尖移动至视野中期望的位置，步骤6～10按顺序执行可以快速对针尖进行定位并得到清晰的针尖图像，明显快于传统的手动定位方法。

附图说明

图1为本发明方法的流程图；

图2为将光敏电阻移动到光照中心的方法；

图3(a)为相机捕捉到的图像启动扰动算法时的图像；

图3(b)为在图3(a)基础上进行二值化并填充后的图像；

图3(c)沿针的反方向移动载物台后相机捕捉到的图像；

图3(d)为在图3(c)基础上二值化并填充后的图像；

图4(a)为微量吸液管针尖移动到视野中的图像；

图4(b)为微量吸液管针尖移动到视野中的图像；

具体实施方式

具体实施方式一：

本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，大范围是指，与现有针尖定位方法在处理针尖初始位置为视野区域附近4mm立方体的情况相比，允许的初始位置范围扩大到114mm×75mm×4mm，114mm×75mm×4mm具体指载物台在水平面上的移动范围的长为114mm、宽为75mm，显微镜物镜在竖直方向的移动范围是4mm。结合图1所示，所述方法通过以下步骤实现：将光敏电阻安装在微量吸液管上、显微镜安装相机后，

步骤一、令微量吸液管针尖从显微镜视野的右侧向光照区域移动，以微量吸液管针尖所在的当前点为起点移动，设定显微注射系统的大步长折线形的扫描路线，初步确定光照区域位置；其中，大步长折线形的扫描路线的步长为20mm；

步骤二、存储当前点的位置对应的电压值后，载物台按步骤一设定的扫描路线移动到下一个点的位置处，如图2所示；

步骤三、测量载物台移动后的点的位置对应的电压值，并与上一个点的位置对应的电压值的95％进行比较，考虑到光敏电阻不动时电压的波动小于2％，所以当电压减小到原来的95％时足以说明光敏电阻已经进入光照区域，如图2所示：

若比较结果为小于等于关系，说明光敏电阻进入光照区域，转至步骤四；

若比较结果为大于关系，则转至步骤二；

步骤四、启动扰动算法，直到微量吸液管针尖上的光敏电阻移动至光照区域中央，此时在显微镜视野中看到微量吸液管针尖的模糊阴影；

步骤五、对此时显微镜上相机拍摄到的图像进行高斯滤波并转化为二值图像，再使用填充算法将二值图像中微量吸液管针尖变成实心图像，如图3(a)和图3(b)所示；利用只有黑白两色的二值图像，寻找二值图像的重心并得到微量吸液管针尖的方向；其中，高斯滤波是对显微镜上安装的相机所得到的图像中的每个像素进行加权平均，消除原始图像中存在的噪声。图像采集装置选为相机，相机是固定不动的，根据分析图像的结果来控制物镜上下移动。

例如图3(c)由于针的边缘颜色深，中间颜色浅，所以在二值化后很可能得到一个空心图形。最后得到的图形重心会更靠前(偏左)，重心与图形最左边竖向边缘的中点连线更短，角度出现偏差的可能性更大；

步骤六、设定二值图像中靠近微量吸液管针尖一侧边界的中点坐标(x^m,y^m)，并判断是否成立，

若成立，则表明针尖已经移动到右侧屏幕，转至步骤九，

若不成立，转至步骤七；

其中，W表示视野横向长度；(x^m,y^m)表示微量吸液管针尖在二值图像中最左侧竖向轮廓的中点坐标；m是midpoint的缩写，表示中点，与图3(c)情况不同的是，当微量吸液管针尖移动到视野中时，(x^m,y^m)也会发生变化，如图4(a)和4(b)所示；

步骤七、确定二值图像的重心位置，以计算下一步位移向量；

步骤八、将物镜探索步长e变为原来的η倍，其中，0<η<1；

步骤九、根据二值图像中微量吸液管针尖方向，沿针的反方向移动载物台如图3(c)所示，采用探索性搜索算法获得使得图像更清晰的位置坐标，如图3(d)所示；

步骤十、若且e＜ε则结束，否则转步骤六；其中，ε＝10μm，ε为预先设定的正数，作为物镜探索步长e足够小的判断条件。

在多次执行后准确地将针尖移动至视野中期望的位置，步骤六～十按顺序执行可以快速对针尖进行定位并得到清晰的针尖图像，明显快于传统的手动定位方法

具体实施方式二：

与具体实施方式一不同的是，本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，步骤四所述的扰动算法的过程为，

步骤四一、将载物台分别向左、右、前、后(这里提到的向左、右、前、后方向是相对于显微镜视野中当前点的位置而定)四个方向移动一个微小距离至a、b、c、d四个点，并测量各点的电压值；

步骤四二、根据计算当前位置电压梯度的估计值；并定义中间变量s＝diag{q,q}grad f(o(k))_∞-Δp，

若s≤0，则

若s＞0，则o(k+1)＝o(k)+diag{q,q}grad f(o(k))，

若a、b、c、d四个点的电压值都比o(k)点测得的电压大，则说明实际最大光强的位置就在o(k)附近，此时令o(k+1)＝o(k)，同时减小步长Δp＝Δp×λ，0＜λ＜1；

其中，o(k+1)即为将要移动到的目标坐标；o(0)表示初始点，Δp表示扰动步长，q表示梯度增益，λ表示收缩系数；

步骤四三、重复执行步骤四一和步骤四二，直到扰动步长Δp小于预先设定的界限值2mm，则将光敏电阻移至光照区域中央；由于扰动算法的目的是将光敏电阻移进光照区域中央以便微量吸液管针尖的阴影显示在视野区域内，Δp可近似设置为视野区域的大小。IX83显微镜在4倍物镜下视野区域大小约为2.5mm×2.2mm，故Δp可设置为2mm。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，步骤七所述的确定图像的重心位置的过程为，通过确定图像的重心位置坐标(x^g,y^g)，得到下一步位移向量移动载物台；

其中，I(x,y)表示点(x,y)处的像素强度；表示视野宽度的一半，t_x和t_y代表位移增益。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，步骤五所述寻找图像的重心并得到微量吸液管针尖的方向的过程为，连接图形最左边竖向边缘的中点和图形的重心得到。

具体实施方式五：

与具体实施方式一、二或四不同的是，本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，步骤八所述的物镜探索步长e变为原来的η倍，其中，η取值为0.95。

具体实施方式六：

与具体实施方式五不同的是，本实施方式的机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法，步骤九所述的采用探索性搜索算法移动物镜，获得使得图像更清晰的位置坐标的过程为，按物镜探索步长e分别上、下移动物镜，使用边缘检测方法得到两个坐标中使得图像更清晰的位置，物镜最终停留在清晰度高的坐标处；并重复执行以上过程得到更为清晰图像。