基于图像处理的显微镜快速自动聚焦方法

摘要

本发明涉及显微镜自动聚焦技术领域，尤其是一种基于图像处理的显微镜快速自动聚焦方法。该方法将自动聚焦过程分为粗聚焦和精细聚焦两个阶段，在不同的阶段采用不同的聚焦评价函数和极值搜索策略，在粗聚焦阶段采用灰度差分评价函数和快速爬山回溯搜索算法，并引入决策因子来防止搜索算法陷入局部极值；在精细聚焦阶段采用基于laplace算子的评价函数和小步长搜索策略。本发明提出的显微镜快速自动聚焦方法很好的解决了传统算法聚焦速度慢、容易陷入局部极值、聚焦精度不高等问题，具有很强的实时性，很高的可靠性和实用性。

说明书

技术领域

本发明涉及显微镜自动聚焦技术领域，尤其是一种基于图像处理的显微镜快速自动聚焦方法。

背景技术

传统的显微镜聚焦方法是采用人工手动调节的方式，这种方法完全依赖于人的肉眼观察和手动调节，聚焦效率非常低。近年来基于图像处理技术的自动聚焦方法逐渐应用到显微镜聚焦过程中，但是目前这些方法还存在聚焦速度慢、容易陷入局部极值，聚焦精度不高的问题。

自动聚焦是全自动图像获取中的一项关键技术，广泛应用于数码像机、显微照相、精细加工、光测设备、机器人视觉导航等领域。自动聚焦根据其聚焦原理可分为主动式聚焦和被动式聚焦两种。主动式聚焦大多是基于测距原理的，由于这种方法需要额外的测距设备，因此采用这种方法的设备一般体积较大，价格较高。被动式聚焦仅利用已获取的序列数字图像分析当前系统的聚焦状态，并按照一定的搜索策略控制电机反复调节镜头参数，直到获取最清晰的图像。这种方式不依赖于任何测距设备，完全以数字图像处理与分析技术为基础，更利于系统的集成化和微型化，并能大大降低系统成本，因此在数字相机和各种仪器设备中得到广泛应用。

被动式自动聚焦主要涉及两个关键问题：一个是聚焦评价函数，一个是极值搜索策略，目前对聚焦评价函数的研究比较多，而在极值搜索策略方面还有很多问题没有得到很好解决。

目前已提出的极值搜索策略很多，其中应用最广泛的是爬山算法(CMS)，其原理如图1所示，首先，设定一个初始位置P₀并计算该位置的聚焦评价函数值F(P₀)，然后任意选择一个方向(比如选择向右)运动一定的步长S到达位置P₁并计算该位置的聚焦评价函数值F(P₁)，比较F(P₀)与F(P₁)的大小，若F(P₀)＜F(P₁)，则保持方向不变继续搜索直至F(P₀)＞F(P₁)，接下来进行反向搜索，搜索过程跟正向搜索过程一样，不过步长要小于正向搜索步长，一般取正向步长的一半或更小，如此反复直至在满足一定精度要求的情况下搜索到最大值，此位置即为最佳聚焦位置。CMS算法性能比较稳定，搜索精度较高，但是存在一个很大问题：搜索步数过多，算法非常耗时！尤其是当搜索“越顶”后返回步长的确定没有一个确定的数值标准，非常随意，在很多情况下返回步长的大小对算法的稳定性和实时性有很大的影响，步长太小导致搜索步数过多、系统实时性将大大下降，步长太大又会导致过度“越顶”，过度“越顶”后又必须重新返回，这也会极大影响系统整体性能。

针对以上情况，很多学者提出了改进算法，比如基于斜率自适应步长搜索算法、曲线拟合搜索算法等，但这些算法都存在抗噪性能差、适应性不广、稳定性能不高等问题.比如基于斜率的变步长搜索算法，由于噪声影响导致聚焦曲线存在很多局部极值，在这些局部极值处斜率跟步长的关系不复存在，这样搜索难免失败，另外斜率本身是个相对概念，仅仅依靠前后两个聚焦函数测度值是无法有效定义斜率的.曲线拟合搜索算法用一个数学函数来近似聚焦评价函数曲线，这种算法在某些特殊情况下可以取得比较好的效果，但是通用性非常差，这是由于聚焦评价函数跟图像内容是高度相关的，同一个聚焦评价函数对不同的图像其形态不是完全一致的，有些情况下甚至相差很大，因此无法用一个通用函数去拟合.

实际上，无论是经典的爬山算法还是很多改进算法都没有考虑实际系统中机械运动对系统实时性能的影响。目前大多数自动聚焦系统都是用步进电机驱动镜头或载物台进行最佳焦平面的搜索，而电机运动相对于图像处理来说是非常耗时的，比如一副800*600的图像一般聚焦评价函数值的计算只需几个毫秒即可完成，但电机运动相对而言则会耗大量的时间，一般为了减少电机运动时间就从提高运动速度入手，但速度提高对于超短距离运动而言意义不大，而且这种情况下电机的撞击也将非常严重。因此根本的解决办法就是从搜索策略入手，寻找一种能用最少步数找到极大值的算法。通过分析爬山算法我们发现步数的多少跟“越顶”后返回步长的大小密切相关，如果“越顶”后算法能快速返回到极大值附近，那么系统的整体性能将得到根本性的提升。

发明内容

为了克服现有的显微镜自动聚焦速度慢和聚焦不精确的不足，本发明提供了一种基于图像处理的显微镜快速自动聚焦方法。

本发明解决其技术问题所采用的技术方案是：一种基于图像处理的显微镜快速自动聚焦方法，将自动聚焦过程分为粗聚焦和精细聚焦两个阶段，在不同的阶段采用不同的聚焦评价函数和极值搜索策略，在粗聚焦阶段采用灰度差分评价函数和快速爬山回溯搜索算法，并引入决策因子来防止搜索算法陷入局部极值，在精细聚焦阶段采用基于laplace算子的评价函数和小步长搜索策略。

根据本发明的另一个实施例，进一步包括如下步骤：

(1)载物台初始位置设定：电机驱动载物台沿着Z轴运动到预先设置好的初始位置，载物台上放置待观察载玻片，所述初始位置位于显微镜焦平面附近，一般位于焦平面上侧，该初始位置作为自动聚焦的起始点；

(2)显微镜粗聚焦：启动摄像头采集视频，采用灰度差分评价函数和快速爬山回溯搜索算法进行粗略聚焦；

(3)显微镜精细聚焦：采用基于laplace算子的评价函数和小步长搜索策略进行精细聚焦。

根据本发明的另一个实施例，进一步包括所述载物台初始位置设定，由光电传感器构成的限位开关确定，该位置一般位于显微镜物镜下方，距离显微镜物镜下平面0.1mm，当采用不同的显微镜、载物台或玻片时该位置可以有所变化，到达初始位置后光电传感器发出信号给控制器，控制器控制电机停止运动。

根据本发明的另一个实施例，进一步包括所述显微镜粗聚焦，包括如下步骤：

(1)设定搜索步长S₀和决策因子阈值Th：搜索步长为显微镜载物台从开始运动到运动后的第一次停止这期间运动的距离，决策因子阈值Th典型值可以取0.02，当采用不同的聚焦评价函数时可以有所变化；

(2)启动摄像头采集视频；

(3)电机驱动载物台沿着Z轴以步长S₀进行爬山搜索，搜索过程中每到一个观测位置电机停止运动，取出内存中的一帧图像并计算清晰度值，本发明要求搜索过程记录相邻的三个观测位置的清晰度值Y_L、Y_M和Y_R，并计算决策因子T，所述清晰度值也即聚焦评价函数测度值，按如下步骤计算：

步骤一，图像预处理：对所述图像进行中值滤波和高斯滤波，以滤除噪声对聚焦评价函数测度值的影响；

步骤二，计算预处理后图像的清晰度值：设所述预处理后图像长宽为M×N，v(x，y)为像素点(x，y)处的灰度值，则评价函数Y_L表达式如下(Y_M和Y_R按照相同的公式计算)：

$>Y_L=\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{N-1}{\Sigma }}\underset{y=1}{\overset{M-1}{\Sigma }}\left(\right|v(x,y)-v(x,y-1)|+|v(x,y)-v(x-1,y)\left|\right)$>

所述决策因子T按照如下公式计算：

$>T=\frac{Y_M-Y_R}{Y_M}$>

(4)搜索过程决策：判断清晰度值间的大小关系和决策因子跟阈值的关系，根据这些关系决定搜索的策略，具体决策如下：

若Y_L＜Y_M＜Y_R，或者T＜Th，则继续朝原方向搜索；

若Y_R＜Y_L，且T＞Th，则停止朝原方向搜索；

(5)计算返回距离：利用快速爬山回溯搜索算法确定搜索过程“越顶”后需返回的距离值；

(6)快速回溯：计算出返回距离S_b后，电机驱动载物台沿着Z轴按与原方向相反的方向运动距离S_b并停止，此时载物台已经到达焦平面附近。

根据本发明的另一个实施例，进一步包括所述显微镜精细聚焦，包括如下步骤：

(1)获取一帧图像：从当前内存中提取一帧图像作为待处理图像；

(2)小步长爬山搜索：以小步长S₁进行爬山搜索，一般取搜索过程中每到一个观测位置电机停止运动，取出内存中的一帧图像并计算清晰度值，本发明要求搜索过程记录相邻的两个观测位置的清晰度值Y_L和Y_R，其中Y_L所对应的图像序号位于Y_R所对应的图像序号之前，所述清晰度值也即聚焦评价函数测度值，按如下步骤计算：

步骤一，图像预处理：对待处理图像进行中值滤波和高斯滤波，以滤除噪声对聚焦评价函数测度值的影响；

步骤二，计算聚焦评价函数测度值：对预处理后的图像计算基于Laplace评价函数的聚焦评价函数测度值Y_L，设所述图像长宽为M×N，v(x，y)为像素点(x，y)处的灰度值，则评价函数Y_L表达式如下(Y_R按同样方式计算)：

$>Y_L=\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{N-1}{\Sigma }}\underset{y=1}{\overset{M-1}{\Sigma }}\left(\right|2v(x,y)-v(x-1,y)-v(x+1,y)|+|2v(x,y)-v(x,y-1)-v(x,y+1)\left|\right)$>

(3)搜索过程决策：判断清晰度值间的大小关系，根据这些关系决定搜索的策略，具体决策如下：

若Y_L＜Y_R，则继续朝原方向搜索；

若Y_L＞Y_R，则停止朝原方向搜索，此时已经找到焦平面。

根据本发明的另一个实施例，进一步包括所述的快速爬山回溯算法，是一种显微镜自动聚焦过程中极值的快速搜索算法，该算法用合理假设和近似建立了评价函数测度值跟“越顶”后返回距离间的关系，使得搜索过程“越顶”后能用一步即可返回极值点附近。根据光学成像原理，理想的聚焦评价函数曲线应该满足单峰对称性，设爬山搜索过程先后经过点P_L、P_M和P_R，三点坐标分别为(X_L，Y_L)、(X_M，Y_M)、(X_R，Y_R)，搜索步长为S₀，待搜索的极大值点P_A坐标为(X_A，Y_A)。则返回距离S_b跟清晰度测度值Y_L、Y_R、Y_M及初始步长S₀间的关系S_b＝f(Y_L，Y_M，Y_R，S₀)如下：

本发明的有益效果是，本发明一方面提高了显微镜聚焦的自动化程度，另一方面解决了传统聚焦方法聚焦速度慢、容易陷入局部极值、聚焦精度不高等问题，具有很高的可靠性和实用性，可广泛应用于显微镜系统中，同时该算法还具有很好的普适性，可应用于其他一些需要自动聚焦的图像系统中。

与现有技术相比，本发明的优点在于：

(1)将自动聚焦过程分为粗聚焦和精细聚焦两个阶段，粗聚焦阶段采用灰度差分聚焦评价函数和快速爬山回溯算法，这极大的增强了系统的实时性，精细聚焦阶段采用基于Laplace算子的聚焦评价函数和小步长搜索算法，极大增强了系统的可靠性；

(2)在粗聚焦过程中通过引入决策因子，避免了极值搜索过程陷入局部极值，极大的提高了自动聚焦算法的可靠性；

(3)在粗聚焦过程中采用快速爬山回溯算法，使得搜索过程“越顶”后能用一步即可返回极值点附近，极大的改善了经典爬山搜索算法“越顶”后返回步长难以确定及返回搜索过程复杂耗时等问题，极大的提高了算法的实时性和实用性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是传统的自动聚焦爬山搜索算法示意图；

图2是本发明提出的显微镜快速自动聚焦算法流程图；

图3是理想聚焦评价函数曲线及快速爬山回溯搜索示意图：(a)为快速爬山回溯搜索的第一种情况；(b)为快速爬山回溯搜索的第二种情况；

图4是本发明的一个实施例“结核杆菌自动检测仪”软硬件结构图。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图2是本发明提出的显微镜快速自动聚焦算法流程图，一种基于图像处理的显微镜快速自动聚焦方法，将自动聚焦过程分为粗聚焦和精细聚焦两个阶段，在不同的阶段采用不同的聚焦评价函数和极值搜索策略，在粗聚焦阶段采用灰度差分评价函数和快速爬山回溯搜索算法，并引入决策因子来防止搜索算法陷入局部极值，在精细聚焦阶段采用基于laplace算子的评价函数和小步长搜索策略，基于laplace算子的评价函数半宽度最小，灵敏度较高，因此在精细聚焦阶段可以取得较高的精度。

本发明包括如下步骤：

(1)载物台初始位置设定：电机驱动载物台沿着Z轴运动到预先设置好的初始位置，载物台上放置待观察载玻片，所述初始位置位于显微镜焦平面附近，一般位于焦平面上侧，该初始位置作为自动聚焦的起始点；

(2)显微镜粗聚焦：启动摄像头采集视频，采用灰度差分评价函数和快速爬山回溯搜索算法进行粗略聚焦；

(3)显微镜精细聚焦：采用基于laplace算子的评价函数和小步长搜索策略进行精细聚焦。

所述载物台初始位置设定，由光电传感器构成的限位开关确定，该位置一般位于显微镜物镜下方，距离显微镜物镜下平面0.1mm，当采用不同的显微镜、载物台或玻片时该位置可以有所变化，到达初始位置后光电传感器发出信号给控制器，控制器控制电机停止运动。

所述显微镜粗聚焦，包括如下步骤：

(1)设定搜索步长S₀和决策因子阈值Th：搜索步长为显微镜载物台从开始运动到运动后的第一次停止这期间运动的距离，在操作过程中，该步长一般用脉冲数来表达，因此具体数值跟所采用的控制器、驱动器以及电机的相关参数有关，同时该步长的取值还在一定程度上决定着算法的实时性和鲁棒性，因此必须按照实际系统构成通过试验来确定，该步长对算法的一般影响是：步长太小，导致算法耗时严重，同时在聚焦开始阶段容易陷入局部极值；步长过大，导致搜索过程极易“越顶”，如果“越顶”非常严重，则导致算法无法收敛，步长的典型值可以取300，决策因子阈值Th跟所采用的聚焦评价函数有关，当采用灰度差分聚焦评价函数时决策因子阈值Th可以取值为0.02，同样，该阈值可以根据实际的系统配置和所采用的聚焦评价函数值进行改动；

(2)启动摄像头采集视频：摄像头将视频采集到内存中，可以先在计算机中开辟一块内存区域，根据不同的要求，可以将所采集的视频流全部存入内存或其他存储介质，比如硬盘，也可以只存一帧图像，也即开始当前帧图像采集时将前一帧图像覆盖掉，这样所消耗的内存最少，一般采用这种方式；

(3)开始粗略自动聚焦：电机驱动载物台沿着Z轴以步长S₀进行爬山搜索，搜索过程中每到一个观测位置电机停止运动，取出内存中的一帧图像并计算基于灰度差分的聚焦评价函数测度值(也称清晰度值)，本发明要求搜索过程记录相邻的三个观测位置的清晰度值Y_L、Y_M和Y_R，并计算决策因子T，具体步骤如下：

步骤一，启动电机驱动载物台沿着Z轴向下运动距离S₀；

步骤二，等待一段时间以保证图像采集过程曝光完毕，等待时间跟相机曝光时间有关系，一般可取50ms；

步骤三，从内存中取出一帧图像作为待处理图像；

步骤四，对待处理图像进行预处理：首先进行中值滤波，滤波模板大小取5*5，然后进行高斯滤波，滤波模板大小也取5*5，这样可以滤除噪声对聚焦评价函数测度值的影响；

步骤五，计算预处理后图像的清晰度值：设所述预处理后图像长宽为M×N，v(x，y)为像素点(x，y)处的灰度值，则评价函数Y_R表达式如下：

$>Y_R=\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{N-1}{\Sigma }}\underset{y=1}{\overset{M-1}{\Sigma }}\left(\right|v(x,y)-v(x,y-1)|+|v(x,y)-v(x-1,y)\left|\right)$>

步骤六，电机驱动载物台沿着Z轴向下运动距离S₀，然后重新按照步骤二至步骤五进行处理，不同的是在步骤五计算的是Y_M的值，计算方法跟Y_R的计算方法相同；

步骤七，计算决策因子T，计算公式如下：

$>T=\frac{Y_M-Y_R}{Y_M}$>

步骤八，搜索过程初步决策：根据决策因子值跟决策因子阈值间的关系决定搜索的方向及搜索过程是否停止，具体决策如下：

若T＜Th，则继续朝原方向搜索；

若T＞Th，则停止朝原方向搜索；

步骤九，若继续朝原方向搜索，则将Y_M的值赋给Y_L，然后将Y_R的值赋给Y_M，也即Y_L的值被Y_M覆盖掉，而Y_M的值被Y_R覆盖掉；

步骤十，若继续朝原方向搜索，则重新按照步骤二至步骤九进行处理：

步骤十一，搜索过程重新决策：判断清晰度值间的大小关系和决策因子跟阈值的关系，根据这些关系决定搜索的策略，具体决策如下：

若Y_L＜Y_M＜Y_R，或者T＜Th，则继续朝原方向搜索；

若Y_R＜Y_L，且T＞Th，则停止朝原方向搜索；

步骤十二，若停止朝原方向搜索，则计算返回距离，计算过程采用快速爬山回溯搜索算法，所述快速爬山回溯搜索算法，是一种显微镜自动聚焦过程中极值的快速搜索算法，该算法从分析聚焦评价函数曲线形态入手，用合理假设和近似建立了评价函数测度值跟“越顶”后返回距离间的关系，使得搜索过程“越顶”后能用一步即可返回极值点附近。根据光学成像原理，理想的聚焦评价函数曲线应该满足单峰对称性，图2给出了理想聚焦评价函数曲线，设爬山搜索过程先后经过点P_L、P_M和P_R，三点坐标分别为(X_L，Y_L)、(X_M，Y_M)、(X_R，Y_R)，搜索步长为S₀，待搜索的极大值点P_A坐标为(X_A，Y_A)。则返回距离S_b跟清晰度测度值Y_L、Y_R、Y_M及初始步长S₀间的关系S_b＝f(Y_L，Y_M，Y_R，S₀)如下：

若Y_L＜Y_R＜Y_M，则说明极大值点P_A在点P_M的右侧，如图3(a)，此时

若Y_R＜Y_L＜Y_M，则说明极大值点P_A在点P_M的左侧，如图3(b)，此时

步骤十三，快速回溯：计算出返回距离S_b后，电机驱动载物台沿着Z轴按与原方向相反的方向运动距离S_b并停止，此时载物台已经到达焦平面附近，粗略聚焦过程结束。

所述显微镜精细聚焦，包括如下步骤：

(1)获取一帧图像：从当前内存中提取一帧图像作为待处理图像；

(2)小步长爬山搜索：以小步长S₁进行爬山搜索，一般取搜索过程中每到一个观测位置电机停止运动，取出内存中的一帧图像并计算清晰度值，本发明要求搜索过程记录相邻的两个观测位置的清晰度值Y_L和Y_R，其中Y_L所对应的图像序号位于Y_R所对应的图像序号之前，所述清晰度值也即聚焦评价函数测度值，按如下步骤计算：

步骤一，图像预处理：对待处理图像进行中值滤波和高斯滤波，以滤除噪声对聚焦评价函数测度值的影响；

步骤二，计算聚焦评价函数测度值：对预处理后的图像计算基于Laplace评价函数的聚焦评价函数测度值Y_L，设所述图像长宽为M×N，v(x，y)为像素点(x，y)处的灰度值，则评价函数Y_L表达式如下(Y_R按同样方式计算)：

$>Y_L=\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{N-1}{\Sigma }}\underset{y=1}{\overset{M-1}{\Sigma }}\left(\right|2v(x,y)-v(x-1,y)-v(x+1,y)|+|2v(x,y)-v(x,y-1)-v(x,y+1)\left|\right)$>

(3)搜索过程决策：判断清晰度值间的大小关系，根据这些关系决定搜索的策略，具体决策如下：

若Y_L＜Y_R，则继续朝原方向搜索；

若Y_L＞Y_R，则停止朝原方向搜索，此时已经找到焦平面。

所述的快速爬山回溯算法，是一种显微镜自动聚焦过程中极值的快速搜索算法，该算法用合理假设和近似建立了评价函数测度值跟“越顶”后返回距离间的关系，使得搜索过程“越顶”后能用一步即可返回极值点附近。根据光学成像原理，理想的聚焦评价函数曲线应该满足单峰对称性，设爬山搜索过程先后经过点P_L、P_M和P_R，三点坐标分别为(X_L，Y_L)、(X_M，Y_M)、(X_R，Y_R)，搜索步长为S₀，待搜索的极大值点P_A坐标为(X_A，Y_A)。则返回距离S_b跟清晰度测度值Y_L、Y_R、Y_M及初始步长S₀间的关系S_b＝f(Y_L，Y_M，Y_R，S₀)如下：

本发明的一个实施例为：

将此方法应用到我们自行研发的“结核杆菌自动检测仪”中，该系统由PC机、全自动显微镜、摄像机、打印机和图文分析软件组成，系统结构如图4.其中摄像机采用北京大恒公司的HV3103UC，全自动显微镜包括光路部分和机械部分，其中光路部分采用重庆光电仪器公司的BA3000i，机械部分由我们根据全自动显微镜运动控制要求自行设计，包括：控制器、驱动器、步进电机、可程控载物台等，该部分可以完成显微镜的自动三轴立体运动控制，包括控制显微镜进行自动聚焦及根据预设的扫描路径对玻片进行全自动扫描等.

该系统中的自动聚焦部分应用了我们上述发明“基于图像处理的显微镜快速自动聚焦方法”，系统启动后，显微镜载物台在电机的驱动下运动到初始位置，该初始位置紧邻显微镜物镜下方，距离显微镜物镜下平面0.1mm，当启动自动聚焦功能后，显微镜载物台在电机的驱动下沿着Z轴以步长300开始粗略聚焦，聚焦过程在2秒钟内可以完成，粗略聚焦完成后系统自动启动精细聚焦过程，精细聚焦过程在1秒钟内即可完成，因此整个聚焦过程在3秒钟内即可完成，而且聚焦精度非常高。需要说明的是，初始位置的设置非常关键，如果初始位置设置不当，则聚集过程需要耗费比较长的时间，但是聚焦过程仍然能够顺利完成，聚焦精度也不受影响。

我们以上述系统为依托进行了大量试验，结果表明，我们提出的显微镜快速自动聚焦方法很好的解决了传统算法聚焦速度慢、容易陷入局部极值，聚焦精度不高的问题，具有很高的可靠性、实用性和可采纳性。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。