首页> 中国专利> 利用位置控制对透明样本进行分析的系统及相关联的方法

利用位置控制对透明样本进行分析的系统及相关联的方法

摘要

本发明涉及一种用于分析透明颗粒的系统(200),其包括:分析路径,分析路径包括发出分析光束的第一光源(170)、以及将该分析光束聚焦在焦平面(Π

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-06-09

    授权

    授权

  • 2017-12-22

    实质审查的生效 IPC(主分类):G01N15/14 申请日:20151023

    实质审查的生效

  • 2017-08-29

    公开

    公开

说明书

技术领域

本发明总体上涉及对包括特定的感兴趣点的透明样本进行光学分析的领域。所述感兴趣点可以特别地为生物颗粒,从而样本为生物样本。

本发明可以特别地应用于微生物学诊断,并且更特别地应用于通过光谱学(特别地通过拉曼光谱或通过荧光光谱)或者甚至通过衍射或扩散来分析微生物。

本发明更特别地但非限制性地涉及对在分析光束波长处透明的颗粒的分析。

背景技术

对诸如生物颗粒之类的小颗粒的分析、更特别地对微生物的分析传统上可以使用被称为分析路径的光学探头来进行。该光学探头将分析光束聚焦到待分析的颗粒上,并在光束与颗粒交互后测量该光束的物理属性,例如光束的拉曼光谱或荧光光谱。对颗粒的分析可以用于颗粒的识别或表征。分析光束可以是其束腰被定位在颗粒上的激光束、或者聚焦在颗粒上的光束。术语“聚焦光斑”在下文中用来描述激光束的束腰或者光束的聚焦光斑,并且两种情况均将指的是分析光束的聚焦。

分析光束在待分析的颗粒上的聚焦光斑的定位必须特别精确,所述聚焦光斑的大小大体上与待分析的颗粒的大小相同。

分析光束在颗粒上的定位、更具体地分析光束的聚焦光斑的定位通常在显微镜下目测执行。为此,除上文中描述的分析路径之外,系统还包括位置控制路径。位置控制路径用来控制感兴趣点(特别地,颗粒)相对于分析路径的定位。在测量前的阶段中,分析路径配置成当颗粒位于分析路径的聚焦点处时,使颗粒的图像清晰并且位于控制路径的传感器所识别的位置处。

图1示出了这样的分析系统100的一个示例。在该示例中,感兴趣点是颗粒。

分析路径包括用来照亮感兴趣颗粒的第一光源,例如激光器170。激光器170发出的光束被称为分析光束。分析路径还包括第一光学系统140,在这种情况下,第一光学系统由显微物镜组成。第一光学系统140的光轴被标记为D。

在示出的示例中,分析路径还包括用于在光束与颗粒P交互之后测量所述光束的物理属性的测量装置180。

显微物镜将激光束的束腰聚焦在焦平面Π0上。分束板175(例如二向色板)将激光源发出的光束分束,并且该光束与颗粒P交互。

位置控制路径包括用于照亮颗粒P的光源110、显微物镜140、管透镜150和图像传感器160。在物镜140的输出端,颗粒的通过光源110形成的图像延伸到无限远处,然后通过管透镜150投射到传感器160的平面上。

分析路径和位置控制路径由于偏转镜149而共享同一显微物镜以及同一焦平面Π0。交替使用这两个路径。

在测量之前的调整阶段形成两个路径之间的对应关系。例如,调整阶段包括通过使在测量装置180上获得的信号最大化来将用于控制分析光束的控制物体(例如不透明结构的聚焦图案)放置在最大聚焦点处。然后,对控制路径的传感器160的位置进行调整以在控制路径的所述传感器的识别位置处产生控制物体的清晰图像。

在对样本的颗粒进行测量时,根据以下两个步骤来执行所述颗粒在分析光束的焦点处的定位。

在第一步骤中,关闭激光器170,打开光源110,定位偏转镜149,以及使用图像传感器采集焦平面的图像。当颗粒在所述图像中比较清晰时,该颗粒位于焦平面内。然后,将颗粒水平地定位在将在上文中描述的仪器调整阶段期间确定的识别点上。

在第二步骤中,关闭光源110,打开激光器170并移除偏转镜149。如果颗粒未移动,则分析光束的聚焦光斑位于所述颗粒上。

然而,当颗粒在可见光谱中是透明的时,进行定位是有难度的、或者甚至是不可能的。在下文中的描述中,术语透明颗粒将描述如下颗粒:具有非常低的可见光吸收度(即,在可见光谱中或者更一般地在从300nm至1000nm的光谱带中透射系数大于或等于70%)的颗粒、以及折射率与其周围环境相差很小(例如,折射率差小于0.1)的颗粒。某些细胞(未标记真核细胞和原核细胞)和由介电材料制成的某些颗粒可以因此被当作透明的。

一个已知的解决方案包括暂时移走颗粒P。因此,将容纳生物颗粒的基板安装在平移台上,用于沿与物镜140的光轴平行的轴平移。

该方案包括将上文中所描述的第二步骤分成两个子步骤。

在第一子步骤中,在散焦条件下使用位置控制路径。换言之,颗粒沿显微物镜的光轴偏移以使其不再位于显微物镜的焦平面中。

该散焦使得能够获得颗粒P的不清晰图像,尽管如此,透明颗粒也可以与周围环境区分开来。因此,可以知道颗粒P在与物镜的光轴垂直的平面内的水平位置

在第二子步骤中,颗粒被重新定位在显微物镜的焦平面内。颗粒的图像在位置控制路径上消失,然而分析光束聚焦光斑位于颗粒上。

该解决方案的一个缺点在于:如果在第一子步骤与测量步骤之间颗粒从其基板上移动、转移或分离(例如,在通过基板捕获的细菌的情况下),则在测量时该颗粒不再处于分析光束的聚焦点处。因此,不能保证分析的完整性,并且甚至利用反馈来动态地控制颗粒的位置上的分析光束是不太可能的。

因此,本发明的目的在于使得能够实时地控制颗粒的位置、具体地为透明颗粒的位置,特别地以使用分析光束保证对颗粒的分析的可靠性。

发明内容

本发明涉及一种用于对样本的感兴趣颗粒进行分析的系统,该分析系统包括:

-分析路径,包括发出分析光束的第一光源以及第一光学系统,第一光学系统设置成将分析光束聚焦在与第一光学系统的光轴正交的被称为焦平面的平面上;以及

-位置控制路径,包括第二光源、图像传感器和第二光学系统,该第二光学系统与第一光学系统至少部分地融合以使第一光学系统和第二光学系统包括同一所谓的共享光学系统。

根据本发明,图像传感器经第二光学系统相对于焦平面的图像偏移。

使用图像传感器获得的散焦图像来检查颗粒正确地位于期望位置。该检查可以执行与当颗粒位于所述目标位置时所获得的散焦图像的简单比较。

本发明不需要任何涉及移动显微物镜或样本的中间步骤。

可以同时、或者相继地但要在非常短的时间间隔内获得散焦图像和聚焦光斑的指向(pointage de la tache de focalisation)。这保证了分析的可靠性,这是由于在用于使聚焦光斑指向所述颗粒必须位于的位置处的每个操作之前检测到了颗粒的位移。

此外,使分析激光束指向颗粒处提供了可以将颗粒与颗粒所接合到的基板分开的能量。根据本发明的系统使得能够容易地验证聚焦光斑定位在颗粒上未导致颗粒移动。

优选地,根据本发明的分析光束包括计算装置,计算装置配置成通过数值传播根据图像传感器提供的图像来计算至少一个重建图像。

因此,通过传感器获得的散焦图像使得能够通过计算来获得图像,所述图像与图像传感器的不同于其真实位置的虚拟位置相关联。使用术语虚拟位置是因为实际上图像传感器保持不动并且仅对图像传感器的位移进行数字仿真。如下文中所描述的,因此可以以精确的方式来定位感兴趣颗粒。

分析系统可以包括部分和/或选择性偏转装置,部分和/或选择性偏转装置设置成在输入端将位置控制路径和分析路径合并成共享光学系统。

可替换地,第一光源和第二光源具有不同的波长,并且偏转装置是波长选择性装置。

根据一有利实施例,计算装置在其输入端接收图像传感器提供的图像,并且被配置成基于图像传感器提供的图像以及通过数值传播来计算焦平面Π0的图像ΠI中的感兴趣颗粒的重建图像。

计算装置可以在其输入端接收图像传感器提供的图像,并且可以被配置成基于图像传感器提供的图像以及通过数值传播来计算重建平面中的一系列重建图像,该一系列重建图像中的每一个重建图像相对于图像传感器的平面偏移。

有利地,计算装置包括用于基于所述一系列重建平面确定相对于图像传感器的平面的偏移的装置,该偏移被称为最佳偏移、与重建平面和容纳感兴趣颗粒的图像的平面之间的通过第二光学系统的最小偏移相关联。

优选地,计算装置包括用于将最佳偏移与图像传感器的平面和焦平面的图像之间的通过第二光学系统的距离进行比较的装置,比较结果确定了轴向位移命令,并且分析系统包括配置成响应于所述轴向位移命令使用于容纳样本的支承件移动的位移装置。

计算装置可以包括用于将控制图像与被称为聚焦图像的重建图像进行比较的装置,该聚焦图像与对应的重建平面和容纳感兴趣颗粒的图像的平面之间的通过第二光学系统的最小偏移相关联。

有利地,分析系统包括用于对重建图像求阈值的装置,该阈值通过ith=iav+3σ来限定,其中,iav是重建图像中的像素强度的均值,而σ是重建图像中的像素强度的标准差。

根据一有利实施例,控制图像和聚焦图像的比较结果确定来横向位移命令,并且分析系统包括配置成响应于所述横向位移命令使用于容纳样本的支承件移动的位移装置。

本发明还涉及一种在根据本发明的分析系统内实施的用于对生物样本的感兴趣颗粒进行分析的方法,该方法包括使用分析路径来分析感兴趣颗粒的步骤,以及使用位置控制路径来控制感兴趣颗粒的位置的步骤。根据本发明,这两个步骤的实施没有被用于使样本相对于分析路径和位置控制路径移动的中间步骤分开。

优选地,分析步骤和位置控制步骤是同时实施的。

根据一优选实施例,位置控制步骤包括以下子步骤:

-使用位置控制路径的图像传感器采集感兴趣颗粒的图像;

-通过数值传播,使用所述图像而在相对于图像传感器的平面偏移的重建平面中构建至少一个重建图像。

根据本发明的方法可以包括计算重建平面中的一系列重建图像,该一系列重建图像中的每一个重建图像相对于图像传感器的平面偏移,以及选择与对应的重建平面和容纳感兴趣颗粒的图像的平面之间的通过第二光学系统的最小偏移相关联的重建图像。

优选地,根据本发明的方法包括计算焦平面的图像中的感兴趣颗粒的重建图像。

附图说明

通过阅读参照附图给出的以下优选实施例,本发明的其他特征和优点将变得明显,在附图中:

-图1以简图的方式示出了根据现有技术的分析系统;

-图2以简图的方式示出了根据本发明的分析系统的第一实施例;

-图3以简图的方式示出了根据本发明的分析系统的第二实施例;

-图4A和图4B以简图的方式示出了求阈值后的重建图像和求阈值后经处理的重建图像以定位颗粒;

-图5示出了获得根据本发明的一系列重建图像;

-图6示出了针对一系列重建图像根据与所述图像相关联的偏移而给出图像中的标准差的曲线;

-图7以简图的方式示出了从样本的一系列重建图像中提取感兴趣区域的一系列重建图像;

-图8以简图的方式示出了根据与每个图像相关联的偏移的、感兴趣区域的一系列重建图像中的标准差曲线;

-图9以简图的方式示出了采用根据本发明的方法实施以确保正确定位分析光束的聚焦光斑的步骤。

具体实施方式

除了在上述系统中实施分析方法之外,根据本发明初步描述了一个分析系统。

图2示出了根据本发明的用于对颗粒的位置、尤其是透明颗粒的位置进行视觉控制的分析系统的第一实施例。

分析系统200包括第一所谓的分析路径和第二所谓的位置控制路径。将仅针对分析系统200与图1中的系统的差异来描述系统200。

样本可以以诸如水、缓冲溶液、培养基或反应介质之类的包含颗粒的液体介质的形式来呈现。有利地,颗粒被固定到诸如显微镜载玻片之类的基板上。

可替换地,样本可以以诸如琼脂之类的包含正在讨论的颗粒的固体介质的形式来呈现。有利地,颗粒可以位于在介质内部或样本的表面上。

可替换地,样本可以以气体介质的形式来呈现,从而颗粒位于该介质中或者优选地固定到诸如显微镜载玻片之类的基板上。

待分析的颗粒P可以是生物颗粒、灰尘(例如污染物)或者甚至是介电材料颗粒。当所述颗粒如上文中限定的那样是透明的时,本发明是特别有利的。

在液体样本的情况下,样本可以被装在由下层板131(例如传统的显微镜载玻片)和上层板132(例如显微镜盖玻片)竖直界定的分析室130中。分析室由密封件135水平界定。下层板和上层板对第一光源和第二光源的波长是透明的(见下文)。

有利地,根据本发明的分析系统包括用于容纳包含感兴趣颗粒的样本的受监视支承件(未示出)。

第一分束板175将激光器170发出的分析光束朝着样本反射。在板175上的反射之后,沿光轴D使分析光束对准。分析光束穿过第二二向色板147(其优点在下文进行描述),然后到达第一光学系统140,最后到达样本上,特别地到达感兴趣颗粒P*上。在第一光学系统140上游,分析光束是准直激光束。

焦平面Π0是与光轴D正交的平面,由第一光学系统140形成的分析激光束的束腰位于该焦平面中。在这种情况下,该平面ΠO与第一光学系统140的物方焦平面对应。在图2中示出的实施例中,假定颗粒、特别地为感兴趣颗粒是在焦平面ΠO中被发现的。

与感兴趣颗粒P*交互过的分析光束中的至少一部分返回到第一光学系统140中。该经背散射的分析光束穿过第一光学系统140、第二分束板147,然后穿过第一分束板175,以通过测量装置180进行分析。

这些测量装置180实施对与感兴趣颗粒交互过的分析光束的属性的测量。特别地,这些测量装置180可以包括光谱仪或图像探测器,以执行拉曼光谱测量或荧光测量。测量装置可以包括聚焦装置(未示出),以将与感兴趣颗粒交互过的分析光束聚焦到传感器上。

位置控制路径包括优选地空间相干并且可能时间相干的第二光源110。优选地,第一光源具有低光谱带宽,例如小于200nm、或者甚至小于100nm或25nm。特别地,该光源可以为激光二极管或发光二极管。出于方便起见,光源发出的光束可以借助于待分析的样本下面(第一光学系统140的相对侧上)的光纤120来提供。必要时,光纤发出的光束受到光阑125的限制。第二光源发出的光束被称为控制光束。

位置控制路径还包括包含显微镜物镜140和透镜150(称为管透镜)的第二光学系统。

第二光学系统与第一光学系统共享显微物镜140。第一光学系统和第二光学系统部分融合。显微物镜140形成属于分析路径和位置控制路径两者的所谓的共享光学系统。该共享是永久的,从而可移除的偏转镜149可以被部分偏转装置或选择性偏转装置所替换,在这种情况下,也可以被实施波长选择性偏转的第二二向色板147所替换。

第二光学系统可选地包括可位于物镜前方或后方的光纤(未示出)。

在被感兴趣颗粒P*衍射后,控制光束穿过共享光学系统(显微物镜140),然后被二向色板147反射。该光束然后在到达图像传感器160(例如,相机的CCD或CMOS传感器)之前穿过管透镜150。

感兴趣颗粒P*位于焦平面ΠO中,在这种情况下,即位于显微物镜140的物方焦平面中。因此,被感兴趣颗粒P*衍射的光束通过显微物镜延伸到无限远处。管透镜150用来将该光束聚焦到平面ΠI中。平面ΠI是焦平面ΠO经第二光学系统(物镜140和透镜150)的图像。这两个平面通过物镜和透镜150共轭。

根据本发明,图像传感器160没有位于该图像平面ΠI中,而是相对于该平面偏移。图像传感器沿第二光学系统的光轴偏移。该偏移例如介于+1μm和200mm之间或-1μm和-200mm之间、例如介于+10μm和+5mm之间或-10μm和-5mm之间、或者介于+5μm和+1000μm之间、优选地介于+10μm和+2000μm之间或者-10μm和-2000μm之间。

管透镜150的光轴和物镜140的光轴相融合(confondus),从而板147仅使得该轴不能沿直线延伸。传感器位于与所述光轴正交的平面中。其中,Z为沿所述光轴的坐标,Z坐标的原点位于平面ΠI中,Z=z表示图像传感器160的散焦距离。X轴和Y轴采用Z正交坐标系统来限定。

图像传感器160采集感兴趣颗粒的传输图像。在图像传感器上形成的图像是全息图像,这只由于由颗粒所衍射的波和穿过样本而不与样本交互的参考波之间干涉的结果。

即使感兴趣颗粒是透明颗粒,图像传感器160采集的图像也使得能够以间接方式控制感兴趣颗粒的位置。在下文中公开了不同的控制示例。

在图2中示出的实施例中,控制路径和分析路径通过二向色板147进行波分复用。第一光源和第二光源具有不相交的光谱。例如,第二光源是光谱的中心在约450nm处的GaInN激光二极管,而第一光源是在532nm处发光的倍频YAG激光器。二向色板147在450nm处将光反射到图像传感器160上,并且使得该光能够在532nm处穿过。(如果测量装置180由拉曼光谱仪形成,则选择分束板175在532nm处反射光并使得更大的波长能够通过。)

波分复用的优点在于能够实时地并且在分析的同时确定感兴趣颗粒的位置。这使得能够利用时间常数非常低的反馈来控制分析激光束在感兴趣颗粒上的位置。

可替换地,位置控制路径和分析路径是时间复用的。在第一时间间隔期间,通过光源110来控制感兴趣颗粒的位置,因此光源170关闭。在第二时间间隔期间,关闭光源110,而打开光源170,并对颗粒进行分析。

板147可以是半反射板,更特别地但是非穷尽地适于时间复用。

在所有情况下,感兴趣颗粒并未相对于第一光学系统和第二光学系统在控制位置和分析位置之间移动。因此,可以同时或者在非常短的时间间隔内执行这两个步骤。当位置控制路径和分析路径相对于彼此固定时,可以达到该目的。

根据一替代性实施例(未示出),图像传感器被固定在用于沿第二光学系统的光轴平移的平移设备上,以将该图像传感器定位在取决于物镜140和透镜150的光学属性的最佳散焦距离处。

根据另一替代性实施例(未示出),第一光源170发出非准直光束。第一光学系统包括与物镜140配合的透镜以将聚焦光斑定位在焦平面Π0中,该焦平面不一定是物镜140的物方焦平面。在这种情况下,可以对管透镜150的属性进行调整。

控制路径和分析路径可以置换,从而分束板147使位置控制光束偏转,并反射与感兴趣颗粒交互过的分析光束。

管透镜150可以如图2中示出的那样被定位在位置控制路径的传感器160和分束板147之间,或者被定位在分束板147和显微物镜140之间。在这种情况下,管透镜150和物镜140由第一光学系统和第二光学系统共享,这需要调整剩余的第一光学系统。

在这种情况下,假设先验信息在样本的颗粒的相对位置上是可用的。在定位颗粒后,从所定位的颗粒中选择感兴趣颗粒P*用于分析。在下文中,假设感兴趣颗粒被放置在通常在光轴上以及在焦平面中选取的目标位置中。感兴趣颗粒的位置可以随时间而移位。本发明被设计成确定颗粒的位置是否已改变,以及必要时,设计成将感兴趣颗粒放回到所述目标位置。颗粒沿XY平面的位移将首先被检查。

计算装置201(例如处理器)接收在图像传感器160上形成的图像。

计算装置201使用该图像通过数值传播来计算从图像传感器的检测表面的平面偏移的重建平面中的样本的重建图像、更特别的计算感兴趣颗粒的重建图像。以下描述将更简单地陈述与相对于图像传感器平面的偏移相关联的重建平面。换言之,通过计算所述重建图像来仿真传感器相对于其有效位置的偏移。

传感器采集的图像可以在应用传播算子前被标准化。也可以从所采集的图像中提取该图像的DC分量。

可以在Sang-Hyuk Lee等人发表的文章:标题为“全息地捕获的三维结构的全息显微术(Holographic microscopy of holographically trapped three-dimensionalstructures)”Optics Express第15卷;4号,2007年2月19日,1505-1512页中找到对数值传播的图像计算方法的描述。

例如,如果将瑞利-索末菲传播函数写为hz(r),即:

其中:

z是图像传感器的“虚拟”位置和有效位置之间的距离,或者换言之是重建平面和图像传感器的平面之间的偏移,

r=(x,y)是传感器提供的图像平面中的位置。

R2=r2+z2,以及k=2πn/λ是相对于传播介质的波数。

此处,距离z选择成使得重建平面位于平面ΠI内,或者(例如,根据传感器的最小平移步长)大体上位于所述平面中。在任何情况下,与重建图像相关联的重建平面比图像传感器的平面更接近平面ΠI

坐标平面z中的波可以如下表达:

其中:

B(q)是b(r)的傅里叶变换,即衍射波在传感器的有效位置处的强度(此处假设参考波的强度是常数),

H-z(q)是h-z(r)的傅里叶变换,以及

q是r在傅里叶变换中的对偶变量。

计算中间重建图像,该中间重建图像的每个像素的值通过复振幅a(r,zn)来限定。该图像为复图像,从而每个像素与具有实部和虚部的复数值相关联。

重建图像是根据该中间重建图像建立的以呈现给用户。重建图像基于复振幅a(r,zn)来定义。重建图像的每个像素可以通过复振幅的平方模|a(r,zn)|2来定义。可替换地,每个像素可以通过复振幅的虚部的平方来定义。

可以在重建图像中容易地识别颗粒,即使它们是透明的。对于通过将图像传感器定位在平面ΠI中进行仿真而是通过将传感器有效地定位在所述平面中而获得的真实图像,不会是这种情况。

将重建图像馈送到显示屏202上。

处理器201可以执行对重建图像求阈值,从而该阈值例如通过以下来定义:

ith=iav+3σ>

其中,iav和σ分别是重建图像的强度的均值和标准差。获得如图4A中示出的图像。可以通过将重建图像在该点的强度与所述阈值进行比较以验证颗粒出现在目标位置。

可以通过轮廓检测方法和形态滤波运算(开、闭)对求阈值进行补充。由于这些操作,可以从图像中排除与颗粒不对应的物体。此外,重建图像因此可以以点的分布的形式来呈现,这些点中的每一个点与颗粒的中心对应。图4B中示出了该点分布。

经上述处理的重建图像的显示使得用户能够容易地验证颗粒出现在期望的位置中。没有任何颗粒接近目标位置可以是由于以下事实:目标位置变得与基板分离。显示屏可以显示诸如聚焦图案之类的符号以快速地将感兴趣颗粒沿X轴和Y轴的位置与目标进行比较。

如本文中的情况,对感兴趣颗粒的位置控制可以包括显示与图像平面ΠI相关联的重建图像。额外地或者可替换地,该控制包括提供有关感兴趣颗粒在期望的位置中出现或不出现的信息、和/或提供有关感兴趣颗粒相对于其期望位置的位移的信息。

图3以简图的方式示出了根据本发明的分析系统300的第二实施例。将仅针对图3相对于图2的差异来描述图3。

计算装置201和屏幕202被诸如处理器之类的计算装置301和用于移动容纳样本的支承件311的位移装置312所替换。

位移装置312例如包括用于沿X轴和Y轴平移的平移台,以及在必要时包括用于沿Z轴平移的平移台。

将通过传感器160检测的图像提供给形成用于计算位移命令的装置的处理器301。将该位移命令馈送给位移装置312。位移命令根据感兴趣颗粒相对于目标位置的测量到的位移来确定,并且用来将所述颗粒重定位在目标位置。

处理器301执行对一系列重建图像的计算,该组重建图像中的每一个重建图像同图像传感器的“虚拟”位置与其有效位置之间的预定偏移相关联,或者换言之同重建平面与图像传感器的平面之间的预定偏移相关联。重建平面分布在容纳感兴趣颗粒的平面通过第二光学系统的图像的期望位置的两侧上(在这种情况下,分布在图像平面ΠI的两侧上)。例如,如果给图像传感器的利用0.25μm的步长在平面Π0周围+/-5μm物方空间中的位移使用100的横向放大率,则该组重建平面利用对应的2.5μm的步长来扫描平面ΠI周围+/-50μm的间隔。

根据上文中所解释的算法基于图像传感器采集的相同图像来计算每个重建图像。所述重建图像是针对图像传感器的不同位置z1,…,zN观察到的图像。获得了一系列重建图像I1,…,IN

图5示出了基于图像传感器采集的图像I0获得的一系列重建图像I1,…,IN

处理器使用所述重建图像来确定感兴趣颗粒相对于其目标位置沿Z轴、然后沿X轴及Y轴的位移。该目标位置例如与分析激光束的聚焦点对应。

首先,对用于确定感兴趣颗粒沿Z轴的所述位移的步骤进行描述。

根据重建图像沿Z轴的位置,寻找对重建图像的参数的变化进行描述的函数的奇点。可替换地,该函数取决于被引入第二光学系统的物方平面的重建平面的位置。

有利地,该参数表示重建图像的对比度,例如在预定区域中的梯度的标准差和均值。奇点有利地是最大值,然而它也可以是拐点。该奇点与位于容纳颗粒、更特别地感兴趣颗粒的图像平面的平面中的重建平面对应。因此,通过测量容纳所述颗粒的图像平面的位移来确定颗粒沿Z轴的位移。

有利地,通过引进第二光学系统的物理参数(例如,第二光学系统的放大率),直接计算感兴趣颗粒相对于目标位置沿Z轴在物方空间中的位移。

图6示出了根据引入图像传感器的平面和重建平面之间的物方空间的偏移给出该系列图像的标准差的曲线。

在这种情况下,目标位置的平面是与第二光学系统的物方空间中的平面Π0对应的平面ΠI。该平面近似位于z′=40μm处,其中z′为引入图像传感器的平面和重建平面之间的所述物方空间的偏移。

针对离散偏移值z′n获得标准差值,并且例如使用样条函数对所述标准差值作插值处理以根据偏移z’获得标准差曲线C(z’)。确定z′foc=argmax(C(z)),然后将其与z′foc的设定值进行比较以计算在第二光学系统的物方空间中的位移。

可替换地,首先确定在图像空间中的位移,然后计算在第二光学系统的物方空间中的对应位移。

z′foc的值不一定与有效重建的图像对应。其可以仅是重建平面的相对粗略的采样间隔,这由于待重建的图像的数量少而需要少量的计算。

可替换地,不执行任何插值处理,以使对z′foc的确定与在一系列重建图像中选择最接近聚焦条件的图像对应。该图像为与颗粒通过第二光学系统的图像平面最接近的图像。所述图像被称为聚焦图像Ifoc

可替换地,使用第一采样间隔和第一系列重建图像执行对沿Z轴的位置的第一近似确定,然后使用更小的采样间隔和以之前确定的近似位置为中心的第二系列重建图像来细化所述确定。

优选地,使用以感兴趣颗粒为中心的感兴趣区域的一系列重建图像来确定感兴趣颗粒沿Z轴的位置。事实上,这些颗粒不一定全部处于与光轴正交的同一平面中。为此,可以计算第一系列图像、可以选择聚焦图像Ifoc并使用该聚焦图像来确定感兴趣颗粒沿X轴和Y轴的近似位置,然后可以使用以感兴趣颗粒为中心的一系列重建图像来精确地确定感兴趣颗粒沿Z轴的位置。

感兴趣区域的大小可以大于或小于待分析颗粒的区域的大小。

图7以简图的方式示出了一系列图像I1,…,IN和以感兴趣颗粒P为中心的感兴趣区域的一系列重建图像B1,…,BN

图8示出了根据该系列图像的排列而给出感兴趣区域的一系列重建图像中的标准差的曲线。与有关聚焦图像Ifoc的感兴趣区域相关联,聚焦图像与整个样本相关联。与感兴趣区域的具有最大标准差的重建图像对应。应该理解的是,当对比度测量被限制到感兴趣区域时,关于聚焦图像过去是最佳的第一选择不再是最佳的。

本领域的普通技术人员将在专利申请FR1460947中获得关于该定位的更详细的信息。物方空间中的偏移和图像空间中的偏移通过简单的放大率相关联。

一旦计算了沿Z轴的位移,则可以估算感兴趣颗粒沿XY平面的位移。

为了实现上述目的,在与沿Z轴事先确定的位移校正的平面ΠI的位置对应的坐标处使用与重建平面相关联的重建图像。该图像可以选自一系列事先重建的图像,或者该图像可以是明确重建的图像(例如,如果使用插值法确定了沿Z轴的位移)。

处理器301将该重建图像(如参照图2所描述的那样潜在地进行阈值化和滤波处理)与控制图像进行比较,其中,每个颗粒呈现在其目标位置。控制图像在样本中形成颗粒的分布规划。可以以与重建图像相同的方式来初步确定控制图像,然后将该控制图像与重建图像进行比较。

对位移的估算可以实施图像配准方法,例如控制图像和重建图像之间的互相关法、或者所述图像之间的均方根偏差的最小化法或者所述图像之间的互信息的最小化法。

因此,最终获得沿Z轴的轴向位移和沿XY平面的横向位移。使用所述位移,处理器301制定馈送给位移装置的位移命令以将感兴趣颗粒置于标目位置。

因此,可以利用反馈来对分析激光束在感兴趣颗粒上的聚焦光斑进行控制。

因此,由于使用简单的图像比较来确定颗粒的横向位移,所以本发明绕过对颗粒的位置的明确确定。

可替换地,可以明确确定感兴趣颗粒的位置以用于与目标位置进行比较。

优选地,重建图像包括包含感兴趣颗粒在内的多个颗粒。对感兴趣颗粒周围的多个颗粒的位置进行检测以确保观察到正确的感兴趣颗粒。

现在,该描述将参照图9公开用于直接根据图像传感器采集的散焦图像来确定颗粒在两个时刻之间的位移的方法的步骤。该方法在根据本发明的设置有用于沿X轴和Y轴平移的平移台的分析系统内被实施。

在步骤910中,通过控制路径在第一时刻采集样本的初始图像I0。然后基于图像I0重建多个重建图像I1,…,IN(步骤920),以及选择聚焦图像Ifoc,所述聚焦图像通过第二光学系统与容纳感兴趣颗粒的图像平面的位置对应(步骤930)。然后,如上文中描述的那样对聚焦图像Ifoc执行求阈值运算,以及在必要时施加形态滤波器(步骤940)。在步骤940结束时,获得样本的以光轴为中心、包括感兴趣颗粒和多个邻近颗粒的第一特征图像。将该图像存储在暂存器中。

稍后,重复进行步骤910至940(在该图中具有附图标记910’至940’的步骤),并获得样本的第二特征图像。

因此,在步骤950中,通过将第一特征图像与第二特征图像进行比较来估算感兴趣颗粒在第一时刻和第二时刻之间的位移。

如上文中所述,第一特征图像形成控制图像.

位移的估算例如实施互相关计算,并且如果相关函数的最大值小于预定阈值,则可能生成警告。事实上,这可已意味着大大干扰了在样本中的在感兴趣颗粒附近的颗粒的分布。

在步骤960中,使样本沿与在前一步骤中确定的位移矢量正交的矢量平移。

使用新的第二特征图像,可以检查新的位移矢量为零矢量(步骤970)。或者验证事先计算的位移矢量,或者生成误差信号并要求操作者选择新的感兴趣颗粒。

上述验证的位移矢量用来控制感兴趣颗粒的位置,特别地通过对平移台进行控制利用反馈来控制感兴趣颗粒在XY平面中的位置。

换言之,本发明还包括用于在根据本发明的分析系统中对感兴趣颗粒的位置进行控制的方法,以使:

-在第一时刻,采集样本的第一图像,通过数值传播根据该第一图像推导出所述样本的、与重建平面相对于图像平面的不同偏移值对应的第一系列重建图像,并且从所述第一系列图像中选择具有最大对比度的图像作为样本的第一特征图像;

-在第二时刻,采集样本的第二图像,通过数值传播根据该第二图像推导出所述样本的、与重建平面相对于图像平面的不同偏移值对应的第二系列重建图像,并且从所述第二系列图像中选择具有最大对比度的图像作为样本的第二特征图像;

-基于第一特征图像与第二特征图像来估算感兴趣颗粒在第一时刻和第二时刻之间的位移。

因此,根据本发明的分析系统包括:

-计算装置,用于基于第一(以及第二)采集图像通过数值传播来计算所述样本的、与重建平面相对于图像平面的不同偏移值对应的第一系列(以及第二系列)重建图像;

-选择装置,用于从第一(以及第二)系列重建图像中选择具有最大对比度的图像作为样本的第一(以及第二)特征图像;

-估算装置,用于基于第一特征图像与第二特征图像来估算感兴趣颗粒在第一时刻和第二时刻之间的位移。

根据最后的实施例(未示出),计算至少一个重建图像的步骤被绕过。

事实上,可以以简单的方式通过将图像传感器采集的散焦图像与参考图像进行比较来识别透明颗粒的位移。该比较可以使用计算装置来执行。可替换地,将通过传感器直接采集的图像显示在屏幕上,以使当透明颗粒移动时,用户识别到所显示的图像的改变。因此,可以确保透明样本的感兴趣点处于正确且期望的位置中,所述位置特别地为分析光束的聚焦点。在分析装置测量所需的时间段后优选地实施该验证。

该实施例使得能够绕过重建图像计算步骤。例如在将感兴趣点定位分析光束上之前或之后,对图像传感器采集的散焦图像的简单比较用来检测感兴趣点是否已经被分析光束移动或损坏。上述操作通过构成了测量有效性测试,该测量有效性测试易于通过简单地使用提供位于分析光束的聚焦点的平面的散焦图像的检测器来实施。

本发明不限于所公开的示例,在不脱离本发明的范围的情况下可以设想多种替代方案。特别地,图2和图3中的实施例可以进行组合。图2中的分析系统还包括可以通过人工操作的轮来移动的用于样本的支承件,以使得将感兴趣颗粒人工地重新定位在目标位置。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号