首页> 中国专利> 校正干涉滤波器因入射角引起的透射偏离的系统、方法和设备

校正干涉滤波器因入射角引起的透射偏离的系统、方法和设备

摘要

本公开的各方面提供了用于基于入射角来进行干涉滤光器校正的系统、方法、装置和计算机可读介质。在一些示例中,样本发射发射光谱,所述发射光谱由发射滤光器过滤以提供透射光谱。所述发射光谱以多个入射角照射所述发射滤光器。所述入射角导致所述透射光谱发生光谱移位。基于该光谱移位,校正所述透射光谱的强度。可以产生与所述透射光谱的经校正强度相对应的图像。

著录项

  • 公开/公告号CN113330298A

    专利类型发明专利

  • 公开/公告日2021-08-31

    原文格式PDF

  • 申请/专利权人 珀金埃尔默健康科学有限公司;

    申请/专利号CN201880100633.6

  • 申请日2018-11-19

  • 分类号G01N21/64(20060101);G01N21/76(20060101);

  • 代理机构11262 北京安信方达知识产权代理有限公司;

  • 代理人张瑞;杨明钊

  • 地址 美国马萨诸塞州

  • 入库时间 2023-06-19 12:24:27

说明书

交叉引用部分

本申请要求于2018年11月16日提交的且名称为“用于基于入射角进行干涉滤光器校正的系统、方法和设备(Systems,Methods,and Apparatus for Interference FilterCorrection Based on Angle of Incidence)”的美国非临时申请序列号16/193,236的优先权,其全部内容以引用方式并入本文中。

技术领域

本文的公开总体上涉及成像系统和方法。更具体地,在一些示例中,本公开涉及一种基于入射角的干涉滤光器校正。

背景技术

高通量成像(例如体内成像)由于其在生物学和医学上的应用而成为了有吸引力的研究领域。高通量成像可以一次涉及一个或多个活体受试者(例如,小鼠)的图像,并且可能涉及大视野。因此,高通量成像可能固有地导致光的角色散。例如,照射发射滤光器的光在从样本反射时,其入射角可能会有变化。不幸的是,这种变化可能影响透射光谱的最终强度。例如,入射角的增大可能导致被允许通过发射滤光器的光的波长移位。由于这可能影响样本成像的准确性,并且可能不利地影响从成像得出的观察结果和结论,因此期望和需要基于入射角来校正透射光谱。此外,不得不手动校正透射光谱而不涉及导致原始数据本身的机制对于用户来说可能是繁重、费时、低效且不切实际的。

本公开的各种实现方式解决了上述挑战中的一个或多个。例如,本公开可以描述用于基于入射角进行干涉滤光器校正的系统、方法、装置和设备。

发明内容

本公开的各方面涉及用于基于入射角进行干涉滤光器校正的技术,发射光谱以所述入射角照射发射滤光器,从而导致来自发射滤光器的透射光谱的光谱移位。

本公开提供了例如一种用于产生图像的方法。可以从发射滤光器接收透射光谱。透射光谱可以对应于由发射滤光器过滤的发射光谱的选定波长范围。发射光谱可以以多个入射角照射发射滤光器,所述多个入射角包括偏离相对于发射滤光器的法向入射角的那些入射角。可以测量和/或存储透射光谱的强度。基于发射滤光器根据入射角变化的光谱响应,可以获得透射光谱的经校正强度,并且可以基于透射光谱和经校正强度产生图像。

在某些示例中,发射光谱可以从样本中的发光源(例如,荧光源)发射。发光源可以是样本内由发光单元线表达的发光报告物。发光报告物可以外源施用。在一个示例中,可以将发光报告物作为探针部件施用于样本。样本可以是生物的(例如,活的小鼠)。

发射滤光器具有视野,其在该视野内被发射光谱照射。可以使用例如(x,y)位置坐标来表征发射滤光器的视野的位置。对于视野内的每个位置,发射光谱可以以相应的入射角照射发射滤光器。入射角可能会影响在该位置处来自发射滤光器的透射光谱的测量强度。

发射滤光器的视野的(x,y)坐标位置中的每一个(发射光谱在该视野内照射发射滤光器)可以具有对应的入射角。在一些示例中,经校正强度可以基于透射光谱的强度的单独强度值的积分。每个单独强度值可以对应于相应的(x,y)坐标位置和相应的(x,y)坐标位置的对应入射角。

所获取的图像可以基于透射光谱的测量强度,并且可以针对发射滤光器的视野上的发射光谱的入射角进行校正。所获取的图像可以是基于像素的数字图像,其中每个像素对应于发射滤光器的视野的相应(x,y)坐标位置,发射滤光器在该视野内接收发射光谱。所获取的图像中的像素的值可以对应于在发射滤光器的视野的对应(x,y)坐标位置处测量的透射光谱的原始强度。在特定(x,y)坐标位置处的透射光谱的原始强度可以对应于发射光谱的以特定入射角照射发射滤光器的该位置的部分。

为了校正入射角,可以确定校正图像。校正图像可以包括用于校正由发射滤光器的整个视野上的不同入射角引起的变化的数据。为了获得校正信息,可以确定两个卷积的积分之间的比率。可以对表征报告物(例如,荧光团)的已知强度的函数和表征针对特定(x,y)坐标位置及其对应入射角的来自发射滤光器的透射光谱的函数执行第一卷积。可以对表征报告物的已知强度的函数和表征在法向(即,正交)入射角下来自发射滤光器的透射光谱的函数执行第二卷积。这些卷积的结果可以在上限波长截止阈值和下限波长截止阈值(例如,在光谱的短蓝端附近和光谱的长红端附近)之间进行积分。这些积分的结果之间的比率可以提供校正信息,所述校正信息用于校正在特定(x,y)坐标位置处测量的透射光谱的强度。可以使用该技术来获得发射滤光器的每个(x,y)坐标位置的校正信息。

校正信息可以用于产生校正图像,所述校正图像可以应用于通过测量来自发射滤光器的透射光谱的强度而获得的原始图像。例如,可以执行所获取的原始图像和校正图像的最终卷积以获得经校正图像。经校正图像可以是基于像素的图像,其中每个像素的值对应于在发射滤光器的视野的对应(x,y)坐标位置处的已经针对对应于该位置的入射角进行了校正的透射部段的强度。因此,经校正图像可以提供来自样本的发射光谱的更准确表示,因为其考虑到了当发射滤光器对发射光谱进行过滤以提供由检测器测量的透射光谱时发生的光谱移位(由于不同的入射角)。

下面的公开还提供了一种成像装置,所述成像装置可以包括例如光源、一个或多个激发滤光器、一个或多个发射滤光器和照明检测器,以及其他部件。光源可以提供激发光谱,而一个或多个激发滤光器可以向正在被成像的样本提供从激发光谱中选择的激发波长范围。一个或多个发射滤光器可以提供透射光谱。透射光谱可以包括从样本接收并由发射滤光器过滤的发射光谱的选定发射波长范围。一个或多个发射光谱可以以偏离相对于发射滤光器的法向入射角的多个入射角接收发射光谱。照明检测器可以测量透射光谱的强度。检测器可以产生与透射光谱相对应的信号,所述信号继而用于产生可以位于样本中并且发射发射光谱的至少一部分的报告物(例如,荧光团)的数字图像。在一些示例中,特别编程的计算装置被配置为基于透射光谱的根据各种入射角变化的光谱移位来校正强度。所述装置可以包括或可以不包括定位在样本与发射滤光器之间的准直光学器件。校正信息可以表示对所获取的图像的每个像素的校正。

下文描述的技术可以用于尤其产生荧光图像。例如,可以获取荧光图像数据,例如与由发射滤光器通过过滤荧光团的发射光谱提供的透射光谱的测量强度相对应的原始的基于像素的数字图像。本文描述的技术可以提供对荧光图像的像素的校正,并且可以使用该校正信息来产生经校正荧光图像。

荧光团和发射滤光器可以由用户选择。此外,可以评估发射滤光器的光学性能,并且可以应用附加校正来产生经校正图像。这些附加校正可以涉及例如校正光学路径中的光学畸变、渐晕和读取偏差。

应理解,本文描述的各种示例的各方面可以与其他示例的各方面组合和/或替代其他示例的各方面(例如,从属于一个独立权利要求的权利要求的元件可以用于进一步指定其他独立权利要求的实现方式)。本公开的其他特征和优点将根据以下附图、具体实施方式和权利要求而变得明显。

参考下面描述的附图、以及权利要求,可以更好地理解本公开的目的和特征。在附图中,贯穿各个视图,相似的附图标记用于指示相似的部分。

附图说明

专利或申请文件包含至少一张彩色附图。专利局将根据请求和必需费用的支付来提供带有一张或多张彩色附图的本专利或专利申请公布的副本。

图1是光学成像系统的示例的图示。

图2A-图2C是描绘由发射滤光器的整个视野上的相应入射角引起的透射光谱的示例性测量的曲线图。

图3A-图3B描绘了用于校正发射滤光器的视野上的入射角的示例性方法步骤。

图4A是描绘了针对校正发射滤光器的视野上的入射角执行的卷积运算的输入和输出的曲线图。

图4B是可以用于获得经校正荧光图像的样本图像。

图5是示例性计算硬件的框图,本文的公开的各方面可以在所述计算硬件上实现。

具体实施方式

可以设想,本文所述的方法、系统和过程涵盖使用来自本文所述的示例的信息所发展的变化和调适。

在整个说明书中,在系统和组合物被描述为具有或包括(including/comprising)特定部件的情况下,或者在过程和方法被描述为具有或包括(including/comprising)特定步骤的情况下,可以设想,附加地,存在基本上由或由所叙述的部件组成的本公开的系统和组合物,以及存在基本上由或由所叙述的处理步骤组成的本公开的过程和方法。

如本文所使用,术语“图像”应理解为意指视觉显示,或可以被解释为视觉显示的任何数据表示。例如,二维图像可以包括给定数量(例如,像素)的值的数据集,所述数据集在二个空间维度上变化。

本文描述了用于校正由成像系统中使用的滤光器的整个视野上的相应入射角引起的角色散的技术。由于那些入射角,滤光器的透射会在滤光器的整个视野上发生变化。例如,在滤光器的视野的边缘处,相比于在视野的中心附近,来自样本的光以更高的入射角照射滤光器。本文描述的技术校正这些入射角,以便在成像操作期间提供由受试者发射的光的更准确图像。为了方便起见,由滤光器透射的照明在本文中称为透射光谱。本文描述的技术的至少一些示例基于具有经校正强度的透射光谱来产生图像。经校正强度可以考虑到由入射角的变化引起的任何波长移位。产生的图像可以增强在成像过程期间获得的信息,例如,在体内成像研究期间获得的定量、结构、功能和/或分子信息。可以通过将原始图像数据(例如,逐个像素)归一化为与参考入射角(例如,法向于发射滤光器的入射角)相对应的已知的估计或模拟图像数据来实现这种准确性的提高。

如上所述,光入射在发射滤光器上的不同角度可能导致透射光谱的光谱移位。例如,在发射光谱学中,此类光谱移位可能导致不均匀的荧光图像。在发射光谱学中,发射滤光器可以用于准确地检测各种荧光团和其他报告物(例如,当某些基因、蛋白质等被光源检测到/激发时照射的标签)。例如,在临床环境中,可以对多个样本(例如,动物)成像以增加通量并减少时间(例如,一次十只小鼠对一次一只小鼠)。但是,对多个样本进行成像可能会涉及较高的视野,这可能会导致光在照射发射滤光器时发生角色散,这导致光谱移位,所述光谱移位影响数据测量。因此,照射发射滤光器的光的角色散在临床、研究和/或诊断环境中可能带来成像问题。本文所述的技术校正那些光谱差异。

在一些示例中,本公开还使得能够使用分析工具来依赖于或定制通过基于入射角的干涉滤光器校正获得的图像,从而提高了准确性。这些工具可以通过由干涉滤光器校正产生的图像提供与例如体内动物光学成像设置有关的信息。

图1是光学成像系统100的示例。所述光学成像系统可以包括涉及发光源和发射滤光器的任何成像装置,在发射滤光器中照明光线可能潜在地以某个角度照射。应理解,由发光源发出的照明可以包括可见光和不可见光(例如,紫外光、红外光)两者。光学成像可以用于发光源的体内成像。光学成像系统100可以用于各种类型的光谱学,例如,诸如发射光谱学。光学成像系统100可以用于获得由发光源发射的光的测量。此类测量可以用于例如产生与发光源相对应的图像。发光源可以是例如由于反应而发光的物质或蛋白质。

光学成像系统可以用于测量各种类型的发光源(例如,使其成像)。例如,发光源可以是荧光源、生物发光源、磷光源、化学发光源(例如,由于化学反应而发光的发光源,例如荧光源)、电化学发光源(例如,由于电化学反应而发光的发光源)、晶溶发光源(例如,由于固体溶解在液体中而发光的发光源)、强热发光源(例如,当其温度升高时(例如当暴露于火焰时)发光的发光源)、结晶发光源(例如,在结晶期间发光的发光源)、电致发光源(例如,当电流通过时发光的发光源)、机械发光源(例如,由于对固体的机械作用而发光的发光源)、光致发光源(例如,由于吸收光子而发光的发光源,例如在荧光中)、辐射发光源(例如,由于电离辐射轰击而发光的发光源)、热致发光源(例如,由于加热物质时被吸收的能量的重新排放而发光的发光源)或它们的组合。样本可以是生物的。生物样本可以是活的或死的。在一个示例中,如果样本是活体受试者(例如,小鼠),则可以将发光源并入到受试者中或受试者上(例如,内源的、摄入的、注射的、注入的、局部施用的等)。例如,一个或多个发光源可以包括荧光团和其他报告物,所述荧光团和其他报告物与发射荧光的(例如,有助于揭示有关生物结构的细节的)生物结构(例如,抗体、膜蛋白等)结合。将理解附加示例并受益于本文叙述的附加公开。

本文描述的技术可以在使用可见光的各种成像系统中采用。

下面在发射光谱学的背景下以示例的方式描述示例性光学成像系统100的部件,其中使用激发光来激发样本中的发光源(例如,荧光团),并且其中测量来自发光源的发射光。然而,应理解,其他类型的光学成像系统可以包括附加和替代部件。示例性光学成像系统100的部件以光在典型操作中发出并通过部件的顺序(即,沿着光学路径)来呈现。在该示例中,光学成像系统100包括光源102、激发滤光器104、光纤束开关106、样本110、主物镜114、发射滤光器116、次聚焦透镜118和检测器120。

光源102可以是产生光以向样本提供照明的任何装置(例如,灯)。光对于人眼可以是可见的或不可见的(例如,紫外的、红外的等)。为了方便起见,本文中将来自光源102的照明称为激发光谱。对于发射光谱学来说,光源102可以包括带有氙气(Xe)灯泡的宽带灯。类似地并且也为了方便起见,本文中将样本响应于激发光谱而发射的激发光称为发射光谱。

激发滤光器104可以是光学装置,其在光从光源102朝向样本110行进时对光进行过滤,使得从激发光谱中选择的波长或波长范围到达样本110。光学成像系统100可以提供多个激发滤光器以供选择,并且用户可以选择使用哪个激发滤光器。

光纤束开关106可以在光离开激发滤光器104时,例如经由光纤电缆帮助将光转向样本110的各个点。在一些实现方式中,激光检流计112可以用于向内部结构提供光和/或揭示样本110的表面形貌。此外,镜台108可以在两个维度(例如,x和y维度)中平移激发光聚焦光学器件以用于样本的成像。

光学成像系统100可以包括定位在样本110与发射滤光器116之间的准直光学器件。在另一示例中,装置100可以省略准直光学器件。准直光学器件可以包括一个或多个透镜,所述一个或多个透镜例如在发射光谱的光线到达发射滤光器116之前将它们对准。

发射滤光器116可以类似地是光学装置,其在光(例如,发射光谱)从样本110朝向检测器120行进时过滤所述光,使得选定的波长或波长范围到达检测器。为了方便起见,本文中将由发射滤光器116透射的光(即,来自发射光谱的被允许通过发射滤光器的光)称为透射光谱。如上所述,发射滤光器116可以以偏离相对于发射滤光器的法向(例如,正交)或参考入射角的多个入射角接收发射光谱。光学成像系统100可以提供多个发射滤光器以供选择,并且用户可以经由滤光轮117选择使用哪个发射滤光器。基于一个或多个选定激发和发射滤光器,光的波长可以以取决于发光源(例如,荧光报告物)的方式移位。然而,如本文所述,相对于关于发射滤光器116的法向或参考入射角的光照射发射滤光器116的角度也可能影响透射光谱。

光学成像系统100还可以包括一个或多个物镜以聚焦发射光谱和透射光谱。例如,光学成像系统100可以包括定位在样本110与发射滤光器116之间以聚焦发射光谱的主物镜114。光学成像系统100还可以包括定位在发射滤光器116与检测器120之间以聚焦透射光谱的次聚焦透镜118。透镜可以由用户调整。

光学成像系统100可以包括可以测量透射光谱的强度的检测器(例如,荧光检测器)。检测器120可以是将接收到的光变换成图像数据的光敏装置。例如,检测器120可以是电荷耦合装置(CCD)检测器。CCD检测器或其他相似检测器可以包括各种检测器元件,所述检测器元件可以基于光的强度累积电荷。在本公开的一些方面,可以使用电磁辐射的其他检测器,例如光电倍增管、光电二极管和雪崩光电二极管等。图像数据可以由光学成像系统100的计算装置接收。

如将在下面参考图5描述的,光学成像系统100可以包括计算装置,所述计算装置被编程用于基于入射角进行干涉滤光器校正。例如,计算装置可以被编程为基于透射光谱的根据光照射发射滤光器116的各种入射角变化的光谱移位来校正透射光谱的测量强度。

图2A-图2C示出了示例性结果的曲线图,所述曲线图描绘了由已经观察到的入射角(例如波长)的变化导致的透射光谱的变化。如上面所讨论的,来自样本的光照射发射滤光器的入射角的变化可能导致被允许通过发射滤光器的光的波长发生移位。这些移位可能会影响透射光谱的测量强度。由于这可能影响样本110的成像的准确性,并且可能不利地影响从成像得出的观察结果和结论,因此期望和需要基于入射角来校正透射光谱的测量结果。

图2A描绘了曲线图,所述曲线图绘制了针对各种激发和发射滤光器208(例如,在605纳米(nm)处的激发(EX)滤光器和在660nm处的发射(EM)滤光器)平均荧光效率与最大荧光效率的百分比偏差202根据距发射滤光器的视野的中心的径向位置204变化。荧光效率可以基于例如从发射滤光器透射的光子的数量与沿着路径例如样本从光源吸收的光子的数量的比率。径向位置可以被表达为距中心的距离,例如沿着水平中心线距中心的距离。因此,径向位置204对应于沿着发射滤光器的视野的水平中心线的位置,其中零的位置可以指示发射滤光器的视野的中心。在发射滤光器的视野的中心处,入射角可以相对于视野垂直,即可以对应于法向(正交)入射角。发射滤光器的视野的远离中心的位置可能对应于偏离法向入射角的入射角,其中最大入射角对应于离发射滤光器的视野的中心最远的那些位置。如图2A所见,径向位置204与荧光效率与最大荧光效率的百分比偏差相关。平均荧光效率202的百分比偏差可以指示对于视野中的给定位置的透射光谱的强度的变化。例如,在特定水平位置处的较大偏差可能指示由在该径向位置(例如,距发射滤光器的视野的中心的位置)处照射发射滤光器的光的特定入射角引起的透射光谱的强度的较大增加或减小。透射光谱强度的增加或减小可能与滤光器曲线相对于光学报告物的峰值波长的位置有关。

图2A示出了在整个激发滤光器和发射滤光器上平均荧光效率与最大值的百分比偏离是不均匀的。例如,曲线206对应于675nm激发滤光器和720nm发射滤光器(即,675EX、720EM滤光器对)。如图2A所示,675EX、720EM滤光器对在沿着水平中心线约12厘米(cm)处产生约27%的峰值偏差,并且在沿着水平中心线约2cm和约23cm处产生最小偏差(例如,约0%)。相比之下,与605EX、660EM滤光器对相对应的曲线207在沿着水平中心线约2cm和23cm处产生约30%的峰值偏差,并且在沿着水平中心线约12cm处产生最小偏差(例如,约0%)。

图2B是描绘示例性荧光团(例如,Alexa Fluor 635)和示例性发射滤光器(例如,640/20nm单频带带通滤光器)在波长范围212(例如,600-700nm)内的透射百分比210的曲线图。实线曲线216(总体地)表示在波长范围212内在各种入射角214(例如,0°至23°)下来自发射滤光器的透射光谱的透射百分比。虚线曲线218表示在波长范围212内荧光团的发射光谱的透射百分比。如图2B所见,来自发射滤光器的透射光谱随着入射角的增大而显著移位。例如,针对在此示例中使用的640/20nm滤光器,与此示例中的最大入射角(例如,23°)的透射光谱相对应的曲线216a已经向左移位(例如,至约610-640nm),这和与在法向入射角(0°)下的透射光谱(例如,约620-660nm)相对应的曲线216b有显著偏差。此随着入射角的增大朝向较短波长的向左移位可以被称为蓝移。也如图2所见,该蓝移导致与荧光团的发射光谱相对应的曲线218和与发射滤光器的透射光谱相对应的曲线216的重叠越来越少。换句话说,荧光团的发射光谱在较小入射角(例如0°)下与曲线216b的重叠较多,而在较大入射角(例如23°)下与曲线216a的重叠较少。此效果在图2C中示出。

图2C描绘了在参考(例如,法向)入射角下发射滤光器的透射光谱的曲线图230和在离轴入射角(即,偏离参考入射角的入射角)下发射滤光器的透射光谱的曲线图240。每个曲线图包括与荧光团的发射光谱相对应的曲线250(即,荧光团发射曲线),其在两个曲线图中保持恒定。每个曲线图还包括与在参考入射角和离轴入射角下来自发射滤光器的测量透射光谱相对应的相应曲线252a和252b(即,参考角透射曲线和离轴角透射曲线)。如由曲线图230中的阴影区域260a所指示,参考角透射曲线252a与荧光团发射曲线250重叠。离轴角透射曲线252b类似地与荧光团发射曲线250重叠,如由曲线图240中的阴影区域260b所指示。实际上,阴影区域260a和260b表示荧光团曲线250与透射曲线252a和252b的重叠区域的相应积分。然而,两个阴影区域260a和260b的面积不同:参考入射角的阴影区域260a大于离轴入射角的阴影区域260b。阴影区域260a和260b的这种差异是来自发射滤光器的透射光谱随着入射角偏离参考(例如,法向)入射角而移位的结果。换句话说,这种差异可以通过在不同的入射角下来自发射滤光器透射的发射光谱的不同光量来解释。发射滤光器在其视野中心附近(即,在法向入射角附近)透射相对较多的光,而在其视野边缘附近(其中入射角较大)透射相对较少的光。因此,重叠区域(例如,阴影区域260a和260b)的相应积分由于来自发射滤光器的透射光谱的移位而改变。继而,荧光团曲线250与透射曲线252a和252b的相应卷积也将随着入射角的改变而改变。换句话说,荧光团曲线与来自发射滤光器的测量透射光谱的卷积积分与发射滤光器上的发射光谱的入射角相关。

本公开提供了用于校正由于在发射滤光器的视野内发射光谱的入射角的偏离而引起的来自发射滤光器的透射光谱的波长的这些移位的技术。这些技术将在更大入射角下在发射滤光器处接收的相对较弱的光量归一化为在发射滤光器的视野的中心处接收到的光量。此类技术可以提供归一化值,以应用于来自发射滤光器的测量透射光谱。此类归一化值可以校正由各入射角离发射滤光器的中心处的法向入射角较近或较远而引起的强度差异。因此,此类归一化值也可以被称为校正值。

在一些示例中,可以产生基于像素的二维图像,所述图像对应于来自发射滤光器的测量透射光谱。该获取的图像中的每个像素可以对应于在发射滤光器的视野的对应位置处的透射光谱的强度。为了校正由不同入射角引起的强度差异,可以产生校正图像。校正图像可以包括校正值,所述校正值将发射滤光器的整个视野上测量的强度归一化为对应于发射滤光器的视野的中心的强度值(例如,“1”)。换句话说,校正图像可以提供校正值,所述校正值指示相对于发射滤光器的视野的中心处的透射光谱的强度的在相应入射角下测量的透射光谱的强度。下面将更详细地描述使用校正图像的这种技术。

图3A-图3B分别是用于进行干涉滤光器校正的示例性方法步骤的流程图300A和300B。在一些示例中,方法300A和300B可以由光学成像系统的计算系统或装置(“计算装置”)执行。相对于光学成像系统的其他部件,该计算装置可以位于本地或远处(例如,位于可经由网络访问的远程服务器上)。

例如,图3A描述了针对所获取的图像的干涉滤光器校正的方法300,所述方法产生经校正图像并使得能够从经校正图像进行测量。如图3B所描绘的,方法300B的一个或多个步骤可以通过使用一个或多个处理器的特别编程的计算装置(例如,图5中的计算装置500)来执行。尽管本文描述的步骤是可以针对发射光谱执行的示例性步骤,但是可以针对其他类型的光学成像过程执行附加或替代步骤。为了方便起见,方法300可以被理解为具有三个阶段:准备阶段、测量阶段和校正阶段。准备阶段通常可以用于收集在校正阶段期间将校正应用于在测量阶段期间获得的原始图像所需的信息。因此,在准备阶段,可以获取原始荧光图像(步骤302)。原始图像可以通过光学成像系统使用上述部件来产生。例如,(1)光源可以用激发光谱照射样本,(2)样本中的报告物(例如,荧光团)可以在被激发光谱照射时被激发并发出发射光谱,(3)发射光谱可以由发射滤光器过滤,以及(4)检测器(例如,CCD)可以检测由发射滤光器透射的透射光谱以产生原始荧光图像。如上所述,聚焦和准直光学器件可以用于分别在发射滤光器和检测器上聚焦和对准发射光谱和透射光谱。此外,如上所述,由正在被成像的样本发射的发射光谱可能以不法向于(例如,正交于)发射滤光器的角度照射发射滤光器,并且本文提出的方法可以用于校正原始图像数据。在一些示例中,在特定入射角下滤光器的透射光谱可能通常是已知的,并且可以从发射滤光器的制造商接收。原始图像数据可以被数字化并且由计算装置从检测器接收。原始图像数据可以用于构建用户可观察到的样本的最终图像。

现在参考准备阶段,本文描述的步骤可以用于收集参考信息,并产生校正信息,以在校正阶段处将校正应用于在测量阶段中获得的原始图像数据。例如,步骤304B可以包括接收表征选定报告物的发射光谱的信息。发射光谱可以在所获取的图像数据的选定波长上。报告物发射光谱可以基于指示报告物的选择的接收到的用户输入(步骤304A)。例如,用户可以选择商业上可购得的荧光团(例如,AF 635)的报告物发射光谱。表征发射光谱的信息可能通常是已知的。因此,可以从库(例如,数据库)或经由外部网络从外部源检索信息。

可以获得表征滤光器的光学性能的信息(步骤306A)。该信息可以指示来自发射滤光器的透射光谱的波长可以如何随着入射角的改变而移位(例如“蓝移”、“红移”等)。对于所使用的一个或多个特定滤光器,表征光学性能的信息可能是已知的。因此,所述信息可以被接收(例如,由滤光器制造商提供),或者来自滤光器的光学性能信息的数据的库(例如,数据库)。在一些示例中,可以通过分析确定滤光器的信息。例如,所述信息可以基于所使用的报告物、所使用的发射和激发滤光器的类型以及与成像样本有关的任何其他特性(例如,视野、光源、焦点、偏差等)。

准备阶段还可以包括针对特定入射角获得(例如,经由确定)发射滤光器的参考透射光谱(步骤306B)。入射角是相对于发射滤光器而言的,并且可以包括法向入射角(例如,正交)和倾斜(例如,锐角、钝角)入射角两者以考虑到入射角的变化,所述入射角的变化已经被解释为导致透射光谱的变化。表征特定入射角的透射光谱的信息可能是已知的,并且可以从滤光器制造商接收或者可以通过分析确定。在一些示例中,一个或多个处理器可以利用包括透射光谱、与图像有关的特性以及相关联的入射角的数据的库(例如,数据库)。在一些示例中,其中检测器基于其从发射滤光器接收的透射光谱来产生原始图像数据,计算装置可以使用检测器来追溯性地接收与原始图像数据相关联的透射光谱。

可以基于入射角来产生针对选定报告物和发射滤光器的校正信息(步骤308)。这可以涉及将报告物发射光谱(步骤304B)与发射滤光器的透射光谱(步骤306B)进行卷积。校正信息可以是具有要应用于在步骤302中获取的原始图像的像素的校正值的校正图像(例如,C(x,y))。校正图像C(c,y)中的校正值也可以是像素。像素可以按其x和y坐标(例如,(x,y))位于图像中。校正信息的产生在下面参考图3B进一步详细讨论。

在准备阶段期间,还可以确定光学成像系统和光学路径的光学特性。这可以包括获得参考荧光图像(例如,如在步骤314中),测量渐晕和读取偏差(例如,如在步骤312中),以及获得表征光学畸变的信息并确定多项式校正信息(例如,如在步骤310中)。

在校正阶段处,可以将各种校正应用于在测量阶段期间获取的原始图像,以便获得经校正图像(步骤316)。所述校正可以基于在校正阶段期间产生的校正信息。例如,如上所述,可以将针对选定报告物和发射滤光器获得的校正信息(步骤308)应用于原始图像。还可以基于在准备阶段(步骤310-314)期间获得的信息(例如渐晕、读取偏差、光学畸变等)来应用其他校正。例如,可以通过从参考对象(例如,空场)估计渐晕函数并使用所述函数对所获取的图像数据内的渐晕进行归一化来校正渐晕。用户可以对经校正图像上的数据(例如,荧光数据)进行测量,或者计算装置可以提供所述数据的测量结果(步骤318)。经校正图像可以呈现在计算装置的显示器上、保存到存储器、经由局域网和/或广域网传输、打印到硬拷贝等。

尽管图3A中的一些步骤被描述为处于三个阶段中的一个(例如,“准备阶段”中的步骤304A-314),但是流程图并不意在暗示所述步骤或所述阶段的任何特定顺序。此外,标识为处于准备阶段中的一些步骤可以在获得原始荧光图像之后执行。作为示例,可以在任何时间(例如在获得原始荧光图像之后),例如通过将发射光谱与透射光谱进行卷积来产生校正信息(步骤310)。

现在参考图3B,示出了用于产生校正信息(图3A中的步骤308)的示例性方法步骤的流程图300B,所述校正信息用于校正在发射滤光器的视野上的入射角。如上所述,校正信息可以应用于原始荧光图像,以便校正由发射滤光器提供的透射光谱由于那些入射角引起的光谱移位。如下面进一步详细描述的,产生校正信息可以涉及(i)执行选定报告物(例如,荧光团)的发射光谱和选定发射滤光器针对发射滤光器的视野中的每个位置的透射光谱的卷积,(ii)对在上限波长截止与下限波长截止之间的结果进行积分,以及(iii)基于在参考入射角(例如,0°)下发射光谱和透射光谱的卷积的积分对结果进行归一化。如上所述,产生校正信息可以包括产生基于像素的二维(2D)校正图像,其中图像的每个像素对应于发射滤光器的视野的相应位置并表示对该位置处的透射光谱的测量强度的校正。

如图3B所见,可以获得表征选定报告物的发射光谱的信息(步骤322A)。所述信息可以是在整个波长范围内发射光谱的强度的函数。该函数可以标识为S(λ),其给出对于指定波长λ的发射光谱的强度。作为示例,来自图2B的虚线曲线218描绘了报告物AF 635的样本发射光谱。选定报告物可以是在样本成像中所使用的报告物(例如,已知的荧光染料)。

附加地,可以获得表征在多个入射角下选定发射滤光器的透射光谱的信息(步骤322B)。对于每个入射角θ,所述信息可以包括对于该入射角在整个选定波长范围上的透射光谱的函数。该函数可以被标识为T(λ,θ),其给出在指定入射角θ下对于指定波长λ的透射光谱的强度。可以针对发射滤光器的视野的多个位置中的每一个接收透射光谱。发射滤光器的视野中的每个位置(x,y)对应于特定入射角。因此,给出某个位置在其对应的入射角下的透射光谱的强度的函数可以被标识为T(λ,θ(x,y)),其中θ(x,y)是入射角θ,其由源自位置(x,y)的光线引起。作为示例,来自图2B的实线曲线216描绘了640/20nm带通滤光器的各种入射角(例如,0°、5°、10°、...、23°)的样本透射光谱。

在获得表征选定报告物的发射光谱的信息以及获得表征在各种入射角下选定发射滤光器的透射光谱的信息之后,可以针对发射滤光器的视野中的每个位置(x,y)获得校正信息(步骤324-330)以便获得校正图像C(x,y)。

对于处于特定入射角θ的位置(x,y),可以针对该位置(x,y)和入射角确定透射光谱的强度。由于每个位置(x,y)与光照射发射滤光器的特定入射角相对应,因此可以使用在针对与该位置相对应的指定入射角的整个波长范围上的透射光谱的函数来确定强度值。

可以利用(i)表征发射光谱的函数S(λ)和(ii)表征与位置(x,y)相对应的入射角θ的透射光谱的函数T(λ,θ(x,y))来执行卷积。卷积(其运算用符号“*”表达)可以标识为:S(λ)*T(λ,θ(x,y))。

该卷积的结果可以在分别上限波长截止阈值λ

由于积分结果是基于受入射角变化影响的透射光谱,因此可以对积分结果进行“归一化”,以定量指示其与在参考入射角(例如,正交于发射滤光器的视野的入射角)下发射滤光器的透射光谱的关系。归一化可以涉及将积分结果除以归一化因子。归一化因子可以是表征报告物的发射光谱的函数S(λ)和表征在参考入射角θ

可以通过对发射滤光器的视野的对应于特定入射角的每个位置(x,y)执行上述归一化,来获得校正图像C(x,y)(步骤332)。为了清楚起见,校正图像C(x,y)可以被描述为具有针对发射滤光器的视野的每个位置(x,y)的“强度校正”。因此,所获取的原始图像(图3A中的步骤302)也可以被描述为具有在发射滤光器的视野的每个位置(x,y)处可以使用“校正图像”中的“强度校正”进行校正以形成经校正图像的“原始强度”、“初始强度”或“未校正强度”。在一个示例中,校正图像可以是包括视野的每个位置处的标记(例如,百分比)以校正由各种入射角引起的透射光谱的变化的图像或图像数据。

因此,对于位置(x,y)的强度校正可以是函数S(λ)和T(λ,θ(x,y))的积分卷积(步骤328)与函数S(λ)和T(λ,θ

其中(x,y)是对应于发射滤光器的视野中的位置并且继而对应于所获取的原始图像中的像素位置的坐标位置;S(λ)是表征报告物在特定波长λ下的发射光谱的强度的函数;T(λ,θ(x,y))是表征针对对应于位置(x,y)的入射角θ并在波长λ下来自发射滤光器的透射光谱的强度的函数;T(λ,θ

上面的等式可以用于确定针对在图3A的流程图300A的步骤302中获取的原始图像I

为了获得经校正图像I

图4A描绘了曲线图400和450,所述曲线图示出了对荧光团的发射光谱和在法向(0°)入射角下发射滤光器的透射光谱执行示例性卷积运算的结果。卷积是对两个函数(例如,表征发射滤光器的透射光谱的函数和表征报告物的发射光谱的函数)执行以产生表达如何通过其他函数修改一个函数的形状的第三函数的数学运算。例如,曲线图400示出了发射滤光器的透射光谱的强度曲线402和报告物(例如,荧光团)的发射光谱的强度曲线404,其是根据其波长(例如,在图4A中,在720nm与900nm之间)绘制的。曲线图450示出了曲线406,所述曲线表示透射光谱的曲线402和发射光谱的曲线404的卷积。如曲线图450中所见,由两条曲线402和404的卷积产生的曲线406的波长范围是从约805纳米到约830纳米,该波长范围与曲线图400中的曲线402和404的重叠区域的波长范围相对应。在一些实现方式中,可以使用除卷积之外的数学运算(例如,曲线乘法的其他数值实现方式)来表达示出如何能够通过报告物的发射光谱来修改发射滤光器的透射光谱的曲线图。另外,在适用时,可以替代地使用近似积分或求和的方法来执行被描述为积分的运算。

图4B描绘了一组示例性图像,所述图像可以用于使用本文描述的技术来获得经校正的荧光图像。

顶部左边图像408描绘了从图像的中心到边缘定位的一组井的所获取的原始荧光图像的示例。在该示例中,预期井的颜色(和/或阴影)会是均匀的。但是,如图像408中所示,井的颜色(和/或阴影)从所获取的原始荧光图像的中心到边缘发生变化(例如,从中心处的绿色(和/或稍深的阴影)变为边缘处的黄色(和/或稍浅的阴影))。颜色(和/或阴影)的这种变化是由于强度变化导致的,所述强度变化是由在发射滤光器的视野的边缘附近的偏离法向入射角的不同入射角引起的。

相比之下,底部左边图像414描绘了经校正图像的示例,该经校正图像已经被校正为考虑到由于不同的入射角而导致的在原始荧光图像408中观察到的光谱移位。如在图像414中所见,颜色(和/或阴影)已经被校正成使得井如所预期的那样从图像的中心到边缘展现出更均匀的颜色(和/或阴影)。与图像408中的颜色(和/或阴影)的变化相比,图像414中的颜色(和/或阴影)的相对均匀性可以通过根据发射光谱照射发射滤光器的入射角校正来自发射滤光器的透射光谱的强度来实现。

底部中间图像416描绘了所获取的原始荧光图像的另一示例。如图像416中所见,视野是平面的。视野内的每个位置(x,y)与光照射发射滤光器的特定入射角相对应。因此,法向(即,正交)入射角(例如,0°)对应于视野的中心。如图像416中远离中心的颜色(和/或阴影)的移位所指示,对于视野的离心位置,透射光谱的强度随着入射角改变而移位。换句话说,如在图像416中作为示例所示,在入射角与视野正交的图像416的中心处可能具有较强的强度,而在入射角更大的图像的边缘附近处可能具有较弱的强度。

底部右边图像418描绘了如上所述的校正图像的示例。如同图像416,图像418中的校正图像也是平面的,其中每个位置(x,y)对应于原始图像416中的位置。校正图像C(x,y)包括每个位置(x,y)处的强度校正,以考虑到对应于该位置的特定入射角。整个校正图像上的强度校正可以基于与校正图像418中的位置(x,y)相对应的相应入射角而变化。

如先前上文参考图3A所述,可以确定或获得光学成像系统和光学路径的光学特性(例如,从滤光器制造商获得)。除了校正由不同的入射角引起的变化之外,这些光学特性还可以用于校正原始图像。顶部中间图像410和顶部右边图像412例如分别描绘表示可以在准备阶段期间获得的图像。例如,顶部中间图像410是参考图像的示例,并且顶部右边图像是为光学成像系统提供读取偏差的图像的示例。

图5示出了可以用于实现本公开的各方面的计算环境500。如上文参考图1所述,一个或多个照明源502可以照射样本504,其可以激发报告物506(例如,荧光团),从而导致样本504发射发射光谱,所述发射光谱可以在检测器508(例如,CCD)处被过滤和接收。检测器508可以将与检测到的光谱相对应的信号提供给计算装置550的输入装置551。

本公开的系统可以包括计算装置550,所述计算装置执行控制一个或多个器械的操作和/或处理由所述系统获得的数据的软件。例如,所述软件可以包括记录在诸如磁盘、磁带、CD-ROM和半导体存储器的机器可读介质上的一个或多个模块。机器可读介质可以驻留在计算机内,或者可以通过网络I/O 557连接到计算机(例如,经由外部网络570进行访问)。然而,在替代示例中,可以用硬连线逻辑形式的计算机指令替代软件,或者可以用固件(即,记录在诸如PROM、EPROMS、EEPROM等的装置上的计算机指令)替代软件。如本文所使用的术语机器可读指令意在涵盖软件、硬连线逻辑、固件、目标代码等。

可以用特定指令对计算装置550进行编程,以执行本文所述的各种图像处理操作。计算机可以是例如特别编程的嵌入式计算机,诸如膝上型计算机或台式计算机之类的个人计算机,或另一种类型的计算机,其能够运行所述软件、发出合适的控制命令和/或实时记录信息。计算机可以包括:显示器556,其用于向器械的操作员报告信息(例如,显示原始荧光图像、校正图像、经校正图像等);输入装置551(例如,键盘、鼠标、与光学成像系统的接口等),其用于使操作员能够输入信息和命令;和/或打印机556,其用于提供由系统所进行的测量的打印输出或永久记录并用于打印图像。在键盘上输入的一些命令可能使用户能够执行某些数据处理任务。在一些实现方式中,数据获取和数据处理是自动化的,并且在初始化系统之后几乎不需要或不需要用户输入。

计算装置550可以包括一个或多个处理器560,该一个或多个处理器可以执行计算机程序的指令以执行本文描述的任何功能。指令可以存储在只读存储器(ROM)552、随机存取存储器(RAM)553、可移除介质554(例如,USB驱动器、光盘(CD)、数字通用盘(DVD))中,和/或任何其他类型的计算机可读介质或存储器(统称为“电子存储介质”)中。指令也可以存储在附接的(或内部的)硬盘驱动器555或其他类型的存储介质中。计算装置550可以包括一个或多个输出装置,诸如显示装置556(例如,用于查看产生的图像)和打印机558,并且可以包括一个或多个输出装置控制器555,诸如用于执行本文描述的操作的图像处理器。一个或多个用户输入装置551可以包括遥控器、键盘、鼠标、触摸屏(其可以与显示装置556集成在一起)等。计算装置550也可以包括一个或多个网络接口,诸如用于与外部网络570通信的网络输入/输出(I/O)接口557(例如,网卡)。网络I/O接口557可以是有线接口(例如,电、RF(经由同轴电缆)、光学(经由光纤))、无线接口或两者的组合。网络I/O接口557可以包括被配置为经由外部网络570进行通信的调制解调器。外部网络可以包括例如局域网、网络提供商的无线、同轴、光纤或混合光纤/同轴分配系统(例如,DOCSIS网络)或任何其他期望的网络。

计算装置550的元件中的一个或多个可以被实现为软件或硬件和软件的组合。可以进行修改以对计算装置550的部件进行添加、移除、组合、划分等。附加地,图5所示的元件可以使用已经被特别配置和编程为执行诸如本文描述的操作的计算装置和部件来实现。例如,计算装置550的存储器可以存储计算机可执行指令,所述计算机可执行指令在由处理器560和/或计算装置550的一个或多个其他处理器执行时致使计算装置550执行本文描述的一个、一些或全部操作。此类存储器和一个或多个处理器也可以或者替代地通过一个或多个集成电路(IC)来实现。IC可以是例如微处理器,所述微处理器访问编程指令或存储在ROM中和/或硬连线到IC中的其他数据。例如,IC可以包括具有专用于本文描述的计算和其他操作的门和/或其他逻辑的专用集成电路(ASIC)。IC可以基于从ROM或RAM读取的编程指令的执行来执行一些操作,而其他操作则硬连线到门或其他逻辑中。此外,IC可以被配置为将图像数据输出到显示缓冲器。

因此,本文描述的系统和方法可以用于通过校正由于不同入射角而导致的来自发射滤光器的透射光谱的测量强度的变化来产生更准确的图像(例如,荧光图像)。更准确的成像可能会带来巨大的好处,其可以帮助用户分析更准确的体内图像、标识和表征疾病区域以区分病变组织和正常组织诸如检测难以检测到的肿瘤边缘等。此外,准确图像在涉及多个活体受试者的高通量成像中特别有用。

虽然本公开已经参考示例性实现方式进行了特别示出和描述,但是本领域技术人员应了解,可以在不背离所要求保护的主题的精神和范围的情况下,在形式和细节上对本公开进行各种改变。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号