首页> 中国专利> 利用光学系统来进行表征和成像的方法

利用光学系统来进行表征和成像的方法

摘要

一种表征光学系统的方法,其中光学系统包括具有近端和远端的光纤,其中光纤包括非单模光纤;并且包括反射器组件,该反射器组件包括设置在光纤的远端处的反射器堆叠,其中反射器堆叠被布置成根据照射波长而提供不同的反射器矩阵。该方法包括:以多个表征波长将校准图案投射到近端上,然后在近端处获取与所反射的校准图案相关的数据。然后,使用与所反射的校准图案相关的数据和反射器矩阵来确定所述光纤的瞬时传输矩阵。

著录项

说明书

技术领域

本公开涉及一种表征光学系统的方法,特别是但不限于在光学系统用作成像系统的情况下。本发明的各方面涉及成像方法、涉及光学系统以及涉及包括光学系统的成像系统。

背景技术

通过光纤成像是众所周知的,并且变得越来越普遍。通过某些类型的光纤(称为成像光纤束或多芯光纤(multicore fibre,MCF))进行白光成像是用于商业管道镜和医用内窥镜的成熟的技术。最近,相干光(即来自激光器的光)已经被用于通过其他种类的光纤(诸如多模光纤(multimode fibre,MMF))成像。使用相干光的优点是图像可以在没有透镜的情况下形成,这意味着内窥镜不需要比光纤本身(通常<500μm)更厚。在MMF成像的情况下,由于更高的“信息密度”,这种大小优势得到增强——也就是说,MMF相比于MCF提供每单位面积更多的分辨率像素。这开启了在身体的以前无法到达的区域(例如大脑深处)中进行微创光学成像的机会。因此,已经有许多研究考察了使用MMF和MCF两者用于相干光成像。

白光内窥镜检查是用于针对恶性病变前(发育不良)和癌症查视大面积的胃肠(GI)道和肺部的标准护理。例如,巴雷特食管是获得性化生疾病,其使患者易患食管腺癌。在存在发育不良的情况下,巴雷特患者的癌症风险显著增加,每年高达30%以上。发育不良的早期标识使得能够通过简单的内镜切除或射频消融进行治疗性干预。不幸的是,目前的监测程序使用结合随机活检的白光内窥镜检查,这两种方法一起仅示出对发育不良的40至64%的敏感性,从而导致高错失率。食管癌的5年生存率仅为15%,但当患者被诊断为早期疾病时可以高达80%,因此迫切需要内镜镜早期检测方法方面的改进。虽然应用染料可以提高对比度,但它们的使用延长程序时间,并可能导致毒性。无标记方法可以更好地解决对改进的发育不良的组织对比度的临床上未满足的需求。

发育不良中细胞的局部增殖散射光,从而产生异常失真的波前。相位成像已被证明对这种失真高度敏感。另外,双向衰减、延迟和圆形度的偏振成像测量可以通过散射进行修改,也被光学各向异性分子(诸如肿瘤中丰富的胶原蛋白)的较高浓度所干扰。光散射光谱学已经示出了利用相位和偏振信息检测发育不良的前景,但是只涉及较窄的视野。使用侧向扫描机制的光学相干断层扫描部分地缓解了这个限制,但对所得到的截面图像的解释仍然具有挑战性。此外,两种方法都需要专用的复杂仪器,这具有有限的内窥镜应用。

柔性医用光纤镜将光学信息从患者体内中继到外部成像系统,该成像系统可以用于在具有相对简单和低成本的元件(诸如编码孔径、光栅和偏振光学器件)的现有临床认可的系统中实现直接宽视场相位和偏振成像。商用内窥镜通常使用远侧传感器(“尖端芯片”),并且尽管已经开发了用于其他模态的具有远侧光学器件的原型装置(例如全息成像),但是附加的体积(>2倍宽度)使得与现有内窥镜手术的集成变得困难。

光纤束在宽度方面通常<1mm、独立于成像模态,从而使其成为用于在内窥镜检查中实施新型医学成像技术的有吸引力的候选对象。然而,MCF和MMF两者是以确定但高度复杂的方式散射光,这种方式是弯曲和温度的函数。这种散射在大多数情况下会妨碍成像,或者至少会极大地降低成像质量,并且因此必须被抵消。这可以使用传输矩阵(transmissionmatrix,TM)方法在成像之前预先表征光纤的全部光学传递特性来以非常高的精度实现。典型地,通过在光纤的一个端部处发送已知的光场并测量在另一端部处发出的光来测量TM。通过创建许多不同的向量x

Y=AX

其中

Y=[y

X=[x

然后可以求解这些方程来确定A,即传输矩阵(TM),例如通过计算以下内容:

YX

实际的图像向量x

然而,到目前为止,仍然存在使用TM特征进行光纤成像的大多数工作的关键限制。这就是已知的光场必须在一个刻面(facet)光纤中发送,并在另一个面光纤中测量,以便获得TM。这给实际应用带来了问题,因为光纤的一个端部(远侧刻面)可能无法接近,例如在身体内部深处。不期望的是在远侧刻面处引入扫描机构,因为这将引入附加体积,从而降低该技术的关键益处:即,成像光纤是毛发细的(<500μm)。尽管微型扫描机构已经被集成到直径为1mm的内窥镜中,但这种方法不容易扩展到允许附加的高级处理,例如偏振测量或相位检测。将所有光学器件定位在体外近侧刻面处允许高级成像的更大灵活性。没有远侧光学器件的这种系统不能简单地通过预先测量光纤TM来实现,因为光纤对将在体内遇到的弯曲和温度方面的微小变化极其敏感。因此,在实际应用中,预先测量的TM不足以进行图像恢复。

本发明的实施例的目的是克服与现有技术相关的某些缺点。

发明内容

根据本发明的一方面,提供了一种表征光学系统的方法,其中该光学系统包括:

具有近端和远端的光纤;以及

反射器组件,该反射器组件包括设置在光纤的远端处的反射器堆叠,其中反射器堆叠被布置成根据照射波长而提供不同的反射器矩阵;

该方法包括:

以多个表征波长将校准图案投射到近端上;

在近端处获得与所反射的校准图案相关的数据;以及

使用与所反射的校准图案相关的数据和反射器矩阵来确定光纤的瞬时传输矩阵。

在某些实施例中,反射器矩阵可以通过以下确定:

确定表征配置下光纤的表征传输矩阵;

以多个表征波长的每一个,确定表征配置下的光纤的反射矩阵,其中反射器堆叠设置在远端处;以及

使用反射矩阵和表征传输矩阵确定反射器矩阵。

确定表征传输矩阵可以包括以多个表征波长中的每一个在表征配置下将光传输通过光纤,检测在多个表征波长中的每一个下传输的光,使用所检测的所传输的光确定表征传输矩阵。

检测所反射的校准图案可以包括测量所反射的校准图案的幅值。附加地或替代性地,检测所反射的校准图案包括测量所反射的校准图案的相位。附加地或替代性地,检测所反射的校准图案包括测量所反射的校准图案的偏振。

该方法可以包括从所反射的校准图案产生方形反射矩阵,其中确定瞬时传输矩阵包括使用方形反射矩阵。

根据本发明的另一方面,提供了一种成像方法,包括:

提供光学系统,该光学系统包括:具有近端和远端的光纤以及反射器组件,该反射器组件包括设置在光纤的远端处的反射器堆叠,其中反射器堆叠被布置成根据照射波长而提供不同的反射器矩阵;

如上所述表征光学系统;

以选自表征波长的成像波长照射靠近远端的样本;

在近端处获取与样本相关的图像数据;以及

使用与样本相关的图像数据和瞬时传输矩阵产生经恢复的图像数据。

该方法还可以包括获取反射器组件的传输矩阵,其中确定瞬时传输矩阵或产生经恢复的图像数据可以包括使用反射器组件的传输矩阵。

产生经恢复的图像数据可以包括产生经恢复的幅值数据。附加地或替代性地,产生经恢复的图像数据可以包括产生经恢复的相位数据。附加地或替代性地,产生经恢复的图像数据可以包括产生经恢复的偏振数据。在某些非限制性实施例中,样本可以包括人或动物组织。样本可以是体内的、离体的或体外的。

根据本发明的另一方面,提供了一种光学系统,该光学系统包括:具有近端和远端的光纤以及反射器组件,该反射器组件包括设置在光纤的远端处的反射器堆叠,其中反射器堆叠被布置成根据照射波长提供不同的反射器矩阵。

反射器堆叠可以包括多个反射器。多个反射器中的每一个可以通过吸收式滤波器与相邻的反射器分离。多个反射器可以包括光学元表面。

在某些实施例中,光学系统还可以包括:

照射源,该照射源光学耦合到光纤;

用于生成用于投射到光纤的近端上的校准图案的装置;以及

检测装置,该检测装置用于检测来自光纤的近端的图像。

根据本发明的另一方面,提供了一种确定受试者中生理状况的存在的方法,该方法包括:

使用上述方法或上述光学系统产生与组织样本相关的经恢复的图像数据;以及

根据经恢复的图像数据,确定组织样本中的生理状况的存在。

确定组织样本中生理状况的存在的步骤可以包括:

使用经恢复的图像数据作为对比机制来标识与生理状况相关联的组织形态或微结构;和/或

使用经恢复的图像数据来产生示出幅值、相位和偏振中的一个或多个的空间变化或空间熵的图像,并使用其差异来描绘组织样本的健康区域(例如,不受生理状况影响的区域)和组织样本的受生理状况影响的区域(例如,如下面参考图11所述)。

生理状况例如可以是癌症或癌前状况、疤痕组织的存在或炎症的存在。以上描述的方法在确定其他生理状况的存在时可能是有用的。

根据本发明的另一方面,提供了一种计算机实施的方法,包括:

接收与使用上述方法或上述光学系统获取的组织样本相关的经恢复的图像数据;以及

根据经恢复的图像数据,确定组织样本中的生理状况的存在。

确定组织样本中生理状况的存在的步骤可以包括:

使用经恢复的图像数据作为对比机制来标识与生理状况相关联的组织形态或微结构;和/或

使用经恢复的图像数据来产生示出幅值、相位和偏振中的一个或多个的空间变化或空间熵的图像,并使用其差异来描绘组织样本的健康区域(例如,不受生理状况影响的区域)和组织样本的受生理状况影响的区域(例如,如上文参考图11所述)。

生理状况例如可以是癌症或癌前状况、疤痕组织的存在或炎症的存在。以上描述的方法在确定其他生理状况的存在时可能是有用的。

附图说明

下文将参照附图进一步描述本发明的实施例,在附图中:

图1A是根据本发明实施例的光学系统的示意性视图;

图1B是根据本发明的替代性实施例的光学系统的示意性视图;

图2A是处于传输模式的图1A和图1B的光学系统的一部分的示意性视图,其中光纤处于表征配置;

图2B是处于反射模式的图1A和图1B的光学系统的一部分的示意性视图,其中光纤处于表征配置;

图2C是处于传输模式的图1A和图1B的光学系统的一部分的示意性视图,其中光纤处于表征配置;

图2D示出了根据本发明的实施例的用于反射模式下的光纤TM表征的示意性物理模型;

图2E示出了根据本发明的实施例的用于光纤成像的示意性物理模型;

图3A是根据本发明的实施例的光纤和3层反射器组件的示意性视图;

图3B是示出图3A的反射器组件的透射特性的曲线图;

图4A是根据本发明的实施例的光纤和4层反射器组件的示意性视图;

图4B是示出图4A的反射器组件的透射特性的曲线图;

图5A是根据本发明的实施例的反射器的示意性视图;

图5B和图5C是根据本发明的实施例的反射器的电子显微照片;

图6示出了根据本发明的实施例的确定反射器矩阵的方法;

图7示出了根据本发明的实施例的确定瞬时传输矩阵的方法;

图8示出了根据图7的方法来投射校准图案和检测所反射的校准图案的步骤的非限制性详细示例;

图9示出了根据本发明的实施例的成像的方法;

图10示出了与小鼠食管的早期病变的无标记标识相关的结果,其中:部分(a)是示出来自9个样本和5个内窥镜模态的健康组织和病变的截面的合成图像;部分(b)示出了针对包含病变的6个样本中的每一个独立计算的、不同模态的对比度噪声比;以及部分(c)示出了接收器操作特性曲线,其示出了当应用具有变化阈值的二进制分类器来在健康组织和病变组织之间进行区分时的不同模态的性能;

图11示出了根据本发明的实施例的根据经恢复的图像数据来产生熵/均值的图像的方法;

图12A示出了根据本发明的实施例的原始传输矩阵和相对应的一阶经恢复的传输矩阵的示例;

图12B示出了图12A的传输矩阵重建中的成比例的逐元素误差;

图13A示出了根据本发明的实施例的原始传输矩阵和相对应的一阶经恢复的传输矩阵的另外的示例;

图13B示出了图13A的传输矩阵重建中的成比例的逐元素误差;以及

图14示出了根据本发明的实施例的使用实验测量的传输矩阵来模拟重建目标的幅值、相位和偏振图像的示例。

具体实施方式

图1A示出了根据本发明的实施例的光学系统10的示意性视图。光学系统10包括光源12,该光源可以以多种波长提供照射。在优选实施例中,光源12是可调激光器。第一透镜14a在光束被第一偏振分束器(polarizing beam splitter,PBS)16a分开之前准直由光源12提供的光束。被分开的光束的透射部分被第一光束反射器18a反射,使得它在穿过第一半波片20a和第二PBS 16b之前穿过第一空间光调制器(spatial light modulator,SLM)22a(其构成用于生成校准图案的装置)。被第一PBS 16a分开的光束的反射部分在穿过第一SLM22a并被第二光束反射器18b反射之前穿过第二半波片20b。光束的这一部分然后穿过第二PBS 16b,以便与光束的透射部分组合。第一PBS 16a、第二PBS 16b、第一半波片20a、第二半波片20b、第一SLM 22a、第一光束反射器18a和第二光束反射器18b的组合形成第一全息子系统15a。

然后,重新组合的光束在被第二透镜14b聚焦之前穿过第一非偏振分束器(non-polarising beam splitter,NPBS)24a。聚焦的光束然后进入光纤26。光纤26可以包括能够促进光传播的任何合适类型的光纤。在某些实施例中,光纤26可以包括非单模光纤(即,不表现为单模光纤的光纤)。特别地,非单模光纤可以是成像光纤束或多芯光纤(MCF)、多模光纤(MMF)、双包层光纤、光子晶体光纤、空芯光纤或其他微结构光纤。当这种光纤在单模和多模变体中可用时,本申请中的术语“非单模”并不旨在涵盖单模变体。

光纤26具有近端26a和远端26b。在图1A中示出的配置中,近端26a光学耦合到由第二透镜14b聚焦的光束,而远端26b被定位成用于对样本30成像。

以上描述的第一全息子系统15a能够控制进入光纤26的近端26a的光的光学幅值、相位和偏振,从而能够在表征期间创建任意校准图案,并在成像期间创建任意照射(下面进一步描述)。

样本30可以是(但不是必须的)人或动物组织,该人或动物组织可以是体内、离体或体外的。人或动物组织可以形成或已经形成受试者的胃肠道或呼吸系统的一部分。

反射器组件42(下面进一步描述)设置在光纤26的远端26b上。离开光纤26的远端26b的光被样本反射,并被返回到远端26b,返回朝向第二透镜14b,该第二透镜然后用于准直光束。经准直的光束被第一NPBS 24a反射,以便将其与在相反方向(即,朝向光纤26)上传播的光束分离。

被分离的光束在被第三PBS 16c分开之前穿过第二NPBS 24b。被分开的光束的透射部分被第三光束反射器18c反射,使得它在穿过第三半波片20c和第四PBS 16d之前穿过第二SLM 22b。被第三PBS 16c分开的光束的反射部分在穿过第二SLM 22b并被第四光束反射器18d反射之前穿过第四半波片20d。光束的这一部分然后穿过第四PBS 16d,以便与光束的透射部分组合。第三PBS 16c、第四PBS 16d、第三半波片20c、第四半波片20d、第二SLM22b、第三光束反射器18c和第四光束反射器18d的组合形成第二全息子系统15b。

组合光束然后穿过45度偏振器34,由第三透镜14c聚焦,并且然后由呈检测器36的形式的检测装置检测。检测器36可以包括例如CCD。第二全息子系统15b提供了使检测器除了所检测的光束的幅值/强度之外还能够确定光学相位和偏振的装置。

在首次用于成像之前,光学系统10必须被表征。特别地,必须首先表征光纤26,然后是反射器42。如下所述,光学系统10的表征可以利用光纤26(图1A中由虚线32示出的路径)和第四透镜14d的替代性配置。

呈处理器(例如,在PC内)形式的处理装置38可通信地耦合到第一SLM 22a,用于控制由第一SLM 22a显示的图案(例如,全息图),并且类似地耦合到第二SLM 22b。处理器38也通信地耦合到检测器36,并被配置成接收由检测器38获取的数据。

图1B示出了具有可选干涉仪臂50的图1A的光学系统10的示意性视图。特别地,第一干涉仪NPBS 52a被定位在第一透镜14a和第一全息子系统15a之间。这将由光源12提供的光束分开,并且干涉仪臂50将其引导到被定位在45度偏振器34和第三透镜14c之间的第二NPBS。因此,干涉仪臂50提供从光源12到检测器36的参考光束,使得原始光束和成像光束的性质(例如,相位)可以相互比较。

图2A是处于传输模式的图1A和图1B的光学系统10的一部分的示意性视图,其中光纤26处于表征配置。特别地,光纤26遵循路径32,使得进入近端26a的光沿着光纤26传输,并在被第四透镜14d准直之前在远端26b处离开。经准直的光束然后在被检测器36检测之前经由第二NPBS 24b传递到第二全息子系统15b(上文描述)。同时,第一光束光阑(stop)40a防止还没有传输通过光纤26的光到达第二全息子系统15b。

图2B是处于反射模式的图1A和图1B的光学系统的一部分的示意性表示,其中光纤26处于表征配置并且添加了反射器组件42。也就是说,光纤26处于与其在光学系统10处于传输模式时(即,上面参考图2A描述的)基本相同的物理配置。与上面关于图2A描述的配置相反,第一光束光阑40a不再存在,并且第二光束光阑40b被定位成防止离开光纤26的远端26b的光到达第二NPBS 24b(并且因此到达第二全息子系统15b)。相反,被反射器组件42反射的光离开光纤26的近端26a,并且然后被第二透镜14b准直,并被第一NPBS 24a引导朝向第二全息子系统15b。在穿过第二全息子系统15b之后,光被检测器36检测到。图2B附加地示出了反射器组件42的详细视图。下面参照图3A、图3B、图4A和图4B描述反射器组件42的具体实施例。

图2C是处于传输模式的图1A和图1B的光学系统的一部分的示意性图示,其中光纤26处于表征配置并且反射器组件42处于适当位置。也就是说,光纤26处于与其在光学系统10处于传输模式时(即,上面参考图2A描述的配置)基本相同的物理配置。特别地,光纤26遵循路径32,使得进入近端26a的光沿着光纤26传输,在远端26b处离开,并且在被第四透镜14d准直之前穿过反射器组件42。经准直的光束然后在被检测器36检测之前经由第二NPBS24b传递到第二全息子系统15b。同时,第一光束光阑40a防止还没有传输通过光纤26的光到达第二全息子系统15b。

图3A示出了反射器组件42的实施例,其包括由玻璃层44、一对反射器48和一对吸收式滤波器46形成的“反射器的堆叠”。在移出光纤26的远端26b的方向上,组件的顺序是:玻璃层44、反射器48、吸收式滤波器46、反射器48、吸收式滤波器46。图3B示出了根据波长的图3A的反射器组件42的示例透射曲线。虽然针对最后的吸收式滤波器46示出的透射曲线指示带通滤波器,但是最后的(或者实际上,任何)吸收式滤波器46可以是带通或长通滤波器。反射器48中的每一个可以是能够反射光的任何表面或结构。在某些实施例中,反射器48可以各自包括光学元表面。例如,反射器48可以包括具有空间异构线性二色性(或双向衰减)的等离子体反射器。这种结构可以使用电子束光刻图案化然后是金属沉积以产生高分辨率线栅偏振器来制造。Williams等人(C.Williams,R.Bartholomew,G.Rughoobur,G.S.D.Gordon,A.J.Flewitt,and T.D.Wilkinson,“Fabrication of nanostructuredtransmissive optical devices on ITO-glass with UV1116 photoresist using high-energy electron beam lithography(利用高能电子束光刻在ITO玻璃上用UV1116光刻胶制作纳米结构透射光学器件),”Nanotechnology,vol.27,no.48,p.485301,2016.)描述了这种结构的合适方法和示例,其整体通过引用结合于此,并且特别是关于其中描述的制造方法和线栅等离子体偏振器。图5A、图5B和图5C示出了根据本发明的实施例的示例性反射器48。图5A、图5B和图5C中示出的反射器48是具有异构双向衰减的等离子体反射器。图5A突出显示了金属区域和透明基板的区域之间的区别。图5B示出了玻璃基板上由银制成的反射器48的电子显微照片。图5C示出了玻璃基板上由铝制成的反射器48的电子显微照片。

图4A示出了反射器组件42的替代性实施例,其包括包含玻璃层44、三个反射器48和三个吸收式滤波器46的“反射器的堆叠”。在移出光纤26的远端26b的方向上,组件的顺序是:玻璃层44、反射器48、吸收式滤波器46、反射器48、吸收式滤波器46、反射器48、吸收式滤波器46。图4B示出了根据波长的图4A的反射器组件42的示例透射曲线。

在不同的波长处,反射器组件42提供不同的反射器矩阵,从而有效地在反射器48之间切换。假设光纤26的传输矩阵在这些不同波长的每一个下相对相似,可以使用反射器矩阵来确定传输矩阵,如下所述。

在替代性实施例中,反射器的堆叠可以包括其他数量的反射器和/或吸收式滤波器,和/或能够提供依赖于入射光的波长的反射器矩阵的任何其他布置。

图6示出了根据本发明的实施例的方法100。方法100是确定反射器矩阵的方法。在光纤处于表征配置的传输模式中(如图2A所示),来自光源12的光传输通过光纤26,并由检测器36检测。以这种方式,可以为多个表征波长λ

接下来,在保持表征配置的情况下,反射器组件42被插入并对接耦合光纤26的远端26b(如图2B所示)。在这个反射模式中,在步骤104,在表征波长λ

使用所确定的光纤26的表征传输矩阵和所测量的反射矩阵,可以确定反射器矩阵R(步骤106),因为M

接下来,移除第二光束光阑40b,并且替换第一光束光阑40a(采用图2C中示出的配置),以使得能够测量反射器组件42的传输矩阵Z。使用图2C的配置,光传输通过光纤26和反射器组件42,其中所传输的光束传递到第二全息子系统15b。这种设置允许测量光纤26和反射器组件42的组合的传输矩阵P。使用这个关系

在采集样本图像数据之前,需要进行一些进一步的表征(这一次在如图1A和图1B所示的成像配置下)。图7示出了根据本发明实施例的确定瞬时传输矩阵(即,当处于成像配置时,对应于瞬时条件(例如配置或温度)的传输矩阵)的方法109。方法109包括,在步骤108,以多个表征波长将校准图案投射到光纤26的近端26a上。在步骤110,在近端26a处获取与所反射的校准图案相关的数据,并且在步骤114,使用与所反射的校准图案相关的数据和在步骤106确定的反射器矩阵来确定光纤26的瞬时传输矩阵。

图8示出了来自方法109的、用于投射校准图案和测量所反射的校准图案的步骤112(其是步骤108和110的组合)的详细非限制性示例。表征测量在步骤116开始。在步骤118选择第一表征波长,并且光源12以表征波长产生光斑阵列,然后将其投射到光纤26的近端(“刻面”)26a上。该阵列可以包括椭圆偏振、均匀间隔的光斑的阵列。该阵列是使用第一SLM22a上的全息图生成的。在步骤120,阵列沿着光纤26的近侧刻面26a移动一个位置。在步骤122,使用第二SLM 22b和检测器36来测量与返回(即被反射)到光纤26的近侧刻面26a的光的幅值、相位和偏振相关的数据。接下来,在步骤124,调整第一SLM 22a上的全息图,以便继续将光斑的阵列投射到近端刻面26a上,但是使得它同时在近侧刻面26a上的固定位置处显示附加光斑(“参考光束”),该附加光斑不会随着光斑的阵列移动而改变。在步骤124中,测量参考光束的相位,以确定瞬时传输矩阵估计所需的全局相位。在步骤126,光斑的阵列的偏振被改变为另一椭圆状态(例如,与先前状态正交)。在步骤128,由第二SLM 22b和检测器36测量与近侧刻面26a处的光的幅值、相位和偏振相关的数据。步骤130检查是否已经成像(即,由检测器36测量)了足够数量P的光斑阵列平移。如果否,则在重复步骤130的检查之前,重复步骤120至128。如果是,则步骤132检查是否有足够数量Q的波长已经用于测量(例如,取决于所使用的反射器组件,Q=3或4)。如果否,在步骤118选择新的表征波长,并且光源12以表征波长产生光斑阵列,然后将其投射到光纤26的近端(“刻面”)26a上。新的表征波长可以与先前的表征波长相差量dλ,该量例如可以在0.1至2nm之间。使用新的表征波长,在重复步骤132的检查之前,重复步骤120至130。一旦足够数量Q的波长被用于测量,则表征数据的收集完成(步骤134)。

图2D中示出了用于帮助理解本发明的某些方面的物理模型。考虑了这样的模型,其中记录了包含M个像素的光场,每个像素具有在两个正交偏振中编码幅值和相位的复值向量。在某个输入平面27a(例如,近侧刻面26a)处的采样场被排序成向量

其中

是反射矩阵(reflection matrix,RM)。从物理上来说,C

零阶模型假设不同反射器48下的TM相同,即:

物理上,这对应于明显小于光纤26光谱带宽的波长调制。这个模型具有显著的优点,即,如果使用至少3个波长(Q≥3),从而产生至少3个RM,则可以以相对简单的方式来恢复A,主要依靠分析步骤(下文进一步描述)。这种分析方法还要求,每个PM R

通过与零阶模型相关的进一步解释,使用相同的采样矩阵T,可以产生所有两个(或三个)反射模式矩阵的“蒸馏”方形版本(在不同的波长下获得),其被表示为C1、C2和C3。因为这些中的每一个使用不同的反射器48,但是具有大致相同的传输矩阵,所以可以写出以下内容:

C

C

C

然后,可以采取以下非限制性步骤来恢复瞬时传输矩阵A(然而,可以采用任何合适的替代性方法)。

从(3)、(4)和(5)开始:

C

AC

R

其中

以类似的方式,可以导出以下内容:

C

AC

R

其中

(7)和(9)两者是Sylvester等式的示例,所以可以采用求解他们的已知方法。

因为(7)和(9)具有RHS=0,所以平凡解A=0满足两个等式。然而,必须存在A的至少一个其他非平凡解。因此,可以首先进行尝试以确定非平凡解的空间,使得可以在这个空间内搜索真实答案。这可以通过施行Bartels-Stewart算法的修改版本来求解Sylvester等式来实现,该算法在R.Bartels和G.W.Stewart(R.Bartels and G.W.Stewart,“Algorithm432:Solution of the Matrix Equation{A X+X B=C}"(算法432:矩阵等式{A X+X B=C}的解),Comm.ACM,vol.15,no.9,pp.820-826,1972)中描述,其全部内容通过引用结合于此。与其他方法(例如,使用Kronecker积求解矢量化矩阵vec(A))相比使用这种方法的优点在于由于其存储器使用而其计算复杂度被显著降低(O(n

使用Schur矩阵分解(在R.A.Horn and C.R.Johnson,Matrix analysis.2013中描述,其全部内容通过引用结合于此),任何方形矩阵A可以被分解为:

A=QUQ

其中Q是酉矩阵,并且U是上三角矩阵。重要的是,U的对角线包含了A的特征值。这些呈任意的顺序,但是存在可以使得这些能够被排序(例如以幅值的降序)的一些算法。

从(7)和(10),其可以写为:

将(11)和(12)代入(7)给出:

如果:

则:

U

(14)是另一Sylvester等式,但关键的是,UR和UC是上三角的,因此它可以逐元素求解。如果所有矩阵都是方形的并且具有大小N x N,那么可以首先求解RHS零矩阵的元素(N,1)。可以看出:

ur

其中ur

可以假设R

假设R

接下来,考虑元素(N–1,1),给出:

ur

由于已知a

ur

已知对于每个m,urm,

重新布置,我们可以写为:

如果P在(16)中从1变化到Q-1,这产生了Q-1个等式。如果A’的对角元素任意固定,则剩下Q-1个未知数。这个线性方程组可以被求解,以求出A’的第P列的所有其他元素。通过改变Q并求解每一个最终方程组,给定一组任意对角元素a

生成N个正交的1×N复向量,并且对于这些向量中的每一个,求出(14)的相关解,称为A’

w

实际上,现在的任务是解决N维问题以求解N×N矩阵,这是复杂度方面的显著降低。通过注意到(17)是过度确定的问题,实现了问题的进一步减少。也就是说,为了唯一地确定最优的权重集w,只考虑包含来自每个A

替代性的减少解空间可以如下构造。如果取来自每个A

B=[b

使得我们可以写为:

Bw

其中b

B

Iw

w

然后我们可以将两边乘以B从而得到:

Bw

并代入在(19)中:

b

显然,然后解b

如果使用反射器组件42的4层堆叠设计(如图4A所示),则图4A的反射器组件42具有可用的三个反射器48,因此可以确定来自C

来自3个反射器48的不同的反射量将产生C

来自三个反射器48的不同的反射量由所使用的特征波长和吸收式滤波器46的光谱曲线确定。在某些实施例中,这些波长和光谱曲线可以通过优化过程来确定,以产生最大不同的R

在某些实施例中,b

这个构思可以被形式化为确定传输矩阵的统计先验分布。为了确定这样的分布,可以测量许多实验传输矩阵实现方式,即,在随机化弯曲和温度条件下的各种光纤并且然后将多元分布拟合到这个数据。所估计的传输矩阵可以由A

这种方法求出真实解空间的能力依赖于这样的事实,即,典型地,矩阵A

第二方法寻求通过添加第三反射器48来实现优化。通过递归(21)和(22)的代入,以下表达式可以写成:

其中M通常>3。

等式(24)表示用于求出矩阵的主特征值的功率方法的适配版本(在E.Bodewig,Matrix Calculus.1959中描述,其全部内容通过引用结合于此),因为已知对应于期望的解的矩阵(B

这种优化方法具有这样的优点,即不需要先验知识来产生唯一解。另外,它不是迭代过程,并且可以在单个步骤中恢复传输矩阵。另一方面,需要三个反射器48(即,利用图4A中示出的反射器组件42),而不是以上描述的现有分布优化方法所需的两个(如图3A所示)。

在给定零阶方法的限制的情况下,考虑了替代性模型,该模型将不同波长λ

其中

dm=dAm (26)

其中

y′=e

由于

矩阵对数一般产生退化解,具有形式

将等式28和29代入等式27如所期望那样产生方程25。

与零阶模型相反,当TM通过该一阶模型相关时,基于在不同波长下应用的等式2求解

使用迭代梯度下降解算器可以求出循环中每个子优化问题的解

如可以理解的那样,在本发明的某些实施例中,所投射的校准图案最初没有被分离成模式。相反,全部入射模式被反射,而没有引入任何时间延迟。更具体地说,所有光纤模式的随机叠加(因为每个光学波长分布在全部光纤模式的随机叠加上)被反射并任意重组/混合。有利的是,这种方法可以利用任意数量的光纤模式,从而使其特别适合于成像(其需要大量模式)。

一旦瞬时传输矩阵已经被确定(例如,通过上述方法),样本30可以被成像。图9示出了根据本发明的实施例的成像的方法200。方法200包括在步骤202照射样本30,其中样本30靠近光纤26的远端26b,并且成像波长从表征波长中选择。在步骤204,在光纤26的近端26a处获取与样本相关的图像数据。使用所获取的图像数据和瞬时传输矩阵,在步骤206产生经恢复的图像数据。特别地,瞬时传输矩阵的逆用于根据所获得的图像数据产生经恢复的图像数据。产生经恢复的图像数据的步骤可以包括产生经恢复的相位数据,和/或产生经恢复的相位数据,和/或产生经恢复的偏振数据。

方法200的非限制性示例在下文中阐述。

使用新的波长进行成像,该成像波长λ

接下来,从成像的角度考虑物理模型(图2E),其中光穿过全反射器组件42,该全反射器组件在波长λ

其中

G由样本30和反射器组件42的远侧表面之间的距离d参数化(图2E)。一般而言,d不是先验已知的,但可以在运算期间进行估计。

以矢量

从目标30反射的光向后传播,首先通过自由空间G

接下来,还考虑从反射器组件42反射回来的照射光:

我们对两个场求和,并且通过光纤26传播回来,从而给出:

作为相机平面处的所测量的量,从而获取图像数据(步骤204)。

目标是从原始的所测量的数据y

其中(..)

虽然现有技术方法已经间接使用相位和/或偏振信息来从MMF恢复仅幅值图像,但是本发明的实施例能够直接获得具有这些属性以及幅值信息的宽视场正面图像。

利用上述光学系统(和相关联的方法)的全息内窥镜可以在高达1至2cm的工作距离和~1×1cm的视场下记录高分辨率(例如,9.0±2.6μm幅值、相位、36.0±10.4μm偏振)图像,与常规内窥镜检查一致。在没有远侧光学器件的情况下自适应地改变工作距离的能力是与本发明的实施例相关联的关键优点。本发明的实施例提供了对大面积异常的潜在“危险信号”测量,随后放大以执行高分辨率“光学活检”,这在单个设备中目前是不可能的。

与本发明的实施例相关联的另外的优点是,相对于现有技术的设备和方法,它对更宽范围的光学参数敏感。原则上,这种提高的灵敏度足以观察到与早期肿瘤相关联的细胞的较小的局部增殖。

定量相位和分辨偏振特性已经示出了在体外和体内刚性内窥镜研究中增强癌症检测的前景。进一步,它们在很大程度上对不同测量条件下绝对强度方面的变化具有鲁棒性。因此,在受试者体内进行诊断性内窥镜检查期间,通过柔性内窥镜获取这些特性可以增强恶性前期和恶性变化的对比度。

图10部分(a)示出了合成图像,该合成图像示出了来自9个样本(小鼠食管)和5个内窥镜模态的健康组织和病变的截面。在参考荧光图像中可以观察到一系列局灶性和弥漫性早期肿瘤病变。图10的部分(b)示出了对包含病变的6个样本中的每一个独立计算的不同模态的对比度噪声比。相位熵与和

获取等同于由荧光染色提供的无标记诊断的无标记诊断避免了延长的程序时间的需要和与体内染料应用相关联的潜在毒性。重要的是,相位和偏振图像可能比仅幅值图像包含更多相关的诊断信息,表明了比使用当前商用内窥镜可能的关键进步。一旦知道了传输矩阵,在光纤的远端全息产生照射图案的能力也将使其他成像模态(例如荧光)成为可能。它甚至可以为通过内窥镜的超分辨率成像技术(诸如STED或STORM)作准备。

图11示出了根据本发明的实施例的根据经恢复的图像数据产生熵/均值的图像的方法。这种图像可以用于确定受试者体内生理状况(例如癌症或癌前状况)的存在、疤痕组织的存在或炎症的存在。

根据本发明的一方面,提供了一种确定受试者体内生理状况的存在的方法,该方法包括:

使用上述方法或上述光学系统产生与组织样本相关的经恢复的图像数据;以及

根据经恢复的图像数据,确定组织样本中的生理状况的存在。

确定组织样本中生理状况的存在的步骤可以包括:

使用经恢复的图像数据作为对比机制来标识与生理状况相关的组织形态或微结构;和/或

使用经恢复的图像数据来产生示出幅值、相位和偏振中的一个或多个的空间变化或空间熵的图像,并使用其差异来描绘组织样本的健康区域(例如,不受生理状况影响的区域)和受生理状况影响的组织样本的区域(例如,如上文参考图11所述)。

生理状况例如可以是癌症或癌前状况、疤痕组织的存在或炎症的存在。以上描述的方法在确定其他生理状况的存在时可能是有用的。

根据本发明的另一方面,提供了一种计算机实施的方法,包括:

接收与使用上述方法或上述光学系统获得的组织样本相关的经恢复的图像数据;以及

根据经恢复的图像数据,确定组织样本中的生理状况的存在。

确定组织样本中生理状况的存在的步骤可以包括:

使用经恢复的图像数据作为对比机制来标识与生理状况相关的组织形态或微结构;和/或

使用经恢复的图像数据来产生示出幅值、相位和偏振中的一个或多个的空间变化或空间熵的图像,并使用其差异来描绘组织样本的健康区域(例如,不受生理状况影响的区域)和受生理状况影响的组织样本的区域(例如,如上文参考图11所述)。

生理状况例如可以是癌症或癌前状况、疤痕组织的存在或炎症的存在。以上描述的方法在确定其他生理状况的存在时可能是有用的。

本发明的实施例可以形成提高癌症早期检测并且因此提高存活率(例如,从食道癌)的仪器的一部分或用于该仪器中。

图12A示出了使用根据本发明的实施例的方法从2m长度的多芯光纤模拟恢复实验测量的1648×1648传输矩阵的示例。模拟恢复包括使用反射器堆叠的物理真实模拟。具体而言,图12A示出了原始传输矩阵和相对应的一阶恢复传输矩阵(其示出了高视觉相似性,从而指示成功恢复)。图12B示出了图12A的传输矩阵恢复中的成比例的逐元素误差(最大值<10

图13A示出了使用在多个波长(1525.6nm、1526.5nm、1527.4nm和1528.3nm)下记录的传输矩阵和模拟反射器堆叠模拟来恢复实验测量的阶梯折射率多模光纤的示例。具体而言,图13A示出了原始传输矩阵和相对应的一阶恢复传输矩阵(其示出了高视觉相似性,从而指示成功恢复)。图13B示出了图13A的传输矩阵恢复中的成比例的逐元素误差(通常小于0.05),除了由于相位误差而展示出误差约为0.2的极低阶模式。

图14示出了使用实验测量的传输矩阵模拟重建远侧刻面处的目标的幅值、相位和偏振图像的示例。经恢复的图像误差很大程度上是由照射校正驱动的。

在本说明书的整个说明书和权利要求书中,词语“包括”和“包含”以及它们的变形意味着“包括但不限于”,并且它们不旨在(也不排除)其它部分、添加剂、组分、整体或步骤。在整个说明书和权利要求书中,除非上下文另有要求,单数涵括复数。特别地,在使用不定冠词的情况下,除非上下文另有要求,否则说明书应被理解为考虑复数以及单数。

结合本发明的特定方面、实施例或实例描述的特征、整体、特性、化合物、化学部分或群组应理解为适用于本文描述的任何其他方面、实施例或实例,除非与其不相容。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征,和/或如此公开的任何方法或过程的所有步骤可以以任何组合(除了这样的特征和/或步骤中的至少一些相互排斥的组合)进行组合。本发明不限于任何前述实施例的细节。本发明扩展到本说明书(包括任何所附权利要求、摘要和附图)中公开的特征的任何新颖的一个或其任何新颖的组合,或者扩展到如此公开的任何方法或过程的步骤中的任何新颖的一个或其任何新颖的组合。

读者的注意力指向与本申请相关的本说明书同时或之前提交的且与本说明书一起公开供公众查阅的所全部论文和文件,并且所有这些论文和文件的内容通过引用结合于此。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号