高分辨率和高成像速度的合成孔径相位显微系统和方法

摘要

本发明提供一种高分辨率和高成像速度的合成孔径相位显微(HISTR‑SAPM)系统和方法，用于材料科学和生物研究中新兴应用，包括但不限于分析亚波长结构材料和定量分析高速细胞动力学。该系统包括沿样品入射的第一照明光束和作为参考光的第二照明光束组成的马赫－曾德尔干涉仪。其中，数位微镜装置(DMD)接收第一照明光束并投射出不同角度的样品照明光束，透射样品之后被显微物镜接收，与准直的参考光束干涉，在相机上形成干涉图，利用对不同照明光角度下形成的干涉图的频谱分析和孔径合成，实现高分辨且快速的定量相位成像。

说明书

相关申请的交叉引用

本申请要求2019年12月27日提交的美国临时申请序列号62/954,164 的权益，该美国临时申请的所有公开内容(包括所有附图、表格和附图) 以全文引用的方式并入本文。

背景技术

长期以来，材料科学和生物成像研究一直在寻找一种高分辨率和高成像速度的成像方法。相关应用包括对集成光电子学中广泛使用的大面积亚波长结构和光学超表面的检查，监控快速半导体湿蚀刻和微液滴蒸发动态，观察大细胞群中活细胞动态，以及追踪细胞的高速运动。由于低通量和低速度，用扫描电子显微镜和原子力显微镜对大面积样品进行成像是不现实的。常规宽场显微镜的分辨率不足以分辨薄且透明的亚波长结构和活细胞，荧光显微镜要求对样品进行标记且相对速度也较慢。因此，非入侵式和无标记的相位成像被越来越多地应用在这些场景下。

由于宽场相位成像的分辨率被衍射极限限制在λ/NA，合成孔径显微 (SyntheticAperture Microscopy,SAM)方法常被用于提高相干相位成像的分辨率。实现SAM的方法包括旋转样品，基于振镜的光束扫描和光源平移；包括使用垂直腔面发射激光器阵列，空间光调制器的角度复用SAM和空间复用SAM。但目前为止，SAM能够分辨的最小周期结构为460nm，最快的速度也不超过20帧每秒(fps)。

发明内容

在本领域中仍然需要更快以及分辨率更高的合成孔径相位成像技术。

本发明的实施例涉及高分辨率和高成像速度的用于材料科学和生物研究成像的合成孔径相位显微镜。

根据本发明的实施例，一种高分辨率和高成像速度的合成孔径相位显微系统可以包括：照明源，所述照明源产生照明光束；光纤耦合器，所述光纤耦合器具有耦合到所述照明源以接收所述照明光束的输入端，并被配置为提供第一照明光束以从第一输出端输出沿着样品照明光路传播和第二照明光束以从第二输出端输出沿着参考光路传播；第一镜，所述第一镜被设置在所述样品照明光路中，接收并反射来自所述第一照明光束；第一数位微镜装置(DMD)，所述第一DMD被设置在所述样品照明光路中，接收来自所述第一镜的照明光束，并且根据加载图像投射出不同角度的样品照明光束；第一透镜，所述第一透镜被设置在所述样品照明光路中，接收来自所述第一DMD的样品照明光束；第二DMD，所述第二DMD被设置在所述样品照明光路中，接收来自所述第一透镜的样品照明光束；第二镜，所述第二镜被设置在所述样品照明光路中，接收并反射来自所述第二DMD 的样品照明光束；第二透镜和第三透镜，所述第二透镜和第三透镜被串联设置在所述样品照明光路中，接收来自所述第二镜的样品照明光束；第一扫描显微物镜，所述第一扫描显微物镜被设置在所述样品照明光路中，与所述样品相邻，接收来自第三透镜的光束并投射到所述样品上进行成像；第二扫描显微物镜，所述第二扫描显微物镜被设置在所述样品照明光路中，与所述样品相邻并与所述第一扫描显微物镜相对，接收透射过所述样品的光；第四透镜，所述第四透镜被设置在所述样品照明光路中，接收来自第二扫描显微物镜的样品光束；分束器，所述分束器被设置在所述样品照明光路和参考光路中，同时接收并合并来自于所述第四透镜的样品成像光束和来自所述光纤耦合器的第二照明光束(参考光束)，使得准直的参考光束和样品成像光束彼此干涉以在最终像平面处形成干涉图。

在另一实施例中，一种高分辨率和高成像速度的合成孔径相位显微方法包括：通过照明源产生照明光束；通过光纤耦合器将所述照明光束分成沿样品照明光路传播的第一照明光束和沿参考光路传播的第二照明光束；通过将第一照明光束投射到所述第一DMD上并在所述第一DMD上加载二元Lee全息图产生不同角度的样品照明光束；通过所述第一DMD后设置的透镜产生样品照明光束的傅里叶平面；通过在设置在傅里叶平面上的所述第二DMD上加载不同的空间滤波图对所述第一DMD产生的非理想衍射级次进行滤波；通过硬件触发连接来同步所述第一DMD和所述第二DMD 上加载的图案切换；通过设置所述第二透镜，第三透镜和第一扫描显微物镜，使得样品照明光束透射到所述样品上进行成像；通过设置由所述第一 DMD，第一透镜，第二DMD和第二透镜组成的4f系统以及第三透镜和第一扫描显微物镜组成的4f系统，对样品照明光束在样品上的扫描角度进行放大；通过设置第二扫描显微透镜和第四透镜，将从样品出射的样品光束成像到图像采集装置平面上；通过设置所述分束器，将来自所述第四透镜的样品光束和来自第二照明光束的参考光束合并，使得两束光相互干涉并在在图像采集装置平面上形成干涉图。

附图说明

图1A-1C是根据本发明的实施例中不同的Lee全息图的频谱分析，其中图1A是第一DMD上加载的Lee全息图，图1B是相应全息图下红细胞的图像，图1C是采集到的红细胞图像的频谱图。

图2A是根据本发明的实施例的HISTR-SAPM系统示意图。

图2B(i)-(iii)是根据本发明的实施例的不同照明角度下的三张原始干涉图，图2B(iv)-(vi)是对应三张干涉图的空间频谱。

图3A阐述了根据本发明的实施例的HISTR-SAPM系统中频谱拼接的过程，其中虚线圆圈对应图2B中的频谱通带。

图3B-3C分别是根据本发明的实施例中频谱拼接后重建的高分辨率强度图和定量相位图。

图4A-4E是定制的亚波长光栅结构的图像，其中图4A是该结构的设计图；图4B是部分该结构在电子显微镜下的图像；图4C是传统定量相位显微镜重建出的该结构的高度图；图4D是根据本发明的实施例的 HISTR-SAPM系统重建出的该结构的高度图；图4E是图4B和图4D中沿白色直线的高度值。

图5A-5B是根据本发明的实施例的HISTR-SAPM系统对红细胞的成像以及相应的厚度波动曲线；其中字母A对应细胞中心区域，字母B代表细胞的外围区域，字母C代表细胞外的无样品背景区域。

图6A-6F是根据本发明的实施例的HISTR-SAPM系统对细胞干物质密度的测量，其中图6A和6D分别是HeLa细胞和红细胞在垂直入射下得到的相位图，图6B和6E分别是这两个细胞在HISTR-SAPM下的相位图，图 6C和图6F是这两个细胞的干物质密度分布图。

图7A-7C是根据本发明的实施例的HISTR-SAPM系统下红细胞厚度图，其中图7A是垂直入射时的原始干涉图，图7B是根据图7A得到的红细胞厚度图，图7C是通过40张离轴干涉图重建出来的红细胞厚度图。

图8A-8H是根据本发明的实施例中红细胞膜实时波动的厚度图，其中图8A-8D是不同时刻红细胞的厚度图，图8E-8H是通过从图8A-8D中减去时间平均厚度图得到的位移图。

图9A-9F是根据本发明的实施例的HISTR-SAPM系统对未标记活细胞中亚细胞结构的观察，其中图9A和9D分别是垂直照明下COS-7细胞和 HeLa细胞的相位图；图9B和9E分别是这两个细胞在HISTR-SAPM系统中的相位图；图9C和9F分别是从图9B和9E得到的细胞相位梯度图。

图10A-10D是根据本发明的实施例的HISTR-SAPM系统观察3T3活细胞暴露在醋酸中后的细胞动态，其中图10A-10C是3T3细胞暴露在醋酸过程中的代表相位图；图10D是细胞核，细胞质和背景中的平均相位值随时间变化的曲线。

图11A-11C证明了根据本发明的实施例的HISTR-SAPM系统重建相位的准确性，其中图11A是直径为10微米的小球在垂直照明下的相位图，图 11B是HISTR-SAPM系统重建的相位图，图11C是沿着图11A和11B中的直线处的小球高度曲线。

图12是根据本发明的实施例中由边缘响应验证系统的横向分辨率。

图13A-13F说明了根据本发明的实施例的HISTR-SAPM系统消除散斑的能力，其中图13A和13C是垂直照明下亚波长光栅结构的相位图和背景噪声图，图13B和13D是频谱合成重建后该结构的相位图和背景噪声图，图13E和13F分别是正入射照明下和频谱合成重建后的时间噪声的分布。

图14A和14B分别是根据本发明的实施例中使用40个扫描角度重建和使用13个扫描角度重建后的高度图，图14C是图14A和14B中沿白色直线处的样品高度分布曲线。

具体实施方式

本发明的实施例涉及高分辨率和高成像速度的合成孔径相位显微系统和方法。系统的成像速度和分辨率分别高达100fps和260nm。当在本文中结合数字值使用术语“约”时，应理解该值可以在该值的90％至该值的110％的范围内，即该值可以为标称值的+/-10％。例如，“约1kg”是指0.90kg至1.1。

工作原理

以一定角度对样品进行斜照明，可以更高效地采集到通常在成像过程衰减或丢失的高空间频率信息。

本发明的HISTR-SAPM系统中，照明角度的控制不涉及任何机械件的移动。因此，成像质量不受到环境因素的影响。同时，HISTR-SAPM系统采集到的是离轴干涉图，可以通过对干涉图进行傅里叶频谱分析来自矫正照明角度。如图1C所示，白色圆圈表示成像系统的频率通带，频率峰值的移动说明了斜照明能够对样品频谱进行移动。

为了产生斜照明，可以将其分解为垂直照明加上相位坡度。对入射光进行大小为

其中，u和v是沿x轴和y轴的载频，

如果用于调制的全息图位数比较大，就可以产生较为理想的斜照明，但是 DMD是二元元件，因此会产生除理想衍射级次外的寄生衍射噪声级次。该衍射噪声可以用物理环形孔径来消除，但物理孔径对光路校准要求较高且无法更改；另一种方法是使用时分复用来产生8位全息图，但这种方式大大降低了 DMD的刷新速度。

在一个实施例中，为了在不降低DMD刷新速度的前提下实现更灵活的滤波，第二DMD作为一个可变空间滤波器被配置在第一DMD的傅里叶平面上。

这两个DMD同步之后可以动态选择第一DMD产生的理想衍射级次。每次第一DMD加载一个不同的Lee全息图，第二DMD就打开相应的滤波像素。因此，只有理想的第一衍射级次可以通过并传播到之后的光学系统，并与参考光进行干涉，在相机面上形成干涉图。图2B(i)-(iii)展示了一个定制的 USAF分辨率板样品在不同照明角度下的三张原始干涉图，图2B(iv)-(vi) 是对应三张干涉图的空间频谱。

扫描振镜也可以被用于快速的角度扫描，但是在高速扫描时会产生机械振动，引起扫描角度的不稳定。另外，同时将两个互相垂直扫描的振镜聚焦到样品面较为困难。与扫描振镜相比，DMD不会引起任何机械振动并且能够使光更好地聚焦在样品面上。由于DMD加载图案非常灵活，可以通过叠加多个全息图实现同时扫描多个角度；这对扫描振镜来说是不可能做到的。因此，DMD比扫描振镜更加适合高速角度扫描成像。

两个DMD之间的时间延迟被设置为约10微秒。图1B和1C分别为红细胞的离轴干涉图及其频谱图。从频谱图中可以看出，成功的动态滤波使得背景中没有多余的频率级次。

图3A说明了HISTR-SAPM的空间频谱拼接过程。在一个实施例中，图3A中虚线圆圈对应图2B中的频率通带。其中，垂直入射的空间频谱以白色虚线圆圈表示，斜照明下的空间频谱以其他颜色的圆圈表示。在频谱拼接之后，可以得到半径为NA

在一个实施例中，HISTR-SAPM需要一张垂直入射的干涉图和39张不同角度的离轴干涉图来进行一次重建，其中39个斜照明角度在方位角上等距分布；可达到的最大的扫描角度约为40.5°。同时，计算出NA

系统设计

参照图2A，用于定量对活细胞或材料微/纳米结构的样品进行高速高分辨率相位成像的HISTR-SAPM系统100包括用于产生照明光束的照明源105，包括耦合至照明源105输入端的光纤耦合器110。当从照明源105接收到照明光束时，光纤耦合器110可以被配置为提供从第一输出端115输出沿着样品照明光路传播的第一照明光束以及从第二输出端172输出沿着参考光路传播的第二照明光束。

在样品照明光路中，HISTR-SAPM系统100进一步包括：第一镜120，其被设置为接收并反射从光纤第一输出端115发出的第一照明光束；第一 DMD130，其被设置成接收从第一镜120反射发出的样品照明光束；第一镜120 被设置在光纤耦合器110和第一DMD130之间。第一DMD130被配置为接收第一照明光束并不断产生以不同角度传播的样品照明光束。第一DMD130产生的不同角度的样品照明光束继而通过第一透镜131到达被设置在样品照明光路中的第二DMD140。第二DMD140被设置在第一DMD130的傅里叶平面，并被配置为将样品照明光束中不理想的衍射级次过滤的空间滤波器。

同时，第一DMD130和第二DMD140可以被同步来动态选取样品照明光束的第一衍射级次并屏蔽其他级次。第一DMD130每加载一张不同的Lee全息图，第二DMD140就打开相应位置的像素。于是，只有理想的第一衍射级次可以通过并沿样品照明光路继续传播。第一DMD130和第二DMD140之间的时间延迟很短，可以实现高速的图案刷新，并进行高速角度扫描。

再次参考图2A，在样品照明光路中，HISTR-SAPM系统100还包括：第一扫描显微物镜150，其被设置在靠近样品的第一端，接收来自第二DMD140 的样品照明光束；第二镜121，第二透镜132和第三透镜133，被设置在第二 DMD140和第一扫描显微物镜150之间；第二扫描显微物镜160，其被设置在靠近样品的第二端，与第一扫描显微物镜150所在的靠近样品的第一端相对；第四透镜170，被设置在第二扫描显微物镜160之后。从第二DMD140出射的样品照明光束被第二镜121反射并接连通过第二透镜132，第三透镜133和第一扫描显微物镜150照射到样品上。第二扫描显微物镜160接收来自样品的样品照明光束并传输到第四透镜170。

在图2A的参考光路中，HISTR-SAPM系统100还包括：分束器BS180，其被设置为从光纤耦合器110的第二输出端172接收第二照明光路。BS180同时也被设置在样品照明光路中，合并来自第二输出端172的参考光路和来自第四透镜170的样品照明光束，在最终成像面上干涉形成干涉图并被相机190 采集。

在一个实施例中，第一DMD130的触发输出端被连接到第二DMD140的触发输入端，第二DMD140的触发输出端被连接到相机190的触发输入端。当第一DMD130上的Lee全息图切换时，第二DMD140上的空间滤波图也进行相应切换，然后相机190被触发并采集产生的干涉图。

在另一个实施例中，另一种触发连接方式可以是采用一个产生系列矩形波的外接信号发生器作为输出，该矩形波的频率被设置为和相机成像速度相同，同时对第一DMD130，第二DMD140和相机190进行触发。为了避免第一 DMD130，第二DMD140和相机190之间的信号延迟，可以使用数字延迟发生器。

此外，为了充分利用显微物镜的数值孔径，样品照明光路中的第一 DMD130，第一透镜132，第二DMD140和第二透镜被配置为一个4f系统；第三透镜133和第一扫描显微物镜150被配置为另一个4f系统；用于方法样品表面上样品照明光束的扫描角度大小。

在一个实施例中，第一DMD130后的扫描角度大小被其微镜大小限制为约1°。

在一个实施例中，HISTR-SAPM系统100还包括一个耦合了第一DMD130 和第二DMD140的硬件触发，其被设置为同步第一DMD130和第二DMD140 之间的图案切换并达到千赫兹的频率。

在一个实施例中，光纤耦合器115可以是单模1x2光纤耦合器，从光源 105处接收532nm的激光作为入射照明光束。532nm照明光可以被1x2光纤耦合器分成两路，一路作为样品照明光路，另一路作为参考光路。

在一个实施例中，第一DMD130是德州仪器公司的DLP Light Crafter 9000，第二DMD140是德州仪器公司的DLP Light Crafter 3000。

在一个实施例中，第一扫描显微物镜150是放大率40倍，数值孔径1.3 的浸油蔡司物镜。

在一个实施例中，第一扫描显微物镜150和第二扫描显微物镜160拥有相同的参数。

在一个实施例中，样品照明光路中的第四透镜170是管透镜。

成像应用实例

HISTR-SAPM系统100可用于表征集成光子器件中通常采用的亚波长光栅结构。图4A-4E是定制的亚波长光栅结构的图像，其中图4A是该结构的设计图；图4B是部分该结构在电子显微镜下的图像；图4C是传统定量相位显微镜重建出的该结构的高度图；图4D是根据本发明的实施例的 HISTR-SAPM系统重建出的该结构的高度图；图4E是图4B和图4D中沿白色直线的高度值。测量得到光栅结构的线宽和间隙宽度分别为198nm和 132nm。由于该结构的特征远小于相干成像的衍射极限，普通的定量相位成像无法分辨并准确重建这些结构特征，如图4C所示。但是HISTR-SAPM 系统重建的相位图能够清晰地呈现光栅结构的细节，如图4D所示。图4E 描绘了沿图4D中白色直线处的光栅高度和对应扫描电子显微镜下的强度分布，可以看出重建得到的光栅轴向特征尺寸与扫描电子显微镜下得到的结果一致。

定量测量活细胞的动态有助于理解单细胞水平的生理过程。例如，红细胞(RedBlood Cell,RBC)膜的动态波动可以用于得到红细胞的刚度参数以评估细胞活力。图5A为用HISTR-SAPM测量磷酸盐缓冲盐溶液中的新鲜RBC。图5B为对应RBC三个区域：细胞中心(A),细胞外围(B)和背景溶液(C)中的平均相位值随时间的变化曲线。从相位值变化的标准差值可以看出，细胞外围的膜波动幅度比细胞中心大。图6A-6F为HISTR-SAPM系统下的细胞干物质密度测量。其中图6A和6D分别是HeLa细胞和红细胞在垂直入射下得到的相位图，图6B和6E分别是这两个细胞在HISTR-SAPM下的相位图，图6C和图6F是这两个细胞的干物质密度分布图。垂直入射下得到的相位图中存在散斑噪声，而HISTR-SAPM重建的相位图中散斑基本被消除，因此可以用于较为准确地计算细胞的干物质密度分布。除了细胞膜波动和干物质密度，定量相位图还可以用于获得其他生物学相关参数，包括但不限于细胞投影面积和相对细胞体积。

图7A-7C为在磷酸盐缓冲盐溶液中的RBC，更加直观地说明了 HISTR-SAPM系统对于散斑的消除能力。图7A为一张原始离轴干涉图，由于不均匀的溶液和散斑，细胞的背景中充满了不规则的图案。该图案同时存在于垂直入射重建的相位图中，使得重建的相位存在畸变。但 HISTR-SAPM系统用40张离轴全息图重建的相位图可以消除这些不规则的图案，得到一个非常干净的溶液背景，RBC的厚度值也相对更加准确。图8A-8H为一个棘型红细胞在不同时刻的膜波动图，其中图8A-8D为四个不同时刻的RBC厚度图，图8E-8H是通过从图8A-8D中减去时间平均厚度图得到的相对位移图。可以看出红细胞膜的波动大多数处于细胞的外围区域，波动的强度为纳米量级并随着时间不断变化。

HISTR-SAPM系统的高分辨率和对比度使其还可以用于观察更复杂的细胞。图9A和9D分别为COS-7细胞在垂直照明和HISTR-SAPM系统下重建得到的相位图；图9B和9E分别为COS-7细胞在垂直照明和 HISTR-SAPM系统下重建得到的相位图。HISTR-SAPM系统可以去除垂直照明下存在的散斑噪声，使细胞的边缘和亚细胞结构更加明显。同时，高质量的重建相位图可以用于计算相位梯度图，如图9C和图9F所示。在一实施例中，3T3细胞被暴露在浓度为0.5％的醋酸溶液中并被观察其亚细胞结构的动态变化。其中图10A-10C是3T3细胞暴露在醋酸过程中在时间点 0s，0.75s和1.5s的代表相位图；图10D是细胞核，细胞质和背景中的平均相位值随时间变化的曲线；可以看出细胞核区域的平均相位值随着时间不断增长而其他区域基本保持不变。

使用高速相机和数据传输接口(例如CoaXPress数据传输接口)，可以实现大于5kHz的图像采集速度。HISTR-SAPM系统广泛的适用性由亚波长光电子材料光栅结构成像，红细胞以及更复杂的细胞以及它们的亚细胞动力学测量验证。结果表明，基于DMD的HISTR-SAPM系统将相干成像横向分辨率提高了2倍，同时实现了毫秒级的时间分辨率。使用HISTR-SAPM系统，可以实现具有横向特征小至132nm的材料结构的表面轮廓分析，量化的RBC膜毫秒级波动，以及观察到的有核细胞结构结构及其在暴露于化学药品中的动态变化。考虑到DMD具有灵活的图案形成能力，可同时生成多个照明角度以及更高速度的相机(例如>10,000fps)，HISTR-SAPM可以进一步开发以实现更高的成像速度十倍。HISTR-SAPM系统还可以配置为通过实施3D图像重建方法来得到细胞的3D折射率分布。散斑的去除使得分辨能力与传统的白光衍射层析成像相当。当减小第二扫描物镜的数值孔径(NA)时，HISTR-SAPM系统可以潜在地实现与传统傅里叶层叠分析技术相当的更高成像速度。

系统性能

图11A-11C为验证HISTR-SAPM系统相位重建精度的实验结果，其中图 11A为在正常照明下直径为10微米的微球的相位图，图11B为通过 HISTR-SAPM系统重建的该微球的相位图，图11C分别显示了图11A和图11B 中沿线1和线2处的微球的高度轮廓。两种情况下的微球高度值都与理论值很好地吻合，而孔径合成后的高度轮廓由于激光散斑的减少而更加平滑和对称。在白框指示的区域中，背景噪声级别也有所降低。

图13A-13D量化了HISTR-SAPM系统对散斑噪声的减少，其中图13A和图13C分别示出了在正常照明下重建的背景和亚波长结构的相位图。图13B 和图13D分别示出了合成孔径重建之后的背景和亚波长结构的相位图。图13E 示出了正常照明下背景中的时间噪声；图13F示出了合成孔径重建之后的时间噪声。在一个实施例中，在合成孔径重建之后，背景相位图的标准差从0.66rad 减小到0.1rad，时间噪声的中值从3.95nm减小到1.87nm。相位噪声的减少来自于相位失配校正和孔径合成过程中频谱的非相干叠加。由于物理模型精确地模拟了图像形成过程，因此对源自光路中焦平面外区域的缓慢波动信号进行了平均和消除。

图14A-14C为使用较少的扫描角度时的相位重建图，其中图14A显示了 40个扫描角的重建高度，图14B显示了13个扫描角的重建高度，图14C为沿图14A和图14B中白线的对应高度曲线。与图14A相比，图14B中背景噪声有相对的增加；然而，仍然可以在重建的样品高度图中识别其特征而不丢失许多细节。比较表明，根据不同的成像应用要求，可以将扫描角度的数量减少3 倍以上。因此，在不损害图像质量的情况下显着减少了照明角度的数量，以实现更高的成像速度。

本文所参考或引用的所有专利、专利申请、临时申请和出版物的全部内容 (包括所有附图和表格)通过引用并入本文，只要它们与本说明书的明确教导不矛盾。

本文描述的实施例和实施方式应当理解为仅用于例示性目的，并且根据这些实施例和实施方式进行的各种修改或改动对于本领域技术人员是不言自明的，并且这些修改或改动应被包括在本申请的精神和范围内。另外，本文公开的任何发明或其实施方式的任何要素或限制可以与本文公开的任何和/或所有其他要素或限制(单独或以任何组合的方式)或任何其他发明或其实施方式组合，并且认为所有这些组合均处于本发明的范围内但不对本发明的范围构成限制。