用于使用时间延迟和积分传感器进行成像的时域复用

摘要

一种时间延迟积分(TDI)传感器(22)，包括编号为1至N的一系列单元(42，44，42，44)。所述TDI传感器(22)配置为经由编号为2至N-1的单元将电荷从编号为1的单元转移至编号为N的单元。所述一系列单元中的每个单元(42；44)在以下意义上是敏感的或不敏感的：当所述TDI传感器(22)由具有第一光谱的光(46)均匀照明时，入射于任何不敏感单元(44)上的所述光(46)的强度最多为入射于任何敏感单元(42)上的所述光(46)的强度的90％。所述一系列单元(42，44，42，44)以下面顺序包括：第一敏感单元(42)、至少一个不敏感单元(44)、以及第二敏感单元(42)。还公开了包括TDI传感器的成像系统和对目标进行成像的方法。

说明书

技术领域

在第一方面，本发明涉及时间延迟积分(TDI)传感器，该传感器包括 编号为1至N的一系列单元，该TDI传感器配置为经由编号为1至N-1的 单元从编号为1的单元向编号为N的单元传输电荷。

在第二方面，本发明涉及成像系统。

在第三方面，本发明涉及成像方法。

背景技术

在荧光成像中，经常需要同时探测给定样本中的多个荧光标签(荧光 团)的存在。可以采用各种方法来区别荧光标签。

在第一方法中，标签发射的光根据波长分束到多个传感器上，例如通 过使用二向色镜进行分束。

另一方法使用不同标签通常对用于激发的光的不同波长敏感的事实。 波长各自不同的一组光源，例如激光器，以交替方式操作。每个光源典型 地激发特定组荧光标签。通过在切换至下一光源之前，即在改变照明光的 频率之前，读出每个探测器，能够获得各标签的分开的图像。该技术是时 间共享或时域复用的范例。优点是其容许使用一个探测器探测不同频率的 光。该技术从而避免了对每个波长提供分开的探测器的需要。

该两个方法能够组合，以增大使用固定数量的光源可以探测的荧光团 的数量。应当注意，能够被独立探测的荧光团的总数量可以大于不同光源 的数量和探测器的数量。

在利用时域复用的扫描显微镜中，与每个传感器探测单个类型的荧光 团相比，每个扫描的总的积分时间增大了。然而，由于至少两个原因，时 域复用仍然比对相同区域进行多个扫描有利。首先，较少时间损失于用于 扫描样本的‘开销(overhead)’(例如，用于反转扫描方向或将样本移动回 开始位置用于下一个扫描)。其次，系统随时间的变化对从不同激发和/或 荧光波长获得的图像的相互对准具有较小的影响。

除其它外，时域复用适合用于共焦扫描(使用例如非像素化传感器)、 简单的线传感器和全帧传感器。在线传感器和连续地移动的样本的情况下， 通常在每次读出像素行时切换光源，使得在单个扫描后，获取了相同目标 的两个或更多不同全图像。

时间延迟和积分(TDI)是已知的通常比使用简单线传感器快的成像方 法。其能够应用于亮场和其它成像形态。TDI典型地使用具有多个相邻像 素行的电荷耦合器件(CCD)。因为在传感器上连续扫描目标(object)的 图像，所以传感器上累积的电荷以同步方式从每行像素移动至下一行像素。 每次，仅读出来自最后一行像素的信号并将其存储在存储器中。以此方式， 在相同扫描速度，信号更有可能累积于具有长得多的积分时间的传感器上 而不是简单的线传感器上。

总之，对于扫描荧光成像的各应用，同时探测研究的目标上的多个荧 光团通常视为有利的。为此目的，能够采用发射不同波长的光的多个光源。 能够操作光源，使得能够以交替方式将目标暴露于不同波长的光。探测来 自目标的荧光的传感器可以在两个连续的照明时段之间被读出。

图1示例TDI成像的原理。目标12由光源(未示出)照明并以恒定速 度沿目标路径14移动。在图中，仅图形地描绘目标12的范例性发光点。 包括例如透镜或透镜系统的成像光学器件20在TDI传感器22上生成目标 12的光学图像24。随着目标12沿目标路径12移动，其图像24沿图像路 径26移动越过TDI传感器22。在示出的范例中，目标路径14是直线，但 是可以设想其它路径，取决于TDI传感器22的设计。在示出的范例中，图 像路径26也是直线。需要注意，目标12和其图像24以相反方向移动，如 箭头14、26所指示的。传感器22包括多个平行箭头28，每一行包括多个 像素(单元)。箭头22包括第一行30和最后行32。虽然目标12位于如图 中所示的初始位置，但是目标12发射的光16入射在第一行30上。随着目 标12处于最终位置(对应于箭头14的尖端)，目标发射的光18入射在传 感器22的最后行32上。电荷作为光学图像24的强度和像素曝露于图像24 期间的时间的函数累积于TDI传感器22的像素上。累积的电荷与光学图像 24的移动同步地移动通过传感器22。传感器22积累的信号因此比等效简 单传感器的大等于像素行22的数量的因子。在TDI传感器22的两个连续 的读出期间，目标12移过的扫描长度与目标12的感兴趣的特征的尺寸相 比相当大。然而，问题是，在读出整个TDI传感器22之前在成像模式之间 的切换，诸如光源的切换，将导致传感器22上对应图像的混合。

本发明的目的是提供时域复用TDI成像方法。本发明的另一目的是提 供时域复用TDI成像系统。本发明的再一目的是提供用于时域复用TDI成 像系统中的TDI传感器。

通过独立权利要求的特征实现了这些目的。进一步的说明和优选实施 例概述于从属权利要求中。

发明内容

根据本发明的第一方面，一系列单元中的每个单元在以下意义上是敏 感的或不敏感的：当所述TDI传感器由具有第一光谱的光均匀照明时，入 射于任何不敏感单元上的所述光的强度最多为入射于任何敏感单元上的所 述光的强度的90％，并且所述一系列单元以下面顺序包括：第一敏感单元、 至少一个不敏感单元、以及第二敏感单元。可以以连续的步骤转移电荷， 每个步骤涉及电荷的转移，使得

Q_after(i+1)＝Q_before(i)         (i＝1至N-1)

其中，Q_before(i)为移动之前编号为i的单元中的电荷，且Q_after(i)为移动之后 编号为i的单元中的电荷。单元1至N的结构可以相同，在该情况下，它 们仅它们的位置和/或取向不同。第一光谱可以特别是多个光源的组合光 谱，在该情况下，不敏感单元“看不见”该多个光源中的任一光源发射的 光。需要指出，敏感单元和不敏感单元可以可选地(或附加地)特征在于， TDI传感器被照明时，单元中生成电荷的速率。更精确地，每个单元可以 关联有保持电荷的容量，并且当TDI传感器由具有第一光谱的光均匀照明 时，可以存在如下时间点：在该时间点，每个敏感单元将积累有对应于其 容量的至少50％的电荷，并且在该时间点，每个不敏感单元将积累有对应 于其容量的最多40％(优选地最多20％，或最多10％，或最多5％)的电 荷。

TDI传感器可以关联有大于1的自然数K，使得对于任何i，所述单元 存在如下关系，其中i＝1至N-K：

如果编号为i的单元敏感，则编号为i+K的单元也敏感；并且

如果编号为i的单元不敏感，则编号为i+K的单元也不敏感。

单元从而以周期性方式配置。如果TDI传感器待以周期性方式照明， 例如通过K个交替的光源照明，则这是特别方便的。例如，如果i-1是K 的整数倍数，则单元的系列可以设计成使得编号为i的单元(i＝1至N) 敏感，并且如果i-1不是K的整数倍，则单元的系列可以设计成使得编号 为i的单元(i＝1至N)不敏感。常数K可以是例如2、3、4或任何其它 自然数。

TDI传感器可以特别设计成使得入射于任何所述不敏感单元上的所述 光的强度为零。在该配置中，所有光阻挡于不敏感单元外。

TDI传感器可以配置为在时间上离散的时刻转移所述电荷。离散时刻 可以是等间隔的。当TDI传感器用于与一个或多个周期性脉冲光源结合使 用时，这能够是方便的。

TDI传感器可以包括在行和列中布置的多个单元，每个列包括如上所 述的一系列单元。列可以相同地配置，在该情况下，每个行可以包括仅敏 感单元或仅不敏感单元。然而，需要指出，多个单元可以布置为非常不同， 例如沿圆的段，或沿同心圆的段。对于通过相对于TDI传感器旋转目标来 扫描目标，这是方便的。

敏感单元可以布置在平面中。不敏感单元或至少它们中的一些可以布 置在相同平面中。替代地，所有或至少一些不敏感单元可以布置在平面之 后，“之后”指平面的入射光通常达不到的侧。例如，不敏感单元能够布置 在对应的敏感单元之后，使得敏感单元将不敏感单元至少部分从入射光遮 蔽。

TDI传感器可以包括至少对具有所述第一光谱的光不透明的不透明元 件，所述不透明元件遮蔽至少一个所述不敏感单元，但不遮蔽任何所述敏 感单元。不透明元件可以是反射的或吸收的，或二者的组合。根据优选实 施例，不透明元件对从远红外指远紫外的整个光谱不透明。根据不同优选 实施例，不透明元件对比包含在第一光谱中的那些光具有更高频率或更低 频率的光透明。为探测该光，TDI传感器能够用作常规TDI传感器。

替代地或附加地，TDI传感器可以包括光学元件，所述光学元件用于 将具有所述第一光谱的光聚焦于至少一个所述敏感单元上，但不聚焦于任 何所述不敏感单元上。更具体地，光学元件可以配置为聚焦具有属于该第 一光谱的频率的入射平面波。

光学元件可以包括圆柱透镜或透镜阵列，用于将所述光聚焦于至少两 个敏感单元上。如上所述，单元可以例如布置在行和列中，每个行包括例 如仅敏感单元或仅不敏感单元，区别的行的单元属于区别的系列(即，电 荷沿列转移，而不是沿行转移)。仅包括敏感单元的行和仅包括不敏感单元 的行可以分别称作敏感行和不敏感行。在此情况下，在每个敏感行之前布 置圆柱透镜，用于将入射光聚焦在分别的行上并用于防止入射光的至少重 要部分到达不敏感行，是特别方便的。

以上介绍的系列单元可以是第一系列，并且TDI传感器可以包括编号 为1至N的第二系列单元，所述TDI传感器配置为经由编号为2至N-1的 单元将电荷从编号为1的单元转移至编号为N的单元，其中，所述第二系 列单元中的每个单元在以下意义上是敏感的或不敏感的：当所述TDI传感 器由具有第二光谱的光均匀照明时，入射于所述第二系列中的任何不敏感 单元上的所述光的强度最多为入射于所述第二系列中的任何敏感单元上的 所述光的强度的90％(优选地，最多为10％)，其中，所述第二系列单元 以下面顺序包括：第一敏感单元、至少一个不敏感单元、以及第二敏感单 元，并且其中，所述第一系列中的单元不响应于具有所述第二光谱的光， 且所述第二系列中的单元不响应于具有所述第一光谱的光。所述TDI传感 器从而可以包括以上讨论的种类的至少两个系列的单元，然而它们的光谱 响应不同。从而，能够同时但独立地探测不同光谱或不同“颜色”。

根据本发明的第二方面的成像系统，包括：

-如以上关于本发明的第一方面所述的TDI传感器；

-光学系统，用于照明所述目标并用于将光从所述目标引导至所述TDI 传感器上，所述光学系统至少具有第一模式和第二模式；

-控制器，用于使所述TDI传感器和所述光学系统同步，使得在所述光 学系统采取所述第一模式时，所述TDI传感器将所述电荷从不敏感单元移 动至敏感单元，以及在所述光学系统从所述第一模式转到另一模式时，所 述TDI传感器将所述电荷从敏感单元移动至不敏感单元。

所述成像系统还可以包括用于相对于TDI传感器移动目标的扫描仪。 该扫描仪可以配置为相对于TDI传感器沿直的路径平移目标。在目标被扫 描时，与目标的运动关联的速度可以恒定。

所述光学系统还可以包括：

-用于发射具有第三光谱的光的第一光源；以及

-用于发射具有与所述第三光谱不同的第四光谱的光的第二光源。

具有第三光谱的光可以具有第四光谱的光可以例如包括不同频率成分 或不同地被极化。需要注意，以上介绍的第一光谱和第二光谱涉及探测TDI 传感器的特性，而第三光谱和第四光谱涉及用于照明目标的光。特别是对 于诸如荧光成像的应用，其中，待成像的光与用以照明目标的光具有不同 的频率成分，将探测系统调整为适应于荧光可以是有利的，在该情况下， 并且当然不仅仅在该情况下，第一光谱(和/或第二光谱)可以与第三光谱 (和/或第四光谱)不同。替代地，第三光谱和/或第四光谱可以与第一光谱 或第二光谱相同。

所述TDI传感器可以是第一TDI传感器并且所述成像系统可以包括上 述类型的第二TDI传感器，所述第一TDI传感器和所述第二TDI传感器在 它们的光谱响应方面不同。从而能够结合不同照明模式的时域复用，使用 不同TDI传感器对不同频率进行成像。

根据本发明的第三方面，对目标进行成像的方法包括：

-相对于如以上关于本发明的第一方面所述的TDI传感器移动所述目 标；

其中，所述方法还包括以下连续的步骤：

-使用第一模式，照明所述目标，并将光从所述目标引导至所述TDI传 感器上；

-将积累的电荷转移至不敏感单元；

-使用第二模式，照明所述目标，并将光从所述目标引导至所述TDI传 感器上；

-将所述电荷转移至敏感单元。

可以重复照明目标和转移电荷的步骤，直至电荷到达系列中的最后单 元。在电荷到达最后单元后，可以例如通过将电荷的量转换为电压来读出 最后单元。从而，基于TDI传感器的时间延迟积分方法的优点可以与时域 复用的优点组合。该技术可以容许在单个扫描期间在传感器上建立目标的 两个不同图像。

在此上下文中，将光从目标引导至TDI传感器上可以包括在TDI传感 器上形成目标的光学图像；该方法于是可以包括根据TDI传感器上的图像 的运动来转移电荷。

附图说明

图1是TDI成像系统的范例的示意性顶视图；

图2是TDI传感器的范例的示意性正视图；

图3是示例成像方法的步骤的流程图；

图4是TDI传感器的范例的示意性正视图，示例传感器的两个连续状 态；

图5是TDI传感器的范例的示意性侧视图。

具体实施方式

除非另外特别指出，不同附图中出现的相同或类似的参考数字指相同 或类似的部件。

图2示意性地表示TDI传感器22的正视图。每个小的矩形表示CCD 的单独的像素(单元(cell))。TDI传感器22特别包括标号为1至N的一 系列单元42、44、42、44、42、44、42。在示出的范例中，N＝7。在实践 中，该系列中的单元的数量典型地大得多。传感器配置为经由编号为2至 N-1的单元将电荷从编号为1的单元(图中的顶部单元42，在第一行30中) 移动至编号为N的单元(图中的最低单元42，在最后行32中)。每个单元 42、44在如下意义上是敏感或不敏感的：当传感器22由具有第一光谱的光 均匀照明时，入射在任何不敏感单元44上的光的强度最多为入射在任何敏 感单元42上的光的强度的10％。虽然优选地，入射在任何不敏感单元上的 光的强度尽可能低(例如最多为入射在任何敏感单元上的光的强度的10％ 或20％)，但是，只要在TDI传感器被均匀照明时，入射在任何不敏感单 元上的光的强度显著低于入射在任何敏感单元上的光的强度，则本申请中 描述的方法将仍然正确地工作。需要注意，这里TDI传感器的均匀照明仅 仅是为特征化单元的目的而假设的。在实践中，TDI传感器不是均匀照明 的，而是暴露于目标的光学图像。在范例中，一系列单元42、44、42、44、 42、44、42表示敏感单元42和不敏感单元44的交替系列。在范例中，敏 感单元42和不敏感单元44在如下意义上内在地是光敏感的：如果它们暴 露于合适频率(波长)的光，则它们将积累电荷。通过防止入射光到达不 敏感单元44，使得它们分别敏感和不敏感。为此目的，传感器22包括不透 明元件40，不透明元件40对具有第一光谱的光不透明，并且遮蔽不敏感单 元44但不遮蔽任何敏感单元42。由不透明元件40之一覆盖的那些行28 和未由不透明元件40覆盖的那些行在此申请中分别称作未暴露的行和暴露 的行，或称作敏感的行和不敏感的行。需要注意，传感器像素(单元)在 扫描方向(平行于x轴)上的物理尺寸为它们在垂直方向(平行于y轴) 上的延伸的一半，对应于单个图像的随后的行相隔两倍的正常像素距离。 替代地，垂直方向上图像的像素或子样本的结合能够在软件中进行。还需 要注意，系列中的最后单元能够替代地是不敏感单元。从而，用于读出最 后单元的时间间隔和用于将TDI传感器暴露于光的时间间隔将交叠，而不 会影响读出的数据的质量。

在以上参照图2讨论的实施例的变形中，条形彩色滤光器替代不透明 元件40。滤光器设置有阻挡仅某些波长的光的掩膜。利用该掩膜，TDI传 感器可以例如在一个波长范围用作时域复用传感器，而在其它波长仍然用 作‘全’TDI传感器。

图3示例用于在对图1中所示的目标12的扫描期间在TDI传感器22 上获取信号的方法，现在采样图2中所示的修改的TDI传感器代替那里示 出的TDI传感器22。重要的是需要注意，研究的目标在扫描期间以基本恒 定的速度移动。首先，第一光源(‘源A’)开通(S1)。粗略地以目标的光 学图像移过一个像素的高度(S2)所需的时间在传感器上获取信号(‘图像 A’)。然后，源A关闭(S3)，传感器上的所有电荷移动至下一行(S4)， 并且第二源(源B)开通(S5)。再次，粗略地以目标的光学图像移过一个 像素(S6)所需的时间在传感器上获取信号(‘图像B’)。然后，源B关 闭(S7)，电荷移动至下一行像素(S8)，并且重复整个过程(步骤S1至 S8)。从而，光源的切换与积累的电荷从每个像素行至各自的下一行的转移 相同步。从传感器的最后行读出的输出信号以交替方式对应于与不同光源 相关的像素行。对输出信号进行去交错产生二维图像，每一个与不同光源 相关。

图4示例了图2中所示的传感器22上的电荷从一个像素行28至随后 的像素行28的转移。图的左边部分示例正好在电荷移动之前的状况。右边 部分示例移动之后的状况。在移动之前，图像A的部分已经以积累的电荷 的形式建立于传感器的暴露的行(图中的阴影行28)上，而图像B的部分 存储于未暴露的行(图中的白色行28)上。接下来，存储在任何暴露的行 上的任何电荷向下移动至未暴露的行，而存储在未暴露的行上的任何电荷 向下移动至随后暴露的行。从而，在转移后，图像A的部分存储在未暴露 的行上，而图像B的部分存储在暴露的行上。最后行32中的电荷的值被读 出并存储在计算机上。然后开通光源B，以在传感器上进一步建立图像B。 如果未暴露的行未完全被从入射光遮蔽，使得其仍然接收一部分入射光， 则仍然能够使用图像处理从电荷的值推得原始图像A和B。

参照图2至4示例的实施例的扩展涉及两个以上的光源。当使用M光 源时，仅每个第M行暴露于光，并且交替所有光源的循环与M个行的扫 描相匹配。

图5示例优选实施例，其中使用透镜或微透镜的阵列，而不是简单的 吸收或反射掩膜。所示的为由平面光波46照明的TDI传感器22的侧视图。 光46由圆柱透镜48的阵列聚焦于敏感元件42的行上，使得没有光落到不 敏感单元44的中间行上。圆柱透镜48仅在扫描方向(x方向)上聚焦光 46。它们从而生成聚焦线(在y方向延伸)，而不是通常的焦点。圆柱透镜 48还可以与强度掩膜组合用于甚至更有效地防止光到达不敏感单元44。替 代地，透镜的阵列可以是球形聚焦透镜的二维阵列。

本发明可以用于涉及TDI传感器的时域复用的任何应用。具体地，其 可以应用于利用多个荧光团的荧光成像、用于多色亮场成像、以及用于在 单个扫描中将荧光成像与亮场成像进行组合。

虽然已经在附图和前述描述中详细示例并描述了本发明，但是附图和 描述应视为范例性而非限制性的。本发明不限于公开的实施例。可以不脱 离本发明的范围，实现以上未描述的等同物、组合以及修改。

动词“包括”及其派生词不排除“包括”所引用的物质中其它步骤或 元件的存在。不定冠词“一”不排除多个该冠词所引用的对象。还应当注 意，单个单元可以提供权利要求中提到的数个装置的功能。某些特征记载 于相互不同的从属权利要求中的仅有事实不表示不能有利地利用这些特征 的组合。权利要求中的任何参考符号不应视为限制范围。