具有小透镜阵列的光场显微镜

摘要

一种在物镜(100)的后孔处或附近集成小透镜阵列(210)的光场显微镜。可以利用低放大率小透镜(212)的阵列补充该显微镜物镜，该低放大率小透镜(212)可以位于物镜后孔处或附近并且轻微地修改该物镜。其结果是新型物镜或对现有物镜的附加。小透镜阵列例如可以包括9到100个产生相应数量实像的小透镜(具有长焦距的小型、低放大率小透镜)。每个小透镜在图像平面(220)上产生一个实像，并且每个图像对应于样本的不同视点或方向。在捕捉的实像中相关地或有差别地记录角度信息。为了获取该角度信息，可以使用各种稠密对应技术中的一个或多个。

说明书

技术领域

本发明涉及显微术，并且尤其涉及三维光场显微术。

背景技术

图1示出了可以用于实时三维(3D)显微术的现有技术光场显 微镜。该光场显微镜基于传统显微镜，通过在传感器(例如，电荷 耦合设备(CCD))之前约2.5毫米处，在中间图像平面120处插入 包含数万或数十万微透镜的微透镜阵列110对该传统显微镜进行修 改。该微透镜阵列对广场进行变换(transpose)，从而例如产生了物 镜100的后孔的55,000小图像的阵列。该图像捕捉了光场的方向(角 度)信息，每个微透镜位置对应于空间信息。这样，将3D光场复合 到传感器的2D表面上。

图1的微透镜阵列110例如可以产生传感器在图像平面120处 捕捉的55,000个角度图像。传感器上的每个图像例如可以是14×14 像素或10×10像素，这取决于图像的大小和传感器的像素间隔。图 像中的每个像素对应于物镜上的一个位置。因此，图像以混合(角 度)格式记录信息。每个角度图像不是完整图像，并且其本身所占 有的每个图像是无意义的并且不是特别有用。为了从图像恢复信息， 假设每个图像基于x和y轴具有(图像中像素的)坐标系统，例如， 10×10。从每个图像获取每个像素(i，j)并且对其进行组合。当组合来 自于每个图像的该组像素(i，j)时，其将形成一个图像，就是该显微镜 看到的实像。在坐标系统中针对每个像素执行该提取和组合以产生 一组(x*y)的实像(或更小的实像，因为可能必须丢弃坐标系统中的 某些像素位置，例如重叠边界中的像素)。

可以等同或类似于在传统光场呈现、断层摄影术以及共焦显微 术中所使用技术的计算机实现的软件技术可以用于处理捕捉的图 像。该软件可以生成3D视图并且可以提取关于所观察样本130的其 他3D信息。

传统显微镜通常允许用户通过旋转机械转轮从多个物镜100中 进行选择。图1中示出了的光场显微镜可以通过由匹配物镜100的 焦比(F/number)的微透镜阵列110填充的第二转轮实现。该附加 的机械部分为显微镜及其操作增加了相当的复杂度。此外，微透镜 阵列110可能需要定位在例如距离传感器2.5mm，同时具有关于平 行于图像平面120的位移的好于0.1mm的精度。利用上述精度并且 以鲁棒的方式从一个微透镜阵列110切换到另一个由于机械问题是 极端困难的，并且增加了第二转轮的成本。

每个微透镜阵列110可以包括例如50,000到100,000个微透镜， 其中每个微透镜具有例如125微米的直径。此类微透镜阵列是昂贵 的并且难以制造。此外，考虑到所使用的微透镜的大小和数量，对 像差的校正将极端困难。

每个微图像捕捉了物镜的圆形孔径，并且包含具有不确定像素 值并且因此可能不得不丢弃的、在孔的边缘处被部分照亮的像素。 此外，相邻的微图像可以重叠一个或两个像素，并且可能不得不丢 弃重叠的像素。此外，可以在传感器上存在很多未被微透镜照亮的 未使用的像素。因此，可能浪费传感器像素的50％或更多。

每个微透镜都非常小。例如，微透镜阵列可以生成100,000个图 像，每个图像在传感器上占用10×10像素网格。针对上述的至少一 个原因，图像处理软件可能必须从每个微图像中移除2像素宽的边 界或分界。因此，在10×10图像中，仅8×8是有用的。64个像素 显著少于100个像素。此外，图像尺寸越小，将丢失的像素百分比 越高。

发明内容

描述了用于在物镜处或附近集成有小透镜阵列的、可以用于实 时三维(3D)显微术的光场显微镜的方法和设备的各种实施方式。 实施方式可以利用可以位于物镜后孔处或附近的并且轻微修改该物 镜的低放大率小透镜阵列补充显微镜物镜。结果是一种新型物镜， 或对现有物镜的附加。

在实施方式中，小透镜阵列置于物镜处或附近。小透镜阵列例 如可以包括9到100个生成相应数量实像的小透镜(小型、低放大 率小透镜)。每个小透镜在图像平面上产生实像，并且每个图像对 应于样本的不同视点或方向。因此，集成如上所述的小透镜阵列的 光场显微镜的实施方式产生了实像，该实像与由具有与传感器相邻 定位的微透镜阵列的光场显微镜产生的角图像相对。该实像不同于 具有与传感器相邻定位的微透镜阵列的光场显微镜来捕捉角度信 息。使用物镜处或附近的小透镜阵列，在更少数量的所捕捉实像中 相关地或有差别地记录相同的角度信息。任何两个图像之间的关系 记录了图像的角度、3D信息。

为了获取该角度信息，可以将各种稠密对应技术中一个或多个 用于建立实像上特征之间或其中的对应关系，其中实像由小透镜阵 列产生于传感器上或由传感器捕捉。在使用已知技术建立稠密对应 之后，可以使用各种软件技术中的一个或多个进一步处理图像。

在实施方式中，小透镜阵列可以位于物镜后孔“之后”。由于 对于小透镜可用的空间(由物镜的后孔限定)通常约为10毫米(mm)， 如果例如需要10×10的图像，则可以使用具有约1mm直径的小透 镜。可以将较大透镜用于产生较小的图像，或可以将较小的透镜用 于产生更多的图像。显微镜物镜通常强大(高放大率)并且因此具 有短焦距f。在实施方式中，小透镜弱(低放大率)并且因此具有长 焦距F。注意，F＞f，从而小透镜仅微扰物镜的动作。

在小透镜阵列中使用的透镜大小使为了像差而校正透镜成为可 能。将小透镜定位在物镜处或附近避免了机构复杂度；例如，不需 要用于支持小透镜阵列的附加的高精度转轮。

小透镜阵列产生的光场没有被变换。具有小透镜阵列的光场显 微镜捕捉例如100个实像，该实像例如与位于图像平面处的微透镜 阵列捕捉的55,000个角图像相对。结果，使用小透镜阵列捕捉的每 个图像比使用位于图像平面处的微透镜阵列捕捉的单独图像更大， 这意味着存在占像素总数量百分比更少的浪费的边界像素。因此， 与可以使用位于图像平面处的微透镜阵列的显微镜捕捉的图像相 比，可以将相同的传感器用于捕捉更高分辨率的图像，同时具有更 少的像素损失。

几乎可以将小透镜阵列置于显微镜物镜之后的任何位置。在某 些实施方式中，可以将小透镜阵列与物镜配件集成或将小透镜阵列 耦合至物镜配件。备选地，小透镜阵列可以位于显微镜配件中物镜 处或附近。在一个实施方式中，在无限校正显微镜中，小透镜阵列 可以位于镜筒透镜处或附近，或备选地，可以以小透镜阵列替换该 镜筒透镜。

附图说明

图1示出了现有技术光场显微镜。

图2示出了根据一个实施方式的在物镜处或附近集成小透镜阵 列的光场显微镜。

图3示出了根据一个实施方式的、位于示例性显微镜物镜的后 孔处或附近的示例性小透镜阵列。

图4示出了根据一个实施方式的示例性显微镜物镜，其具有在 物镜的后焦平面处或附近与物镜配件集成的小透镜阵列。

图5是根据一个实施方式的、具有位于物镜的焦平面处或附近 的示例性小透镜阵列的示例性光场显微镜的图示。

图6A到图6C示出了根据各种实施方式的小透镜阵列的示例性 配置。

图7示出了根据一个实施方式的、在光场显微镜的图像平面处 可以由小透镜阵列产生的以及通过传感器捕捉的实像阵列。

图8示出了根据一个实施方式的、使用在物镜处或附近具有小 透镜阵列的光场显微镜捕捉以及处理图像的方法。

图9示出了可以在实施方式中使用的示例性计算机系统。

尽管在此通过多个实施方式以及示意性附图的方式描述了本发 明，但是本领的技术人员将会理解，本发明并不限于所描述的实施 方式和附图。应当理解，附图以及对其详细描述并非意在将本发明 限于所公开的特定形式；相反，意图是涵盖处于所附权利要求书限 定的本发明精神和范围之内的所有修改、等效项或者备选方案。这 里使用的标题是仅出于组织的目的，并非用来限制说明书或者权利 要求书的范围。贯穿本申请，词语“可以”是在许可的意义上(也 即，表示具有某种可能)而非强制实施的意义上(也即，必须)使 用。类似地，词语“包括”表示包括但不限于。

具体实施方式

描述了用于可以用于实时三维(3D)显微术并且在物镜的后孔 处或附近集成了小透镜阵列的光场显微镜的方法和设备的各种实施 方式。显微镜物镜具有非常强的放大率(并且因此具有小焦距)， 特别是在高倍放大方面。针对色差和其他像差，以平面并且非常专 业的不同方式，对高品质显微镜物镜进行了高度地优化和校正。物 镜是传统显微镜中单个最昂贵的组件。以未校正的小透镜阵列替换 物镜可能是不可行的。因此，实施方式以低放大率小透镜的阵列补 充物镜，其中低放大率小透镜的阵列可以位于物镜后孔处或附近并 且轻微修改物镜。结果是新型物镜或对现有物镜的附加。实施方式 例如可以生成样本的100个实像。这些图像捕捉光场。在使用已知 技术建立了稠密对应之后，可以使用各种软件技术中的一个或多个 来处理图像。

在实施方式中，取代将微透镜置于传感器旁(如图1所示的示 例性光场显微镜那样)的是，将小透镜阵列置于物镜处或附近。作 为具有生成50k-100k个角图像的50k-100k个微透镜的替代，小透镜 阵列例如可以包括9到100个生成相应数量实像的小透镜(小型、 低放大率透镜)。每个小透镜都产生实像，并且每个图像对应于样 本的不同视点或方向。因此，集成了如上所述的小透镜阵列的光场 显微镜的实施方式产生了与图1中所示的光场显微镜所产生的角图 像相对的实像。这些实像捕捉角度信息，该角度信息不同于如图1 所示的使用具有与传感器相邻定位的微透镜阵列的光场显微镜所捕 捉的角图像。使用小透镜阵列的实施方式，在更少数量的所捕捉的 实像中相关地或有差别地记录相同的角度信息。任何两个图像之间 的关系记录了图像的角度信息、3D信息。

显微镜物镜通常具有例如1毫米(mm)到10mm的小焦距f， 这取决于物镜的放大率。例如，典型60×的物镜具有约3mm的焦 距。通常，物镜的放大率越高，则焦距越短。在实施方式中，小透 镜阵列位于物镜的后孔“之后”。由于物镜可用的空间(由物镜的 后孔直径限定)通常约为10mm，如果例如需要10×10的图像，则 可以使用直径约为1mm的小透镜。可以将较大的透镜用于产生较小 的图像，或可以将较小的透镜用于产生更多的图像。

注意，小透镜阵列可以但不必包括足够的小透镜来“覆盖”物 镜的整个后孔。由于小透镜阵列理论上最少包括至少两个小透镜(实 际上，小透镜阵列通常将但不必包括至少九个小透镜)，小透镜的 绝对最大直径可以是后孔直径的一半。实际上，小透镜通常将小于 后孔直径的一半。如上所述，小透镜的实际直径取决于在小透镜阵 列中使用的小透镜数量以及后孔的实际直径。

显微镜物镜通常强大(高放大率)并且因此具有短焦距f。在实 施方式中，小透镜是较弱的透镜(低放大率透镜)并且因此具有相 对较长的焦距，在此以F表示。注意，F＞f，并且因此小透镜可以仅 微扰原来经过优化的物镜的动作。

图2示出了根据一个实施方式的在物镜处或附近集成小透镜阵 列的光场显微镜，其可以用于捕捉包括光场信息的多个实像并且因 此可以用于实时三维(3D)显微术。该光场显微镜具有小型透镜或 小透镜212的阵列，在此称为小透镜阵列210，其可以与物镜200 集成、耦合至物镜200、或位于物镜200处或附近，而不是如图1 所示的光场显微镜那样位于图像平面处或附近。在与图1所示的、 具有包含数万或数十万微透镜并且位于图像平面处或附近的微透镜 阵列的光场显微镜相比时，将小透镜阵列210定位在物镜200处或 附近使得各种实施方式能够在较小规模的阵列中使用更大以及更少 (减小500倍)并更容易校正的透镜。例如，在一个实施方式中， 可以使用10×10小透镜212的阵列或总数100的小透镜212，其中 与在图1中示出的微透镜阵列中使用的微透镜的约0.1mm直径相 比，每个小透镜212例如具有1mm的直径。注意，可以在实施方式 中使用不同数量的小透镜212以及具有更大(或更小)直径的小透 镜212。

在小透镜阵列210中使用的较大透镜使得针对像差校正透镜更 加可行，而对于与图1的微透镜阵列所需的透镜一样小的透镜来说， 这更困难(并且因此更昂贵)或可能甚至是不可能的。将小透镜阵 列210定位在物镜200处或附近还避免了图1所示的光场显微镜的 机构复杂度。例如，不需要额外的高精度转轮来支持小透镜阵列210。 此外，小透镜阵列210产生了比图1的微透镜阵列更高分辨率的图 像，并且可以针对像差校正小透镜阵列210的小透镜212产生的独 立图像。因此，小透镜阵列210的实施方式可以更便宜并且可以得 到比图1的微透镜阵列更高品质的光学系统。

图1的微透镜阵列110变换光场。小透镜阵列210产生的光场 没有被变换。具有小透镜阵列210的光场显微镜例如捕捉100个实 像，这些实像例如与图1的微透镜阵列110捕捉的55,000个角图像 相对。结果，使用小透镜阵列210捕捉的每个图像比使用图1的微 透镜阵列110捕捉的图像更大，这意味着相对于像素的总数，浪费 的边界像素的百分比更小。因此，与如图1所示的集成微透镜阵列 110的光场显微镜捕捉的图像相比，使用集成小透镜阵列210的光场 显微镜，可以将相同的传感器用于捕捉更高分辨率的图像，同时损 失更少的像素。

可以将小透镜阵列210置于物镜200之后的几乎任何位置。在 某些实施方式中，小透镜阵列210可以与物镜200配件集成或耦合 至物镜200配件。可替换地，小透镜阵列210可以在显微镜配件中 位于物镜200处或附近(例如，在几个毫米之内)。在一个实施方 式中，在无限校正显微镜中，小透镜阵列210可以位于镜筒透镜处 或附近，或可替换地，可以以小透镜阵列210替换该镜筒透镜。

图3示出了根据一个实施方式的示例性物镜(Nikon CFI60透 镜)，并且示出了位于物镜后孔处或附近的示例性小透镜阵列。图4 示出了根据一个实施方式的具有示例性小透镜阵列210的示例性显 微镜物镜，其中小透镜阵列210在后焦平面处或附近与物镜配件相 集成。图4进一步示出了透镜配件的主平面P1和P2。诸如显微镜 物镜的复合透镜可以被看作具有以下修改的薄透镜。存在两个称为 主平面的两个平面(这里称为P1和P2)，从而如果透镜处于第一 主平面P1处，则计算所有进入光线，并且如果透镜处于第二主平面 P2处，则计算所有传出光线。

参考图4，假设将小透镜阵列210置于物镜的焦平面中，则小透 镜212中的每个通过因子m＝1-f/F将焦距稍微减小来修改原始复合物 镜，并且产生新的主平面P3，该主平面P3可能恰好位于图4中第 二主平面P2的左侧(在P2和P1之间)距离x＝f*f/F处。下面描述 这些结果的差别。

图5是根据一个实施方式的、具有位于物镜焦平面处或附近的 示例性小透镜阵列的示例性光场显微镜的图示。示出了物镜200的 两个主平面P1和P2。物镜200具有焦距f，并且小透镜阵列210的 小透镜212具有焦距F。可以在下面的计算中参考图5。

在光学中，存在两类光场变换：(1)透镜折射(2)传播给定 距离。可以通过相应的矩阵描述这些变换，并且可以将任何光学设 备表示为此类矩阵的积。

首先，光场的全变换矩阵M，从P2到物镜的后焦平面。继而， 到位于焦平面中的小透镜的另一侧，并且继而回退距离为t，导出光 场的全变换矩阵M，使得该变换是透镜变换(即，右上矩阵元素是 0)。

在焦平面放置小透镜。光场的全变换M是透镜(物镜)变换(f)、 距离迁移(f)以及小透镜变换的积。上面的矩阵形式由以下内容给 出：

$M=\left(\begin{array}{cc}1& 0\\ \frac{-1}{F}& 1\end{array}\right)\left(\begin{array}{cc}1& f\\ 0& 1\end{array}\right)\left(\begin{array}{cc}1& 0\\ \frac{-1}{f}& 1\end{array}\right)$

注意，最左面的矩阵对应于小透镜，中间的矩阵对应于距离迁 移，并且最右面的矩阵对应于物镜。获取上面矩阵的积产生：

$M=\left(\begin{array}{cc}0& f\\ -\frac{1}{f}& 1-\frac{f}{F}\end{array}\right)$

下面，计算到新主平面P3的迁移幅度(相对于P2的位移)

$\left(\begin{array}{cc}1& t\\ 0& 1\end{array}\right)\left(\begin{array}{cc}0& f\\ -\frac{1}{f}& 1-\frac{f}{F}\end{array}\right)=\left(\begin{array}{cc}-\frac{t}{f}& f+t-\frac{\mathrm{tf}}{F}\\ -\frac{1}{f}& 1-\frac{f}{F}\end{array}\right)$

注意，针对待进行合适透镜变换的矩阵，结果矩阵中的右上元 素需要为0。换言之，需要上述结果矩阵为：

$\left(\begin{array}{cc}-\frac{t}{f}& 0\\ -\frac{1}{f}& 1-\frac{f}{F}\end{array}\right)$

为了从上面所示的结果矩阵生成合适的透镜变换，解算下面的 等式求t：

$f+t(1-\frac{f}{F})=0$

其产生：

$t=-\frac{1}{\frac{1}{f}-\frac{1}{F}}$

注意t为负，因为F＞f(小透镜是比物镜弱的透镜)。定义了新 主平面P3的从P2的总位移是x＝f+t。可以将Taylor级数展开用于找 到x：

$x=f-\frac{1}{\frac{1}{f}-\frac{1}{F}}=f[1-\frac{1}{1-\frac{f}{F}}]=f[1-(1+\frac{f}{F}+...)]$

$x=-f[\frac{f}{F}+...]$

其中小(因为F远远大于f)，并且省略号(...)是高阶修正。因 此，新主平面P3位移到P2的左侧(即，在P1的方向上)。在替换 t之后的最终变换是：

$\left(\begin{array}{cc}\frac{1}{m}& 0\\ -\frac{1}{f}& m\end{array}\right)$

其中$m=1-\frac{f}{F}.$注意：

$\left(\begin{array}{cc}\frac{1}{m}& 0\\ -\frac{1}{f}& m\end{array}\right)=\left(\begin{array}{cc}\frac{1}{m}& 0\\ 0& m\end{array}\right)\left(\begin{array}{cc}1& 0\\ -\frac{1}{\mathrm{mf}}& 1\end{array}\right)$

因此，变换的最终形式是(小)望远镜放大倍率m和透镜的焦 距mf的组合，其中m＝1-f/F。图像将在透镜的附近形成，这首先是 因为主平面P2左移(新主平面P3)，其次是因为焦距较小。注意， 该系统等同于位于平面P3处的新物镜。该系统包括两个元件，并且 某种程度上类似于具有放大倍率m加上具有由上述右手矩阵所描述 的放大率的透镜的望远镜。注意，该右手矩阵描述了透镜。

该系统对焦距进行了小的改变，由mf表示，其中m＝1-f/F。注 意，m接近1，因为F远大于f，并且因此改变相对小。例如，如果 F大于十倍f，则微扰是1/10。新透镜(物镜+小放大率小透镜)像 具有经修改性质的物镜那样运作；主平面位移到P3，并且通过因子 mf改变了焦距。

注意，将上述计算应用于小透镜阵列210中的所有小透镜212。 还要注意，上述计算不旨在进行限制，并且可以针对位于显微镜配 件中其他位置处的小透镜阵列210执行类似计算。

从光轴位移的透镜等同于光轴上透镜和棱镜的光学性质可以用 于找到小透镜212的焦距F。由下列方程表示该性质：

$\theta =\frac{s}{F}$

其中，s表示透镜从光轴的位移，并且棱镜的角度由θ表示。假设例 如CCD的传感器的尺寸为35mm×35mm，并且假设小透镜阵列 210包括10×10个小透镜212并且因此用于在传感器上产生10× 10个图像，传感器处的两个图像之间的距离(位移)是3.5mm。在 显微镜中，从物镜到图像平面的距离通常为160mm。这产生了图像 相对于光轴的0.022的角度：

$\theta =\frac{3.5\mathrm{mm}}{160\mathrm{mm}}$

θ＝0.022

如果小透镜212具有1mm的直径，在小透镜阵列210中，小透 镜彼此之间位移1mm，并且因此s＝1mm。注意：

$F=\frac{s}{\theta }$

在上式中将s替换为1mm并且θ替换为0.022产生了小透镜的 F＝45mm。因此，在上述假设下的修正结果将大约由焦距F＝45mm 的小透镜产生。如同所希望的，这是非常弱的透镜。

透镜的焦比定义为焦距/直径。上述透镜具有范围为45的焦比， 其表示非常弱并且因此是非常容易校正的透镜，同时具有小的(并 且是可校正)的像差。常规透镜具有约为4的焦比，并且显微镜物 镜可以具有接近1的焦比，这是很难校正的。因此，小透镜没有引 入太多像差，如果有像差的话。

注意，将上述计算应用于小透镜阵列210中的所有小透镜212。 还要注意，上述计算不旨在进行限制，并且可以针对位于显微镜配 件中其他位置处的小透镜阵列210和/或针对不同尺寸的小透镜阵列 或导致图像的不同位移的小透镜阵列执行类似计算。因此，可以生 成不同的焦比，但是注意，焦比将倾向于相对大，并且因此所需的 小透镜将倾向于相对弱。

注意，关于小透镜阵列210可以置于显微镜中的何处，存在很 大的自由度。小透镜阵列210的放置不受上述给出的针对位于物镜 后焦平面处的小透镜阵列210的示例性情况进行的计算所限制。基 本上，关于物镜的准确位置不是很重要，只要在几毫米的合理范围 内放置小透镜阵列210。如果小透镜阵列210移动，则显微镜可以仅 进行重调焦距并且系统将有效。再次指出无限校正显微镜的情况， 在该情况中，小透镜阵列210可以位于镜筒透镜处或甚至可以替换 镜筒透镜。

图6A到6C示出了根据各种实施方式的小透镜阵列210的示例 性配置。在图6A中，将示例性小透镜阵列210A示出为10×10 个小透镜212的方格网。网格的每边是10mm，因此，每个小透镜 212具有1mm的直径，并且小透镜212之间的距离(位移)是1mm。 注意，小透镜不必是圆形。可替换地，可以切割小透镜或形成方形 (边为1mm)，或形成矩形、六边形等。除圆形之外的小透镜的其 他形状可以允许小透镜更紧密地填充；更紧密填充的小透镜可以减 少光损耗量，并且近似最佳或最佳填充形状可以几乎或完全消除光 损耗。注意，每个小透镜212都产生实像，并且每个实像对应于样 本的不同视点或方向。图6B示出了作为直径为10mm的圆形小透 镜阵列的示例性小透镜阵列210B。每个小透镜212的直径是1mm。 因此，在小透镜阵列210B中仅存在68个小透镜212。而且，注意， 每个小透镜212都产生实像，并且每个实像对应于样本的不同视点 或方向。图6C示出了作为直径为10mm的圆形小透镜阵列的示例 性小透镜阵列210C。每个小透镜212的直径是1mm。然而，小透 镜阵列21C中的小透镜212比图6B的示例性小透镜阵列210B中的 那些小透镜更紧密地填充在一起，在小透镜阵列210C中比在小透镜 阵列210B中存在更多的小透镜212(86)。而且，注意，每个小透 镜212都产生实像，并且每个实像对应于样本的不同视点或方向。

注意图6A到图6C中示出的小透镜阵列210是示例性的并且不 旨在限制于此。小透镜阵列210的其他配置是可能的并且对其进行 了构思，小透镜阵列210的其他大小和形状是可能的并且对其进行 了构思，并且小透镜阵列210中的小透镜212的其他大小、数量和 配置是可能的并且对其进行了构思。尤其需要注意的是，在某些情 况中，小透镜212的数量可以少于20或多于100。

图7示出了根据一个实施方式的实像222的阵列，该实像222 的阵列可以由诸如图6A中的示例性小透镜阵列210A的示例性小透 镜阵列210产生并且通过传感器(诸如CCD)在图像平面220处捕 捉。在该示例中，假设传感器的尺寸至少为35mm×35mm。假设 小透镜阵列210包括10×10的小透镜212阵列，并且将其用于在 传感器上产生样本的100个实像，每个具有3.5mm的直径。再次注 意，每个小透镜212都产生实像222，并且每个实像对应于样本的不 同视图或方向。因此，图像222在图像中相关地或有差别地捕捉角 度信息。每个图像222中的像素数量取决于传感器的像素间隔。相 邻图像之间的位移是3.5mm。

注意，传感器可以将实像222的阵列捕捉为包括所有实像的一 个图像。然后，可以将软件用于区分实像222并且从实像222中的 差异提取角度信息，例如通过稠密对应技术。

注意，图7是示例性的并且不旨在限制于此。可以使用不同尺 寸的传感器，并且不同大小的小透镜阵列210可以用于在传感器上 产生不同数量和/或大小的图像。此外，相邻图像之间的位移可以是 不同的，并且不必等于图像本身的直径(例如，在图像之间可以存 在重叠或在图像之间可以存在额外的空间)。

对所捕捉图像的处理

诸如在图7给出的示例中示出的那些所捕捉的实像可能需要预 处理以生成所需的光场信息。使用如图1所示的微透镜阵列生成图 像集合，从该集合中的每个提取相应的像素并且将其合并以产生 “实”像。图8示出了根据一个实施方式的，使用在物镜处或附近 具有小透镜阵列210的光场显微镜捕捉以及处理实像的方法。如500 所示，在物镜处或附近具有小透镜阵列210的光场显微镜可以用于 捕捉n(例如，100)个实像(注意，所有n个实像可以被捕捉在单 个图像中)。使用如上所述的小透镜阵列210的实施方式，投影在 传感器上以及由传感器捕捉的每个图像是样本的实像。相同对象(样 本)出现在每个实像中，但是n个实像中没有两个是相同的。在n 个实像中相关地或有差别地捕捉角度信息。如502所示，为了获取 该角度信息，可以将各种稠密对应技术中的一个或多个用于在由小 透镜阵列210投影到传感器上的以及由传感器捕捉的n个实像的特 征中建立对应关系，其中稠密对应技术也可以称为图像注册技术。

如504所示，在执行n个实像的稠密对应之后，可以将各种计 算机实现的图像处理技术用于进一步处理经预处理的图像信息，其 中计算机实现的图像处理技术可以以软件、硬件或其组合实现并且 其可以包括与在传统光场呈现、断层摄影术以及共焦显微术中使用 的技术等同或类似的技术。

包括如上所述的小透镜阵列210的显微镜的实施方式可以用于 生成较少数量的较高分辨率的实像，并且继而可以将软件技术应用 于所捕捉的图像以从所捕捉的图像信息合成附加的“中间”图像， 每个合成图像对应于样本的不同(合成的)视图。例如，为了获得 较高的空间分辨率，可以捕捉远远小于100个的图像。通常，产生 高品质3D图像结果需要至少100个图像。因此，可以使用例如稠密 对应和视图变形技术从捕捉的图像合成附加的图像。例如，可以捕 捉20个实像。使用稠密对应和/或视图变形技术、可以从那20个实 像合成附加中间图像，例如可以合成80到1000个或更多附加图像。 这允许通过生成足够数量的附加合成图像，因此，可以执行重调焦 距、照相机运动、视图改变等。这允许通过生成足够数量的附加的 合成图像，同时在传感器上提供更好的图像分辨率而利用较少的实 际捕捉的图像来执行3D成像技术。因此，可以以小的质量损失(如 果有的话)获得更好的图像分辨率。

示例性系统

用于捕捉和处理由如上所述的集成小透镜阵列的光场显微镜 800生成的实像阵列的各种软件实施方式(包括但不限于稠密对应软 件)可以在一个或多个计算机系统上执行，该计算机系统可以与各 种其他设备交互。图9示出了一个此类计算机系统。在所示的实施 方式中，计算机系统700包括一个或多个处理器710，其通过输入/ 输出(I/O)接口730耦合至系统存储器720。计算机系统700还包 括耦合至I/O接口730的网络接口740，以及一个或多个输入/输出 设备750，诸如光标控制设备760、键盘770、音频设备790以及显 示器780。在某些实施方式中，可以想到，可以使用计算机系统700 的单个实例来实现这些实施方式，而在其他实施方式中，多个此类 系统或者构成计算机系统700的多个节点可以配置用于容纳实施方 式的不同部分或者实例。例如，在一个实施方式中，某些元件可以 通过计算机系统700的一个或多个节点来实现，这些节点不同于实 现其他元件的那些节点。

在各种实施方式中，计算机系统700可以是包括一个处理器710 的单处理器系统，或者包括多个处理器710(例如，2个、4个、8 个或者其他适当数目)的多处理器系统。处理器710可以是能够执 行指令的任何适当的处理器。例如，在各种实施方式中，处理器710 可以是通用处理器或者嵌入式处理器，其实现多种指令集架构(ISA) 中的任何一种，诸如x86、PowerPC、SPARC或者MIPS ISA或者任 何其他适当的ISA。在多处理器系统中，每个处理器710可以共同地 (但不是必须)实现相同的ISA。

系统存储器720可以配置用于存储由处理器710可访问的程序 指令和/或数据。在各种实施方式中，系统存储器720可以使用任何 适当的存储器技术来实现，例如静态随机访问存储器(SRAM)、同 步动态RAM(SDRAM)、非易失性/闪存类存储器或者任何其他类 型的存储器。在所示的实施方式中，实现期望功能(诸如上文针对 用于捕捉以及处理使用集成小透镜阵列的光场显微镜800捕捉的实 像阵列描述的那些功能)的程序指令和数据被示为分别作为程序指 令725和数据存储735而存储在系统存储器720中。在其他实施方 式中，可以基于与系统存储器720或者计算机系统700分离的、不 同类型的计算机可访问介质或者类似介质来接收、发送或者存储程 序指令和/或数据。一般而言，计算机可访问介质可以包括存储介质 或者存储器介质，诸如磁性或光学介质，例如经由I/O接口730耦合 至计算机系统700的盘或CD/DVD-ROM。经由计算机可访问介质存 储的程序指令和数据可以通过传输介质或者信号来传输，这些传输 介质或者信号诸如电信号、电磁信号或者数字信号，其可以经由诸 如网络和/或无线链路的通信介质来传递，诸如可以经由网络接口 740来实现。

在一个实施方式中，I/O接口730可以配置用于协调处理器710、 系统存储器720以及设备中的任何外围设备(包括网络接口740或 者其他外围接口，诸如输入/输出设备750)之间的I/O业务。在某 些实施方式中，I/O接口730可以执行任何所需的协议、定时或者其 他数据变换，以便将数据信号从一个组件(例如，系统存储器720) 使用的格式转换为适于其他组件(例如，处理器710)使用的格式。 在某些实施方式中，I/O接口730可以包括对通过各种类型的外围总 线附接的设备的支持，其中外围总线例如外围组件互连(PCI)总线 标准或者通用串行总线(USB)标准的变形。在某些实施方式中，I/O 接口730的功能可以划分到两个或者更多分离的组件中，诸如北桥 和南桥。而且，在某些实施方式中，I/O接口730的某些或者全部功 能(诸如与系统存储器720的接口)可以直接并入处理器710。

网络接口740可以配置用于允许在计算机系统700与附接至网 络的其他设备(诸如其他计算机系统)之间或者计算机系统700的 节点之间交换数据。在各种实施方式中，网络接口740可以支持经 由有线的或者无线通用数据网络(例如，任何适当类型的以太网)、 经由电信/电话网络(诸如，模拟语音网络或者数字光纤通信网络)、 经由存储区域网络(诸如，光纤信道SAN)、或者经由任何其他适 当类型的网络和/或协议进行通信。

输入/输出设备750可以包括用于接收来自于使用如上所述的小 透镜阵列的光场显微镜800捕捉的实像222的光场显微镜800的输 入。在某些实施方式中，输入/输出设备750可以包括一个或多个显 示终端、键盘、小键盘、触摸板、扫描设备、语音或者光学识别设 备或者适于由一个或多个计算机系统700输入或者接收数据的任何 其他设备。多个输入/输出设备750可以存在计算机系统700中，或 者可以在计算机系统700的各个节点上分布。在某些实施方式中， 相似的输入/输出设备可以与计算机系统700分离，并且可以通过有 线或者无线连接(诸如通过网络接口740)与计算机系统700的一个 或多个节点交互。

如图9所示，存储器720可以包括程序指令725和数据存储735， 其中程序指令725配置用于实现包括但不限于稠密对应软件的软件， 该软件用于捕捉和处理由如上所述的集成小透镜阵列的光场显微镜 800生成的实像阵列，而数据存储735包括程序指令725可访问的各 种数据。数据存储735可以包括可在某些实施方式中使用的数据。 在其他实施方式中，可以包括不同的软件元素和数据。

本领域技术人员应该理解，计算机系统700仅仅是示意性的， 其并非意在限制在此描述的集成小透镜阵列的光场显微镜800的范 围。特别地，计算机系统和设备可以包括能够执行所示功能的硬件 或者软件的任意组合，包括但不限于计算机、网络设备、互联网应 用、PDA等。计算机系统700还可以连接至其他未示出的设备，或 者反之可以作为单机系统操作。而且，在某些实施方式中，所示组 件所提供的功能可以结合到较少的组件中或者分布到附加的组件 中。类似地，在某些实施方式中，可以不提供某些所示组件的功能， 和/或其他附加功能可以是可用的。

本领域技术人员还将理解，尽管各种项目被示为在使用时存储 在存储器中或者存储设备上，但是这些项目或者其中的部分可以在 存储器与其他存储设备之间传送，以用于存储器管理和数据完整性 的目的。备选地，在其他实施方式中，某些或者全部软件组件可以 在其他设备上的存储器中执行，并经由计算机间的通信与所示的计 算机系统通信。某些或者全部系统组件或者数据结构还可以存储在 (例如，作为指令或者结构化数据)将由适当的驱动读取的计算机 课可访问介质或者便携式产品中，已在上文描述了其中的各种示例。 在某些实施方式中，存储在与计算机系统700分离的计算机可访问 介质上的指令可以经由传输介质或者信号而传输到计算机系统700， 其中传输介质或者信号例如由诸如网络和/或无线链路的通信介质承 载的电信号、电磁信号或者数字信号。各种实施方式还可以包括接 收、发送或者存储按照上文关于计算机可访问介质的描述而实现的 指令和/或数据。因而，可以利用其他计算机系统配置来实施本发明。

结论

各种实施方式还可以包括接收、发送或者存储按照上文关于计 算机可访问介质的描述而实现的指令和/或数据。一般而言，计算机 可访问介质可以包括存储介质或者存储器介质，诸如磁性介质和光 学介质，例如盘或者DVD/CD-ROM、易失性或者非易失性介质，诸 如RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM等， 以及由诸如网络和/或无线链路的通信介质承载的传输介质或者信 号，诸如电信号、电磁信号或者数字信号。

附图中所示以及在此描述的各种方法表示方法的示例性实施方 式。该方法可以通过软件、硬件或其组合来实现。该方法的顺序可 以改变，并且可以对各种元素进行添加、重排序、组合、省略和修 改等。

对于受益于本公开的本领域技术人员而言显而易见的是，可以 进行各种修改和改变。本发明意在涵盖所有这些修改和改变，因此 应认为上文的描述是示意性的而不是限制性的。