图像拾取设备和图像拾取光学系统

摘要

本发明涉及图像拾取设备和图像拾取光学系统。所述图像拾取设备(301)包括图像拾取元件(103)、被配置为在像侧共轭面(202)上收集来自对象(201)的光线的透镜部件(101)、以及包含多个透镜单元并被设置为使得所述像侧共轭面(202)和所述图像拾取元件(103)相互共轭的透镜阵列(102)，并且，所述透镜阵列(102)被设置为满足预定的条件式。

说明书

技术领域

本发明涉及具有透镜阵列的图像拾取设备和图像拾取光学系统。

背景技术

近年来，已提出了使用通过图像拾取元件获得的数据执行计算并 且根据所述数据执行数字图像处理以输出各种类型的图像的图像拾取 设备。在文献Todor Georgiev等人的“Full Resolution Light Field  Rendering”，Adobe Technical Report January 2008和Todor Georgiev 等人的“Superresolution with Plenoptic 2.0Camera”，2009 Optical  Society of America中，公开了使用“光场摄影(Light Field  Photography)”来同时获得对象平面上的二维光强度分布和视差 (parallax)信息(统称为光场)的“全光2.0照相机(Plenoptic 2.0 Camera)”。根据这样的图像拾取设备，可通过获得光场并然后在拍 摄图像之后执行图像处理来改变图像的焦点位置或场深(depth of  field)等。

但是，图像拾取设备需要使用除了存储二维光强度分布以外还存 储视差信息的图像拾取元件的像素。因此，与仅存储二维光强度分布 的图像拾取设备相比，空间分辨率劣化。在文献Todor Georgiev等人 的“Superresolution with Plenoptic 2.0 Camera”，2009 Optical Society  of America中，公开了这样的配置：在该配置中，通过透镜阵列的各 透镜(有时被称为“微透镜”)在不同的像素位置处将由主透镜部件 (unit)形成的像面上的某点成像。以这种方式获得的多个小图像被 重构以获得高分辨率的重构图像。获得高分辨率图像的该方法被称为 “像素偏移效果”。

但是，在文献Todor Georgiev等人的“Superresolution with  Plenoptic 2.0Camera”，2009Optical Society of America中，没有公开 为了获得高分辨率而需要的具体的配置。

发明内容

本发明提供能够以简单的配置获得高分辨率光场的图像拾取设备 和图像拾取光学系统。

作为本发明的一个方面的图像拾取设备包括：图像拾取元件；透 镜部件，被配置为在像侧共轭面上收集来自对象的光线；以及透镜阵 列，包含多个透镜单元(cell)，并且被设置为使得所述像侧共轭面和 所述图像拾取元件相互共轭，并且，所述透镜阵列被设置为满足预定 的条件式。

作为本发明的另一方面的图像拾取光学系统是一种在图像拾取元 件上收集来自对象的光线的图像拾取光学系统，该图像拾取光学系统 包括：透镜部件，被配置为在像侧共轭面上收集来自对象的光线；以 及透镜阵列，所述透镜阵列包含多个透镜单元，并且被设置为使得所 述像侧共轭面和所述图像拾取元件相互共轭，并且，所述透镜阵列被 设置为满足预定的条件式。

参照附图阅读实施例的以下描述，本发明的其它特征和方面将变 得清晰。

附图说明

图1是实施例1、3和4中的图像拾取光学系统的示意性配置图。

图2是实施例2中的图像拾取光学系统的示意性配置图。

图3是本发明的实施例中的每一个中的图像拾取设备的框图。

图4A～4C是描述本发明的实施例中的每一个中的像素偏移效果 的示图。

图5是描述本发明的实施例中的每一个中的图像拾取光学系统的 布置(arrangement)的示图。

图6A和图6B是描述本实施例中的图像拾取元件上的图像的示 图。

图7是表示关于距离σ₁的像素偏移量的示图。

图8是表示关于距离σ₁的像素偏移的比的示图。

图9是描述本发明的实施例中的每一个中的小透镜的重叠 (overlap)数量的示图。

图10是描述本发明的实施例中的每一个中的包含像素偏移效果 的空间分辨率的示图。

图11是表示距离σ₁和空间分辨率比之间的关系的示图。

图12是实施例1中的图像拾取光学系统的截面图。

图13是实施例2中的图像拾取光学系统的截面图。

图14是实施例3和4中的图像拾取光学系统的截面图。

图15是实施例4中的图像处理系统的配置图。

具体实施方式

以下将参照附图描述本发明的实施例。在各图中，相同的要素将 由相同的附图标记表示，并且，对于它们的重复描述将被省略。在必 要时，或者，在单个实施例中的来自各单独的实施例的要素或特征的 组合有益时，可单独地或者作为多个实施例或其特征的组合实现以下 描述的本发明的实施例中的每一个。

本实施例的图像拾取设备被配置为使用透镜阵列获得光场，并且， 透镜阵列被设置在适当的位置以实现有效的高分辨率。首先，将参照 图1和图2来描述该图像拾取设备(和通过从该图像拾取设备排除图 像拾取元件而配置的图像拾取光学系统)的示意性配置。图1是以下 描述的实施例1、3和4中的图像拾取光学系统的示意性配置图，图2 是以下描述的实施例2中的图像拾取光学系统的示意性配置图。

如图1和图2所示，图像拾取光学系统具有主透镜部件101(光 学系统)，所述主透镜部件101(光学系统)具备孔径光阑(未示出)。 在图2中，透镜阵列102和图像拾取元件103被设置在成像面(即， 图像透镜部件101关于对象面201的像侧共轭面202)的后侧(在像 侧)。透镜阵列102被设置为使得主透镜部件101的像侧共轭面202 和图像拾取元件103与透镜阵列102的一对共轭面相对应。

来自对象面201的光线经由主透镜部件101和透镜阵列102进入 图像拾取元件103。在这种情况下，通过主透镜部件101所形成(即， 通过集光功能所形成)的实像通过透镜阵列102被重新形成(reform)， 并且，它根据对象面201上的光线的位置和角度而进入图像拾取元件 103的多个不同的像素。作为结果，图像拾取元件103获得由具有不 同的成像视点和成像范围的多个小图像所配置的图像。另一方面，在 图1中，透镜阵列102被设置在相对于主透镜部件101的成像面的前 侧，即，被设置在主透镜部件101关于对象面201的像侧共轭面202 的物侧，以获得光场。但是，在任何情况下，通过要在图像拾取元件 103上形成的透镜阵列102，作为对象观察到主透镜部件101关于对象 面201的图像，因此，它们本质上相同。

下面，将参照图3描述本实施例中的图像拾取设备的配置。图3 是本实施例中的图像拾取设备的框图。图像拾取元件103是诸如CCD (电荷耦合器件)或CMOS(互补金属氧化物半导体)的二维图像拾 取元件。经由主透镜部件101和透镜阵列102进入图像拾取元件103 的光线的能量变为电信号(模拟信号)以通过A/D转换器104被转换 成数字信号。通过图像处理器105对于该数字信号执行预定的处理， 并且，以预定的格式在诸如半导体存储器的图像记录介质110中存储 该数字信号。在这种情况下，同时存储从状态检测器108获得的图像 拾取设备的图像拾取条件信息。图像拾取条件信息例如是物距、光阑 或变焦透镜中的焦距。状态检测器108可从系统控制器111直接获得 图像拾取条件信息，或者，可替代地，它也可从光学系统控制器107 获得与图像拾取光学系统有关的信息。

当在显示器106上显示存储于图像记录介质110中的图像时，基 于图像拾取条件信息通过图像处理器105执行重构处理。作为结果， 在显示器106上显示被重构为希望的视点、焦点位置或场深的图像。 为了加速处理，希望的图像设定(例如视点、焦点或场深)也可被事 先存储于存储部件109中，以在不牵涉(involove)图像记录介质110 的情况下直接显示重构的图像。此外，记录于图像记录介质110中的 图像也可以是重构的图像。通过系统控制器111执行上面描述的一系 列控制，并且，根据系统控制器111的指令通过光学系统控制器107 执行图像拾取光学系统的机械驱动。

随后，将描述透镜阵列102的适当位置。首先，描述伴随获得光 场的分辨率的劣化，然后，获得用于通过像素偏移效果获得高分辨率 的最优条件。还描述对于像素偏移效果抑制透镜阵列102的布置的灵 敏度的条件。为了便于理解，对于一维布置执行以下的计算。这对于 二维布置也同样成立。

首先，将参照图4A～4C描述获得光场的图像拾取光学系统的分 辨率的劣化。图4A～4C是通过提取图2的一部分而图示的用于描述 本实施例中的像素偏移效果的示图。图4A～4C中的虚线表示关于透 镜阵列102的每个小透镜(即，透镜单元)的场角。在仅获得二维光 强度分布的常规的图像拾取光学系统中，图像拾取元件被设置在主透 镜部件关于对象面的像侧共轭面上以拍摄图像。在这种情况下，图像 的分辨率等于图像拾取元件的像素的数量。另一方面，在获得光场的 本实施例的图像拾取设备中，与图像拾取元件的像素的数量相比，分 辨率劣化。

图4B是在仅获得图4A中的像素的二维光强度分布的条件下、图 像拾取面(即，主透镜部件101关于对象面201的像侧共轭面202) 上的投影的示图。在图2的图像拾取光学系统中，提供通过以借助于 投影而被放大的像素节距拍摄图像所获得的分辨率。在这种情况下的 空间分辨率是通过参照原始图像拾取元件103的透镜阵列102的倍数 |σ₂/σ₁|(在二维分布中，为其平方的量级(magnitude))而获得的 值。在实施例中，符号σ₁表示从透镜阵列102的物侧主面到主透镜部 件101关于对象面201的像侧共轭面202的距离，符号σ₂表示从透镜 阵列102的像侧主面到图像拾取元件103的距离。为了确保与通过相 同的图像拾取元件103将二维光强度分布成像的常规的图像拾取光学 系统等同的成像场角，透镜阵列102需要是缩小系统。当对于放大系 统中的透镜阵列使用与图像拾取元件103等同的图像拾取元件时，与 常规的图像拾取光学系统相比，光线的位置和场角两者的信息增加。 因此，像素的数量不足，并且，与常规的图像拾取光学系统相比，成 像区域减小。在本实施例中，由于透镜阵列102是缩小系统，因此， 满足|σ₁/σ₂|＞1，并且，与图像拾取元件的像素的数量相比，图像的分 辨率劣化。

下面将描述通过像素偏移效果导致的空间分辨率的提高。如图4A 所示，在主透镜部件101关于对象面的像侧共轭面202上重叠从透镜 阵列102的各小透镜观察的场角。场角被重叠的小透镜的数量被称为 小透镜的重叠数量。在图4A中，三个小透镜投影像侧共轭面202的 区域的一部分，并且，小透镜的重叠数量为三个。

图4B是通过在主透镜部件101的像侧共轭面202上投影与各小 透镜对应的图像拾取元件103的像素组而获得的示图。如图4B所示， 当投影像素中的每一个偏移时，它们可被合成以减小表观(apparent) 像素尺寸并获得高分辨率的重构图像。

换句话说，透镜阵列102只需要被布置为使得在像侧共轭面202 上投影的像素通过邻接的透镜单元相互偏移与投影的像素的节距的整 数倍不同的长度。由此，可以获得高分辨率图像。换句话说，通过邻 接的透镜单元被投影的像素组被称为第一投影像素组和第二投影像素 组。在这种情况下，透镜阵列102只需要被布置为使得构成第一投影 像素组和第二投影像素组的像素的投影位置不相互一致。换句话说， 透镜阵列102只需要被布置为使得没有在被邻接的透镜阵列102投影 的像素的相同位置上被投影的像素。

相反，当投影像素如图4C所示的那样相互一致时，不能获得像 素偏移效果，并因此不能提高分辨率。当像素偏移的比与小透镜的重 叠数量对应时，可通过像素偏移效果获得最高的分辨率。具体而言， 在图4A～4C中，重叠数量为3，因此，当像素偏移的比为1/3或2/3 时，可获得最高的分辨率。将在后面描述像素偏移的比与小透镜的重 叠数量之间的关系的细节。

随后，获得距离σ₁和像素偏移的比之间的关系。邻接的小透镜的 相对像素偏移量用比|Δ_LAσ₂/(Δσ₁)|表示，所述比|Δ_LAσ₂/(Δσ₁)| 是通过将透镜阵列102的节距Δ_LA除以在主透镜部件101的像侧共轭 面202上投影的像素的节距而获得的。在实施例中，符号Δ表示图像 拾取元件103的像素节距。为了识别关于透镜阵列的布置的像素偏移 量的特性(behavior)，将参照图5描述σ₁和σ₂需要满足的条件。

图5示出图1的详细配置，并且，关于图2的配置满足类似的关 系。图5中的符号F表示主透镜部件101的F数，符号P_ex表示主透 镜部件101的出射光瞳(近轴出射光瞳)和主透镜部件101的像侧共 轭面202之间的距离。符号N是表示主透镜部件101的光瞳面的分割 数的正整数。符号P_ex/(NF)表示通过图像拾取元件103获得的角度 信息的采样节距。从图5中可以看出，Δ_LA和σ₁之间的关系满足下式 (1)。

${\Delta }_{\mathrm{LA}}=\left|\frac{{\sigma }_1}{\mathrm{NF}}\right|···\left(1\right)$

在实施例中，当透镜阵列102的物侧主面被设置在像侧共轭面202 的前侧即物侧时，符号σ₁表示正值，另一方面，当物侧主面被设置在 像侧共轭面202的后侧即像侧时，它表示负值。图5中的点划线表示 连接透镜阵列102的小透镜的中心和与小透镜对应的像素组的边缘的 直线，并且，该直线的光瞳面上的交点与光瞳中心之间的距离由下式 (2)表示。

$\frac{P_{\mathrm{ex}}}{2F}(1+\frac{1-2l_r}{N})···\left(2\right)$

在实施例中，符号l_r表示代表图像拾取元件上的死区(dead zone) 和串扰(crosstalk)的水平的参数。将参照图6A和图6B描述死区和 串扰。

图6A示出当l_r的值为负值时图像拾取元件103上的图像的状态。 白色区域表示光线进入的区域，灰色区域被称为死区，所述死区是光 线不进入的区域。随着l_r的值减小，死区扩展。由于它意味着不获得 信息的像素的数量增加，因此，优选的是，死区被最小化。相反，图 6B示出当l_r的值为正值时图像拾取元件103上的图像的状态。经由不 同的小透镜形成的图像相互重叠。在重叠的区域中，在对象面201上 具有不同的位置和角度的光线进入同一像素，并且，该现象被称为串 扰。随着l_r的值增大，串扰的区域扩展。由于其中产生了串扰的像素 不能获得光场，因此，如果对于重构使用该像素，则不能产生正确的 图像。

当对于图像的重构不使用其中产生了串扰的像素时，在串扰的区 域大的情况下，不能使用的像素增加。因此，优选的是，产生串扰的 区域被最小化。当l_r的值为零时，死区和串扰的产生被最小化。但是， 在实际的系统中，由于因像差导致的最佳焦点位置的偏移、主透镜部 件101的渐晕(vignetting)、或边缘处的光量下降等的影响，即使 当l_r的值从零轻微地偏离时，死区或串扰的产生也可被抑制。

基于图5和式(2)，满足下式(3)。

$\frac{N+1-2l_r}{N}\frac{P_{\mathrm{ex}}{\sigma }_2}{2F(P_{\mathrm{ex}}-{\sigma }_1)}=\frac{{\Delta }_{\mathrm{LA}}}{2}···\left(3\right)$

因此，使用式(1)和(3)，邻接的小透镜的相对像素偏移量由 下式(4)给出。

$\frac{{\Delta }_{\mathrm{LA}}}{\Delta |{\sigma }_1/{\sigma }_2|}=\frac{1}{N(N+1-2l_r)F}\left|\frac{{\sigma }_1}{\Delta }\right|(1-\frac{{\sigma }_1}{P_{\mathrm{ex}}})···\left(4\right)$

式(4)是代表邻接的小透镜关于距离σ₁的相对像素偏移量的特 性的式子。

下面将描述关于像素偏移效果的距离σ₁的灵敏度。以下是对于图 1所示的配置的例子的描述，但是，对于图2所示的配置也同样成立。 参照式(4)，关于距离σ₁的像素偏移量被表示为图7。图7中的菱形 点表示与小透镜对应的像素组的像素的数量为整数的解。在这些解以 外的距离σ₁中，上述的串扰被产生。但是，如果壁面(wall surface) 被设在图像拾取元件103上使得来自不同的小透镜的光线不进入与某 小透镜对应的像素组，那么，即使当与小透镜对应的像素组的数量不 为整数时，也可抑制串扰。由于像素的整数倍的偏移如图4C所示的 那样是无意义的，因此，式(4)中的整数部分可被忽略。因此，像素 偏移的比δ被表示为下式(5)。

$\delta =\mathrm{mod}\left(\right|\frac{{\Delta }_{\mathrm{LA}}{\sigma }_2}{{\mathrm{\Delta \sigma }}_1}|,1)···\left(5\right)$

在式(5)中，z＝mod(x，y)意味着，z的值等于通过将x除以 y而获得的结果的余数。

图8是示出当使用预定的参数时通过式(5)获得的对于距离σ₁的像素偏移的比δ的示图。图8中使用的参数是以下描述的实施例3 中的参数。理想地，优选的是透镜阵列102被设置在获得表示最高分 辨率的像素偏移的比的距离σ₁的位置处。但是，在实际的系统中，在 透镜阵列102的布置中包含误差，并且，所述误差降低像素偏移效果。 因此，优选的是，透镜阵列102被设置在即使当产生误差时像素偏移 效果也不容易改变的距离σ₁的位置处。参照式(4)和图7，可使用关 于距离σ₁的二次函数来表示像素偏移的比。因此，可通过防止图7中 的曲线的两端的斜度陡峭的部分来抑制由距离σ₁的误差导致的像素偏 移效果的劣化。因此，可以引入抑制距离σ₁的灵敏度并且容易获得高 分辨率的条件。

在本实施例中，设置透镜阵列102的位置满足以下的条件式(6)。

$0.05<\left|\frac{{\sigma }_1}{P_{\mathrm{ex}}}\right|<0.95···\left(6\right)$

在具有图1和图2所示的配置的图像拾取设备中，可通过满足条 件式(6)获得高分辨率图像。如果|σ₁/P_ex |的值大于条件式(6)的上 限或小于条件式(6)的下限，则容易出现由距离σ₁的误差导致的分 辨率的劣化。

优选的是，满足以下的条件式(6a)的范围以抑制距离σ₁的灵敏 度，从而容易地实现高的分辨率。

$0.18<\left|\frac{{\sigma }_1}{P_{\mathrm{ex}}}\right|<0.82···\left(6a\right)$

更优选的是，满足以下的条件式(6b)或(6c)的范围以进一步 抑制距离σ₁的灵敏度，从而容易地实现高的分辨率。

$0.30<\left|\frac{{\sigma }_1}{P_{\mathrm{ex}}}\right|<0.70···\left(6b\right)$

$0.40<\left|\frac{{\sigma }_1}{P_{\mathrm{ex}}}\right|<0.60···\left(6c\right)$

但是，当条件式(6)和(6a)～(6c)的值接近于1时，由于透 镜阵列的倍数|σ₂/σ₁|减小，因此，通过图像拾取元件103获得的图像 的分辨率减小。理想地，当具有1/n的像素偏移的n个小透镜重叠时， 分辨率被放大n倍。在实施例中，n为正整数。但是，在实际的系统 中，由于主透镜部件101的噪声或像差的影响，通过像素偏移效果导 致的分辨率的提高量比理想系统的小。因此，优选的是，在一定程度 上确保通过图像拾取元件103获得的图像的分辨率。在图1所示的配 置中，当条件式(6)的值接近于1时，存在透镜阵列干涉主透镜部件 101的情况。因此，更优选的是，条件式(6)和(6a)～(6c)的上 限被设定为小于0.1以抑制灵敏度从而获得更高分辨率的光场。

下面，将考虑可获得像素偏移效果的条件。如上所述，当由式(4) 表示的邻接的小透镜的相对像素偏移量为整数时，不能获得像素偏移 效果，如图4C所示。因此，透镜阵列102可被设置为使得，当在像 侧共轭面202上投影图像拾取元件103的像素时，彼此邻接的两个小 透镜的投影像素的偏移不是投影像素的整数倍。

随后，获得用于获得更高的像素偏移效果的条件。首先，估计小 透镜的重叠数量。图9是横轴表示图4B所示的小透镜的数量j并且纵 轴表示主透镜部件101关于对象面201的像侧共轭面202上的坐标y 的示图。在实施例中，j＝0可以为透镜阵列102的任意的小透镜。图 9中的与y轴平行的直线中的每一个表示当在像侧共轭面202上投影 与第j个小透镜对应的像素组时所获得的坐标。点划线A连接表示这 些直线的上限的点，并且，点划线B连接表示这些直线的下限的点。 点划线A由y＝Δ_LA{j+|σ₁/(2σ₂)|}给出，并且，点划线B由 y＝Δ_LA{j-|σ₁/(2σ₂)|}给出。重叠的小透镜的数量与点划线A和B之间的 在j方向上的间隙对应，并且，当j＝0的小透镜也被计数时，该数量 可被估计为约|σ₁/σ₂|+1。

随后，获得包含像素偏移效果的空间分辨率。如上所述，在实际 的系统中，通过像素偏移效果导致的分辨率的提高量比理想系统的小。 但是，为了便于描述，在本实施例中将描述理想系统中的分辨率的提 高。最终的分辨率被定义为由通过像素偏移效果而变得表观上小的像 素中的最大像素确定。该像素尺寸被称为表观像素的最大值。

例如，当小透镜的重叠数量为8并且由式(5)表示的邻接的小透 镜的像素偏移的比δ为0.45时，8个小透镜的像素偏移分别为0、0.45、 0.90、0.35、0.80、0.25、0.70和0.15。在这种情况下，用于确定分辨 率的表观像素的最大值为0.70-0.45＝0.25。然后，考虑重叠数量相同 并且比δ为3/8的情况。在这种情况下，8个小透镜的像素偏移分别为 0、3/8、6/8、1/8、4/8、7/8、2/8、5/8。在这种情况下，表观像素的最 大值为1/8，该值与重叠数量的倒数一致。因此，当邻接的小透镜投影 的像素的偏移的比与小透镜的重叠数量的倒数一致时，获得最大的像 素偏移效果。对于由式(5)表示的比δ为1/8、5/8或7/8的情况，也 同样成立。但是，当比δ为2/8、4/8或6/8时，像素偏移效果劣化。例 如，考虑比δ为2/8的情况。在这种情况下，8个重叠的小透镜的像素 偏移分别为0、2/8、4/8、6/8、0、2/8、4/8和6/8，并且，由于像素相 互重叠，因此表观像素的最大值为2/8＝1/4。因此，与比δ为1/8、3/8、 5/8或7/8的情况相比，像素偏移效果减半。

因此，当由式(5)给出的比δ等于m₀/M₀时，可以获得最大的像 素偏移效果。在实施例中，符号M₀表示小透镜的重叠数量，并且， 符号m₀表示小于M₀的整数，这里，m₀和M₀的最大公因数(greatest  common factor)为1。如上所述，重叠数量M₀可被估计为约|σ₁/σ₂|+1， 并且，当比δ接近于m₀/M₀时，像素偏移效果提高。

图10是示出使用与图8的参数相同的参数时的关于距离σ₁的表 观像素的最大值和小透镜的重叠数量的倒数之间的关系的示图。当由 菱形点表示的表观像素的最大值和由虚线表示的小透镜的重叠数量的 倒数关于距离σ₁相互接近时，像素偏移效果增高，并且，重构图像的 分辨率提高。相反，以表观像素的最大值和小透镜的重叠数量的倒数 相互远离的距离σ₁，不能获得大的像素偏移效果。图11是当使用与图 8的参数相同的参数时的距离σ₁和空间分辨率比之间的关系。通过使 用图像拾取元件的像素的数量将重构图像的空间分辨率归一化，表示 纵轴的空间分辨率比。当在图10中菱形点和小透镜的重叠数量的倒数 关于距离σ₁相互接近时，包含像素偏移效果的分辨率提高。相反，以 图10中的表观像素的最大值更接近于1的距离σ₁，很少表现出通过像 素偏移效果导致的分辨率的提高。如上所述，随着距离|σ₁|接近P_ex/2， 空间分辨率比的波动是和缓的，并且，透镜阵列的灵敏度被抑制。

因此，可以获得用于通过像素偏移效果有效地获得分辨率的提高 的条件式(7)。

$0.9<\frac{M}{m}\mathrm{mod}\left(\right|\frac{{\Delta }_{\mathrm{LA}}{\sigma }_2}{{\mathrm{\Delta \sigma }}_1}|,1)<1.1···\left(7\right)$

在条件式(7)中，符号M表示满足以下的条件式(8)的整数。

$0.2<\frac{M}{1+|{\sigma }_1/{\sigma }_2|}<2.0···\left(8\right)$

符号m表示小于整数M的整数，并且，m和M的最大公因数为 1。条件式(7)和(8)表示像素偏移效果的水平，并且，可通过满足 条件式(7)和(8)实现重构图像的高分辨率。如果 (M/m)mod(|Δ_LAσ₂/Δσ₁|，1)和M/(1+|σ₁/σ₂|)的值分别大于条件式(7)和 (8)的上限或小于其下限，则不能获得足够的像素偏移效果，因此， 空间分辨率的提高不足。

为了获得更高分辨率的图像，优选地，满足以下的条件式(7a)。

$0.93<\frac{M}{m}\mathrm{mod}\left(\right|\frac{{\Delta }_{\mathrm{LA}}{\sigma }_2}{{\mathrm{\Delta \sigma }}_1}|,1)<1.07···\left(7a\right)$

为了获得进一步高分辨率的图像，更优选地，满足以下的条件式 (7b)。

$0.95<\frac{M}{m}\mathrm{mod}\left(\right|\frac{{\Delta }_{\mathrm{LA}}{\sigma }_2}{{\mathrm{\Delta \sigma }}_1}|,1)<1.05···\left(7b\right)$

为获得更大的像素偏移效果，更优选地，满足以下的条件式(8a) 或(8b)。

$0.4<\frac{M}{1+|{\sigma }_1/{\sigma }_2|}<1.6···\left(8a\right)$

$0.6<\frac{M}{1+|{\sigma }_1/{\sigma }_2|}<1.4···\left(8b\right)$

优选地，构成透镜阵列102的小透镜的像侧表面具有凸形形状。 因此，透镜阵列102的像散被抑制，并且，关于分辨率的灵敏度可被 减小。相反，当像侧表面不具有凸形形状时，像散大，并且，通过各 小透镜形成的图像的周边模糊。如果对于重构处理使用模糊的部分， 则重构图像被形成得不鲜锐(sharply)。更优选的是，构成透镜阵列 102的小透镜的物侧表面具有平面或凸面形状。因此，小透镜的曲率 适中并且像差被抑制，因此，灵敏度可被进一步减小。

优选地，透镜阵列102被设置在主透镜部件101关于对象面201 的像侧共轭面202的物侧。从图1和图2的比较可以看出，这是由于， 与图2的配置相比，图1的配置可减小图像拾取光学系统的总长。此 外，在图1的配置中，轴外光线进入透镜阵列102和图像拾取元件103 的像高比图2的配置中的小。如上所述，可通过采用图1所示的布置 来减小图像拾取光学系统的尺寸。

本实施例的其它效果是，可通过满足在透镜阵列和图像拾取元件 之间具有适当的关系的条件，获得光学地提高分辨率的图像。

在图1和图2所示的图像拾取光学系统中，通过图像拾取元件获 得其中排列(array)了具有不同的成像视点和成像区域的小图像的图 像。可通过对这些图像的全部或一部分进行加权的方法或在偏移这些 图像的同时使它们重叠的方法(重构方法)获得具有不同的焦点位置、 F数或视点的图像。例如，在“Light Field Photography with a  Hand-held Plenoptic Camera”(Ren Ng等人，Stanford Tech Report  CTSR 2005-02)中公开了该方法。因此，在实施例中省略该方法的描 述。本实施例的配置与上面的文献的配置稍有不同，但是，由于分割 主透镜部件的光瞳的配置相同，因此，实质上在它们之间不存在差异。 因此，可通过使用类似的重构方法，产生改变焦点位置、场深或成像 视点的图像。同样，在这种情况下，可通过使用像素偏移效果获得高 分辨率重构图像。也可通过与图像拾取设备分开的图像处理设备执行 重构处理。

人或物体不是一定存在于图1和图2所示的对象面201上。这是 由于，可在拍摄图像之后通过重构处理执行对于存在于对象面201的 前面或后面的人或物体的聚焦。主透镜部件101也可由一个透镜组成。

[实施例1]

下面，将参照图12描述实施例1中的图像拾取设备(图像拾取光 学系统)。图12是本实施例中的图像拾取光学系统的截面图。在图 12中，主透镜部件101是包含控制拍摄图像时的F数的孔径光阑SP 的单焦点透镜。但是，为了获得许多的视差信息，优选地孔径直径大。 在本实施例中，由于可在拍摄图像之后通过重构改变F数，因此，孔 径直径也可是固定的。

根据规格(specifications)，主透镜部件101具备聚焦机构。当 主透镜部件101包含聚焦机构时，透镜位置由自动聚焦(AF)机构或 手动聚焦机构(未示出)控制。在本实施例中，可通过图像处理执行 拍摄图像之后的聚焦(重新聚焦(refocusing))，但是，由于孔径直 径是有限的，因此，通过图像拾取元件103获得的视差信息是有限的。 因此，可执行重新聚焦的范围也是有限的。通过改变拍摄图像时的焦 点位置，重新聚焦范围可沿深度方向偏移。

透镜阵列102具有正折光力，并由两个表面均具有凸形形状的球 面固体透镜配置。透镜阵列102的小透镜的两侧中的一侧也可具有平 面或者具有非球面的曲面。也可通过排列液体透镜、液晶透镜、或衍 射光学元件等来配置它。通过观察由主透镜部件101形成的图像作为 虚拟的物体，透镜阵列102在图像拾取元件103上形成图像。

在本实施例中，从主透镜部件101的出射光瞳到主透镜部件101 的像侧共轭面202的距离P_ex等于66.4357(mm)，透镜阵列102的 节距Δ_LA等于4.3559(mm)，并且，图像拾取元件103的像素节距Δ 等于0.0043(mm)。透镜阵列102被设置为使得距离σ₁等于37.7657 (mm)并且距离σ₂等于5.4325(mm)。以这样的配置，获得大的像 素偏移效果，并因此可获得高分辨率图像。另外，透镜阵列102对于 像素偏移效果的布置灵敏度也可被抑制。对于其中F数、焦点位置或 场深被改变了的重构图像，也实现使用像素偏移效果的高分辨率。可 在重构图像时连同诸如MAP(最大后验，Maximum a posteriori)估 计的图像估计一起获得进一步高分辨率的图像。

[实施例2]

下面，将参照图13描述实施例2中的图像拾取设备(图像拾取光 学系统)。图13是本实施例中的图像拾取光学系统的截面图。在图 13中，主透镜部件101是单焦点透镜。通过在物侧具有平面的表面和 在像侧具有凸形形状的表面，配置透镜阵列102，所述透镜阵列102 在图像拾取元件103上重新形成通过主透镜部件101所形成的图像。

在本实施例中，从主透镜部件101的出射光瞳到主透镜部件101 的像侧共轭面202的距离P_ex等于66.4357(mm)，透镜阵列102的 节距Δ_LA等于0.3784(mm)，并且，图像拾取元件103的像素节距Δ 等于0.0043(mm)。透镜阵列102被设置为使得距离σ₁等于-5.4679 (mm)并且距离σ₂等于1.0036(mm)。由于透镜阵列102关于图像 拾取元件103的共轭面(即，主透镜部件101关于对象面201的像侧 共轭面202)相对于透镜阵列102存在于物侧，因此，距离σ₁为负值。

根据本实施例，可以提供抑制透镜阵列的布置灵敏度并实现使用 像素偏移效果的有效的高分辨率的图像拾取设备。

[实施例3]

下面，将参照图14描述实施例3中的图像拾取设备(图像拾取光 学系统)。图14是本实施例中的图像拾取光学系统的截面图。在图 14中，主透镜部件101是变焦透镜，并且，透镜阵列102由双凸正透 镜配置，所述双凸正透镜通过观察由主透镜部件101形成的图像作为 虚拟物体而在图像拾取元件103上形成图像。

主透镜部件101从物侧起依次由具有正折光力的第一透镜部件 L1、具有正折光力的第二透镜部件L2、具有负折光力的第三透镜部 件L3、具有正折光力的第四透镜部件L4、以及具有正折光力的第五 透镜部件L5配置。当倍率改变时，第一透镜部件L1和第五透镜部件 L5固定，并且第二透镜部件L2、第三透镜部件L3和第四透镜部件 L4在光轴上移动。

在本实施例中，在主透镜部件101的广角端，从主透镜部件101 的出射光瞳到主透镜部件101的像侧共轭面202的距离P_ex等于 133.8129(mm)，透镜阵列102的节距Δ_LA等于1.9776(mm)，并 且，图像拾取元件103的像素节距Δ等于0.0064(mm)。上面描述的 图7和图9使用这些参数和N＝7、l_r＝0.5示出像素偏移的比δ和包含 像素偏移效果的分辨率。由于孔径光阑(未示出)被安装于透镜阵列 102的小透镜处，因此，即使当l_r等于0.5时，也不出现串扰。透镜阵 列102被设置为使得距离σ₁等于40.1453(mm)并且距离σ₂等于4.0145 (mm)。

根据本实施例，可以提供抑制透镜阵列的布置灵敏度并且实现使 用像素偏移效果的有效的高分辨率的图像拾取设备。

[实施例4]

下面，将参照图15描述实施例4中的图像拾取设备。图15是本 实施例中的图像处理系统的配置图。如图15所示，图像处理系统包含 图像拾取设备301。图像拾取设备301包含图14所示的实施例3的图 像拾取光学系统。图像处理设备302是执行上面描述的图像重构的计 算机装置。使用图像处理设备302对于通过图像拾取设备301获得的 图像执行预定的重构处理，并然后将图像输出到输出装置305、显示 装置304和存储介质303中的一个或更多个。存储介质303为例如半 导体存储器、硬盘或网络上的服务器。输出装置305为例如打印机。 显示装置304与图像处理设备302连接，并且，重构的图像被输入到 显示装置304。用户可在经由显示装置304确认重构的图像的同时工 作。

除了上面描述的重构处理以外，图像处理软件306还具有根据需 要执行显影处理和其它的图像处理的功能。显示装置304为例如液晶 显示器或投影仪。特别地，当显示装置304为使用DMD(数字微镜 装置)的DLP(数字光处理器)型投影仪时，也可与图14类似地配 置投影仪中的光学系统。在这种情况下，投影仪中的光学系统可采用 DMD作为图14的图像拾取元件103的替代而被安装的配置。在这种 情况下，作为将重构的图像输入到显示装置304的替代，通过图像拾 取设备301的图像拾取元件103获得的图像可被原样输入。由于与拍 摄图像的情况相反地执行图像投影时的转换，因此，自动地重构的图 像被输出到屏幕上。另外，由于在DMD的关于透镜阵列102的共轭 面上产生像素偏移效果，因此，可以类似地获得高分辨率的输出图像。 根据本实施例，可以提供抑制透镜阵列的布置灵敏度并实现有效的高 分辨率的图像拾取设备和图像处理系统。

虽然已参照实施例说明了本发明，但应理解，本发明不限于公开 的实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有这 样的变更方式以及等同的结构和功能。例如，即使当本发明被应用于 可从具有图像拾取元件的图像拾取设备去除的图像拾取光学系统时， 也可通过使用满足上面描述的关系的图像拾取光学系统和图像拾取元 件来提供能够以简单的配置获得高分辨率光场的图像拾取光学系统。

以下将描述上面描述的实施例(实施例1～4)中的每一个中的主 透镜部件的数值数据(数值例)。符号i表示从物侧起的表面的次序， 符号r_i表示第i个表面的曲率半径，符号d_i表示第i个表面和第(i+1) 个表面之间的空气间隙或透镜厚度，符号n_i和vi分别表示对于d线的 折射率和阿贝数。在表1中，将示出数值例(实施例1～4)中的每一 个中的条件式(6)、(7)和(8)的值。

[数值例]

(实施例1和2)

(表1)

  条件式(6)   条件式(7)   条件式(8)   实施例1   0.57   0.96   0.50   实施例2   0.08   1.06   1.55   实施例3   0.30   1.00   0.91   实施例4   0.30   1.00   0.91