用于确定场景相关电磁场的复振幅的方法

摘要

一种用于确定场景相关电磁场的复振幅的方法，包括：a）通过照相机捕获该场景的多个图像，图像聚焦在布置于不同距离的多个焦点平面，其中，所述相机包括焦距F的透镜和布置在图像空间中距透镜一定距离的传感器，从所述多个图像中挑选至少一个图像对并相应于该对中两个图像的焦点平面针对的中间平面测定对象空间中到共轭平面的累积波前。

说明书

发明目的

本发明涉及一种用于确定场景相关电磁场复振幅的方法。

本发明的方法允许场景整体(电磁场的系数和相位)的光学重建，这允许其在各种应用中的后续使用，例如在获得场景的距离图、在3D立体模式或3D整体模式中代表场景、表示完全聚焦、光学随意相差或为光学畸变(由于折射率变化)而校正的场景中。

本发明可应用在不同的技术领域，包括计算摄影和自适应光学(天文学、眼科、显微镜等)。

发明背景

截至目前为止，为产生三维(立体或整体)场景图像，已经使用了从各种视角捕获场景。

Orth(Orth,A.,&Crozier,K.B.(2013),Light field moment imaging,Opticsletters,38(15),2666-2668)使用光场的时刻成像方法从在变换域中工作的两个散焦图像产生的立体(非整体)图像。

Park(Park,J.H.,Lee,S.K.,Jo,N.Y.,Kim,H.J.,Kim,Y.S.,&Lim,H.G.(2014),

Light ray field capture using focal plane sweeping and its opticalreconstruction using 3D displays,Optics Express,22(21),25444-25454)提出应用到光场的滤波反投影算法，使得3D立体和整体图像从场景的散焦图像创建。在这种情况下，散焦图像(强度)是变换空间中光场的不同角度的多个部分。获取少数散焦图像在光线不足的场景中是最适合的。但是，在散焦图像很少的变换域中工作由于在一定的空间频率中缺乏信息，会导致模糊。

曲率传感器在光瞳中从两个散焦图像中检索波前相位。由Van Dam和Lane(VanDam,M.A.,&Lane,R.G.(2002),Wave-front sensing from defocused images by use ofwave-front slopes,Applied optics,41(26),5497-5502)提出的几何传感器还在光瞳中从两个散焦图像中检索波前相位。然而，光瞳中波前相位的测量只允许在光轴中校正像差。

发明内容

前述问题通过根据权利要求1的方法和根据权利要求10的装置的方式来解决。从属权利要求限定了本发明优选的实施方案。

本发明的第一方面限定了用于确定场景相关电磁场的复振幅的方法，包括以下步骤：

a)通过照相机的方式捕获该场景的多个图像，图像在布置在不同距离的多个焦点平面聚焦，其中，所述相机包括焦距F的透镜和布置在图像空间中距透镜一定距离的传感器；

b)从所述多个图像中挑选至少一个图像对并相应于该对中两个图像的焦点平面针对的中间平面测定对象空间中到共轭平面的累积波前，按

确定波前W(x,y)，其中{Z_p(x，y)}是一组预定的多项式，且N是展开式中使用的多项式的个数，其中系数d_j通过解方程组的方式确定：

其中2z是该对中两个图像的焦点平面之间的距离，其中{(u_1X(j)，u_1Y(k))，j，k＝1...T}是属于该对中第一图像的点，{(u_2X(j)，u_2Y(k))，j，k＝1...T}是属于该对中第二图像的点，从而对于每个1≤j，k≤T，下式被验证

和

其中s(j)是0和1之间的值的实数序列，每个1≤j≤T单调递增，其中f_XY是二维密度函数，其考虑光子发生的可能性并在每个情况下通过该对中相应图像的归一化强度I(x,y)确定，即：

本发明允许不仅从单个视角拍摄的场景的散焦图像产生三维图像，而且产生场景的断层相位分布。这是指不使用不同视角的情况下具有整体地包含在场景中的电磁场，这在全光光场捕获相机中发生，具有在得到的最终光学分辨率上的后续改进，这在全光相机的情况下受限于每个视角相关的子孔径的直径。

在本发明的上下文中，应当理解的是，多个图像是大于或等于二的若干图像。

用于捕获图像的照相机对应传统光学系统，且其包括单个透镜或透镜系统、在固定或可变焦距(隐约地)处工作，和在图象空间中距光学系统一定距离布置的传感器。

由摄像机捕获的图像是不同平面内的共轭图像。每个图像包括聚焦元素(那些布置在图像的焦点平面的元素)和散焦元素(那些布置在图像的焦点平面前面和后面的元素)。

根据本发明的方法，来自多个捕获图像的每个图像对允许确定到与跟随凸透镜经典规则的采集位置共轭的湍流层的积累的波前相位。因此，通过减去在不同共轭距离得到的每对图像对的贡献，发现在波前相位图的该距离处的相位成像方面的湍流值。因此，当多个图像仅包括两个图像时，本发明的方法允许从相关散焦图像对的共轭距离处的单个平面上得到波前。

在优选的实施方式中，每个选取的图像对的两个图像分别在聚焦的两侧上拍摄。在优选的实施方式中，每个选取的图像对的两个图像从焦点两侧上对称的距离拍摄。然而，本发明的方法对任何散焦图像对是有效的。

本发明的方法是基于使用大型对象的散焦图像而不是使用例如Shack-Hartmann或四棱锥传感器的传统二维相传感器的湍流层取向的多元共轭断层摄影(取向层MCAO)的方法。

本发明的方法允许确定来自其捕获的散焦图像的场景相关电磁场的复振幅，即使是使用单个透镜和单个视角而无需用于在光路中具有微透镜阵列的捕获的照相机实时(在带有大气湍流的可见范围内工作的情况下小于10ms，在视频情况下每秒24张图像等)获取。

在一个实施方式中，波前通过表达式：

确定

其中

每个0≤p，q≤N–1。

有利地，在此实施方式中，检索到展开为复指数函数的二维波前，该二维波前允许直接得到波前相位水平和垂直斜率的笛卡尔分布以及因此常规斜率积分方法的使用，例如Hudgin或傅立叶变换过滤。

在一个实施方式中，为多个图像对确定累积的波前。

在一个实施方式中，该方法还包括确定对象空间的两个平面之间的相移作为积累的波前与所述确定平面的差。优选地，为多个平面确定相移。

本发明允许通过在测量域(未在变换域中)与散焦图像以及波前相位的断层检索工作来得到整体(系数和相位)电磁场，而不仅是其强度。有利地，定义在测量域中的工作的结果比在变换域中的工作的结果好得多，其中当从很少的散焦图像开始时，在一定空间频率中缺乏信息会导致模糊。在光线不足的情况下最适合的是采集少数散焦图像。

与来自仅在光瞳检索波前相位的领域状态的方法相比，本发明具有的层析成像地从场景获取的最适合的该组散焦图像检索波前相位的优点。波前相位的断层测量允许在入射光瞳的整个视野中校正像差。

在一个实施方式中，该方法还包括从选自多张捕获的图像的P张图像在M值而不是u处确定在距离F聚焦的光场(L)的值，M≤P，该光场的值验证方程组:

其中P是考虑用于确定光场的图像数目，F是透镜的焦距，L_F是在距离F聚焦的光场的值，α_jF是图像j的焦距且I_j(x)是图像j的强度，且其中[x]表示最接近x的整数，对每个图像j且1≤j≤P得到结果，在值u_j评估的光场L_F(x)由拟合造成，即相应于值u_j的光场的视图，其中x和u分别是传感器中和照相机的透镜中确定位置的二维矢量。

尽管已经描述结合用于确定根据本发明第一方面的波前相位方法确定光场，确定光场的方法可以单独进行。因此，本发明的另一个方面提供了用于确定光场的方法，该方法包括：

a)通过照相机的方式捕获该场景的多个图像，图像在布置在不同距离的多个焦点平面聚焦，其中，所述相机包括焦距F的透镜和布置在距透镜等同于其焦距的距离的传感器，和

b)从选自多张捕获的图像的P张图像在M值而不是u处确定在距离F聚焦的光场(L)的值，M≤P，该光场的值验证方程组：

其中P是考虑用于确定光场的图像数目，F是透镜的焦距，L_F在距离F聚焦的光场的值，α_jF是图像j的焦距且I_j(x)是图像j的强度，且其中[x]表示最接近x的整数，对每个图像j且1≤j≤P得到结果，在值u_j评估的光场L_F(x)由拟合造成，即相应于值u_j的光场的视图，其中x和u分别是传感器中和照相机的透镜中确定位置的二维矢量。

在一个实施方式中，光场的值通过最小二乘法解方程组确定，即，最小化表达式：

在第二方面中，定义了一种用于确定场景相关电磁场的复振幅的装置，包括

用于捕获图像的部件，包括焦距F的透镜和在其图像空间中距离透镜一定距离的与透镜平行设置的图像传感器，和

处理部件，被配置用于实施根据发明第一方面的方法的步骤b)。

此说明书(包括权利要求书、说明书和附图)中描述的方法的所有特征和/或步骤可以以任何组合进行组合，相互排斥的特征组合除外。

附图说明

为了补充下面所作说明并为了有助于更好地理解根据其优选实施方式的本发明特征，将一组附图作为所述说明书的组成部分，其中以说明性和非限制性地方式描述如下：

图1和2示意性地描绘了本发明的方法的一部分。

图3示意性地描绘了照相机的透镜和传感器之间的光场。

图4和5示意性地举例说明本发明的方法的一部分。

图6示意性地描绘了得到相应于不同平面的波前相位。

图7和8分别示出了在变换域和测量域中的图像重构。

本发明优选的实施方式

二维波前重构

本发明的方法允许在多项式基中从两个或更多个散焦图像检索波前相位水平和垂直斜率的笛卡尔分布，这反过来允许使用任何用于从斜率相重构的方法，无论它们是区域法(Hudgin等)或模态法。在模态法的情况下，在其上展开和拟合的波前相位图的该组多项式可以根据需要的问题进行选择：泽尼克多项式(与经典光学或塞德尔像差一致)、复指数(包括傅立叶变换内核、其加速计算的使用)、卡亨南-拉维函数(没有任何分析形式但构成环形光瞳的基础，这在望远镜中是典型的)等。

在一般情况下，用于从一组多项式Z_j(x，y)的展开式中恢复相位图的方法包括在点(x,y)考虑波前相位，如下式：

其中N代表展开式中使用的多项式的个数。

水平和垂直笛卡儿斜率S^x和S^y分别对应下述的波前偏导数：

假设光子从平面-z移动到平面+z，并估计中间平面在点(x,y)处的波前。

为考虑光子(表示为f_XY(x,y))通过相应两维累积分布函数(CDF)(表示为C(x,y))出现的概率，传播的波前强度通过二维密度函数(PDF)表示。

密度函数验证：

变量x的边缘累积分布函数被构造为：

其中，f_X是由密度函数(f_XY)构造的边缘密度函数，如下式：

相应的变量中作为累积分布函数的属性对边缘密度函数是保守的。因此，

由于在平面-z和+z上具有数据，所以相应于考虑的两个图像，存在有两个累积分布函数。平面-z上的边缘累积分布函数表示为C_1X，而平面+z上的边缘累积分布函数表示为C_2X。

考虑到该方法在平面-z和+z上从f_XY的值开始，假设与平面-z相关数据通过f_1XY定义且与平面+z相关数据通过f_2XY确定：

且

单调增加的值在0和1之间的实数(s(j))序列被考虑为1≤j≤T，即对每个1≤j≤T，0≤s(j)≤10。

执行边缘累积分布函数中的直方图匹配以寻找值s(j)值的累积分布函数的值的镜像。换句话说，找到满足下式的值u_1X(j)：

C_1x(u_1X(j))＝s(j)

对每个1≤j≤T，值u_2X(j)满足下式：

C_2x(u_2x(j))＝s(j)

因此，已经发现了每个固定值s(j)的u_1X(j)和u_2X(j)。从图形来说，如图1示意性地描绘，对相应点的x轴扫描进行搜索，确定所有纵坐标。

对这些值中的每个，提供更准确值的是现在来自两个变量中的密度函数，以对每个从1到T值k，发现值u_1Y(k)和u_2Y(k)满足下式：

和

其中函数f_1XY(x，y)和f_2XY(x，y)分别相应于考虑的图像I₁(x,y)和I₂(x,y)。

用图表表示，所要做的是将在x轴上的每个相应值与纵坐标相关联，该纵坐标使镜像通过累积分布函数匹配起来，如在图2中示意性地描绘。

其结果是点的二维网格，这些点通过

{(u_1X(j)，u_1Y(k))，j，k＝1...T}在高度-z处，和

{(u_2X(j)，u_2Y(k))，j，k＝1...T}在高度+z处确定，

使得对每个1≤j，k≤T，点(u_1X(j),u_1Y(k))和(u_2X(j),u_2Y(k))与在波前的光线的相同值相关联。

在中间平面的点上的波前的方向导数可以考虑通过表达式确定：

对每个1≤j≤T，和

对每个1≤k≤T。

因此，方程组(2)和(3)可写成：

或者以简化形式：

(6)S＝A·d

其中未知数是系数d的矩阵。等式(6)表示其中有比未知数(N)更多的方程(2T²)的超定方程组，其中2T²是可用像素(X，Y)的数量。

按照最小二乘法的意义扩展式系数d可以视为在平面上最匹配的。解决上述方程中的优选方式是通过最小二乘法的方式来解决：

(7)d＝(A^TA)^-1A^TS＝A⁺S

等式(7)可以根据矩阵A^TA是否是单数来通过许多本领域技术人员公知的技术解决。

在具体实施方式中，波前被扩展为复指数函数。扩展式在某些N≥1情况下可缩减，使得其可以被写为

其中(dpq)_p,q≥0是系数的双重索引家族，且其中

对每个0≤p，q≤N-1。

此时最小二乘的问题可以用获得的数据来解决，是因为通过对X或Y求导，从表达式(8)推导出下式

因此，对每个0≤p，q≤N–1：

通过在中点评估，考虑表达式(4)和(5)和在方程(9)和(10)更换这些值，有可能达到下面的超定方程：

伴随N²未知数和2T²方程。T值由数据确定，其被认为在指数方面在相位展开式中比加数的个数大得多。

在这种情况下，扩展式的系数可从表达式得到：

其中DF表示离散傅立叶变换。

图像的断层恢复

本发明的方法提供了从散焦图像的波前相位的二维恢复。所得相应于累计相位的波前相位与对象空间中的共轭位置不同。换句话说，如果拍摄两个散焦图像，远离透镜焦点以致于它们几乎与在光瞳(或从光学系统的入射光瞳很少分离)中拍摄图像对应，将得到场景视角的整个领域中累计到达该目标的相位。随着使用的散焦图像对接近焦点，对象空间中共轭平面将对应于远离入射光瞳的平面，且它将描述场景中积累到该平面的相位。

两累积相位之间的差异提供了最远平面和光学系统的光瞳平面之间存在的相移。因此，使用的散焦图像的数量越多，对象空间的离散化和得到的波前相位的断层分布将会更完整。此波前相位的断层分布将具有捕获传感器相关的原始两维光学分辨率和使用的图像数量允许的三维分辨率(在光轴z上)。应当指出的是，如图6示意性地描绘，三维分辨率并不严格与采集的散焦图像或平面数量一致，因为有可能考虑任何一对用于获得累积波前相位子离散采集平面的。

利用平面I_a和I_b，发现到光瞳的累积相位W₁(x,y)。利用平面I_a’和I_b’，发现累积相位W₂(x,y)。W₂和W₁之间的差异在由键指示的区域提供了相位。通过使用更多的平面(更多捕获的图像)，相位轴线z上的分辨率增加，并且获得该波前相位的三维地图。

本发明的方法可以应用到任何领域中，其中已知的是与场景观察相关的波前，包括计算摄影和自适应光学，特别是在有关天文观测以得到气柱相关的湍流(波前相位)的三维地图的应用中，在有必要通过湍流介质(例如在增强的现实眼镜、手机、显微镜或内窥镜中)校正视角的应用中，在用于在透明有机组织样品中折射率变化的断层测量的应用中或在通过湍流介质(大气、海洋、体液等)的光学通信的应用中。

图像强度重构

光场L是通过照相机的目标的光线的四维表示。为简单起见，简化的二维表示法将被使用。因此，L_F(x,u)表示在位置u＝(u₁,u₂)处通过照相机主透镜并到达传感器为照相机焦距F的位置x＝(x₁,x₂)的光线，如在图3中描绘。

因此，具有代表进入照相机的所有光线和它们到达传感器的位置的四维体积。Ng(Ng,R.,Fourier slice photography,in ACM Transactions on Graphics(TOG),Vol.24,No.3,pp.735-744,ACM,2005,July)表明，如果传感器位于距离αF处，投射到传感器上的图像将对应于光场以角度θ＝tan^-1(1/α)的二维投影：

如在图4中示意性地描绘。

如在图5示意性地描绘，本发明的方法是基于将Iα(x)解释为位于彼此替换的不同的值u处的多个图像，且基于在不同的值u处估计图像，发现由于值α’被替换并添加到彼此最好接近用焦距Fα’捕获的输入图像的图像集。因此X维(像素)上的位移是u+(x-u)/α’。

该方法包括在M值估计在距离F_(LF)处聚焦的光场的值，而不是在u处从在距离α₁F，α₂F…α_PF处聚焦并用常规照相机捕获的P图像(I₁(x),I₂(x)…I_P(x))估计光场的值。为此，该方法试图找到光场的值，使得下式满足：

前述表达式可以简单地由线性Ax＝b型方程组表示。该方程组可以通过查找x来解决，x使得||Ax-b||²最小化。

到现在为止，单通道图像已被假定。在彩色图像的情况下(具有多个频道)，生成矩阵A一次就足够。然后，创建包含关于在待解决的通道中图像的信息的新矢量b。

用于重组根据本发明的图像的强度的方法允许凭借在显微镜、摄影、内窥镜检查、电影艺术等中的应用，生成完全聚焦和具有完整的光学分辨率(全景对焦)的单个图像，生成全景对焦的立体像对、生成全景对焦的多立体图像(光场)和需要时生成随意聚焦的光场。

实施例

假定在距离α₁＝2和α₂＝4聚焦且F＝1m的8个元素的两个图像I₁(x)和I₂(x)。在这种情况下求和是从n＝1到n＝2的指数。

对j＝1的方程是：

且对j＝2

展开：

L_F(1，1)+L_F(2，2)＝2²I₁(1)

L_F(2，1)+L_F(2，2)＝2²I₁(2)

L_F(2，1)+L_F(3，2)＝2²I₁(3)

L_F(3，1)+L_F(3，2)＝2²I₁(4)

L_F(3，1)+L_F(4，2)＝2²I₁(5)

L_F(4，1)+L_F(4，2)＝2²I₁(6)

L_F(4，1)+L_F(5，2)＝2²I₁(7)

L_F(5，1)+L_F(5，2)＝2²I₁(8)

L_F(1，1)+L_F(2，2)＝4²I₂(1)

L_F(1，1)+L_F(2，2)＝4²I₂(2)

L_F(2，1)+L_F(2，2)＝4²I₂(3)

L_F(2，1)+L_F(3，2)＝4²I₂(4)

L_F(2，1)+L_F(3，2)＝4²I₂(5)

L_F(2，1)+L_F(3，2)＝4²I₂(6)

L_F(3，1)+L_F(3，2)＝4²I₂(7)

L_F(3，1)+L_F(4，2)＝4²I₂(8)

矩阵形式：

前述系统的分辨率提供光场的L_F的值。前述系统中任何方程中未定义的光场的值取0值。

根据来自本领域状态的方法，图7示出在变换域中执行的场景的图像重构。图8示出使用用于从散焦图像得到光场的本发明的方法，在测量域中执行的相同场景的图像重构。尽管图7和8的图像不归一化到相同的信号强度值，但是可以看出的是，在测量域中执行的重构是在分辨率测试图中的边缘被更好地限定且更清晰。框内标记的面积增大，因此可以看到更好完全示出了两个检索之间质量上的差异。