照相机、包括照相机的系统、操作照相机的方法和用于对记录的图像去卷积的方法

摘要

一种照相机和包括照相机的系统，其中在曝光期间，改变透镜与传感器之间的距离和焦距的比值。变化率被设置成使得通过对复合图像去卷积可以针对实际的速度范围，即透镜2米距离处高达至少5km/h的速度，实现运动不变成像。优选地，可实现的速度范围为至少两倍那么高。传感器的线性运动是优选的。

说明书

技术领域

本发明涉及一种照相机，该照相机包括透镜和图像传感器（sensor），其中在图像曝光时间期间改变传感器与透镜之间沿着光轴的距离和透镜焦距的比值。本发明还涉及一种用于对图像传感器捕获的图像数据去卷积（deconvolute）的方法。

背景技术

诸如CMOS和CCD传感器之类的常规图像传感器综合曝光时间期间撞击到其上的所有光。这提供了静止物体的清晰图像，但是对于在快门打开的同时运动的物体导致空间模糊（blur）。未聚焦的物体也模糊不清。所谓的运动模糊与曝光时间和物体速度成比例。当照相机在低光水平条件下操作时，前者特别棘手。在这样的情况下，长曝光时间是所希望的，以便达到足够高的信噪比水平，从而可以充分地对场景的暗区成像。因此，许多照相机经受运动模糊与动态范围之间的经典折衷。曝光时间需要为长，以便捕获足够的光，但是需要为小，以便降低运动模糊。在本发明的框架内，措词照相机包括用于拍摄照片的照相机以及用于视频目的的照相机。

第一段中所描述类型的照相机和方法可从Nagahara等人的文章“Flexible Depth of Field Photography”，H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008中获悉。

在Nagahara等人的文章中，示出了用于拍摄照片的照相机，其中传感器与固定焦距透镜之间的距离是变化的。在曝光时间期间在一定距离上扫描（sweep）传感器。扫描距离被设置成扫描一系列场景深度范围以便增加景深。Nagahara等人的文章中公开的现有技术照相机降低了离焦模糊。为了降低离焦模糊，沿着光轴扫描传感器以便覆盖特定深度范围。

传感器的扫描提供了复合图像，其事实上是不同焦深处的若干图像的组合。可以计算点扩散函数（PSF）。点扩散函数实际上是物体点将在传感器上形成的像。对于完全聚焦的物体而言，点扩散将为零，并且因而PSF将为狄拉克函数。该函数的傅立叶变换对于所有频率均为常数。对于未聚焦的点而言，PSF为散开（spread-out）函数，对于在照相机固定的同时运动的物体而言，PSF将由于该运动而在一定距离上散开。根据PSF，可以计算逆点扩散函数（IPSF）。对复合图像去卷积允许获得清晰的图像，并且获得增加的景深。这归因于以下事实：如Nagahara的文章所表明的，当扫描传感器时，不同距离处的静止物体的PSF在相当大程度上变得相同。因此，利用同一个IPSF对原始图像去卷积将允许实现所有距离处或者至少增加的距离范围处的清晰图像，并且对于静止物体获得增加的景深。

尽管离焦模糊及其降低可能是并且是重要的，但是如上面所解释的主要问题对于运动物体仍然存在和保留着，即运动模糊，对于较大的曝光时间而言，尤其如此。

Nagahara已经提到了与运动模糊关联的问题，但是没有给出解决方案。

用于降低运动模糊的一种已知的解决方案是使传感器垂直于光轴地运动。该解决方案例如可从Levin等人的文章“Motion-Invariant Photography”，A. Levin, P. Sand, T. S. Cho, F. Durand, W. T. Freeman. SIGGRAPH, ACM Transactions on Graphics, Aug 2008中获悉。本质上，该解决方案相当于在曝光期间使传感器从左到右运动（或者反之亦然）以便降低由于水平运动而引起的运动模糊。

除了Levin等人的文章中建议的解决方案之外，可以借助于视频处理对运动模糊反演（invert）。这是通过运动估计和沿着运动轨迹的逆滤波来实现的。这例如可从US6930676中获悉。然而，在实践中，这样的过程的结果经受不精确的运动矢量，对于遮挡区域而言，尤其如此。必须知道运动轨迹并且据此推断运动矢量以便能够进行逆滤波。在用于专业应用的许多独立照相机中，可能根本不能获得运动矢量。例如，用于监控或活动监视的许多照相机的记录仅仅向基于计算机视觉的分析过程（例如可疑对象的自动检测、老年人的跌倒检测等等）提供输入。在这些情景中，原始输入帧的质量是检测系统的性能的决定因素。足够精确的运动矢量在照相机内不可以动态地获得，并且记录的视频的后处理不是实时监视系统中的选项。对于拍摄单幅快照的照相机而言，基本上不可能精确地确定运动矢量。在遮挡区域处，运动估计也是极为困难和不精确的（如果竟然可能的话）。在低光条件下，问题由于光的缺乏而增加。

其次，大多数传统的照相机以可调节的快门和孔径为特征，所述快门和孔径在时间和空间维度上对经过透镜的光开窗。这些可以典型地表征为盒式滤波器（即在有限区间上具有恒定的灵敏度），其在相应时间和空间频域中与sinc调制相应。结果，一些高频在采集期间被完全抑制并且在逆FIR滤波期间，即使理想的运动信息可用，也不可能复原。在实践中，应当极其谨慎地进行逆滤波，以便防止放大噪声和引入伪像。

简而言之，从现有技术不能获悉用于降低运动模糊的有效且简单的手段。

发明内容

本发明的目的是降低运动模糊。

为此目的，依照本发明的照相机的特征在于，该照相机被设置成这样操作，使得下式成立：

V_sweep*A/b² >0.25s^-1

其中V_sweep为传感器和/或透镜沿着光轴的运动和/或透镜焦距的变化，A为透镜孔径并且b为透镜-传感器距离。

V_sweep、A和b都以相同的距离度量表示。

“以相同的距离度量表示”意味着全都以例如mm/s和mm或者cm/s和cm表示。

乍看起来，似乎可能存在矛盾；运动模糊由物体在垂直于光轴的方向上，例如在水平或竖直方向上的运动造成，而传感器的运动沿着光轴。所捕获的图像根据物体的运动方向表现出例如水平或竖直方向上的运动模糊，并且因此，通过使传感器沿着光轴运动而降低运动模糊似乎不是一种合乎逻辑的选择，而像在Levin等人的文章中那样使传感器垂直于光轴运动似乎是一种合乎逻辑的选择。

然而，本发明人已经认识到，只要满足特定的条件，传感器沿着光轴关于焦平面的运动事实上可以用来有效地抵消运动模糊。通过沿着光轴扫描传感器，运动模糊核在高的程度上对于一定范围的物体速度变得相同。PSF在高的程度上对于一定范围的物体速度是相同的。这允许通过使用IPSF实现运动不变成像，所述IPSF对于一定范围的物体速度提供清晰的图像。

本发明人认识到，最大物体速度，即在其内可以实现运动不变成像或近乎运动不变成像的物体速度范围取决于若干因素，包括

- 传感器运动速度或聚焦扫描速率，

- 主透镜的孔径，以及

- 传感器与透镜之间的平均距离。

对于其中传感器运动的实施例而言，可以将平均距离确定为扫描中途的距离。

回想起来，利用本发明的后见之明，可以计算出，在Nagahara等人的文章中，可以实现高达特定速度的运动不变成像，但是该范围实际上是微不足道的、不充分的和不可察觉的，处于0km/h-0.1km/h的范围内。在实践中，与Nagahara的文章中的陈述相一致，这意味着没有有效的运动不变成像可以通过Nagahara的文章中公开的方法和照相机来实现。Nagahara因而在声明运动模糊将是一个问题方面是正确的。使用Nagahara的教导，不同的PSF必须用于不同的速度并且出于该原因运动不变成像是不可能的。

应当注意，Nagahara等人并没有公开存在运动不变成像的任何可能性。

Nagahara的传感器的运动以及如Nagaharara中所公开和讨论的该运动的原因是扫描通过不同的聚焦深度。聚焦深度是沿着与传感器的运动相同的轴延伸的特征，即所述运动和传感器运动的原因与光轴平行，事实上与光轴一致。

本发明人已经认识到，只要满足特定的条件，与由于垂直于光轴的物体运动而引起的现象关联的问题事实上可以通过沿着光轴的传感器运动而减轻。

为了能够针对实际的物体速度和距离实现运动不变成像，参数V_sweep*A/b²的最小值（0.25s^-1）比从Nagahara的文章获悉的高至少一个数量级。

应当注意，在本发明的构思中，传感器的运动应当被看作传感器的关于焦距的“运动”。这样的运动可以通过使传感器运动、通过使透镜运动或者可替换地通过改变透镜的焦距而形成。在所有这些可能性中，传感器扫描通过一系列焦平面。当然，其中传感器运动并且同时焦距改变的组合运动是可能的。为了简单起见，此后传感器的这样的“移动或运动”，不管是如何实现的，都将称为“传感器运动”。传感器或透镜沿着光轴运动（或者焦距改变）这一事实并没有排除传感器在垂直于光轴的方向上的同时运动。

优选地，参数V_sweep*A/b²大于0.5s^-1，最优选地大于1s^-1。

优选地，参数V_sweep*A/b²小于15s^-1，最优选地小于5s^-1。太大的参数要求相当高的扫描速度或者非常小的传感器距离。

优选地，曝光时间介于0.005秒与0.05秒之间，最优选地介于0.01秒与0.05秒之间。

太长的曝光时间将要求传感器的非常大量的运动，可能地离开传感器的合理运动范围。

在优选的曝光时间范围内，传感器的运动处于合理的界限之内，同时仍然提供相当长的曝光时间。再者，在该曝光时间范围内，可以形成视频序列。

在实施例中，比值的变化使得传感器到达任何物体聚焦所在的范围之外的位置。

在本发明的构思中，在大范围的位置上使传感器快速地运动或者其中快速地改变焦距的实施例中，有利的是到达其中图像的任何部分聚焦的位置之外。传感器的扫描因此超出所有可能的焦深的范围。这样的位置提供了允许降低运动模糊的信息。将传感器运动的范围延伸到焦深所需的范围之外有助于运动不变成像。

在实施例中，至少在曝光时间的上限范围内使得扫描依赖于曝光时间。该曝光时间于是决定传感器的表观运动量。

在Nagahara的文章中，传感器的移位固定为扫描通过聚焦范围。在本发明中，传感器的运动速度是一个决定因素，从而在优选的实施例中，对于不同的曝光时间，传感器的移位随着曝光时间而变化。

假定在本发明中，速度是一个决定因素，对于大的曝光时间，传感器的移位相对较大，而对于较小的曝光时间，可以使得运动相对较小，同时仍然允许实现运动模糊的有效降低。

在实施例中，对于曝光时间的下限范围，运动速度可能与曝光时间无关。对于这样的曝光时间，可以选择运动速度，从而可以有效地降低运动模糊。

本发明也涉及包括照相机的用于记录图像的系统，其进一步包括用于对记录的图像去卷积的去卷积器。

本发明进一步涉及操作包括透镜和图像传感器的照相机的方法，其中在图像曝光时间期间沿着光轴改变图像传感器与透镜之间的距离和焦距的比值，其中下式成立：

V_sweep*A/b² >0.25s^-1

其中V_sweep为沿着光轴的传感器的运动和/或透镜的运动和/或每秒的焦距变化，A为孔径并且b为透镜与传感器之间的距离。

附图说明

这些和其他的目的和有利方面根据使用以下附图描述的示例性实施例将变得清楚明白。

图1示出了本发明的不同实施例。

图2A-2C示出了时间上无穷小的快门操作，即狄拉克函数。

图3A-3C示出了正常的快门操作。

图4A-4C示出了从Levin等人的文章获悉的操作。

图5A-5C示出了从Nagahara等人的文章获悉的操作。

图6A-6C示出了本发明。

图7A-7C示出了图6C的PSF函数的逆滤波。

图8示出了对记录的图像滤波的算法、系统和方法。

图9示出了传感器的运动。

图10为知道关于场景中出现的物体速度的更多信息时的优化孔径的实例。

图11示出了当物体运动时一般的非速度优化系统的双锥积分。

图12示出了具有跨距离d-_sensor正交移动的传感器的实施例。

这些图未按比例绘制。通常，在图中相同的部件由相同的附图标记表示。

具体实施方式

本发明基于以下见识：通过在曝光时间期间改变照相机参数，可以修改记录的图像的特性。这被利用来设计照相机，在实际的速度范围内，该照相机的运动模糊几乎与物体的运动无关，并且优选地该照相机是其频率特性使得记录的信号更适合于逆滤波的照相机。这允许在无需运动估计的情况下从较长曝光时间的记录产生清晰的图像。换言之，依照本发明的照相机即使对于非常具有挑战性的光学成像条件也可以提供具有高SNR的清晰图像：物体在低照度水平下以不同的未知速度运动。为此目的，在曝光时间期间使传感器和/或透镜沿着光轴运动，或者可替换地或此外，在曝光时间期间修改透镜的焦距。改变透镜的聚焦特性以改变焦距具有与使传感器向着或离开透镜运动或者使透镜向着或离开传感器运动类似的效果。这些不同的实施例的共同之处在于，传感器与透镜之间沿着光轴的距离（b）和焦距（f）的比值在曝光期间改变。

图1示出了本发明的不同实施例。

物体1通过透镜2聚焦。聚焦的像在图1中由来自物体的光线相交的点示出。在图1的上面的部分中，照相机具有活动传感器3。传感器3在曝光时间期间沿着光轴运动。在图1的上面的部分中，这由点线示出。传感器运动可以以每秒行进的距离表示。该扫描速度此后称为V_sweep。图1的下面的部分示出了传感器3和透镜相对于彼此的表观运动的另一种方式。在该实施例中，传感器3’是静止的，但是透镜2’的特性例如通过改变透镜的形状或者透镜的光学指数而改变。也可以使透镜本身运动。作为改变透镜特性的结果，焦平面移动，其具有与如图1的上面的部分中所示使传感器运动类似的效果。在本发明中，传感器关于透镜的表观运动以任意上面的方式或者以上面的方式的任意组合建立。一种组合将是例如让部分的运动通过使传感器运动而完成，并且让部分的运动，例如对于细调速度或者扩展相对运动的可能的范围，通过改变透镜2的焦距而完成。运动的传感器的扫描速度V_sweep简单地为每秒的传感器移位量。对于运动的透镜而言，扫描速度V_sweep为每秒的透镜移位。如果两者都运动，则扫描速度为每秒的两者之间的距离变化。

如果传感器和透镜静止并且透镜的焦距改变，这具有与使传感器和/或透镜运动等效的效果，那么扫描速度可以如下计算：

下式成立：

1/b=1/f - 1/v

因此，f(t)=1/(1/v+1/(b(t))，其中b(t)代表像平面的位置。

改变作为时间的函数的焦距因此如下改变了焦平面：

f(t)=(v/(v+b(t))*b(t)

在一阶近似下，假定v几乎总是比b大得多：

df(t)/dt=db(t)/dt。

在这种情况下，V_sweep由每秒的焦距变化给出。

换言之，使传感器向着和离开透镜运动同时保持焦距恒定等效于将传感器和透镜保持在固定的位置同时增大和减小透镜的焦距，并且扫描速度在一阶近似下为等效的参数。

对于其中传感器和/或透镜运动并且焦距f改变的组合动作，扫描速率由这两种效果的总和给出。

在所有实例中，透镜与传感器之间的距离（b）和焦距f的比值在扫描期间改变。可以通过使传感器或透镜或者二者运动来改变b，或者改变f，或者同时或者甚至连续地进行这两个操作。

以下附图解释了本发明的构思。

为了简单起见，在下文中将图像形成看作2D过程（时间和在图中由x表示的一个空间维度）。然而，本文中讨论的构思扩展到两个横向空间维度（x，y）。

为了更好地理解运动不变成像的构思，有用的是首先概述常规照相机的空时采样特性。在诸如照片照相机之类的常规光学成像系统中，照相机聚焦在感兴趣物体处，这相当于将传感器与透镜之间的移位固定在适当的距离处。于是，可以在空时快门操作在空间和时间上无穷小（狄拉克δ(x, t)，即空间和时间上的奇点）时获得理想的静态和运动清晰度，如图2A-2C中所示。图2A相应于空间-时间中的光采样。图2B示出了相应的空时振幅谱并且图2C示出了与静止（不间断的线）和运动（间断的线）物体相应的通过2D振幅谱的截面。在空间时间（图2A）中，静止物体一直停留在其位置处并且因而在图2A中所有时间都由固定位置x₀处的线（即竖直线）表示。竖直轴提供归一化时间，其中0代表时间点并且1代表时间点，同时1代表另一个稍后的时间点。从左到右运动的运动物体在曝光期间改变位置，运动到右边。中间的小正方形代表曝光。曝光在时间上和在空间上无穷小，因此它在空间和时间上是无穷小的点。对于该理想化的假设的快门配置，传感器在相同强度下记录所有频率，从而对于不同的运动导致相同的频率特性。图2B表示采集的信号的傅立叶变换。这是对于所有值都为1的函数。对于狄拉克函数，同等地采样所有的频率，并且所有波数的振幅相等。图2C以点扩散函数（PSF）的形式表示，其中以对数单位的竖直刻度给出不同波数处的振幅，所述波数为水平刻度。图2B示出了以下事实：狄拉克函数的傅立叶变换为常数。假定同等地采样所有的频率，那么所有可能的速度下所有的波数处的振幅相等，即PSF函数为常数。PSF函数因此也相等。相等的PSF函数意味着在物体的所有速度下，图像是同样清晰的并且可以通过对图像去卷积而重构。因此，狄拉克快门将允许在所有的速度下实现清晰的图像。然而，不可能构造理想的狄拉克快门，并且其现实的近似收集不足的光以创建适当的图像。图像可能对于图像中物体的所有速度都是清晰的，但是不足的光被捕获以使得物体可见，这至少可以说是非常不切实际的。在实践中，调节快门时间（和孔径）以适应局部光条件，并且需要较长的曝光时间以便在暗环境中收集足够的光以维持足够的信噪比。解决这些问题的一种方式将是开发对光更加灵敏的传感器，其允许曝光时间变得越来越短，接近狄拉克函数。然而，在现实中，造成了对传感器灵敏度的限制。

大多数传统的照相机以可调节的快门和孔径为特征，所述快门和孔径在时间（即在曝光时间期间）和空间维度上对经过透镜的光开窗。这些可以典型地表征为真实的时间和空间维度上的盒式滤波器（即在有限区间上具有恒定的灵敏度），其在相应时间和空间频域中与sinc调制相应。结果，一些高频在采集期间被完全抑制并且在逆FIR滤波期间，即使理想的运动信息可用，也不可能复原。在实践中，应当极其谨慎地进行逆滤波，以便防止放大噪声和引入伪像。图3A-3C中示出了这点。图3A说明了撞击到传感器上的光。现实的快门具有有限的伸展，因此所述盒在x方向上具有宽度。该盒代表传感器上的光，因此宽度代表传感器上的光斑。快门在快门时间t期间打开，其中该快门时间t在竖直轴上表示，其从0（曝光开始）到1（曝光结束）。

在时域（图3B）和空间频域（图3C）中，一些高频被抑制，其示于图中的凹陷中。一些细节因此丢失并且产生了一些伪像。此外，示出了三个不同的PSF函数，其举例说明了在距透镜近似10米处以0、50和100km/h通过图像运动的物体的典型的三个不同的PSF函数。这些PSF函数分别为线31、32和33。人们看到，这三个PSF函数大不相同。由于PSF函数对于不同的速度是不同的，因而不可能使用单个IPSF以便对记录的图像去卷积。在实践中并且在理论上，这意味着不可能以一致的方式通过某种逆滤波对三幅图像去卷积。简而言之，运动不变成像是不可能的。

对于全局运动而言，可以通过利用照相机跟踪运动防止运动模糊。可替换地，这可以通过在曝光时间期间使传感器相对于主透镜沿着横向轨迹（垂直于光轴）以希望的速度运动来实现。然而，只有以目标速度运动的物体在记录的图像中将是清晰的，而所有其他场景区域保持模糊或者变得甚至比什么都不做的情况更加模糊。

Levin等人已经展示了解决该问题的一种方式。这示于图4A-4C中。Levin等人提出使传感器横向地在空间-时间中沿着抛物线轨迹运动。图4A-4C示出了Levin等人的提议。在空间时间（图4A）中，撞击到传感器上的光的位置在曝光时间期间遵循抛物线轨迹。抛物线轨迹对于高达传感器运动的最大速度的速度范围产生相同的运动模糊。这通过以下事实示于图4C中：针对三个速度的不同PSF函数几乎相同。有效的模糊核可以借助于时间积分来建立，并且对于抛物线轨迹而言，模糊核与1/sqrt(x)成比例。尽管记录的图像甚至对于静止的物体看起来也是严重模糊的，但是该模糊可以通过使用固定的运动独立逆滤波器核而移除。由于所述三个PSF函数几乎相同，逆PSF操作（即对图像去卷积）可以对于所有速度都提供清晰的图像。然而，Levin等人正确地指出，他们的方法仅适用于1D运动（例如纯水平运动）。此外，PSF函数表明，对于若干波长而言，振幅由于孔径的有限尺寸而为零，因而一些细节将不可挽回地丢失掉。因此，尽管Levin等人的确提供了一种缓解问题的方式，但是该解决方案仅仅部分地且仅当运动方向已知并且仅在所述运动与传感器的运动平行的条件下起作用。对于不与传感器的运动平行的任何其他运动或者任何运动分量，没有提供解决方案并且该情形与图3A-3C中给出的一样糟糕。

Nagahara等人提出了另一问题（也就是DOF，即景深的限制）的解决方案。通过使传感器沿着光轴运动，传感器扫描通过所有可能的焦平面，并且这通过对记录的图像去卷积而允许获得具有大得多的景深的图像。Nagahara等人证明了可以使得针对距透镜不同距离处的静止物体的PSF函数几乎相同。因此，单个IPSF可以用于对距透镜不同距离处的不同静止物体的图像去卷积，从而导致增加的景深。

图5A-5C示出了当没有静止物体而是考虑不同物体速度的物体时如Nagahara的实例中所给出的典型设置的情形。针对不同物体速度（在该情况下为像图4A-4C中那样的0、50和100km/h）的PSF函数31、32、33（图5C）大不相同。由于PSF函数大不相同，因而应用单个逆PSF函数将不允许针对所示的速度提供清晰的图像。因此，尽管Nagahara等人增加了景深（DOF），但是运动模糊仍然是一个问题。该速度的物体给出模糊的图像。

因此，没有任何现有技术文献或技术允许实现有效的运动模糊降低，除非运动或者运动方向事先已知，或者照相机运动，或者可以建立运动矢量，情况往往并非如此。

图6A-6C示出了本发明。传感器沿着光轴运动，其中以下条件成立：

V_sweep*A/b² >0.25s^-1。

在图6A-6C的实例中，以下条件成立：

V_sweep=22.4mm/s

A=2mm

b=4.002mm

物体-透镜距离=10米

曝光时间=0.02s

V_sweep*A/b²=2.8s^-1。

在空间时间中（图6A），曲线图具有对三角形形状；重要的方面在于，针对不同速度0、50和100km/h的PSF函数几乎相同（图6C）。

由于PSF函数几乎相同，因而使用单个IPSF函数对记录的图像去卷积是可能的并且允许对于所指示的速度的所有物体获得清晰的图像，即运动不变成像或近乎运动不变成像对于高达100km/h的任何速度都是可能的。与Levin等人的解决方案的非常重要的区别在于，对于10米距离处的垂直于光轴的任何方向上的高达100km/h的任何速度，运动不变成像是可能的。从而移除了Levin等人的教导中固有的对于特定速度方向的限制。再者，PSF函数没有像Levin等人的文章（以及Nagahara的文章）那样表现出凹陷，并且因而原则上可以重构更多的细节。因此，只要条件满足，通过使传感器沿着光轴运动，没有方向的限制且具有更高程度的细节保留的运动不变成像被证明是可能的。与Nagahara的非常重要的区别在于，三个PSF函数几乎相同，并且因而针对所指示的速度的运动不变成像是可能的，而对于Nagahara等人则是不可能的。

应当注意，在当前实例中，假设物体在曝光时段的中间聚焦。在图6A中，这由以下事实说明：对三角形的上面的部分与下面的部分一样大。已经发现，即使情况并非如此，运动不变成像也是非常可能的。如果物体不在曝光时段的中间聚焦，而是稍微更早或更晚聚焦，那么大多数信息被捕获，因为大多数信息存在于对三角形的交点周围，并且非常良好的运动不变成像是可能的。在下文中将解释，利用见识，某种细调是可能的。

在本发明的框架内，在实施例中，传感器扫描到超出可能的聚焦范围。这将确保对于处于离透镜的无论什么距离的任何物体，大多数信息都将被捕获。在这样的实施例中，更可靠的运动不变成像是可能的。

应当注意，在本发明的框架内，“运动不变成像”不应当如此严格地解释成表示在任何细节水平下对于任何速度，不存在成像差异；本发明的目的是在实际限制内降低运动偏差，即运动模糊；完美的解决方案是一种理想而不是现实。

本发明人已经认识到，传感器上捕获的物体的PSF函数基本上与静止物体的PSF函数相同并且因而运动不变成像成为可能的最大物体速度取决于以下参数。

A：物体的参数，即物体的速度对物体到透镜的距离。更远离透镜的物体可以更容易地在与更靠近透镜的物体相同的速度下捕获。该参数基本上提供了物体多快地穿过传感器图像的度量。

B：照相机或照相机系统的参数：

B1：传感器的扫描速率，扫描速率越大，运动不变成像成为可能的最大物体速度越高

B2：孔径，孔径越大，运动不变成像成为可能的最大物体速度越高

B3：透镜-传感器距离。

相关照相机参数为B1*B2/(B3)²，即V_sweep*A/b²。

本发明人已经模拟了不同的设置，包括Nagahara的实例中给出的设置，并且确立了不变成像成为可能的物体的最大物体速度。

下面的表1给出了结果；第一列给出了源的简短描述，其中前两行为Nagahara中的实例，最后五行提供了本发明的实例；其他列提供了不同的参数：

表1：

 物距(m)焦距(mm)孔径(mm)检测器速度(mm/s)曝光时间(s)不变深度范围(m)不变速度范围(km/h)V_sweep*A/b²         Nagahara296.20.230.3601-∝0-0.01280.0176Nagahara212.58.90.440.3601-∝0-0.1710.025实例1294.52500.3600.01-∝0-10013.8实例2212.54.53520.3600.01-∝0-10010.14实例3294.5250.0360.07-∝0-101.38实例4104222.40.020.07-∝0-1002.8实例55422.240.20.07-∝0-50.28

显然，Nagahara的实例并没有提供任何明显的运动不变成像。尽管借助于本发明的见识，可以计算出，利用Nagahara的设备针对2米距离处的物体的高达大约0.15km/h的速度的运动不变成像是可能的，但是这是没有实际用途的并且实际上不可察觉的。本发明的实例1-5的不变速度范围是实际的速度范围，其从行走的人或慢跑的人的速度变化到汽车的速度。

应当进一步注意，在上表中，Nagahara的实例使用了f/1.4，经常是最大的可能孔径，而在本发明的实例1-5中，使用了更适中的f/2。如果使用相同的f/#，那么关于不变速度范围和V_sweep*A/b²的差异甚至变成1.4倍大。对于Nagahara的实例利用f/2的孔径以便与本发明进行适当的比较，那么Nagahara的不变速度范围甚至比表中所示的小1.4倍，即大约0.1km/h。

如果带着例如监控照相机，那么不变速度范围的合理实际下限为5km/h的速度，即5米距离（监控照相机的合理距离）处的行人速度。这为V_sweep*A/b²提供了0.25s^-1的下限。

优选地，参数V_sweep*A/b²大于0.5s^-1，最优选地大于1s^-1。

优选地，参数V_sweep*A/b²小于15s^-1，最优选地小于5s^-1。太大的参数要求相当高的扫描速度或者非常小的传感器距离。

优选地，曝光时间介于0.005秒与0.05秒之间，优选地介于0.01秒与0.05秒之间。特别地，在低光条件下，该曝光时间范围允许拍摄良好质量的运动不变图像。该范围也允许拍摄视频图像。

太长的曝光时间也可能要求传感器的非常大量的运动，可能地离开传感器的合理运动范围。

在优选的曝光时间范围内，传感器的运动处于合理的界限之内，同时仍然提供相当长的曝光时间。再者，在0.01秒与0.05秒之间的这个曝光时间范围内，可以形成视频序列。

优选地，传感器的运动是线性的。在图6A中，这通过以下事实示出：对三角形处于两条直线内。类似于Levin提出的抛物线轨迹，这提供了在一系列运动上具有相等权重的采样。通过时间积分，本发明人确立这种空时采样模式的点扩散函数（PSF）与易于求逆的函数1/log(x)成比例。将图3B、图4B、图5B与图6B比较说明，扇形采样（图6B）比抛物线轨迹（图4B）更好地保留了高频，并且在空时频域中更少经受sinc调制。结果，采集的图像更适合于逆滤波。最后，扇形状采样的相位特性优于利用抛物线横向采样实现的相位特性。

图7A-7C示出了图6C的PSF函数的逆滤波。图6C在图7A中重复。

其他的画面，图7B和图7C与（中间的）逆滤波器以及逆PSF和前向PSF的卷积相应。

图7A和图7B示出了空间PSF和相应的逆滤波器。应当指出的是，逆滤波器具有短的有限空间特征，这意味着其实现起来是计算高效的。为了确认，图7C示出了前向和逆模糊核的卷积，其如所希望的为单位脉冲。

在逆滤波之后，将所有物体重新定位到传感器跨越对应焦距（对三角形的交点）时它们驻留的位置，从而表现出深度相关相位（对于曝光中途的跨越，相移为零）。然而，像Levin等人那样的抛物线横向采样经受运动相关相移，从而在逆滤波之后，所有物体看起来是清晰的，但是处于它们在稍微不同的时间运动通过的位置。这尤其在运动边界和遮挡区域处导致小的不一致。与Levin等人相比，这提供了本发明的重要优势。

优选地，有效空间模糊核随着时间而线性地变化。这可以通过线性地调制传感器与主透镜之间沿着光轴的距离而实现。这归因于以下事实：离焦模糊的程度与传感器移位成比例。这样的运动已经在大多数自动聚焦照相机中实施，尽管在拍摄照片之前或者在快门关闭时实施。结果，可以设想，在一些照相机中，自动聚焦机构可以容易地用来通过在拍摄照片的同时执行运动而实现所希望的采样，只要可以充分精确地控制和同步运动和快门。

应当注意，如果V_sweep*A/b²在曝光期间变化，那么相关参数是V_sweep*A/b²在曝光时间上的时间平均。如关于图1所解释的，所需的空时采样的可替换实施例是固定传感器-透镜移位并且在曝光时间期间扫描主透镜的焦距（图1的底部）。显然，这需要可切换的光学器件，例如流体聚焦透镜或双折射LC材料。可切换的基于LC的透镜已经应用到3D屏幕中，其中它们用来在2D（没有透镜效应）和3D模式之间变化。折射率可以仅在一个方向上改变（仅仅圆柱透镜）。可变焦距也可以利用流体填充膜来实现，该流体填充膜可以通过流体压力而变形。再一次地，优选地随着时间线性地扫描像平面：b=b₀+c₀ t。由于像平面距离经由透镜方程而与物距和透镜焦距有关：

1/f=1/v+1/b，

由此可见，焦距应当优选地依照下式随着时间而改变：

f(t)=1/(1/v+1/(b₀+ c₀ t))，

其中f(t)表示作为时间的函数的透镜焦距并且c₀为常数。

这两者的组合也可能例如限制传感器的物理运动或者其扫描速度，然而增加空时采样的量（即图6A中对三角形的范围）或者增大扫描速度。

图8示出了一种用于对记录的图像去卷积的方法和一种用于记录图像数据并且对记录的图像数据去卷积的系统。图像由包括透镜2和运动传感器3的照相机记录。传感器的数据由读取器读取。相应图像81示意性地示为模糊的。在去卷积器82中对记录的图像去卷积。系统因此包括对图像数据去卷积的去卷积器。所述方法对记录的图像数据去卷积。去卷积器对记录的图像执行去卷积操作。为了易于理解，在若干步骤中示出算法和方法。第一步骤是计算点扩散函数。在一个简单的实施例中，点扩散函数取决于参数V_sweep*A/b。在简单的实施例中，在扫描范围中间针对静止物体计算PSF函数。由于如上面所解释的对于大的速度范围而言，对于本发明的实施例，PSF函数几乎与速度无关，因而在扫描范围中间处针对静止物体的IPSF将是对于针对所有速度的最优PSF的良好的一阶近似。在更加高级的实施例中，物体的距离用来细调PSF以及因而IPSF。物体的距离可以例如由照相机记录。大多数照相机具有允许确定物距的某种自动聚焦装置。如上面所解释的，已经发现，即使物体在扫描中间不聚焦，运动不变成像也是非常可能的。如果物体不在曝光时段的中间聚焦，而是稍微更早或更晚聚焦，那么大多数信息被捕获，因为大多数信息存在于对三角形的交点周围，并且非常良好的运动不变成像是可能的。然而，尽管在扫描范围中间使用针对静止物体的PSF函数将给出良好的结果，但是可以通过使PSF依赖于物距和可能地另外的参数细调PSF而获得有所改进的结果。这将提供有些不对称和剪切的PSF。最终结果将是离透镜特定距离处的运动物体的一定程度上更加清晰的图像，其以其他距离处一定程度上不那么清晰的图像为代价。应当注意，在本发明的实施例中，物距也可以用于确定扫描速率。如上面所解释的，一个决定因素是物体的速度除以其到透镜的距离。因此，对于给定速度下2米距离处的物体而言，与相同速度下10米距离处的物体相比，可能有利的是使用更快的扫描速度，即增大V_sweep。在依照本发明的照相机的操作方法的实施例中，测量包括物体到透镜的距离、物体的速度、物体速度的方向的参数组中的至少一个或多个参数并且根据测量的参数设置扫描速度。这反过来对于PSF的参数具有影响。

物体的速度也可以是去卷积器82的输入。再一次地，尽管本发明允许使用针对所有速度的单个PSF函数，但是一些二阶效应仍然是可能的，其中可以针对特定速度细调PSF。一个可能的应用领域将是速度照相机；其已经提供了对于物体的方向和速度的良好估计。

计算表明，PSF中可能存在小的二阶运动方向依赖性。在实施例中，计算针对一定方向范围的最优PSF，并且使用的PSF是根据方向输入的该范围内的选择。该选择可以例如为最大值、最小值、中值、加权平均等等。

扫描时间也可以是输入。

简而言之，去卷积器可以具有细调要使用的PSF的输入。图8中示出了不同的参数，最重要的参数是扫描速率、物距以及速度和速度方向。

去卷积的且清晰的图像83示于图8的右手侧。

为了易于理解，在不同的步骤中呈现所述方法、系统和算法，其以PSF开始，并且然后从PSF导出逆PSF。当然，由于IPSF是去卷积中的重要函数，并且IPSF是PSF的逆且反之亦然，因而也可以直接以IPSF开始，并且一旦以用于IPSF中的适当方式转化，所述不同的输入不妨为用于确定要在去卷积中使用的IPSF的输入。

优选地，记录期间传感器的运动仅仅在一个方向上，例如仅仅走向透镜。尽管在一阶近似下去卷积的图像相同，与传感器的扫描方向无关，即与它是否朝透镜运动或者远离透镜运动无关，但是在二阶近似下，这严格说来仅仅对于在传感器扫描的中间聚焦的物体是真实的。对于进一步远离或靠近透镜的物体，尤其是在去卷积图像中物体的位置方面，最终结果存在小的差异。在单幅图像中，该差异是不可察觉的或者近乎不可察觉的，但是在视频序列中，可能出现物体位置的抖动。为了避免该效应出现，曝光期间传感器的运动优选地为单侧的，即仅仅在一个方向上。当然，传感器于是必须在可以记录下一个数据之前向后移动到起始位置。在该实施例中，将存在对于曝光时间的附加限制，以便允许传感器向后移动到起始位置。

图9示出了传感器的运动。线91代表传感器行进的距离，线92代表传感器的速度。在第一时间段期间，通过以下事实使传感器达到线92所示的速度：速度从0增加到被维持一段时间的固定速度。其后，传感器停止并且迅速地返回到其原始位置。传感器的返回将意味着只有部分的时间数据可以被记录，在该实例中例如仅仅对于近似50-70%的时间可以被记录。当传感器来回运动时，这例如在进行单拍（single shot）的情况下是可能的，不必将传感器带回到其原始位置。如上面所解释的，可以以两种不同的方式或者其任意组合通过使传感器或透镜物理地运动或者通过改变透镜的特性而造成所述运动。

对于短的曝光时间或者传感器的快速运动而言，有利的是对于运动的至少一部分使用透镜特性的变化。

简而言之，依照本发明的运动不变照相机尤其是在低照度调节下提供了清晰的高质量视频或图像。尽管对于包括消费照相机和摄录像机的大多数照相机和光学成像系统有益，但是这尤其对于一些专业监控和监视应用是有价值的。例如，安全系统中的监控照相机经常需要在暗环境中操作。当前的监控照相机以昂贵的解决方案为特征，例如传感器冷却以获得希望的SNR水平。本发明可以用来为高动态范围照相机提供成本有效的可替换方案或者可以用来甚至更多地增加当前传感器的动态范围。应当指出的是，本发明描述了一种对光采样的新颖方式，并且因而可以使用任何现有的光传感器技术来实现。

可以将本发明描述为一种照相机和包括照相机的系统，其中在曝光期间，改变透镜与传感器之间的距离和焦距的比值。变化率被设置成使得通过对复合图像去卷积可以针对实际的速度范围，即透镜2米距离处高达至少5km/h的速度，实现运动不变成像。优选地，可实现的速度范围为至少两倍那么高。传感器的线性运动是优选的。

应当指出的是，尽管上面描述的方法和装置可以在不必了解场景中出现的物体速度以及因而传感器的情况下盲目地工作，但是如果具有关于这些的信息，那么可以实现增加的重构精度（即更清晰/更好的最终图像）。这可以静态地（例如，例如在机器视觉应用中知道出现哪些典型速度，在所述机器视觉应用中，人们知道要分析的物体经过所在的输送带的速度）或动态地完成，其中系统（例如反复地）测量场景中物体的速度并且最优地调节下面可替换实施例的参数。

第一改进包括选择适合出现的物体速度的（编码的）孔径，这可以例如利用透镜之前或者透镜与传感器之间等等的液晶元件完成。例如，如果具有典型的物体速度（例如场景的主导物体的平均运动）v_average及其与其他物体速度（例如火车上挥手的人）的偏差Cmax，那么可以例如依照下式选择原始孔径的圆形子区：

，

其中，并且x为从物体（成像的点）到透镜的距离，f为透镜焦距，并且VL为传感器沿着光轴的移位速度。dmax为关于物像在像平面上的位置的不确定度参数（即来自传感器上距传感器中心的距离d处的位置的物点的通过透镜中心的中心光线应当具有距离d<dmax）。这相应于以α乘以v_average移位且具有半径1.25*α*Cmax+dmax的圆。

当然，可以最优地确定更加复杂的孔径，例如用于旋转物体的环形。

给定典型物体速度的知识（例如以速度v_obj运动的物体以及静态背景）改进图像的另一个实施例是使传感器不仅沿着光轴而且垂直于光轴地运动（从而产生对角线复合运动）。

物体的运动跟踪可以通过在摇摄运动中使整个照相机运动或者可替换地通过垂直于光轴平移传感器而进行。

依照该当前实施例，可以将运动跟踪与聚焦扫描构思组合，从而创建使成像平面与光轴成角度地运动的系统。该实施例的方法或装置将传感器运动分解为两个正交矢量：沿着光轴的Vsweep和垂直于光轴的V_TR。

传感器沿着V_TR的平移产生双锥积分（其为由于通过扫描传感器引起的时间相关模糊而出现的锥形）的剪切，具有补偿平均物体速度的这样的角度。当什么也不做时，DCI中的模糊核对于静止物体而言将围绕垂线对称，但是运动物体产生该锥形的剪切版本。可以通过具有反向平移运动V_TR而（部分地）将其剪切回来。

代替以零运动为中心的是，不变速度的范围现在以跟踪速度为中心。对于沿着光轴的运动而言，该实施例可以通过根据平均速度限定最优扫描速度和范围而创建运动不变性，例如：

，

其中a为系统的孔径。

即，扫描速度被选择为覆盖预定义的不变速度范围：

。

应当指出的是，物体速度不必完全匹配以产生清晰的图像。只要物体速度落入不变范围内（即在该实例中覆盖运动物体速度v_obj和零静态速度），那么清晰的重构是可能的。

即，可以用更加精确的跟踪交换较小的扫描，或者反过来不精确地进行（至少一些物体的）跟踪，但是具有更宽阔的DCI锥形，即更大的传感器扫描。优选地，扫描速度和平移一起最优化，从而可以正确地重构静止和运动的物体。

另一个实施例通过使与光轴垂直的传感器偏移而提高成像质量。由于传感器上的场景物体的运动为通过成像系统的几何投影以及传感器本身的运动二者的函数：

其中v为图像物体，y为理论清晰度的像平面（其典型地为传感器扫描的中途点）与透镜之间的距离，d为成像的点距传感器中心的距离，并且VL为传感器扫描速度。

依照当前实施例，希望使得该传感器上的（on sensor）速度为小以便降低运动模糊，这可以例如通过选择传感器的偏移来完成：

。

如果以下列速度使传感器移位

那么获得以下典型最优移位：

。

应当指出的是，对于上面三个实施例而言，可以选择若干参数最优值，例如若干孔径形状（例如尺寸）、若干正交运动以及若干传感器移位，因为不仅做这些取决于想要什么重构精度以及例如逆滤波的复杂度，而且可以在不同程度上组合上面三种原理，并且例如通过选择更加优化的传感器移位（平均起来）而减少沿着光轴的扫描运动和/或正交运动。