利用低分辨率图像提供高分辨率图像的方法和装置

摘要

本发明公开了一种产生改进的高分辨率图像的方法，包括拍摄低分辨率图像和高分辨率图像；组合低分辨率图像以提供聚合低分辨率图像；降低高分辨率图像的分辨率，然后进行插值以产生模糊高分辨率图像；使用聚合高分辨率图像和模糊高分辨率图像来计算图像差异图；以及使用图像差异图，连同聚合高分辨率图像和高分辨率图像，以产生改进的高分辨率图像。

说明书

技术领域

本发明涉及从多个图像生成改进的图像。更具体而言，使用多个图像形成具有减少的运动模糊和降低的噪声的高分辨率图像。

背景技术

要解决的问题是，在图像拍摄期间存在运动时光线不足的拍照导致图像中的运动模糊。运动可以是全局类型的，其中被成像的整个场景一起移动，或者是局部类型的，其中与场景的其余部分相比，场景的一个或多个部分以不同速度或方向移动。全局运动是由于图像拍摄期间场景和照相机之间的相对运动。局部运动是由于场景之内的对象相对于场景的其他部分移动。局部运动可能在场景的不同部分中以不同方式发生。

在曝光时间短并且运动缓慢的情况下，可以使用单次图像拍摄来拍摄图像质量良好的图像。然而，由于相对于拍摄图像期间存在的运动，获得信噪比高的图像所需要的曝光时间变得更长，或者可获得的光减少，所以拍摄的图像质量以图像内增大的运动模糊和增大的噪声的形式而下降。

对于消费者数字照相机而言，存在像素尺寸随时间越来越小的趋势，这减小了曝光期间用于俘获光的可用面积，因此噪声更加成为一个问题。增加曝光时间以补偿更小的像素，但这样一来运动模糊更加成为一个问题。因此，如Compton等人的美国专利公开No.2007/0024931中的那样，已经描述了提高像素对光的灵敏度的方法，该方法为图像传感器增加了全色像素。

随着运动相对于曝光时间或可获得的光的增加而减少，存在做出的一系列折衷。在照相空间中做出了几个折衷以提高空间分辨率、时间分辨率或图像质量，但重要的是注意每个增益都还将有损失。例如，减少曝光时间以减少运动模糊，由此提高时间分辨率，但代价是增大了图像中的噪声。

闪光灯是降低图像中的噪声的有效方法，通过使能更短的曝光时间，提高了时间分辨率，但代价是光照不均和红眼。此外，在有些图像拍摄情况下，闪光灯或者是不可用或者是不利的。

在曝光期间使用基于光学方式的图像稳定以使能更长的曝光时间，以降低图像中的噪声，同时减少运动模糊并且提高空间分辨率。然而，基于光学方式的图像稳定仅能够用于减少因照相机运动（全局运动）导致的运动模糊。此外，光学图像稳定增加了与图像拍摄设备相关联的成本和重量。

增大像素的有效尺寸以通过合并（binning）（即，将相邻像素彼此连接，从而将相邻像素上的电荷求和并且增大信号）来使能减少的曝光时间。然而，合并伴随有空间分辨率的降低。

减少模糊的另一种方法是拍摄两幅高分辨率图像，一幅的曝光时间短，并且一幅的曝光时间长。选择短曝光时间，以生成有噪声的图像，但相对没有运动模糊。选择长曝光时间以生成具有很少噪声的图像，但可能具有显著的运动模糊。使用图像处理算法将两次拍摄组合成一幅最终输出的图像。在美国专利7239342、美国专利公开No.2006/0017837、美国专利公开2006/0187308和美国专利申请公开2007/0223831中描述了这样的方法。这些方法的缺点包括：需要附加的缓冲存储器来存储多个高分辨率图像，处理多个高分辨率图像的附加复杂性，以及两次图像拍摄之间可能的时间间隙。

减少模糊的另一种方法是通过拍摄之后应用的图像复原去模糊算法。这样的方法的示例是公知的Lucy-Richardson解卷积算法。该方法和类似方法的缺点包括高计算复杂性以及对噪声的敏感度。

可以使用多幅低分辨率视频图像来形成具有改进的图像质量的单幅图像，同时保持空间分辨率并且提供时间分辨率与曝光时间之间的平衡。在给定时间之内读取多幅图像能够通过使用针对每幅图像的更短曝光时间来减少运动模糊，然而，每幅图像将具有更多噪声。通过将多幅图像彼此对准来校正个体图像拍摄之间的运动，并且然后将个体图像集中在一起，减少了所形成的单幅图像中的噪声。

尽管较快地（通常是30-60幅图像/秒）读出多幅低分辨率视频图像，并且由于像素常常被合并而图像通常具有较少的噪声，但是形成的单幅图像受限于较低的分辨率。相反地，使用多幅高分辨率图像形成高分辨率的单幅图像。然而，因为像素更小，高分辨率图像通常具有更多噪声，并且更显著地，由于硬件限制所致，需要相对大量的时间来读出多个高分辨率图像（通常是1.5-7幅图像/秒）。此外，由于图像拍摄之间的显著运动，对准图像的问题变大。

因此，现有技术中需要一种改进的解决方案来组合多幅图像以形成改进的图像，尤其是在存在运动的场景中。

发明内容

本发明的目的是使用低分辨率图像和至少一幅高分辨率图像来产生改进的高分辨率图像。该目的是通过一种使用同一图像拍摄设备拍摄的场景的低分辨率图像和至少一幅高分辨率图像来提供改进的高分辨率图像的方法实现的，该方法包括：

a)使用该图像拍摄设备来拍摄该场景的多个低分辨率图像以及该场景的分辨率大于该低分辨率图像的分辨率的至少一幅高分辨率图像；

b)组合该低分辨率图像以提供聚合（aggregate）低分辨率图像；并且

c)通过如下方式将该高分辨率图像与该聚合低分辨率图像组合以提供改进的高分辨率图像：

i)对该聚合低分辨率图像进行插值以提供聚合高分辨率图像；

ii)降低该高分辨率图像的分辨率以提供本可能由所述图像拍摄设备拍摄的代表性低分辨率图像；

iii)对该代表性低分辨率图像进行插值以产生模糊高分辨率图像；

iv)根据该聚合高分辨率图像和该模糊高分辨率图像计算图像差异图；以及

v)使用该图像差异图，连同该聚合高分辨率图像和该高分辨率图像以产生改进的高分辨率图像。

本发明的优点是，利用对图像处理软件的基本改变来产生改进的高分辨率图像，不必使用照相闪光灯或长曝光时间来适当的曝光单幅图像。

本发明的另一优点是，在不需要具有横向可移动镜头元件的昂贵特殊镜头的情况下产生改进的高分辨率图像。

本发明的另一优点是，在不具有用于存储多个高分辨率图像的增加的缓冲存储器需求的情况下产生改进的高分辨率图像。

本发明的另一优点是，在不需要计算复杂的去模糊算法的情况下产生改进的高分辨率图像。

本发明的另一优点是其能够产生具有减少的运动模糊和降低的噪声的高分辨率图像。

根据对优选实施例的以下详细描述和所附权利要求的回顾，并且通过参考附图，将更清楚地理解和认识到本发明的这个和其他方面、目的、特征和优点。

附图说明

图1是常规数码照相机系统的框图，该照相机系统能够采用常规传感器和处理方法或本发明的传感器和处理方法；

图2（现有技术）是用作图像传感器的一部分的Bayer彩色滤镜阵列图案的视图；

图3（现有技术）提供了红、绿和蓝像素的代表性光谱量子效率曲线，以及更宽的光谱全色量子效率，全都乘以红外截止滤波片的透射特性；

图4是示出本发明的实施例的流程图；

图5是举例说明了聚合低分辨率图像的形成的流程图；

图6是流程图，该流程图举例说明了根据高分辨率图像和聚合低分辨率图像形成改进的高分辨率图像；

图7是流程图，该流程图举例说明使用图像差异图将聚合高分辨率图像与高分辨率图像组合的算法之一；以及

图8是流程图，该流程图举例说明使用图像差异图将聚合高分辨率图像与高分辨率图像组合的另一种算法。

具体实施方式

因为采用成像设备以及用于信号采集和校正和用于曝光控制的相关电路的数字照相机是公知的，本说明书将特别涉及形成根据本发明的方法和装置的一部分的元件或更直接与根据本发明的方法和装置协作的元件。从现有技术已知的那些中选择本文未具体示出或描述的元件。要描述的实施例的特定方面是在软件中提供的。假定以下材料中根据本发明示出和描述的系统，对实施本发明有用的本文未具体示出、描述或建议的软件是常规的，并且处于这样的领域中的普通技术之内。

现在转向图1，示出了被示为体现本发明的数字照相机的图像拍摄设备的框图。尽管现在将介绍数字照相机，但本发明显然可用于其他类型的图像拍摄设备，其他类型的图像拍摄设备例如是包括于诸如移动电话和机动车辆之类的非照相机设备中的成像子系统。来自主题场景的光10输入到成像级11中，其中由镜头12聚焦光以在固态图像传感器20上形成图像。图像传感器20通过对每个图像元素（像素）的电荷进行积分来将入射光转换成电信号。优选实施例的图像传感器20是电荷耦合器件（CCD）类型或有源像素传感器（APS）类型。（因为能够在互补金属氧化物半导体工艺中制造它们，所以APS设备常常被称为CMOS传感器。）如随后更详细描述的那样，传感器20包括彩色滤镜装置。

通过可变光圈（iris）块14和中性密度（ND）滤镜块13来调节到达传感器20的光量，可变光圈块14改变光圈，中性密度滤镜块13包括插入光路中的一个或多个ND滤镜。还对总体的光水平进行调节的是打开快门块18的时间。曝光控制器块40对（如由亮度传感器块16所测的）场景中可获得的光量做出响应并且控制这些调节功能中的全部三个。

来自图像传感器20的模拟信号由模拟信号处理器22处理并且被施加到模数（A/D）转换器24，以对传感器信号进行数字化。时序发生器26产生各种时钟信号以选择行和像素，并且使模拟信号处理器22和A/D转换器24的工作同步。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24和时序发生器26。图像传感器级28的功能元件是独立制造的集成电路，或者它们被制造为单个集成电路，如CMOS图像传感器中通常那样做的。将来自A/D转换器24的所得数字像素值流存储在与数字信号处理器（DSP）36相关联的存储器32中。

除了系统控制器50和曝光控制器40之外，数字信号处理器36是本实施例中的三个处理器或控制器之一。尽管多个控制器和处理器之间照相机功能控制的该分布是典型的，但在不影响照相机的功能操作和本发明的应用的情况下可以以各种方式组合这些控制器或处理器。这些控制器或处理器可以包括一个或多个数字信号处理器设备、微控制器、可编程逻辑器件或其他数字逻辑电路。尽管已经描述了这样的控制器或处理器的组合，但应当清楚的是，可以指定一个控制器或处理器执行全部所需功能。所有这些变型能够执行同样的功能并且落人本发明的范围之内，并且将根据需要使用术语“处理级”来在一个短语中涵盖所有的这一功能，例如，图1中的处理级38。

在图示的实施例中，DSP 36根据永久存储在程序存储器54中并且在图像拍摄期间被拷贝到存储器32中以便执行的软件程序，来操纵其存储器32中存储的数字图像数据。DSP 36执行实施图1中所示的图像处理所需的软件。存储器32包括任何类型的随机存取存储器（例如SDRAM）。包括用于地址信号和数据信号的路径的总线30将DSP 36连接到其相关的存储器32、A/D转换器24和其他相关设备。

系统控制器50基于程序存储器54中存储的软件程序来控制照相机的总体操作，程序存储器54可以包括闪速EEPROM或其他非易失存储器。也可以使用该存储器存储图像传感器校准数据、用户设置选择和当照相机被关闭时必须保存的其他数据。系统控制器50通过指导曝光控制器40如前所述那样操作镜头12、ND滤镜13、可变光圈14和快门18，指导时序发生器26操作图像传感器20和关联元件并且指导DSP 36处理拍摄的图像数据，来控制图像拍摄的顺序。在拍摄并且处理图像之后，通过主机接口57将系统存储器32中存储的最终图像文件传输到主计算机，存储在可移除存储卡64或其他存储设备上，并且在图像显示器88上显示给用户。

总线52包括用于地址信号、数据信号和控制信号的路径，并且将系统控制器50连接到DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60和其他相关设备。主机接口57提供通往个人计算机（PC）或其他主计算机的用于传输图像数据以便显示、存储、操纵或打印的高速连接。该接口是IEEE 1394或USB 2.0串行接口或任何其他适当的数字接口。存储卡64典型地是插入插座62中并且经由存储卡接口60连接到系统控制器50的紧凑闪速（CF）卡。使用的其他类型的存储器包括，但不限于PC卡、多媒体卡（MMC）或安全数字（SD）卡。

处理后的图像被拷贝到系统存储器56中的显示缓存器并且通过视频编码器80连续读出该处理后的图像以产生视频信号。直接从照相机输出该信号以在外部监视器上显示，或者由显示控制器82处理并且呈现于图像显示器88上。该显示器通常是有源矩阵彩色液晶显示器（LCD），但也使用其他类型的显示器。

用户接口68（包括取景器显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输入74的所有或任何组合）受到曝光控制器40和系统控制器50上执行的软件程序的组合的控制。用户输入74通常包括按钮、摇杆式开关、操纵杆、转盘或触摸屏的一些组合。曝光控制器40操作测光（light metering）、曝光模式、自动对焦和其他曝光功能。系统控制器50管理一个或多个显示器（例如图像显示器88）上呈现的图形用户界面（GUI）。GUI通常包括用于做出各种选项选择和用于检查所拍摄图像的回顾模式的菜单。

曝光控制器40接受选择曝光模式、镜头光圈、曝光时间（快门速度）和曝光指数或ISO感光度标定值的用户输入，并且相应地指导镜头和快门离开用于后续拍摄。采用亮度传感器16测量场景亮度并且提供曝光计功能，以在手动设置ISO感光度标定值、光圈和快门速度时供用户参考。在该情况下，在用户改变一个或多个设置时，取景器显示器70上呈现的测光计指示符告诉用户图像将过曝或欠曝到什么程度。在自动曝光模式中，用户改变一种设置，而曝光控制器40自动改变另一设置以维持正确曝光，例如，对于给定的ISO感光度标定值，在用户减小镜头光圈时，曝光控制器40自动增加曝光时间以维持相同的总体曝光。

ISO感光度标定值是数码相机的重要属性。曝光时间、镜头光圈、镜头透光率、场景照明的水平和光谱分布以及场景反射率决定了数码相机的曝光水平。当使用不充分曝光获得来自数码相机的图像时，通常可以通过增加电子增益或数字增益来维持适当的色调再现，但是图像将包含不可接受的噪声量。随着曝光增加，增益减小，因此一般能够将图像噪声降低到可接受的水平。如果曝光增加过度，则图像的亮区域中得到的信号可能超过图像传感器或照相机信号处理的最大信号水平能力。这可能导致图像的高光被修剪以形成均匀明亮的区域，或被起晕（bloom）到图像的周围区域中。重要的是指导用户设置适当的曝光。ISO感光度标定值意在充当这样的指导。为了让摄影师容易理解，针对数码相机的ISO感光度标定值应当直接关系到用于摄影胶片照相机的ISO感光度标定值。例如，如果数码相机具有ISO 200的ISO感光度标定值，那么同样的曝光时间和光圈应当适于标定ISO 200的胶片/处理系统。

意图是使ISO感光度标定值与胶片ISO感光度标定值相一致。然而，电子成像系统和基于胶片的成像系统之间存在的差异排除了精确的等同。数码相机可以包括可变增益，并且能够在已经拍摄图像数据之后提供数字处理，能够在一定范围的照相机曝光上实现色调再现。因为这一灵活性，数码相机能够具有一定范围的感光度标定值。这个范围被定义为ISO感光度宽容度。为了防止混淆，将单个值指定为固有的ISO感光度标定值，而ISO感光度宽容度的上下限表示感光度范围，亦即，包括与固有ISO感光度标定值不同的有效感光度标定值的范围。考虑到这点，固有的ISO感光度是根据数码相机的焦平面处提供的曝光计算的数值，以产生特定的照相机输出信号特性。固有感光度通常是对于给定照相机系统，对于正常场景产生峰值图像质量的曝光指数值，其中曝光指数是与提供给图像传感器的曝光成反比的数值。

对数字照相机的以上描述将是本领域的技术人员所熟知的。将明显的是，本实施例存在很多变化，可以选择这些变化来减小成本、增加特征或改进照相机的性能。例如，增加自动对焦系统，或者镜头是可拆卸并且可更换的。将理解的是，本发明适用于任何类型的数字照相机或更一般的数字图像拍摄装置，在该数字图像拍摄装置中可替代模块提供类似功能。

给定图1的举例说明性示例，以下描述然后将详细描述根据本发明的用于拍摄图像的该照相机的操作。在以下描述中无论何时一般地引用图像传感器，其被理解为表示图1的图像传感器20。图1中所示的图像传感器20典型地包括在硅衬底上制造的光敏像素的二维阵列，在每个像素将进入的光转换成测量的电信号。在图像传感器的上下文中，像素（“图像元素”的缩写）是指分立的光感测区域以及与光感测区域相关联的电荷转移或电荷测量电路。在数字彩色图像的上下文中，术语“像素”通常是指具有关联颜色值的图像中的特定位置。术语“彩色像素”将指在较窄光谱带上具有彩色光响应的像素。可互换地使用术语“曝露持续时间”和“曝光时间”。

当传感器20暴露于光中时，产生自由电子，自由电子在每个像素的电子结构之内被俘获。在一段时间内俘获这些自由电子，并且然后测量俘获的电子数目或者测量产生自由电子的速率，从而能够测量每个像素处的光水平。在前一种情况下，如同在电荷耦合器件（CCD）中那样，累积的电荷被移出像素阵列到达电荷到电压的测量电路，或者如同在有源像素传感器（APS或CMOS传感器）中那样，接近每个像素的区域能够包含电荷到电压测量电路的元件。

为了产生彩色图像，图像传感器中的像素阵列典型地具有置于它们之上的彩色滤镜的图案。图2示出了常用的红（R）、绿（G）和蓝（B）彩色滤镜的图案。如美国专利No.3971065中公开的，该特殊图案通常被称为以发明人Bryce Bayer命名的Bayer彩色滤波阵列（CFA）。该图案有效地用于具有二维阵列的彩色像素的图像传感器中。作为结果，每个像素都具有特殊的彩色光响应，在这种情况下，该特殊的彩色光响应是对红光、绿光或蓝光的最显著灵敏性。其他有用的各种彩色光响应是对品红光、黄光或青光的最显著灵敏性。在每种情况下，特殊的彩色光响应对可见光谱的特定部分具有高灵敏度，同时对可见光谱的其他部分具有低灵敏度。

利用具有图2的CFA的二维阵列的图像传感器拍摄的图像在每个像素仅具有一种色彩值。为了产生全色彩图像，存在若干技术用于推断或插值每个像素处缺失的色彩。这些CFA插值技术是现有技术中公知的，参考以下专利：美国专利No.5506619；美国专利No.5629734和美国专利No.5652621。

图2中所示的CFA图案的一个缺点是滤除掉给定像素上入射的大部分光，导致弱光条件下的有噪声图像。改进弱光成像的一种解决方案是使用传感器阵列像素的某部分作为全色像素。例如，Compton等人的名为“ImageSensor with Improved Light Sensitivity”的共同受让美国专利申请No.2007/0024931公开了一种既有彩色像素又有全色像素的图像传感器。在本公开的上下文中，术语“全色像素”是指具有大致为全色的光响应的像素，具有比选定组的彩色光响应中表现的较窄光谱灵敏度更宽的光谱灵敏度。即，全色像素能够具有对跨越整个可见光谱的光的高灵敏度。尽管全色像素通常比该组彩色光响应具有更宽的光谱灵敏度，但是每个全色像素也可以具有关联的滤镜。这样的滤镜可以是中性密度滤镜或彩色滤镜或带宽滤镜。

参考图3的曲线图，示出了典型照相机应用中具有红、绿和蓝彩色滤镜的像素的相对的光谱灵敏度。图3中的X轴以纳米为单位表示光波长，跨越大致从近紫外到近红外的波长，而Y轴表示效率（归一化的）。在图3中，曲线110表示用于阻挡红外光和紫外光到达图像传感器的典型带宽滤镜的光谱透射特性。需要这样的滤镜，这是因为用于图像传感器的彩色滤镜通常不阻挡红外光，因此像素可能无法在红外光和其关联的彩色滤镜的通带内的光之间做出区分。因此，曲线110所示的红外阻挡特性防止了红外光污染可见光信号。将应用了红、绿和蓝彩色滤镜的典型硅传感器的光谱量子效率（即被俘获并且被转换成可测量电信号的入射光子的比例）乘以由曲线110表示的红外阻挡滤镜的光谱透射特性，以产生由红色曲线114、绿色曲线116和蓝色曲线118表示的组合的系统量子效率。从这些曲线可以发现，每种彩色光响应仅对可见光谱的一部分敏感。相反，曲线112示出了未应用彩色滤镜的同一硅传感器（但包括红外遮挡滤镜特性）的光响应；这是全色光响应的示例。通过将彩色光响应曲线114、116和118与全色光响应曲线112比较，显然，比起任何彩色光响应，全色光响应可能对宽光谱光更灵敏三到四倍。

图4示出了根据本发明实施例的流程图。在步骤410中，当操作者构成图像时，操作者通过将照相机上的拍摄按钮从S0位置（未按下位置）按到S1位置（部分按下位置），由此向照相机中的系统控制器50发送部分按下拍摄按钮信号，来启动采集过程。然后，系统控制器50指示照相机利用可用的DSP存储器32采集并组合多个低分辨率图像420。应当注意的是，同时，照相机中的系统控制器50还将典型地完成自动对焦和自动曝光。如步骤430中所示，当操作者识别采集时刻时，操作者将拍摄按钮从S1按到S2（完全按下位置），由此向照相机中的系统控制器50发送完全按下拍摄按钮信号。此时，在步骤440中，系统控制器50指示照相机停止低分辨率图像的连续采集或拍摄，并且开始高分辨率图像的采集。最后，在步骤450中，将低分辨率图像和高分辨率图像组合，以形成改进的高分辨率图像。所有拍摄的低分辨率图像和高分辨率图像的集合被称为拍摄集。

步骤420中拍摄的低分辨率图像可以是预览图像，例如常常显示在照相机LCD显示器88上。通常以320列乘240行的空间分辨率，或以VGA分辨率（640列乘480行），以每秒30帧来拍摄并且显示这样的图像。然而，该空间分辨率不是限制性的，而可以以更大的空间分辨率拍摄低分辨率图像。可以拍摄并且从传感器读出低分辨率图像的频率，该频率与低分辨率图像的空间分辨率成反比。

在步骤440中拍摄的高分辨率图像的空间分辨率比步骤420期间拍摄的低分辨率图像的更大。高分辨率图像常常具有图像传感器20的全空间分辨率。

也可以在S1之外进行低分辨率图像的拍摄。当照相机处于S0位置时，可以如步骤420中那样拍摄并且组合低分辨率图像。也可以在从S0到S1的转变，或从S1到S0的转变期间，继续进行低分辨率图像的拍摄。

对于10兆像素的数字照相机，拍摄集的示例如下。当操作者将拍摄按钮从S0按到S1时，系统控制器50指示照相机开始连续地获取并组合低分辨率图像。低分辨率图像是9×合并的——水平方向和垂直方向都是3的因子——因此每个低分辨率图像的分辨率都大约是1兆像素。以每秒30幅图像的速率来获取低分辨率图像。根据场景中存在的光水平，可以以每幅1/30秒或更少的曝光时间来获取低分辨率图像。在拍摄图像时组合它们，从而在存储器中仅存储两幅图像——当前图像和聚合（组合的）图像。当将拍摄按钮按到S2时，拍摄单幅高分辨率图像。可以以10兆像素的全传感器分辨率获取高分辨率图像。根据场景中存在的光水平以及根据照相机和场景的任何运动，高分辨率图像的曝光时间可以比低分辨率图像的曝光时间更短、更长或基本相同。完成拍摄时的拍摄集包括单幅聚合的1兆像素图像以及单幅10兆像素图像。

图5更详细地描述来自图4的拍摄和组合低分辨率图像420的步骤。当操作者将拍摄按钮按到S1位置之后，连续进行低分辨率图像的拍摄和组合，直到将拍摄按钮按到S2，510。拍摄单幅低分辨率图像520，并且随后与聚合低分辨率图像组合，530。在优选实施例中，利用无限冲激响应滤波器将低分辨率图像组合成聚合低分辨率图像。无限冲激响应滤波器是本领域的技术人员公知的。在本公开的上下文中，无限冲激响应滤波器具有如下性质：任何时刻滤波后的值（聚合低分辨率图像）都是当前低分辨率图像与在先低分辨率图像的加权组合，其中针对每种低分辨率的权重都严格地是正的。具体而言，由以下公式给出拍摄的低分辨率图像和聚合低分辨率图像之间的关系：

A[1]=C[1]

A[n]=(l-α)A[n-l]+αC[n]对于n>l。

在这个公式中，A表示聚合低分辨率图像。C表示拍摄的低分辨率图像，并且括号中的数字n表示关联的图像对应于第n个拍摄的低分辨率图像。因此，初始地将聚合低分辨率图像设置为等于第一个拍摄的低分辨率图像。随后，更新聚合低分辨率图像以等于当前拍摄的低分辨率图像与在先聚合低分辨率图像的加权组合。参数α控制当前拍摄帧的相对重要性。参数α被限制在范围（0，1），优选值是0.25。

该拍摄和组合方法在任何时候都仅需要存储两个低分辨率图像——当前的拍摄低分辨率图像和聚合低分辨率图像。一旦低分辨率图像已经与聚合低分辨率图像组合，就可以丢弃它（或例如仅额外用于自动对焦和自动曝光，然后丢弃）。

还可以在组合之前将当前拍摄的低分辨率图像与聚合低分辨率图像对准。具体而言，可以包括运动估计和补偿的步骤以对准拍摄的低分辨率图像和聚合低分辨率图像。该运动估计和补偿步骤还能够解决全局照相机运动和额外的局部运动问题。用于全局和局部运动估计和补偿的技术有多种，并且对本领域的技术人员来说是公知的。

在优选实施例中，当拍摄的低分辨率图像被组合时，它们保持为CFA图像，并且聚合低分辨率图像也是CFA图像。可替代地，对拍摄的低分辨率图像进行颜色插值以产生全色彩的低分辨率图像，并且聚合低分辨率图像也是全色彩的图像。

所述组合低分辨率图像的方法具有以下优点，即它实现了对很对低分辨率图像求平均的噪声降低优点，而不必同时存储它们。此外，通过对更近拍摄的图像更重地加权，聚合低分辨率图像偏向场景的最近状态。与低分辨率图像的均匀加权平均相比，加权的聚合更可能与随后拍摄的高分辨率图像匹配。此外，等于0.25的α允许有计算上有效率地组合当前和聚合低分辨率图像，仅需要简单的相加和移位运算，这与更复杂的乘法或触发运算截然相反。类似地，可以使用等于0.5的α来更多地强调更近的图像，同时仍然仅需要相加和移位运算。

图6更详细地描述了来自图4的组合低分辨率图像和高分辨率图像的步骤450。在操作者将拍摄按钮按到S2之后430，拍摄高分辨率图像，440。因此，组合低分辨率和高分辨率图像的步骤从高分辨率图像610和聚合低分辨率图像620开始。将聚合低分辨率图像插值到高分辨率，630。该步骤产生聚合高分辨率图像，聚合高分辨率图像具有高分辨率图像的分辨率。在优选实施例中，使用双三次插值来产生聚合高分辨率图像。然而，本领域的技术人员将认识到，存在很多适当的插值技术来产生插值的高分辨率图像。

在步骤640中，减小高分辨率图像610的分辨率，640。该步骤可以包括合并、抽取（decimation）或裁剪（cropping）。在优选实施例中，将减小高分辨率图像分辨率的步骤被设计成模仿由数字拍摄设备（例如数字照相机）使用的步骤，以产生低分辨率图像。该步骤产生本能够由图像拍摄设备拍摄的代表性的低分辨率图像。

在步骤650中，然后，使用如步骤630中的相同方法，将代表性的低分辨率图像插值到高分辨率，650。该步骤产生模糊的高分辨率图像。类似于步骤630，在优选实施例中，使用双三次插值产生模糊的高分辨率图像。然而，本领域的技术人员将认识到，存在很多适当的插值技术来产生插值的高分辨率图像。

在步骤660中，计算模糊的高分辨率图像与聚合高分辨率图像之间的差异。该步骤产生残留图像R。

在步骤670中，将残留图像转换成图像差异图。对于每个像素位置（x，y），如以下方程中所示，通过将残留的幅值与模糊高分辨率图像的期望的噪声标准偏差进行比较来计算该图：

$>t(x,y)=\frac{\left|R(x,y)\right|}{{\sigma }_{B(x,y)}}.$>

在该方程中，由t给出差异图，由R给出残留值，由σ_B(x，y)给出与模糊高分辨率图像的像素对应的噪声标准偏差。

然后通过以下方程将差异图传递到范围[0，1]：

$>\alpha =\frac{1-e^{-t}}{1+e^{-t}}.$>

差异图α的范围从0到1，“0”表示聚合高分辨率图像和模糊高分辨率图像之间的完全匹配，“1”表示其之间的完全不匹配。可以使用该图来识别由于拍摄期间场景中的运动导致的失配像素。

在步骤680中，连同高分辨率图像和聚合高分辨率图像一起使用图像差异图以形成改进的高分辨率图像。

图7描述了用于图6中的步骤680的方法之一，其中使用图像差异图来组合高分辨率图像610和聚合高分辨率图像620，730。

在步骤740中，产生模糊高分辨率图像。类似于步骤640和步骤650，减小高分辨率图像的分辨率。该步骤可以包括合并、抽取或裁剪。在优选实施例中，将减小高分辨率图像的分辨率的步骤被设计成模仿数字拍摄设备（例如数字照相机）所用的步骤，以产生低分辨率图像。该步骤产生本可能由图像拍摄设备拍摄的缩小的图像。然后对缩小的图像进行插值以产生模糊的高分辨率图像。

然后，将来自模糊的高分辨率图像的色度信息与来自聚合高分辨率图像的色度信息组合，以形成组合的色度信息，750。这是根据以下方程来完成的：

$>C_C=\frac{{\sigma }_A}{{\sigma }_A+{\sigma }_B}{C}_B+\frac{{\sigma }_B}{{\sigma }_A+{\sigma }_B}{C}_A.$>

在该方程中，C_C是组合的色度值，C_B是来自模糊的高分辨率图像的色度值，C_A是来自聚合高分辨率图像的色度值。σ_B是与模糊的高分辨率图像像素值相关联的噪声的标准偏差，而σ_A是与聚合高分辨率图像像素值相关联的噪声的标准偏差。

为了避免引入由拍摄期间发生的运动引起的伪影，计算最终色度信息770作为高分辨率图像色度信息760与组合色度信息750的加权平均。在每个像素处，可以通过以下方程来计算最终的色度信息C_F：

C_F=αC_C+(1-α)C_H

在该方程中，C_H是高分辨率色度信息760，α是来自图像差异图730的值。接下来，根据高分辨率图像计算亮度信息，780。将亮度信息与最终色度信息770组合以形成改进的高分辨率图像790。

图8描述了用于图6中的步骤680的另一方法，其中利用图像差异图730来组合高分辨率图像610和聚合高分辨率图像620。该方法对应于以下情形：已经通过噪声降低算法840处理了高分辨率图像，产生了噪声降低的高分辨率图像。首先，产生模糊的高分辨率图像740。可以如步骤640和步骤650中那样重新计算模糊的高分辨率图像，或者可以在步骤640和步骤650中的在先计算之后将其保存在存储器中。在步骤860中，计算模糊高分辨率图像和聚合高分辨率图像之间的差异。该步骤产生残留图像。

在步骤840中，将噪声降低算法应用于高分辨率图像。根据高分辨率图像中的噪声情况，它可以是任何现有的噪声降低技术。该步骤产生了噪声降低的高分辨率图像。

最后，将残留图像与噪声降低的高分辨率图像组合以形成改进的高分辨率图像790。利用以下方程来组合残留图像和噪声降低的高分辨率图像：

I_F=I_C+(1-α)I_R，

在该方程中，I_R是残留图像，I_C是噪声降低的高分辨率图像，并且α是来自图像差异图730的值。

本发明提供了几项有利要素用于产生改进的高分辨率图像。与使用多个高分辨率图像产生改进的高分辨率图像的算法相比，使用低分辨率图像提供了拍摄低分辨率图像和拍摄高分辨率图像之间的最小延迟，从而使拍摄过程期间发生的运动的影响最小化。此外，使用低分辨率图像将改进集中在高分辨率图像中的低频噪声上。低频噪声（颜色团块）常常被认为是图像中清洁最麻烦、最令人讨厌并且最困难的噪声，并且低分辨率图像特别提供了针对低频噪声的改进。

本发明的另一有利特征是其可以用低的存储器成本和计算成本来实现，并且可以将输出直接馈送回标准图像处理链中。可以将低分辨率图像保存为CFA模式图案，并且改进的高分辨率图像可以是改进的CFA模式图像。随后可以该改进的高分辨率图像直接输入回图像处理路径中。

本发明对于低光照成像情形尤其有用。在这样的情况下，它能够通常适合具有长时间曝光，以收集足够的光，实现可接受的信噪比。然而，这样的长时间曝光可能导致曝光期间因摄影机抖动造成的模糊图像。可以使用低分辨率图像提供改进的信噪的位置，并且因此简少高分辨率图像所需的曝光时间，由此减少运动模糊并且提供用于图像稳定的方法。

还可以结合从诸如陀螺仪或加速度计之类的设备提供的运动信息来使用本发明。在高分辨率拍摄期间进行的陀螺仪测量能够指示在拍摄期间是否发生了显著的照相机移动，并且如果是，则提早终止拍摄，并且使用先前（或随后）拍摄的低分辨率图像来改进信噪的位置，同时允许运动模糊减少的高分辨率图像。

使用拍摄之前可获得的陀螺仪测量来评估拍摄期间的照相机的当前运动和预期运动，并且来相应地设置高分辨率曝光。如果将高分辨率曝光缩短到小于期望的曝光时间，则利用来自低分辨率拍摄的信息来补充该信号。

系统控制器50可以选择始终从最初计算的目标曝光缩短高分辨率曝光，并且利用低分辨率图像补偿损失的信号。

本发明的另一个用途可能出现在拍摄后。对施加到高分辨率图像的模拟增益和数字增益的量进行分析，并且如果增益系数过高，则可以通过使用低分辨率图像来改进高分辨率图像的噪声位置。

本发明的另一个用途是最初拍摄高分辨率图像并且数字地组合它们以形成低分辨率图像。然后可以将这些低分辨率图像与最终拍摄的高分辨率图像进行组合。在该情形中，由于从传感器读取多个高分辨率图像，对于合并的图像的快速读出没有优点。然而，将高分辨率图像组合成单个聚合低分辨率图像，如此使得存储器成本保持很小。聚合低分辨率图像改进了高分辨率图像的低频中的信噪比。图像低频中的噪声通常难以清除，而且在视觉上也令人讨厌。

基于拍摄条件和照相机能力来选择针对每个低分辨率图像的帧率、分辨率和曝光。在优选实施例中，低分辨率图像的分辨率在每个维度上大约是高分辨率图像的分辨率的三分之一。该分辨率减少量允许低分辨率图像改进高分辨率图像的低频中的信噪比。它还允许高分辨率图像保持其原始的高频率，这防止了当尝试组合相等空间分辨率的多个图像时常常发生的视觉伪影的引入，并且防止了由于场景之内运动导致的一些场景内容差异。在优选实施例中，以每秒30幅图像的速度或者以照相机的最大速度（如果对于期望分辨率的图像，其低于每秒30幅图像）拍摄低分辨率图像。在优选实施例中，每幅低分辨率图像的曝光时间等于照相机速度的倒数。即，如果照相机能够拍摄每秒30幅低分辨率图像，则每幅低分辨率图像的曝光时间是1/30秒。此外，在优选实施例中，在合并过程期间不丢弃任何像素。例如，对于每个维度上3×的合并因子，这导致9个像素被组合以形成每个合并的像素值。在被成像场景具有充足的光从而所描述的曝光和合并设置导致过曝和饱和的情况下，可以通过减少每幅图像的曝光或在合并过程期间丢弃一些像素数据来改变低分辨率图像。

本领域的技术人员将认识到，本发明有很多可替代的方法。

部件列表

10    光

11    成像级

12    镜头

13    滤镜块

14    可变光圈

16    传感器块

18    快门块

20    图像传感器

22    模拟信号处理器

24    A/D转换器

26    时序发生器

28    传感器级

30    总线

32    存储器

36    数字信号处理器

38    处理级

40    曝光控制器

50    系统控制器

52    总线

54    程序存储器

56    系统存储器

57    主机接口

60    存储卡接口

62    插座

64    存储卡

68    用户接口

70    取景器显示器

72    曝光显示器

74    用户输入

76    状态显示器

80    视频编码器

82    显示控制器

88    图像显示器

110   滤镜透射率曲线

112   全色光响应曲线

114   彩色光响应曲线

116   彩色光响应曲线

118   彩色光响应曲线

410   拍摄按钮到S1块

420   图像采集和组合块

430   拍摄按钮到S2块

440   图像采集块

450   图像组合块

510   拍摄按钮询问

520   图像采集块

530   图像组合块

610   高分辨率图像

620   聚合低分辨率图像

630   插值块

640   分辨率减少块

650   插值块

660   残留计算块

670   图像差异图计算块

680   图像组合块

730   图像差异图

740   计算模糊高分辨率图像块

750   组合的色度信息形成块

760   来自高分辨率图像的色度信息

770   最终色度信息组合块

780   来自高分辨率图像的亮度信息

790   改进的高分辨率图像形成块

840   噪声降低块

860   残留计算块