具有全景摄影或镶嵌功能的数字照相机

摘要

一种具有存储器和一种扫描模式的数字照相机。在这个模式中，照相机拍照静止图像序列。根据有关图像内容与存储在存储器内的前一个图像的重叠量，选择用于所说序列中的下一个图像存储在存储器中。照相机处理存储在存储器中的图像以便产生一个合成图像。

说明书

技术领域

本发明涉及具有数字照相机的一种电子设备，并且涉及使用数字照相机产生合成图像的方法。

背景技术

数字式固态照相机正在迅速地取代传统的模拟照相机。价格已经下降到大量销售水平，并且正在增加在传统的模拟领域从来没有听说过的特征，在俘获过程和终端结果的质量方面使用户得到更多的控制。当前，数字照相机在市场上可以购买得到，并且已经设计成可以与个人计算机连接以便传输图像文件。这些图像文件可以包括静止图像文件(例如JPEG文件)以及运动视频文件(例如QuickTime文件)。这样一种数字照相机俘获数字静止图像和运动视频片段，并且例如使用闪存EPROM存储器存储所说图像。数字照相机还越来越频繁地与其它的设备集成在一起。诸如移动电话之类的设备现在还配备照相机芯片，以此作为它的标准特征。市场报告估计，在2002年，全世界将要销售大约2千万(20M)台所谓的“照相机电话”。嵌入式数字照相机就可以与遥远的对方立即分享拍摄的快照。在PDA市场已经出现在照相机芯片中进行设计的类似趋势。于是，固态照相机在消费者电子(CE)环境(即，大量销售)中已经变为一种商品，其中的品牌所有者试图借助于提供附加功能的引人注目的特征来区别他们的产品。

在美国专利申请出版物20030095193中讨论了以上所述的一个例子。这篇参考文献公开的是通过一个数字照相机产生一个全景数字图像，所说数字照相机具有一个存储器，所说数字照相机在第一模式操作用于产生单个的静止数字图像，所说数字照相机在第二模式操作用于俘获一系列重叠的数字图像，以便用于构成全景数字图像。所说数字照相机安装在一个台架上，在所说台架上可以转动一系列预定的位置，并且在第二模式操作以便俘获一系列重叠的数字图像。在存储器中一个预定位置存储与全景数字图像对应的一系列重叠的数字图像，对于所说重叠的数字图像进行处理，以便可以将这些图像拼接(stitch)在一起，产生全景数字图像。

发明内容

已知的照相机的要求是用户要准确地遵循特定的过程来产生全景图像。此外，这种照相机需要一个三角架或者其它的稳定支架。本发明人对于已知的数字照相机提出了一个用户界面友好的替换方案来产生全景图像。为了俘获一个物体例如一个场影或一个建筑物的正面的图像，本发明人建议：用户利用照相机的单次扫描来扫描所说物体，同时照相机进行拍照。在完成扫描时，照相机拼接所拍的图像以产生全景图像或镶嵌图像。

更加具体地说，本发明涉及具有存储器和操作模式的数字照相机，所说的照相机在该操作模式拍照静止图像序列。根据有关图像内容与存储器中存储的前一个图像的重叠量，选择所说图像序列中下一个图像以便存储在所说存储器内。照相机处理存储器中存储的图像，以便产生一个合成图像，例如全景图像或镶嵌图像。优选地，照相机包括一个传感器，用于当扫描期间拍摄对应的一些图像时确定代表照相机的对应相对坐标的信息。这样一种传感器例如包括一个加速计或转速计，从它的输出可以获得照相机的位置。然后，例如，如果扫描跟踪一个蜿蜒的路径因而可以扫描既高且宽的物体，则可使用所说信息来控制合成图像的产生。还可以使用所说的信息来确定下一个图像，在确定中例如可以与照相机和被扫描物体的相关区域之间的估算距离的信息相结合。可以根据例如具有自动聚焦功能的照相机的焦点设定值，自动地估算所说估算距离。优选地，所说照相机包括一个检测器，用于检测在合成图像中没有被图像序列覆盖的区域，用于例如向照相机的用户提供反馈。如果照相机具有一个取景器可以让用户检查已经拍照过的图像，则还可以绘制至今已经产生的合成图像的一个缩小的版本。用户容易找准任何空隙，因此用户可以拍摄一个附加的图像来覆盖所说空隙。例如通过在取景器中重叠实时图像，即，从照相机正在对准的俘获图像，引导用户将照相机对准正确的区域，拍摄与所说空隙相邻的一个或多个图像的某些部分。

在本发明的另一个实施例中，实施了以上限定的照相机，或者按照另一种方式，在功能上集成所说的照相机与一种电子设备，例如移动电话、掌上电脑、或PDA。

在照相机中处理图像的一个优点是，用户几乎立即就可以预览拍照结果，因而可以确定这个结果是否满意。例如，利用一个两维扫描，用户可能会漏掉被扫描的物体的一个区域，为此可以提供上述的解决方案。另一个优点是，本发明的照相机是独立的。不再需要将所拍照的图像下载到个人计算机并且在个人计算机上对于这些图像进行后期处理。以此方式，提供了具有全影拍照和镶嵌功能的低成本的数字照相机。

本发明还涉及使用数字照相机产生合成图像的方法。所说方法包括：拍照静止图像序列；以及根据图像内容与存储的前一个图像的重叠量选择所说图像序列中的下一个图像以便进行存储。然后处理存储的图像，以便产生合成图像。优选地，所说方法包括：当拍照对应的图像时确定代表照相机的对应相对坐标的信息。所说信息用于使用一种拼接算法控制合成图像的产生和/或确定下一个要存储的图像。优选地，所说方法包括识别在合成图像中未被存储器中存储的图像覆盖的区域。

为完整起见，参照为Rob Beuker和Marcel Breeuwer出版的WO0195109(代理人备案记录TW000002)“将图像合并成合成图像的方法和设备”。这个专利文献涉及合成重叠的两维(2D)图像的设备和方法，所说两维(2D)图像作为三维(3D)场景的投影是通过一个图像拾取设备形成的。具体来说，所说的合成包括通过一个两维图像的投影变换的影象重合(image registration)，所说的变换是从在两个图像中找到的对应特征导出来的。为了实现精确性和稳定性的改善，要对对应特征点的坐标进行选择，或者对于所说的坐标进行转换，以使所说坐标值的数值范围平均来说是最小的。所说的设备包括一个适当配置的图像处理器或者具有附带的图像获取设备的计算机，所说的图像获取设备在一个实施例中是一个诊断用的x射线机。

附图说明

下面借助于实例并参照附图更加详细地说明本发明，其中：

图1是本发明的照相机的方块图；

图2和图3形成一个流程图，用于说明本发明的方法；

整个附图，相同的参考标号表示相似的或者对应的特征。

具体实施方式

图1是按照本发明的一个优选的手持数字照相机100的方块图。在这个例子中的照相机是与视频摄相机不同的静止图像数字照相机。照相机100包括图像传感器102、超高速缓冲存储器104、存储器106、数据处理器108、和显示监视器或取景器110。处理器108包括位置/取向传感器112、重叠控制器114、图像拼接软件116、和空隙检测器118。

传感器102把物体的光学图像转换成数字数据，并且包括一个固态图像检测元件(未示出)，例如电荷耦合器件(CCD)。在使用电荷耦合器件的情况下，传感器102包括一个模拟到数字转换器(未示出)，以便把电荷耦合器件的模拟输出信号转换成数字数据。传感器102连接到超高速缓冲存储器104，超高速缓冲存储器104存储来自传感器102的数字数据。当用户按压照相机的快门按钮(未示出)时，处理器108控制电荷耦合器件，以便实现所谓的全像素读出，其中数据暂时存储在超高速缓冲存储器104中。从这里开始，数据在处理器108的控制下转移到存储器106。存储器106例如包括一个可移动的存储器卡或者具有小形状系数的硬盘驱动器(HDD)等。显示器110可以让用户在聚焦或寻找正确的拍摄对象以及存储在存储器106中的图像的同时观察到例如由传感器102俘获的图像。迄今，操作与已知的数字照相机类似。

本发明的照相机100具有一个运行模式，在这里称之为“扫描模式”，其中所俘获的图像序列覆盖的区域大于使用照相机的光学部件(在这里未示出)在单个图像中能够俘获的区域。为此，必须移动照相机和/或由用户改变照相机的取向，以便能够拍照完全覆盖目标区域的图像。它的操作如以下所述。

在扫描模式，用户沿着一个路径扫描照相机100，对于这个路径来说，累加的视野将要覆盖一定的区域。例如，用户从左到右扫描照相机100，以便俘获例如在一个博物馆中陈列的大型的关节式蒸气机车，或者，从下到上扫描照相机100，以便俘获例如一个红杉树。拍照第一个图像，将其转移到存储器106。在扫描照相机100期间，照相机100保持拍照状态。传感器102和超高速缓冲存储器104的更新速率应该是这样的：在给定的人能够移动他或她的正在夹持照相机的臂和腕的典型速度下，在扫描期间可能拍照与第一个图像重叠的多个图像。重叠控制器114确定这些随后图像与第一个图像的重叠，并且控制具有某个最小的重叠量或者按照另一种方式人们期望的重叠量的图像向存储器106的转移。这个最后的图像变成了第二图像。照相机100保持不断地拍照，重叠识别器114用类似的方式相对于第二图像选择要转移到存储器106的第三图像，如此等等继续到最后一个图像。最后一个图像涉及扫描模式终止的瞬间时刻，例如借助于用户释放在扫描期间保持按压的一个按钮(未示出)和/或停止照相机外壳的移动来实现所说的扫描模式终止。在简单的水平扫描中，图像在存储器106中的次序是线性的。在处理器108上运行在图像处理领域中公知的常规的拼接算法116，并且从存储器106中可利用的重叠图像系列中产生一个合成图像。

控制器114控制在相继图像之间的重叠量。控制器114例如是通过一种算法实现的，所说的算法试图匹配在期望重叠的区域中相继图像的像素。如果传感器112检测到照相机100正在向右移动，并且最好还检测到当前的速度，而且，传感器112还具有有关被扫描的物体距照相机的距离的信息，给定照相机镜头(未示出)覆盖的角度，就可以使覆盖的期望区域最小。例如可以根据焦点设定值来估算以前提到过的距离。传感器112例如包括一个简单的加速度计或转速计，用于例如根据霍尔效应等确定相对于地球磁场的速度。按照另一种方式，使随后的图像经受图像处理领域公知的运动估算算法，就可以确定超高速缓冲存储器104中图像内的像素相对于存储器106中存储的最后一个图像的像素的相对速度(每单位时间在一定方向的虚拟像素位移)。由于重叠量取决于速度，所以可以确定重叠量。

期望的重叠量最好是可以编程的，例如使其自动地取决于照明条件，取决于图像中表示细节的高频分量，或者是用户可以选择的。

作为另一个例子，用户让照相机100跟踪一个蜿蜒状的并且基本上在垂直平面的路径，以便可以覆盖例如一个感兴趣结构的正面或者附近的物体。所拍摄的图像的排列次序是线性的，但是这个线性次序要映射到形成最终合成图像的一个两维阵列上。现在在图像的四个边上而不是在两维区域的周边上发生拼接。这就意味着，为了进行拼接操作，需要确定每个图像的相对两维位置，该每个图像被连续地选择以转移到存储器106。为此，照相机108要配备位置或取向传感器112，以便可以确定在蜿蜒扫描期间照相机100跟踪的路径或者照相机100的焦点。传感器112包括例如简单的加速度计(用于确定照相机主体的垂直和水平加速度，并且最好还用于确定拍摄全景(pan)角度和倾斜角度的相对变化)和一个电路，所说电路对于确定路径时得到的加速度值进行对时间的二次积分。例如使用在相对的方向上记录加速度的成对加速度计，可以确定拍摄全景或者倾斜运动。因此，可以使被选择的用于转移到存储器106的图像与沿着这个路径的一个标记相关联，所说的标记包括相对的垂直和水平坐标。这样就可以将线性次序映射到两维阵列。

图2和图3形成一个流程图，说明按照本发明的一个过程200。在步骤202，用户按压照相机100的扫描模式按钮，或者按照另外的方式使照相机100进入扫描模式，并且开始扫描。在步骤204，拍照第一个图像并且将其存储在存储器106中。照相机100继续拍摄图像。在步骤206中访问超高速缓冲存储器104中的下一个图像，并且在步骤208比较所说下一个图像与在存储器106中存储的第一个图像。在步骤210，确定在超高速缓冲存储器104中的当前的图像是否具有一个可接受的与第一个图像的重叠。例如，如果重叠很大，则拍照下一个图像即(在第二个图像后面的一个分开的图像)可能是较好的作法，将所说的这个下一个图像装入超高速缓冲存储器104中以代替在超高速缓冲存储器104中缓冲存储的在前图像。这有助于减小产生合成图像所需的图像数目，并且能够有效地利用照相机的板上存储器106。如果重叠不可接受，则过程200返回到步骤206。如果重叠可以接受，则在步骤212中，将超高速缓冲存储器104中的当前图像转移到存储器106中。在步骤214中，确定扫描是否完成。这例如可以通过记录扫描运动已经停止或者照相机扫描模式按钮已经释放来完成。按照另一种方式，用户可以设定在单次扫描中保存到存储器106中的图像的最大数目等。如果扫描还在进行当中，则过程200返回到步骤206。如果扫描已经结束，则过程200前进到步骤216，其中对于存储器106中积累的图像进行拼接，以产生合成图像，如以上所述。在步骤218，确定合成图像是否具有一个或多个空隙，即确定合成图像中是否存在缺少像素数据的扩展区域。例如从区域周边的简单内插就可以填充丢失的像素(为此可以产生步骤216的一个子程序)，如果在这个情况下区域没有扩大，或者如果不存在空隙，则在步骤220过程200终止。如果存在空隙，则过程200前进到步骤222，在其中例如使用上述的重叠过程将用户引向丢失区域。然后，拍照一个额外的图像以便覆盖丢失区域并将其转移到存储器106。由此，过程200返回到步骤216，以拼接所说额外的图像与至今为止产生的合成图像。要说明的是，在重叠过程中，额外图像的位置(即要拼接的位置)已经是已知的。

作为在终止扫描时开始将存储器中的图像拼接在一起的一个替换方案，处理器108根据存储在存储器106中图像的坐标确定在扫描期间某些图像或者全部图像是否已经拼接在一起。