用于照相机中的分布式影像处理以使在缝合影像中的伪影最小化的方法及设备

摘要

本发明的题目是一种用于照相机中的分布式影像处理以使在缝合影像中的伪影最小化的方法及设备。一种用于协调调整一由一第一照相机所撷取的第一影像及一由一第二照相机所撷取的第二影像的方法包括：从第一影像决定一第一组影像处理参数及从第二影像决定一第二组影像处理参数；将第一组影像处理参数传送至一主体，主体并非第一照相机；将至少第一与第二组的处理参数合并成一组合或复合组的参数；将合成参数从主体传送至第一照相机；及使用第一照相机的一处理器以将合成参数应用至第一影像以及使用第二照相机的一处理器以将合成参数应用至第二影像。一种设备具有至少两个照相机，设计成用于实施此方法。

说明书

技术领域

本发明是有关于一种用于照相机中的分布式影像处理以使在缝合影像中的伪影最小化 的方法及设备。

背景技术

多数的电子照相机包括适合于决定适当的白平衡或色彩调整、参数及适合于执行一影 像的一自动白平衡的韧体。

在某些现有的系统中，用于撷取影像(打算为缝合成全景或360度环绕影像，或与常使 用于电影院中的格式兼容的宽广格式影像所用)的一个群组的照相机的每台照相机，已被允 许个别地决定其色彩平衡及/或曝光控制参数。一旦每台照相机已确认这些参数，它们就会 在这些影像被传送至主机系统之前，于那台照相机被应用至由那台照相机所拍摄的影像。 当这个发生时，在由每台照相机所决定的色彩平衡及/或曝光控制参数之间的差异，会导致 缝合影像中的看得见的伪影-特别于个别的照相机影像被拼接且大型均匀色彩的物体或背 景相交那些边界的边界。举例而言，若蓝天背景由每台照相机利用不同的色彩平衡及/或曝 光参数被处理，则一条具有不同颜色深浅或亮度的天空的拼接线可变成看得见。

若为待被拼接的每台照相机影像在主机上执行色彩、亮度及对比的额外修正，则可能 需要主机上的实质上的处理时间。

发明内容

一种用于协调调整一由一第一照相机所撷取的第一影像及一由一第二照相机所撷取的 第二影像的方法包括：从第一影像决定一第一组统计影像处理参数及从第二影像决定一第 二组统计影像处理参数；将第一组统计影像处理参数传送至一主体(master)，主体并非第一 照相机；将至少第一与第二组统计处理参数合并成一组合或复合组的参数；从组合组的统 计决定一组调整参数；将此组的合成参数从主体传送至第一照相机；及使用第一照相机的 一处理器以将此组的合成参数应用至第一影像以及第二照相机的一处理器，以将此组的合 成参数应用至第二影像。

一种设备具有至少两个照相机，设计成用于实施此方法。

在另一实施例中，一种用于产生缝合影像的设备包括一第一及一第二照相机，每台照 相机具有：一处理器；一存储器系统，耦接至处理器，存储器系统包括一韧体存储器；一 通信次系统，耦接至处理器；以及一协调及影像调整韧体，位在韧体存储器中。协调韧体 具有机器可读取的指令，用于将从一由照相机所撷取的影像导出的影像处理参数传送至一 主体，以及接收供影像的调整用的一组参数。影像调整韧体具有机器可读取的指令，用于 执行色彩平衡调整、对比调整及亮度调整的至少一者。

附图说明

图1为适合于可缝合影像的协调撷取的电子照相机的方块图。

图2为撷取适合缝合的影像的多照相机系统的方块图。

图3为用以分布处理给个别的照相机及用以协调适合缝合的撷取的影像的自动白平衡 及对比和亮度调整的方法的流程图。

图4为不同照相机中的两个撷取的影像的条带图的图例。

具体实施方式

一种照相机100(图1)包括一透镜系统102，其将任何取像拍摄物的一影像聚焦在一影 像传感器104上，影像传感器104被设计成用于撷取拍摄物的一电子影像。在多数照相机 中，影像传感器104及/或透镜系统102设有一曝光控制设备，其大致包括曝光控制电子设 备106，且可包括可调节电子及机械快门的一者或两者，且可还包括一种用以调整由传感 器所接收的光的机电膜片108。每台照相机通常亦具有至少一处理器110，用于指引其操作 并在一耦接至处理器110的存储器系统114中的一韧体存储器112的韧体的控制之下执行 影像处理。多数照相机中的存储器系统114亦包括一RAM存储器116，及可移除的及/或 固定的非挥发性存储器118，RAM存储器116用于储存暂时信息，例如未压缩的及局部压 缩的影像、原始照相机影像及在色彩、亮度及对比修正期间所产生的中间影像，而非挥发 性存储器118(例如闪光或EPROM存储器)用于储存压缩影像。照相机亦常(但未必)具有一 显示器120，其可使用作为一取景器，用以显示影像并用以提供选单功能，以供与一使用 者连同控制装置122的一个或多个按钮及开关互动。照相机亦常具有耦接至它们的处理器 110的通信次系统124(例如一接口)，用以提供影像给一主机处理器或用以连接至一打印机 以供打印影像。照相机系统100的某些或所有组件可以整合在一单一″SOC″照相机系统芯 片上，″SOC″照相机系统芯片包括传感器104、具有电子快门的曝光控制电子设备106、处 理器110、通信次系统124以及存储器系统114的多个部分。

在各种实施例中，通信次系统124为一USB接口，在其它实施例中为一有线网络接口， 例如10/100BASE-T以太网络，在其它实施例为一种与一通信协议(例如现有技艺已知的那 些协议，包括蓝芽，802.11G或802.11N)兼容的数字无线收发器，而在其它实施例中为一红 外线光学收发器。

多数照相机在韧体存储器112中包括韧体，用于决定一最佳曝光，并据此用以使用曝 光控制电子设备106以调整曝光-包括有效的快门速度。

当期望一场景的宽阔的最终影像(例如全景或360度环绕影像，或与常使用于电影院中 的宽广格式兼容的影像)时，一种具有至少一第一与第二或更多较窄格式照相机150、152、 154的系统148(图2)可用于从不同角度拍摄场景156(如图1所示)，以使由每对的照相机 150、152及152、154所撷取的影像重迭。如从每台照相机150、152、154看到的场景156 的影像，接着通过使用每台照相机的通信次系统124而被读取至一主机系统156，并被″缝 合″以做成一结合由每一台照相机所取像的场景的部分的合成或马赛克影像158来提供一场 景的宽阔的最终影像。

图3显示一种适合缝合的撷取的影像的协调自动白平衡及对比和亮度调整的分布式处 理的方法200。方法200以建立在两台以上的照相机100与在某些实施例中的一主机(host) 之间的通信开始(202)。这些通信由一设置在每台照相机韧体存储器112中的协调韧体170 及一在主机中的协调韧体172的机器可读取的指令所控制。照相机之间的通信通过使用每 台照相机的通信次系统124以及一主机的兼容的通信接口(若出现一主机时)而实现。若出现 主机，则此主机被确定为一主体。在影像处理期间(主机并不存在的实施例中)-例如在影 像被储存于照相机中以供后来下载至一主机的那些实施例中，所有照相机中的一特定照相 机被指定为主体。

一旦建立通信，照相机及主机(若存在时)的频率就会被同步化(204)，使得影像可在每 台照相机中同时被撷取。

一影像接着被每台照相机所撷取(206)，且存在照相机中的一本地组的统计由照相机中 的每个影像所决定(208)。在所决定的统计之间为一强度的条带图，例如可能对于亮度及对 比的自动调整以最佳化储存影像中的动态范围是有用的。又所决定的为适合使用在自动白 平衡，譬如在一自动白平衡至一画面的平均灰度的系统中的统计，这可包括所有红色通道 值的平均值及总和、所有蓝色通道值的平均值及总和、以及所有绿色通道值的平均值及总 和。在一特定实施例中，此统计包括所有红色通道值的条带图、所有蓝色通道值的单独条 带图以及所有绿色通道值的条带图。

每台照相机接着使用这些统计，以决定一组局部参数以供影像处理，包括亮度及对比 的自动调整以最佳化储存影像中的动态范围(209)，而在一实施例中供白平衡用。在一特定 实施例中，用于亮度及对比的调整的参数包括关于由那个颜色通道的像素强度的条带图所 决定的每个颜色通道的一偏移及比例因子，偏移及比例因子可被应用至像素强度，以通过 应用下述公式而最佳化数字影像动态范围：

强度(最佳化)＝数值(像素)*比例因子-偏移。(方程式1)

在一替代实施例中，偏移及比例因子被应用至像素强度，以通过应用下述公式而最佳 化数字影像动态范围：

强度(最佳化)＝(数值[值](像素)-偏移)*比例因子。(方程式2)

在一实施例中，调整每个通道的比例因子及偏移，以使比例因子及偏移的应用亦将执 行一白平衡。

影像或每个影像的每个色彩平面的比例因子及偏移，提供调整影像或色彩影像平面， 以允许影像的重建及显示。

在一特定实施例中，每台照相机通过统计地分析所有红色、绿色及蓝色通道值的平均 值及总和来决定一色温。这个色温可用以作为一自动白平衡参数以供影像处理。

在另一个特定实施例中，在每台照相机中产生一个3x3色彩校正矩阵，具有数个元 素的3x3矩阵导致一白平衡影像，这些元素可利用矩阵交叉乘以每个像素决定的3值向量 (红色、绿色、蓝色)而决定。在一特定实施例中，3x3矩阵为一对角矩阵，其具有红色、 绿色及蓝色通道的简单的缩放值作为项目(term)；在其它实施例中，矩阵具有允许校正照相 机的彩色滤光片的缺陷的额外项目。

照相机接着决定其是否处于一独立或一多照相机合作模式(210)。若没有其它照相机或 主机与照相机相通，则独立模式被照相机所使用，而当存在有用以撷取一场景的部分以供 缝合的至少一另一台照相机或一与照相机相通的主机时，使用合作模式。

在合作模式中，用于影像处理的每个本地组的参数接着是在协调韧体170的控制之下 操作，从每台照相机被传输至主体照相机或至主机(若出现一主机时)(211)。在决定一色温 的实施例中，色温在传输至主体或主机的参数之间。同样地，在决定一个3x3色彩校正矩 阵的实施例中，色彩校正矩阵在传输至主体或主机的参数之间。

分别在协调韧体170或协调码172的控制之下操作的主体或主机，接着决定是否其中 的多照相机系统148(图2)是在一占主导地位的照相机模式下，或在一全影像模式下操作 (212)。若此系统是在占主导地位的照相机模式下，则主体或主机通过一特定占主导地位的 照相机选择那些送给它做影像处理的参数，以作为一用于影像处理的确定参数组(213)。在 一特定实施例中，占主导地位的照相机为一种3照相机全景多照相机系统148的中心照相 机150(图2)。

若多照相机系统148在全影像模式下(212)，则主体或主机并未处理来自每台照相机的 组的统计，而是处理本地组的参数以供影像处理，用以决定合成组的参数以供用于调整影 像的影像处理(214a)。在各种实施例中，合成参数包括场景宽广曝光调整参数、对比&亮度 或条带图延伸参数、以及自动白平衡参数的一个或多个。在每台照相机决定一色温的系统 中，合成参数包括一由平均从照相机所接收的色温所决定的平均色温。在每台照相机决定 一个3x3色彩校正矩阵的系统中，合成参数包括一合成的色彩校正矩阵。在一特定实施例 中，合成的色彩校正矩阵的每个项目由平均从照相机所接收的每个色彩校正矩阵中的对应 项目所决定。

所决定组的参数接着被传输(216)至正观看场景的多照相机系统148的所有照相机150、 152、154，在占主导地位的照相机模式下，所决定组的参数选自于由照相机所提供的参数 至主体照相机或主机(213)，而在全影像模式下，所决定组的参数为确定的合成参数(214)。 每台照相机的协调韧体170包括指令，用于接收这些由主体照相机或主机所传输的调整参 数以作为接收参数。

若照相机在独立模式下(210)，则在色彩及对比调整韧体176的控制之下操作的照相机 的处理器110应用(218)决定的本地组的参数(209)以调整影像。在合作模式下，在色彩及对 比调整韧体176的控制之下操作的照相机的处理器110应用接收到的参数，以调整由那台 照相机所撷取的影像。在执行调整韧体中(176)，处理器调整用于曝光，对比和亮度以及白 平衡的影像，以在RAM存储器116中形成一预处理影像。在数个实施例中，预处理影像 亦可被压缩。

在撷取影像期间时主机并未连接至照相机的实施例中，预处理影像被储存(219)在存储 器114中，直到主机连接至照相机且影像可被传输至主机的状态为止。在特别是实施例中， 预处理影像被储存(219)在非挥发性存储器118中。

来自每台照相机的预处理影像接着被传输(220)至主机，然后执行缝合(222)，包括将个 别的照相机影像合并至一缝合影像。

当可得到比以一光传感器原始被撷取来得更少的位来储存或压缩一影像中的像素的每 个强度值时，理想上是可偏移并缩放(或延伸)那些强度值，使得可得到的位的全动态范围避 免分辨率的不必要的损失。

在一实施例中，在每台照相机中所产生的统计包括每个像素的亮度位准的一条带图。 在一特定实施例中，在每台照相机中所产生并传输至主体的参数从一红色、绿色及蓝色颜 色通道的亮度的单独条带图导出。一个颜色通道的一例子条带图300显示于图4中，其中 实线302表示一共同场景的一同时影像对的一第一照相机影像中的那个颜色通道的一条带 图，而虚线304表示同时影像对的一第二照相机影像中的那个颜色通道的一条带图。第一 影像的最大亮度点306可不同于第二影像的最大亮度点308；同样地，第一影像的最小亮 度点310可不同于第二影像的最小亮度点312。

在一特定实施例中，为了使用在一用于储存影像的存储器中可得到的整个动态范围， 主体通过检验那个场景的所有局部影像处理参数，来决定一整个场景的最小亮度点A。举 例而言(非限制)，在一实施例中，于此每个本地组的参数包括一比例因子及偏移，用于依据 上述方程式2处理，且于此强度(最佳化)对一最低强度像素312(图4)而言是零，最低强度 像素312的数值(像素)是偏移(Offset)。同样地，由那台照相机中的一最大像素的一数值308 所决定的一本地组的参数提供一全范围储存的强度(强度(全范围))，最大的像素值可被决定 为：

强度(全范围)/比例因子+偏移＝数值(最大像素)(方程式3)

全影像最大像素值B及最小像素值A(图4)利用比较从每台照相机送出至主体或主机的 局部参数取出的最大及最小像素值的数值所决定，且全影像比例因子及偏移由全影像最大 像素值B及最小像素值A所决定(215)。

一旦决定了全影像最大像素值B及最小像素值A，就可确定用于处理如被此系统的所 有照相机所观看的整个场景的一组合或合成组的影像处理参数，以使可得到的储存的最大 的动态范围可被使用。在一实施例中，这通过决定一合成偏移等于A，且一比例因子等于 一全范围数值除以B及A的差异而完成。

在特定用途的另一实施例中，当利用一感知编码算法压缩影像时，如向来所讨论的， 其决定对数缩放参数，而非线性缩放参数。

在典型的实施例中，合成影像处理参数从利用此系统的照相机所决定的每组的局部影 像处理参数衍生，且合成参数与局部参数不同，而局部参数是相同的。

在一特定实施例中，组合或合成影像处理参数的一个或多个参数，通过平均来自此系 统的一照相机所决定的每组参数的对应的参数而导出。举例而言(而非限制)，于本实施例中， 一红色色彩平衡调整参数由平均来自此系统的每台照相机的红色色彩平衡调整参数所决 定。这个平均过程确保合成影像处理参数从多重组的局部影像处理参数导出，且除非局部 参数是相同的，否则合成影像处理参数相异于局部参数。

这些确定的缩放参数在从主体传输至每台照相机的调整参数之间，且被每台照相机所 使用以在影像被传输至主机，以供最后缝合之前调整这些影像。

特征的组合

一种方法A，用于协调调整由至少一第一及一第二照相机所撷取的影像的，所述影像 适合在一主机上缝合，所述方法包括：以所述第一照相机撷取一第一影像，并以所述第二 照相机撷取一第二影像；从所述第一影像决定一第一组影像处理参数；从所述第二影像决 定一第二组影像处理参数；决定一主体，若所述第一照相机能与所述主机通信，则所述主 体包括所述主机，而若所述第一照相机无法与所述主机通信，则所述主体包括所述第二照 相机；将所述第一组影像处理参数传送至所述主体；从至少所述第一与第二组的影像处理 参数决定一组合成影像处理参数，所述合成影像处理参数从所述第一与第二组的影像处理 参数两者导出，且所述合成影像处理与所述第一与第二组的影像处理参数两者不同，除非 所述第一与第二组是相同的；将所述组的组合影像处理参数传送至所述第一照相机；使用 所述第一照相机的一处理器，以将所述合成影像处理参数应用至所述第一影像，以形成一 第一预处理影像；及使用所述第二照相机的一处理器，以将所述合成影像处理参数应用至 所述第二影像，以形成一第二预处理影像。

一种方法AA，包括方法A且还包括：将所述第一与第二预处理影像传送至所述主机； 以及在所述主机上执行所述第一与第二预处理影像的缝合，以形成一缝合影像。

一种方法AB，包括方法A或AA，其中所述第一组参数从统计导出，所述统计包括从 所述第一影像导出的至少一条带图。

一种方法AC，包括方法AB，其中所述第一组参数包括数个从所述至少一条带图决定 的动态范围缩放参数。

一种方法AD，包括方法A、AA、AB或AC，其中所述合成参数包括数个色彩平衡调 整参数。

一种方法ADA，包括方法AD，其中所述合成参数包括一色彩校正矩阵。

一种方法ADB，包括方法AD，其中所述合成参数包括一色温。

一种设备B，用以产生缝合影像，包括：一第一与一第二照相机，每台照相机还包括： 一处理器；一存储器系统，耦接至所述处理器，所述存储器系统包括一韧体存储器；一通 信次系统，耦接至所述处理器；一协调韧体及一影像调整韧体，位在所述韧体存储器中， 所述协调韧体包括数个机器可读取的指令，用于将从一由所述照相机所撷取的影像导出的 一第一组影像处理参数传送至一主体，及接收来自所述主体的一组影像处理参数，每台照 相机的影像调整韧体包括机器可读取的指令，用于使用所述组影像处理参数以执行色彩平 衡调整、对比调整及亮度调整的至少一者。

一种设备BA，包括设备B，其中从影像导出的所述影像处理参数从统计导出，所述统 计包括从所述影像导出的一条带图。

一种设备BB，包括设备B或BA，其中所述影像处理参数包括色彩平衡调整参数。

一种设备BC，包括设备B、BA或BB，其中所述第一与第二照相机的每一个的所述 协调韧体还包括数个机器可读取的指令，用于决定所述第一与第二照相机的一主体照相机， 以及在所述决定的主体照相机中，接收来自另一个照相机而非所述主体照相机的一第二组 影像处理参数，从所述第一组影像处理参数与所述第二组影像处理参数决定一复合组的参 数，并将所述合成参数传送至另一个照相机。

一种设备BD，包括设备B、BA、BB或BC，其中所述协调韧体还包括数个机器可读 取的指令，被设计成用于决定所述系统是否在一占主导地位的照相机模式，而若所述系统 在一占主导地位的照相机模式，则提供由所述占主导地位的照相机所提供的一组参数给所 述系统的其它照相机，以作为所述合成参数。

一种设备BE，包括设备B、BA、BB、BC或BD，其中所述合成参数包括数个色彩平 衡调整参数。

一种设备BEA，包括设备BE，其中所述合成参数包括一色彩校正矩阵。

一种设备BEB，包括设备BE，其中所述合成参数包括一色温。

一种设备BF，包括设备B、BA、BB、BC、BD或BE，还包括一具有主机协调韧体的 主机，其包括数个机器可读取的指令，用于：接收来自所述第一照相机的所述第一组影像 处理参数与来自所述第二照相机的一第二组影像处理参数，从所述第一与第二组的影像处 理参数决定一复合组的影像处理参数，并将关于所述影像的调整的所述参数传送至所述第 一与第二照相机。

在不背离于此的揭露书的范围之下，可在上述方法及系统中做出某些改变，意图将包 括于上述说明中或显示于附图的所有物质解释成例示的且非在限制意义中。熟悉本项技艺 者应明白如于此所说明的影像缩放及色彩平衡，可能利用与所显示的相当的方法被建构、 连接、配置及/或结合。