利用散焦碉堡图像执行深度估计的系统及方法

摘要

本发明涉及利用散焦碉堡图像执行深度估计的系统及方法。利用散焦碉堡图像执行深度估计过程的系统及方法包括相机设备，该相机设备具有用于捕获拍摄目标的碉堡模糊图像的传感器设备。相机利用深度估计器来执行将碉堡模糊图像转换为相应高斯模糊图像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图像来有效地执行深度估计过程。

说明书

技术领域

本发明总体涉及用于分析图像数据的技术，并且更具体地，涉及利用 散焦碉堡图像（defocused pillbox image）执行深度估计过程的系统及方 法。

背景技术

实现用于分析图像数据的高效方法对当代电子设备的设计者及制造商 来说是一项重要的考虑。然而，利用电子设备高效地分析图像数据可能给 系统设计者造成了巨大挑战。例如，对提高的设备功能及性能的增强的要 求可能需要更多的系统处理能力并且需要额外的硬件资源。处理或硬件需 求的提高也可因生产成本增加及运行效率低而导致相应的不利经济影响。

此外，执行各种高级操作的增强的设备能力可以为系统用户提供额外 的益处，但也可能对各种设备组件的控制及管理提出提高的要求。例如， 由于所涉及的数字数据的大量性和复杂性，有效分析数字图像数据的增强 型电子设备可能会受益于有效的实现方式。

由于对系统资源的逐渐增长的需求和大幅增加的数据大小，显而易见 的，开发用于分析图像数据的新技术是相关电子技术的关注事项。因此， 出于所有前述原因，开发用于分析图像数据的有效系统对当代电子设备的 设计者、制造商及用户来说仍是一项重要的考虑。

发明内容

根据本发明，公开了通过利用散焦碉堡图像来执行深度估计过程的系 统及方法。在一个实施例中，相机首先捕获散焦碉堡图像1。相机的焦距 设置然后被改变。例如，焦距设置可以被调整为使相机的焦距减少一个景 深。相机然后捕获比先前捕获的碉堡图像1更模糊（离焦）的散焦碉堡图 像2。

深度估计器或其他合适的实体选择合适的内核K来执行卷积过程。内 核K可以按任何合适的方式来配置。例如，在某些实施例中，内核K可以 被配置为方差小的3×3高斯内核。深度估计器还选择合适的高斯化内核 来执行根据本发明的高斯化过程。高斯化内核可以按任何合适的方式被实 现并利用。例如，高斯化内核可以是高斯函数或具有有限均值和方差的更 一般的模糊函数（blur function）。

接下来，深度估计器计算图像1与图像2之间的匹配误差，然后执行 卷积过程以创建新的当前图像1，该新的当前图像1等于与所选内核K进 行卷积的前一个图像1。深度估计器计算当前图像1与图像2之间的匹配 误差，并确定当前图像1与图像2是否匹配。如果这两个图像不匹配，那 么过程返回来以类似方式执行额外的卷积迭代。

然而，如果图像1与图像2匹配，那么深度估计器通过利用先前选择 的高斯化内核对当前图像1与图像2二者执行高斯化过程以将非高斯模糊 图像转换为相应的高斯模糊图像。具体地，深度估计器执行卷积过程以创 建新的当前高斯图像1，该新的当前高斯图像1等于与所选高斯化内核进 行卷积的前一个碉堡模糊图像1。另外，深度估计器执行卷积过程以创建 新的当前高斯图像2，该新的当前高斯图像2等于与所选高斯化内核进行 卷积的前一个碉堡模糊图像2。

深度估计器然后执行卷积过程以创建新的当前高斯图像1，该新的当 前高斯图像1等于与所选内核K进行卷积的前一个高斯图像1。深度估计 器计算当前高斯图像1与高斯图像2之间的匹配误差，并确定当前高斯图 像1与高斯图像2是否匹配。如果这两个图像不匹配，那么所述过程返回 来执行额外的迭代。然而，如果当前高斯图像1与高斯图像2匹配，那么 过程可以终止。本发明因此提供了一种通过利用散焦碉堡图像来执行深度 估计过程的改进的系统及方法。

附图说明

图1是根据本发明的相机设备的一个实施例的框图；

图2是根据本发明的图1的捕获子系统的一个实施例的框图；

图3是根据本发明的图1的控制模块的一个实施例的框图；

图4是根据本发明的图3的存储器的一个实施例的框图；

图5是根据本发明的用于捕获散焦模糊图像的一个示例性实施例的示 图；

图6是根据本发明的一个实施例的示例性匹配曲线的曲线图；

图7是根据本发明的一个实施例的模糊图像的示例性高斯模型的曲线 图；

图8是根据本发明的一个实施例的模糊图像的示例性碉堡模型的曲线 图；

图9A-9C是根据本发明的一个实施例的利用碉堡模糊图像执行深度估 计过程的方法步骤的流程图；

图10是根据本发明的一个示例性实施例的两个饱和碉堡图像的示 图；并且

图11是示出了根据本发明的一个示例性实施例的图10的饱和碉堡图 像的填充框技术的示图。

具体实施方式

本发明涉及图像数据分析技术的改进。以下描述被呈现来使本领域的 普通技术人员能够制造并使用本发明，并且以下描述是在专利申请及其要 求的上下文中提供的。对所公开的实施例的各种修改将容易为本领域的技 术人员所明白，并且本文中的一般原理可被应用于其他实施例。因此，本 发明并非旨在被限于所示的实施例，而是应符合与本文所描述的原理及特 征相一致的最广范围。

本发明包括通过利用散焦碉堡图像执行深度估计过程的系统及方法， 并且包括具有用于捕获拍摄目标的碉堡模糊图像的传感器设备的相机设 备。相机利用深度估计器来执行将碉堡模糊图像转换为相应的高斯模糊图 像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷 积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图 像来有效地执行深度估计过程。

现在参照图1，示出了根据本发明的相机设备110的一个实施例的框 图。在图1的实施例中，相机设备110可包括但不限于捕获子系统114、 系统总线116及控制模块118。在图1的实施例中，捕获子系统114可以 被光学耦合至拍摄目标112，并且还可以通过系统总线116被电气耦合至 控制模块118。

在替代实施例中，相机设备110可容易地包括除结合图1的实施例进 行讨论的那些组件之外的或代替那些组件的各种其他组件。另外，在某些 实施例中，本发明可作为替代在任何适当类型的电子设备中被实施，而不 是在图1的相机设备110中被实施。例如，相机设备110可作为替代被实 现为成像设备、计算机设备或消费电子设备。

在图1的实施例中，一旦相机110的捕获子系统114被自动对焦在目 标112上，相机用户就可以请求相机设备110捕获与目标112相对应的图 像数据。控制模块118然后可以优选通过系统总线116指示捕获子系统 114捕获表示目标112的图像数据。所捕获的图像数据然后可以通过系统 总线116被传递给控制模块118，控制模块118可以作为响应而利用图像 数据执行各种处理及功能。系统总线116还可以在捕获子系统114与控制 模块118之间双向地传递各种状态和控制信号。

现在参照图2，示出了根据本发明的图1的捕获子系统114的一个实 施例的框图。在图2的实施例中，捕获子系统114优选地包括但不限于快 门218、镜头220、图像传感器224、红色、绿色和蓝色（R/G/B）放大器 228、模数（A/D）转换器230及接口232。在替代实施例中，捕获子系统 114可容易地包括除结合图2的实施例进行讨论的那些组件之外的或代替 那些组件的各种其他组件。

在图2的实施例中，捕获子系统114可通过沿着光路236射入到图像 传感器224的反射光来捕获与目标112相对应的图像数据。可优选地包括 电荷耦合器件（CCD）的图像传感器224可作为响应而生成表示目标112 的一组图像数据。图像数据然后可以被路由通过放大器228、A/D转换器 230及接口232。图像数据从接口232通过系统总线116传递至控制模块 118，以便进行适当的处理和存储。其他类型的图像捕获传感器，比如 CMOS或线性阵列，也被设想用于结合本发明来捕获图像数据。相机110 的使用及功能在下文中结合图3-11被进一步讨论。

现在参照图3，示出了根据本发明的图1的控制模块118的一个实施 例的框图。在图3的实施例中，控制模块118优选地包括但不限于取景器 308、中央处理单元（CPU）344、存储器346及一个或多个输入/输出接口 （I/O）348。取景器308、CPU 344、存储器346及I/O 348优选地各自耦 合到公共系统总线116并且通过公共系统总线116与捕捉子系统114通 信，其中公共系统总线116也与捕获子系统114通信。在替代实施例中， 控制模块118可容易地包括除结合图3的实施例进行讨论的那些组件之外 的或代替那些组件的各种其他组件。

在图3的实施例中，CPU 344可以被实现为包括任何合适的微处理器 设备。作为替代，CPU 344可以利用任何其他合适的技术来实现。例如， CPU 344可以被实现为包括某些专用集成电路（ASIC）或其他合适的电子 设备。存储器346可以被实现为一个或多个合适的存储设备，这些存储设 备包括但不限于只读存储器、随机存取存储器及各种类型的非易失性存储 器，比如软盘设备、硬盘设备或闪存。I/O 348可提供一个或多个有效接口 以便在相机设备110与任何外部实体之间进行双向通信，该外部实体包括 系统用户或其他电子设备。I/O 348可利用任何合适的输入和/或输出设备 来实现。控制模块118的操作及使用在下文中结合图4-图11被进一步讨 论。

现在参照图4，示出了根据本发明的图3的存储器346的一个实施例 的框图。在图4的实施例中，存储器346可包括但不限于相机应用412、 操作系统414、深度估计器416、图像数据418、估计数据420、自动对焦 模块422及杂项信息424。在替代实施例中，存储器346可包括除结合图 4的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。

在图4的实施例中，相机应用412可包括程序指令，这些程序指令优 选地被CPU 344（图3）执行以便执行相机设备110的各种功能及操作。 相机应用412的具体性质及功能优选地取决于诸如相应的相机设备110的 类型及特定用途等因素而变化。

在图4的实施例中，操作系统414优选地控制并协调相机设备110的 低级功能。根据本发明，深度估计器416可以控制并协调深度估计过程以 促进相机110中的自动对焦特征。在图4的实施例中，图像数据418可包 括由相机设备110捕获的拍摄目标112的一个或多个图像。估计数据420 可包括用于执行深度估计过程的任何类型的信息或数据。在图4的实施例 中，自动对焦模块422可利用深度估计过程的结果对相机设备110执行自 动对焦过程。杂项信息424包括用于相机110的操作的任何其他合适的信 息。关于深度估计器416的操作的更多细节在下文中结合图5-图11被进 一步讨论。

现在参照图5，示出了根据本发明的用于捕获散焦模糊图像518的一 个示例性实施例的示图。图5的实施例被提出用于说明目的，并且在替代 实施例中，本发明可以利用各种其他配置及元件来捕获散焦模糊图像 518。

在图5的实施例中，相机110的传感器224（参见图2）可捕获拍摄 目标或场景112的散焦模糊图像518以用于执行深度估计过程。散焦模糊 图像518可以通过将镜头220调整到除正确的对焦镜头位置之外的位置而 被创建，该正确的对焦镜头位置取决于目标112、镜头220及传感器224 的相对位置。

在一个实施例中，可以将两个不同的散焦模糊图像518进行比较以得 到深度估计。可以针对两个模糊图像518来计算模糊差异（blur difference），这两个模糊图像518的彼此相离一个景深。已知的匹配曲线 的斜率和该模糊差异可以被用来确定给定目标112的深度。用于深度估计 的散焦模糊图像的生成及使用在下文中结合图6-图11被进一步讨论。

现在参照图6，示出了根据本发明的一个实施例的示例性匹配曲线 614的图。图6的实施例被提出用于说明目的，并且在替代实施例中，本 发明可以被实现为利用具有除结合图6的实施例进行讨论的那些配置及参 数之外的或代替那些配置及参数的配置及参数的匹配曲线。

在某些实施例中，模糊图像1和更加散焦的模糊图像2可以被捕获， 更清晰的图像1可以与高斯内核（例如，方差小的3×3高斯矩阵）进行 卷积以产生卷积图像1。将卷积图像1与模糊图像2进行比较。该过程被 重复直至这两个模糊图像匹配为止。然后可以针对景深（或一个DOF（景 深）的增量中的图像数量）对迭代次数进行绘图以产生模糊匹配曲线，该 模糊匹配曲线可以被用来估计从任何离焦（out-of-focus）位置到对焦（in- focus）位置的距离。有关前述深度估计技术的更多细节在Li等人的第 8,045,046号美国专利中被进一步讨论，该美国专利在此通过引用被并入本 文。

现在参照图7，示出了根据本发明的一个实施例的模糊图像518（图 5）的示例性高斯模型718的曲线图。图7的实施例被提出用于说明目 的，并且在替代实施例中，本发明可利用具有除结合图7的实施例进行讨 论的那些元件及配置之外的元件及配置的高斯模型。

在图7的实施例中，亮度被表示在纵轴上，像素被表示在横轴上。在 图7的曲线图中，高斯模型718显示出典型的钟形曲线形状。然而，不是 所有模糊图像518都通过利用高斯模型718来最佳地表示。取决于拍摄目 标或场景的图像特性，某些非高斯模型可能更有效。非高斯模型的一个示 例在下文中被结合图8-图11进一步讨论。

现在参照图8，示出了根据本发明的一个实施例的模糊图像518的示 例性碉堡模型的曲线图。图8的实施例被提出用于说明目的，并且在替代 实施例中，本发明可利用具有除结合图8的实施例进行讨论的元件及配置 之外的元件及配置的碉堡模型。

在图8的实施例中，亮度被表示在纵轴上，像素被表示在横轴上。在 图8的曲线图中，碉堡模型818显示出典型的锐缘形状（sharp-edged shape）。取决于拍摄目标或场景的图像特性，某些非高斯模型，如碉堡模 型818，可能更有效。例如，碉堡模型818对包括很明亮的光源（比如蜡 烛）的黑夜场景来说可能会更好。

然而，上文所讨论的某些深度估计技术在结合碉堡模糊图像使用时无 法满意地执行。根据本发明，高斯化过程由此被利用，以有利地将碉堡模 糊图像转换为然后可被成功用于深度估计过程的高斯格式，如上所述。

高斯化过程可以按任何有效方式来执行。例如，碉堡模糊图像可以与 高斯化内核（Gaussianization kernel）进行卷积以产生高斯化模糊图像。高 斯化内核可以按任何合适的方式来实现和利用。例如，高斯化内核可以是 高斯函数或者具有有限均值和方差的更一般的模糊函数。

在某些实施例中，高斯化内核可以被实现为具有方阵（square matrix）的框函数（box function），其中在该方阵中，所有矩阵值都是相 同的值，并且所有这些矩阵值的和等于1。高斯化内核还可以被实现为二 维均一框函数（uniform box function），该二维均一框函数可以根据以下 公式而被表示为两个一维函数的张量积（tensor product）：

其中m和n为像素坐标，并且其中M和N为内核矩阵的各个维度。在一 个替代实施例中，可以利用多级高斯化来提高效率。例如，可以利用较小 的高斯化内核在较小片段中执行高斯化过程。该技术可提高不需要大量高 斯化的图像的计算速度。有关高斯化过程的更多细节在下文中结合图9A- 图11被进一步讨论。

现在参照图9A-9C，示出了根据本发明的一个实施例的用于利用碉堡 图像执行深度估计过程的方法步骤的流程图。图9A-9C的实施例被提出用 于说明目的，并且在替代实施例中，本发明可容易地利用除结合图9A-9C 的实施例进行讨论的那些步骤及顺序之外的各种步骤及顺序。

在图9A的实施例中，在步骤914中，相机110捕获散焦碉堡图像1。 在步骤918中，相机110的焦距设置被改变。例如，在图9A的实施例 中，焦距设置可以被调整为使相机110的焦距减少一个景深。在步骤922 中，相机110捕获比先前捕获的碉堡图像1更模糊（离焦）的散焦碉堡图 像2。

在步骤926中，深度估计器416或其他合适的实体选择合适的内核K 来执行卷积过程。内核K可以按任何合适的方式来配置。例如，在某些实 施例中，内核K可以被配置为方差较小的3×3高斯内核。在步骤926 中，深度估计器416还选择合适的高斯化内核来执行根据本发明的高斯化 过程。

如上所述，高斯化内核可以按任何合适的方式被实现并利用。例如， 高斯化内核可以是高斯函数或者具有有限均值及方差的更一般的模糊函 数。在步骤928中，深度估计器416计算图像1与图像2之间的匹配误 差，并且在步骤930中，深度估计器416确定图像是否匹配。如果图像匹 配，那么图9A-9C的过程可以终止。然而，如果图像不匹配，那么图9A 的过程通过连接字母“A”进入图9B的步骤932。

在步骤932中，深度估计器416执行卷积过程以创建新的当前图像 1，该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤 934中，深度估计器416计算当前图像1与图像2之间的匹配误差。在步 骤938中，深度估计器416确定当前图像1与图像2是否匹配。如果这两 个图像不匹配，那么图9A-9C的过程返回步骤932以执行额外的迭代。

然而，如果在步骤938中图像1与图像2匹配，那么在步骤942中， 深度估计器416通过利用先前选择的高斯化内核对当前图像1与图像2二 者执行高斯化过程，以将非高斯模糊图像转换为相应的高斯模糊图像。具 体地，深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷 积的前一个图像1的新的当前图像1。另外，深度估计器416执行卷积过 程以创建等于与所选高斯化内核进行卷积的前一个图像2的新的当前图像 2。在图9B的实施例中，高斯化内核可以利用小的方差值来实现。图9B 的过程然后通过连接字母“B”进入图9C的步骤946。

在步骤946中，深度估计器416执行卷积过程以创建新的当前图像 1，该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤 950中，深度估计器416计算当前图像1与当前图像2之间的匹配误差。 在步骤954中，深度估计器416确定当前图像1与当前图像2是否匹配。 如果这两个图像不匹配，那么图9A-9C的过程返回步骤946以执行额外的 迭代。然而，如果在步骤954中图像1与图像2匹配，那么在步骤958 中，深度估计器416确定在前述步骤946中执行了多少次卷积。如果存在 非零次卷积，那么图9C的过程通过连接字母“C”返回图9B的步骤942 以执行一个或多个额外的高斯化过程。然而，如果存在零卷积，那么图 9A-9C的过程可以终止。图像1与图像2之间的模糊差异然后由具有在 932及946中执行的与内核K的卷积总数给出。本发明因此提供了通过利 用碉堡模糊图像来执行深度估计过程的改进的系统及方法。

现在参照图10，示出了根据本发明的一个实施例的两个饱和碉堡图像 1014及1018的示图。图10的实施例被提出用于说明目的，并且在替代实 施例中，本发明可利用具有除结合图10的实施例进行讨论的元件及配置 之外的元件及配置的碉堡图像。

在图10的实施例中，第一碉堡图像1014（例如，图9A-9C的图像 1）及第二碉堡图像1018（例如，图9A-9C的图像2）的波形被示出为重 叠的。由于图像1014更对焦，因此其波形形状比图像1018的波形更窄更 高。然而，与其他类型的模糊图像一样，碉堡模糊图像应保留相同量的能 量/总亮度。

在图10的实施例中，因为碉堡图像都超过了饱和阈值水平1022，所 以碉堡图像被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪，那么 两个图片的总亮度之间存在差异。一般而言，因为总亮度未被保留，所以 模糊匹配技术（如在图9A-9C中所讨论的高斯化过程）不能很好地用于饱 和碉堡模糊图像。因此，根据本发明的某些实施例，可以在执行任何模糊 匹配技术之前利用填充框技术（fillbox technique）。一个这样的填充框实 施例在下文中结合图11被进一步讨论。

现在参照图11，示出了根据本发明的一个实施例的示出用于处理图 10的饱和碉堡图像的填充框技术的示图。图11的实施例被提出用于说明 目的，并且在替代实施例中，本发明可利用具有除结合图11的实施例进 行讨论的元件、步骤及配置之外的元件、步骤及配置的填充框技术。

在图11的示图的左侧，因为碉堡图像1018及1014(a)都超过了饱和阈 值水平1022，所以碉堡图像1018及1014(a)被裁剪/是饱和的。如果碉堡模 糊图像是饱和的/被裁剪，那么两个图片的总亮度之间存在差异。由于图像 1014(a)更高，因此该图像的更多量度被饱和阈值1022去除。如在图11的 示图的右侧所示，可以有利地利用填充框过程通过使图像1014(a)的亮度增 大亮度填充量1030从而产生新的均衡图像1014(b)来使图像1018及1014(a) 的各自亮度总量均衡（equalize）。

在图11的实施例中，深度估计器416（图4）或其他合适的实体首先 计算每个图片1014(a)及1018中的饱和碉堡的总亮度。深度估计器416确 定这两个图片1014(a)及1018之间的总亮度的差。然后针对总亮度较小的 碉堡模糊图像1014(a)，深度估计器将总亮度的平均差加到碉堡图像1014(a) 的每个饱和像素，以产生均衡图像1014(b)。这种填充框技术可以被表征 为对较小的碉堡图像1014(a)进行填充直至这两个图像的大小/总亮度相等 为止。在完成前述填充框过程之后，深度估计器416可以将碉堡模糊图像 1014(b)及1018看作未饱和的碉堡，并且可以利用上文结合图9A-9C所讨 论的高斯化过程执行模糊匹配。

在上文中已参照某些实施例说明了本发明。鉴于本公开，其他实施例 对本领域的技术人员来说将是显而易见的。例如，本发明可以容易地利用 除在上述实施例中描述的配置及技术之外的配置及技术来实现。另外，本 发明可以结合除上述的系统之外的系统被有效地使用。因此，对所讨论的 实施例进行的这些及其他变更旨在被本发明所涵盖，本发明仅受所附权利 要求的限制。

本申请与2011年12月1日提交的题为“Depth Estimation From Two Defocused Images Under Various Lighting Conditions”的第61/565,790号美 国临时专利申请相关并要求其优先权。前述相关申请被共同转让并通过引 用被并入本文。