用于使用可见性能量模型估计视差的设备和方法

摘要

提供一种用于使用可见性能量模型估计视差的设备和方法。所述设备包括：能量计算器，计算与构成立体图像的左图像和右图像中的每一个的立体匹配有关的能量；映射产生器，使用所述能量产生用于确定左图像和右图像之间的视差的误差的可见性映射；能量重新计算器，重新计算与包括由于可见性映射中的视差的误差而产生的可见性误差的区域有关的能量；视差确定器，使用重新计算的左图像和右图像中的每一个的能量从立体图像确定视差。

说明书

技术领域

一个或多个实施例涉及一种用于基于使用动态编程(DP)的能量模型估计 立体图像中的视差的设备和方法。

背景技术

为了产生三维(3D)图像，从彩色图像恢复深度信息是必需的。具体地， 正在研发用于从由两个图像(即，左图像和右图像)构成的立体图像恢复深度信 息的技术。需要提取左图像和右图像之间的视差以恢复深度信息。

根据现有技术，在整个图像中应用同一能量模型。因此，由于闭合区域 (occlusion region)不包括左图像和右图像之间的匹配区域，所以难以提取闭合 区域中的视差。

因此，需要用于即使在不存在左图像和右图像之间的匹配点的闭合区域 中也更加准确地提取视差的技术。

发明内容

可通过一种视差估计设备的一个或多个实施例来克服以上描述的问题和 /或实现其它方面，所述视差估计设备可包括：能量计算器，计算与构成立体 图像的左图像和右图像中的每一个的立体匹配有关的能量；映射产生器，使 用所述能量产生用于确定左图像和右图像之间的视差的误差的可见性映射； 能量重新计算器，重新计算与包括由于可见性映射中的视差的误差而产生的 可见性误差的区域有关的能量；视差确定器，使用左图像和右图像中的每一 个的最终能量从立体图像确定视差。

可通过一种视差估计设备的一个或多个实施例来克服以上描述的问题和 /或实现其它方面，所述视差估计设备可包括：能量计算器，并行计算与构成 立体图像的左图像和右图像中的每一个的立体匹配有关的能量；映射产生器， 使用所述能量产生用于确定左图像和右图像之间的视差的误差的可见性映 射；能量重新计算器，重新计算与包括由于左图像和右图像中的每一个的可 见性映射中的视差的误差而产生的可见性误差的区域有关的能量；视差确定 器，使用左图像和右图像中的每一个的最终能量执行局部匹配，并从局部匹 配后的立体图像确定视差。

可通过一种视差估计方法的一个或多个实施例来克服以上描述的问题和 /或实现其它方面，所述视差估计方法可包括：计算与构成立体图像的左图像 和右图像之间的立体匹配有关的能量；使用所述能量产生用于确定左图像和 右图像之间的视差的误差的可见性映射；重新计算与包括由于可见性映射中 的视差的误差而产生的可见性误差的区域有关的能量；使用左图像和右图像 中的每一个的最终能量从立体图像确定视差。

可通过一种视差估计方法的一个或多个实施例来克服以上描述的问题和 /或实现其它方面，所述视差估计方法可包括：并行计算与构成立体图像的左 图像和右图像中的每一个的立体匹配有关的能量；使用所述能量产生用于确 定左图像和右图像之间的视差的误差的可见性映射；重新计算与包括由于左 图像和右图像中的每一个的可见性映射中的视差的误差而产生的可见性误差 的区域有关的能量；使用左图像和右图像中的每一个的最终能量执行局部匹 配，并从局部匹配后的立体图像确定视差。

一个或多个实施例的其它方面、特点和/或优点将在以下的描述中部分被 阐述，从描述中部分将是显然的，或者可通过本公开的实施而得知。一个或 多个实施例包括这样的其它方面。

有益效果

根据一个或多个实施例，可针对产生可见性误差的区域来构造新的能量 模型，可将平滑代价(smoothness cost)优选地应用于产生可见性误差的闭合区 域中的能量模型的匹配代价(matching cost)。因此，可更加准确地执行针对闭 合区域的视差的提取。

附图说明

通过下面结合附图进行的对实施例的描述，这些和/或其它方面和优点将 变得清楚和更容易理解，其中：

图1是根据一个或多个实施例的视差估计设备的框图；

图2是示出根据一个或多个实施例的立体匹配的示图；

图3是示出根据一个或多个实施例的通过动态编程(DP)估计的视差映射 (disparity map)的示图；

图4是示出根据一个或多个实施例的视差估计设备的能量计算器的框 图；

图5是根据一个或多个实施例的用于描述沿向前的方向计算能量的处理 的示图；

图6是根据一个或多个实施例的用于描述考虑向前的方向和向后的方向 两者来计算能量的处理的示图；

图7是示出根据一个或多个实施例的映射产生器的框图；

图8是示出根据一个或多个实施例的映射确定器的框图；

图9是示出根据一个或多个实施例的能量重新计算器(energy recalculator) 的框图；

图10是示出根据一个或多个实施例的使用向前的能量确定的视差映射 的示图；

图11是示出根据一个或多个实施例的使用向后的能量确定的视差映射 的示图；

图12是示出根据一个或多个实施例的考虑向前的方向和向后的方向两 者确定的视差映射以及使用动态编程的最优化的视差映射的示图；

图13是示出根据一个或多个实施例的可见性映射的有效区域和无效区 域的示图；

图14是示出根据一个或多个实施例的使用动态编程的能量的局部匹配 的示图；

图15是示出根据一个或多个实施例的视差估计方法的流程图；

图16是示出根据一个或多个实施例的使用局部匹配的视差估计方法的 流程图。

具体实施方式

现在将详细参考附图中示出的一个或多个实施例，其中，相同的标号始 终表示相同的元件。在这方面，本发明的实施例可被实现为许多不同的形式， 并且不应被解释为受限于在此阐述的实施例，本领域的普通技术人员在理解 这里论述的实施例之后将理解，在此描述的系统、设备和/或方法的各种改变、 修改和等同物被包括在本发明中。因此，以下通过参考附图仅描述实施例以 解释本发明的各方面。

图1示出根据一个或多个实施例的视差估计设备100。

参照图1，视差估计设备100可包括能量计算器101、映射产生器102、 能量重新计算器103和视差确定器104。根据一个或多个实施例，视差估计 设备100可使用用于确定左图像和右图像之间的视差的误差的可见性来更加 准确地恢复深度。具体地，视差估计设备100可通过将平滑代价优选地应用 于针对产生可见性误差的区域(诸如闭合区域和视差估计误差区域)的匹配代 价，来基于能量模型更加准确地估计视差。这里，视差估计设备100可应用 基于动态编程的能量建模方法。

能量计算器101可计算左图像和右图像中的每个的能量，左图像和右图 像构成了立体图像。将参照图4更加详细地描述能量计算器101。左图像和 右图像可以是彩色图像，能量涉及到立体匹配。

映射产生器102可使用能量产生用于确定左图像和右图像之间的视差的 误差的可见性映射，将参照图7和图8对此进行更加详细的描述。

能量重新计算器103可重新计算包括由于可见性映射中的视差的误差而 产生的可见性误差的区域的能量。将参照图9更加详细地描述能量重新计算 器103。针对不包括可见性误差的区域，不执行能量计算。在包括可见性误 差的闭合区域中，提出新的能量模型，将平滑代价优先地应用于匹配代价。 因此，可针对闭合区域更加准确地执行视差估计。

视差确定器104可使用左图像和右图像中的每个的最终能量从立体图像 确定视差。这里，最终能量是指通过能量计算器101确定的能量或者通过能 量重新计算器103确定的能量。

图2示出根据一个或多个实施例的立体匹配。

立体匹配是指从多视图彩色图像的深度图像的存储。即，立体匹配可包 括来自左图像和右图像的深度图像的存储，还可包括来自多视图图像的深度 图像的存储。

将描述通过立体匹配恢复深度图像的方法。详细地，可通过使用具有不 同视图的左图像和右图像找到匹配点，来确定指示从多视图图像至相同的三 维(3D)点的距离的视差。因此，可使用确定的视差估计3D点的深度。

参照图2，根据立体匹配，从不同视图的图像(诸如左图像和右图像)找到 相同的3D点，可估计视差，即，位于左图像中的3D点与位于右图像中的3D 点之间的距离。

通过立体匹配获得3D信息的方法包括全局方法和局部方法。全局方法 将图像的所有像素设置为节点，在每个节点设置包括4个邻近像素的区域。 因此，全局方法从包括4个邻近像素的区域找到最佳视差。局部方法从图像 的局部区域而不考虑图像的整个部分来提取最佳匹配的视差。

<能量计算>

当在全局方法中执行立体匹配时，能量计算是必需的。当可能的视差被 分配给每个像素时，能量可被称为总代价(total cost)。也就是说，当立体图像 被输入时(其中，水平像素的数量是w，垂直像素的数量是h，可能的视差的 数量是d)，与w×h×d对应的代价可以是可确定的求解的数量。根据全局方法， 可估计与求解中的最小值对应的视差。即，基于全局方法的最优化方法选择 最小值，而非计算与w×h×d对应的所有情况的值。

为了同时优化整个图像，不仅需要考虑邻近像素，而且需要考虑距离远 的像素。但是，如上所述，当定义了包括4个邻近像素的区域的能量时，可 如等式1所示计算能量。

[等式1]

E(d)＝E_data(d)+λE_smoothness(d)

等式1指示用于立体匹配的全局能量模型。在等式1中，E(d)表示通过 与特定像素有关的能量E_data(d)和与所述特定像素的邻近像素有关的能量 E_smoothness(d)确定的全局能量。即，可通过左图像的特定像素与右图像的特定像 素之间的色差或视差差异确定能量E_data(d)。另外，可通过左图像的所述特定 像素的邻近像素与右图像的所述特定像素的邻近像素之间的色差或视差差异 确定能量E_smoothness(d)。这里，d表示左图像与右图像之间的视差。可通过绝对 差以及总和绝对差确定全局能量。在等式1中，E_smoothness(d)可指示所述特定像 素的邻近像素需要具有相似的视差。

<动态编程>

用于动态编程的最优化方法产生与变量对应的连续子问题，而非同时处 理所有变量，并且找到用于使子问题最小化的最佳值。

[等式2]

E(f₁，...，f_m)＝E₁(f₁，f₂)+E₂(f₂，f₃)+…+E_m-1(f_m-1，f_m)    [等式2-(1)]

$D_1\left(f_2\right)=\underset{f1}{\min }{E}_1(f_1,f_2)$

$D_2\left(f_3\right)=\underset{f2}{\min [D_1\left(f_2\right)+E_2(f_2,f_3)]}$[等式2-(2)]

$D_k\left(f_{k+1}\right)=\underset{\mathrm{fk}}{\min }[D_{k-1}\left(f_k\right)+E_k(f_k,f_{k+1})]$

$\underset{f}{\min }E\left(f_{1,...,}{f}_m\right)=\underset{\mathrm{fm}}{\min }{D}_{m-1}\left(f_m\right)$[等式2-(3)]

等式2-(1)示出了用于通过动态编程使能量最小化的方法。当在没有任何 求解器的情况下找到指示变量f₁，f₂，...，f_m的分布的能量E(f₁，...，f_m)的最小值 时，计算可从所有变量f₁，f₂，...，f_m确定的所有能量值，然后选择最小值。

但是，上述方法通过根据变量和变量的范围的几何级数增加了计算量。 为了可能克服该问题，根据全局方法的动态编程可不应用所有值来找到使能 量最小化的值。也就是说，动态编程可不处理作为如等式2-(1)所示的单个能 量的每个变量的能量，而可解决如等式2-(2)所示的子问题。

等式2-(2)示出了存储连续子问题的最小值和用于确定最小值的变量 f₁，f₂，...，f_m的能量值的运算。最后，可使用如等式2-(3)所示的使各个运算最 小化的变量来跟踪等式2-(2)的子问题的最小值。因此，可确定用于使等式2-(1) 的E(f₁，...，f_m)最小化的全局最优化的结果。

<使用动态编程的立体匹配>

等式2可被应用于等式1，从而产生如下的等式3。

[等式3]

$E(p_{(x,y)},d)$

$=E_{\mathrm{data}}(p_{(x,y)},d)+\underset{d_i\in d_{\max }}{\min }[E(p_{(x-1,y)},d_i)+E_{\mathrm{smoothness}}(d_i,d)]$

在等式3中，p(x，y)可表示特定像素，p(x-1，y)可表示邻近像素，所述邻 近像素距所述特定像素的距离为所述特定像素与邻近像素之间的视差d_i，d 可表示视差d_i的最大值。包括在相应图像中的每个像素可以是等式2的变量。 变量可具有视差范围内的任意值。在立体匹配的子问题中，可使用视差以及 使等式2-(3)的能量函数最小化的邻近像素p(x-1，y)的能量来确定特定像素 p(x，y)和位于特定像素p(x，y)之前的邻近像素p(x-1，y)。由于以上述方式使用等 式2-(3)确定针对从图像的第一像素至最后像素的所有像素的视差和能量，因 此可确定用于使整个图像的能量最小化的各个像素的视差。

图3示出根据一个或多个实施例的通过动态编程估计的视差映射。

虽然如上所述的动态编程可简化全局方法，但是当整个图像根据动态编 程被划分为连续子问题时，仅允许一个邻近像素的存在。

因此，对于动态编程应用于立体匹配，需要以扫描线为单位执行匹配。 根据以扫描线为单位的立体匹配，可导致如图3所示的产生了伪像的视差映 射。

因此，根据一个或多个实施例，将提出用于在保持动态编程的同时消除 伪像的方法。

图4详细示出根据一个或多个实施例的视差估计设备的能量计算器101。

参照图4，能量计算器101可包括第一能量计算器401、第二能量计算器 402和能量合并器403。

第一能量计算器401可针对左图像和右图像中的每一个计算向前的能 量。第二能量计算器402可针对左图像和右图像中的每一个计算向后的能量。 这里，第一能量计算器401和第二能量计算器402可使用等式3计算能量。 第一能量计算器401可如图5所示沿向前的方向计算能量。第二能量计算器 402可以以如图5所示的相同方式沿向后的方向计算能量。如上所述，能量 涉及到立体匹配，并可由位于左图像中的像素与位于右图像中的像素之间的 视差差异或色差确定。

能量合并器403可将向前的能量和向后的能量合并。如图6所示，能量 合并器403可通过沿水平线进行动态编程来获得能量。这里，可使用等式4 计算最终合并的能量。

[等式4]

E(p_(x，y)，d)＝E_f(p_(x，y)，d)+E_b(p_(x，y)，d)

$E_f(p_{(x,y)},d)=E_{\mathrm{data}}(p_{(x,y)},d)+\underset{\mathrm{di}\in d\max }{\min }[E(p_{(x-1,y)},d_i)+E_{\mathrm{smoothness}}(\mathrm{di},d)]$

$E_b(p_{(x,y)},d)=E_{\mathrm{data}}(p_{(x,y)},d)+\underset{\mathrm{di}\in d\max }{\min }[E(p_{(x+1,y)},d_i)+E_{\mathrm{smoothness}}(\mathrm{di},d)]$

在等式4中，E(p(x，y)，d)表示基于特定像素p(x，y)的视差d的能量。 E_f(p(x，y)，d)表示基于特定像素p(x，y)和特定像素p(x，y)的邻近像素p(x+1，y)的 向前的能量。E_b(p(x，y)，d)表示基于特定像素p(x，y)和邻近像素p(x+1，y)的向后 的能量。di表示特定像素与邻近像素之间的视差，d表示视差di的最大值。

包括在图像中的各个像素p(x，y)均可包括变量di，变量di可改变视差范 围d那样多。变量di可被分配给由等式3确定的最小能量。当未使用等式2-(2) 时，满足的值可变为特定像素p(x，y)的变量的视差。

等式3仅计算一个方向的能量的代价。在此情况下，在视差突然改变的 区域中可能出现平滑项的误差。这里，误差可指如图10和图11中所示的圆 形区域。为了解决误差，根据一个或多个实施例，将特定像素的向前的能量 和向后的能量合并的结果可用作如等式4所示的动态编程的能量代价。图10 示出沿向前的方向确定的视差，图11示出沿向后的方向确定的视差。图12 示出通过优化的动态编程获得的视差映射以及通过计算向前的能量和向后的 能量之和的等式4确定的视差。也就是说，在图12中，没有产生如图10和 图11所示的作为误差的伪像。

图7详细示出根据一个或多个实施例的映射产生器102。

在立体匹配中，为了在获得全局能量之后重新计算产生可见性误差的区 域的能量，需要清楚地定义产生可见性误差的区域。由于能量被优化，因此 没有产生可见性误差的区域的能量可如其原样被使用。为了确定可见性映射 中的误差，需要计算左图像和右图像的初始视差。然后，可通过可见性检查 来识别产生误差的区域。可见性映射被用于确定视差的误差。当由于闭合区 域产生了视差的误差时，可确定存在可见性误差。这里，视差的误差的存在 可由“开”和“关”表示。

参照图7，映射产生器102可包括初始视差计算器701和映射确定器702。

初始视差计算器701可使用左图像和右图像的能量计算左图像和右图像 中的每一个的初始视差。具体地，初始视差计算器701可使用计算左图像和右图像的初始视差。

映射确定器702可分别使用左图像和右图像中的每一个的初始视差确定 左图像和右图像中的每一个的可见性映射。将参照图8详细描述映射确定器 702。

图8详细示出根据一个或多个实施例的映射确定器702。

参照图8，映射确定器702可包括第一映射确定器801和第二映射确定 器802。

第一映射确定器801可使用右图像的初始视差确定针对左图像的可见性 映射。反之，第二映射确定器802可使用左图像的初始视差确定针对右图像 的可见性映射。例如，第一映射确定器801和第二映射确定器802可在确定 可见性映射时使用等式6。

[等式6]

$D_L\left(p_{(x,y)}\right)=D_R\left(p_{(x-D_L\left(p_{(x,y)}\right),y)}\right)---6-\left(1\right)$

$D_L\left(p_{(x,y)}\right){<D}_R\left(p_{(x-D_L\left(p_{(x,y)}\right),y)}\right)---6-\left(\text{2}\right)$

在等式6中，D_L表示左图像中的视差，D_R表示右图像中的视差。等式 6-(1)示出了左图像和右图像之间的匹配区域。6-(2)等式示出了左图像和右图 像互相不匹配的闭合区域。

当左图像和右图像互相匹配时，如等式6-(1)中那样，左图像中的第一像 素的视差将等于右图像的位于移动了第一像素的视差那样多的位置的第二像 素的视差。左图像的闭合区域是指通过右图像中的前景阻挡的区域。因此， 当从右图像搜索与位于移动了左图像的闭合区域的视差那样多的位置的像素 对应的像素时，如等式6-(2)所示，右图像的视差需要大于左图像的视差。

然而，当左图像的视差更大时(不同于等式6-(2)的情况)，在右图像中将 看见的区域可能实际上在右图像中无法看见。即，在所述区域中出现了可见 性误差。图13示出根据一个或多个实施例的可见性映射的有效区域(即，不 包括误差的区域)和无效区域(即，包括误差的区域)。如上所述，可见性映射 用于确定关于左图像和右图像的视差的误差。

图9详细示出根据一个或多个实施例的能量重新计算器103。

参照图9，能量重新计算器103可包括传播方向确定器901和能量传播 器902。能量重新计算器103可在可见性映射中重新计算产生了可见性误差 的可见性误差区域(VER)的能量。

能量重新计算器103可根据等式7重新计算能量。

[等式7]

E(d)＝E_data(d)+λE_smoothness(d)+E_visibiltiy(d)

在等式7中，可见性项E_visibiltiy(d)被添加至等式1。在立体匹配中，可能存 在左图像和右图像不匹配的闭合区域。根据等式1，当像素的色彩由于平滑 项E_smoothness(d)而相似时，特定像素的视差可与特定像素的邻近像素的视差相 似。当像素的色彩明显不同时，特定像素可具有被分配有与邻近像素的视差 不同的值的能量分布。然而，由于仅使用平滑项E_smoothness(d)对闭合区域的视差 进行估计是不足的，因此可根据等式8重新计算能量。

[等式8]

$E_{f,b}(p_{(x,y)},d)=E_{\mathrm{visibility}}(p_{(x,y)},d)+E_{\mathrm{data}}(p_{(x,y)},d)+\underset{\mathrm{di}\in d\max }{\min }[E(p_{(x\overline{+}1,y)},d_i)+E_{\mathrm{smoothness}}(\mathrm{di},\mathrm{dp})]$

等式8示出了考虑可见性基于动态编程的立体匹配函数。由于可见性独 立于邻近像素p(x-1，y)或p(x+1，y)，因此仅在特定像素p(x，y)中考虑可见性。

传播方向确定器901可使用左图像和右图像的初始视差，来确定在包括 可见性误差的区域中的能量的传播方向。也就是说，传播方向确定器901可 确定将被分配给包括可见性误差的区域的能量的传播方向。

当立体匹配被执行时，在闭合区域和误差区域中出现可见性误差。闭合 区域包括左图像和右图像之间的不匹配点。因此，在能量模型中，平滑项 E_smoothness(d)的处罚需要高于数据项E_data(d)的处罚。

[等式9]

等式9是用于在可见性映射中调整平滑项E_smoothness(d)的处罚的等式。d表 示特定像素p的最大视差，di表示与变量对应的视差。V(p)表示在可见性映 射中特定像素p的有效性。当V(p)是1时，特定像素位于可见性映射中的无 效区域中。当V(p)是0时，特定像素位于有效区域中。当特定像素位于无效 区域中时，平滑项E_smoothness(d)的因子可根据等式9而增加，以提高处罚。此外， Const表示常数。

然而，通过根据左图像和右图像之间的色差仅给出平滑项E_smoothness(d)的处 罚，可能无法找到匹配点。在此情况下，当特定像素和邻近像素的色彩相似 时，与特定像素的视差近似的视差可分配给邻近像素(类型I)。当特定像素和 邻近像素之间的色彩不同时，与特定像素的视差不同的视差可分配给邻近像 素(类型II)。

[等式10]

VER_width＝X_R(D)-X_L(D)

在等式10中，VER_width表示产生了可见性误差的VER的面积。X_L(D) 表示针对包括可见性误差的无效区域的与水平方向上的起始点对应的左像素 的视差。X_R(D)表示针对包括可见性误差的无效区域的与垂直方向上的结束 点对应的右像素的视差。当满足等式10时，无效区域变为类型I或类型II。 在此情况下，在满足等式10的区域中，满足顺序约束，并且可在背景中执行 能量传播。不满足等式10的区域对应于类型III，在类型III中，可沿向右的 方向和向左的方向两个方向执行能量传播。

也就是说，根据等式10，传播方向确定器901可根据位于无效区域的左 边界上的像素与位于无效区域的右边界上的像素之间的视差差异是否与无效 区域的面积对应，来确定能量的传播方向。

能量传播器902可确定包括可见性误差的区域中的代表性能量，并基于 代表性能量执行能量传播。即，能量传播器902可确定将传播的能量和用于 传播能量的方法。

例如，能量传播器902可通过将代表性能量设置为如下像素中的至少一 个的能量，来沿向左的方向和向右的方向中的任何一个方向以及沿这两个方 向执行能量传播，所述如下像素为：(i)位于包括可见性误差的区域的左边界 上的像素的左像素，(ii)位于包括可见性误差的区域的右边界上的像素的右像 素。

具体地，在类型I的情况下，能量传播器902可将与包括可见性误差的 区域中的左侧的左起始像素邻近一个像素的像素的能量设置为代表性能量。 因此，能量传播器902可根据等式8和等式9重新计算能量。

在类型II的情况下，能量传播器902可将与包括可见性误差的区域中的 右侧的右结束像素邻近一个像素的像素的能量设置为代表性能量。因此，能 量传播器902可根据等式8和等式9重新计算能量。

在类型III的情况下，能量传播器902可将如下两个能量设置为代表性能 量：(i)与包括可见性误差的区域中的左侧的左起始像素邻近一个像素的像素 的能量；(ii)与包括可见性误差的区域中的右侧的右结束像素邻近一个像素的 像素的能量。在此情况下，在沿两个方向执行能量传播之后，能量传播器902 可将能量重新计算为所述两个能量之和。

图10示出根据一个或多个实施例的使用向前的能量确定的视差映射。图 11示出根据一个或多个实施例的使用向后的能量确定的视差映射。

在图10和图11中，圆形区域可指产生了可见性误差的区域。在如图10 和图11所示的情况下，在从前景至背景的路径上出现了可见性误差。这里， 由于如等式4所示向前的方向与向后的方向不同，因此如图10和图11所示 产生了可见性误差的区域不同。

图12示出根据一个或多个实施例的考虑向前的方向和向后的方向二者 确定的视差映射以及使用动态编程的最优化的视差映射。

参照图12，考虑向前的方向和向后的方向二者的视差映射与使用动态编 程的最优化的视差映射相似。另外，在图12中没有产生图3中示出的伪像。

图14示出根据一个或多个实施例的使用动态编程的能量的局部匹配。

因为左图像和右图像的能量被并行提取并且从可见性映射产生的初始视 差在左图像和右图像之间互用，所以可确定图14中示出的局部匹配。也就是 说，基于右图像的初始视差产生左可见性视差映射，基于左图像的初始视差 产生右可见性视差映射。然后，当在产生了可见性误差的无效区域中重新计 算能量时，可再次并行处理左图像和右图像。

可根据等式11执行图14的局部匹配。

[等式11]

$D\left(p\right)=\underset{d\in d\max }{\min }\underset{q\in N3\times 3\left(p\right)}{\Sigma }E(q,d)$

D(p)表示在特定像素p发生局部匹配时的视差，q表示位于与针对特定 像素p的视差d对应的3×3区域中的邻近像素。可通过等式7确定E(q，d)。

图15示出根据一个或多个实施例的视差估计方法。

在操作1501，视差估计设备可计算构成立体图像的左图像和右图像中的 每一个的能量。例如，视差估计设备可针对左图像和右图像中的每一个计算 向前的能量和向后的能量。然后，视差估计设备可将向前的能量和向后的能 量合并。

在操作1502，视差估计设备可使用能量产生可见性映射。例如，视差估 计设备可使用左图像和右图像中的每一个的能量来计算左图像和右图像中的 每一个的初始视差。另外，视差估计设备可分别使用左图像和右图像中的每 一个的初始视差来确定左图像和右图像中的每一个的可见性映射。

这里，视差估计设备可使用右图像的初始视差确定左图像的可见性映射， 可使用左图像的初始视差确定右图像的可见性映射。

在操作1503，视差估计设备可从可见性映射提取包括可见性误差的区 域。

当产生了可见性误差时，在操作1504，视差估计设备可重新计算针对包 括可见性误差的区域的能量。例如，视差估计设备可使用左图像和右图像的 初始视差来确定包括可见性误差的区域中的能量的传播方向。然后，视差估 计设备可确定包括可见性误差的区域中的代表性能量，并基于代表性能量执 行能量传播。

这里，视差估计设备可根据位于包括可见性误差的区域的左边界上的像 素与位于包括可见性误差的区域的右边界上的像素之间的视差差异是否与包 括可见性误差的区域的面积对应，来确定传播方向。

另外，视差估计设备可通过将代表性能量设置为如下像素中的至少一个 的能量来沿向左的方向和向右的方向中的任何一个方向以及沿这两个方向执 行能量传播，所述如下像素为：i)位于包括可见性误差的区域的左边界上的像 素的左像素，ii)位于包括可见性误差的区域的右边界上的像素的右像素。

在上述操作之后，视差估计设备可在操作1505使用最终确定的能量执行 最优化，并在操作1506针对立体图像确定视差。

图16示出根据一个或多个实施例的使用局部匹配的视差估计方法。

即，图16示出了根据图15的操作并行处理左图像和右图像。因此，图 16的操作1601至1606以及操作1607至1612可与图15的操作1501至1506 基本相同。

然而，在用于产生可见性映射的操作1602和1608中，左图像和右图像 之间的相互操作会是必需的。即，视差估计设备可通过引用右图像产生关于 左图像的可见性映射，通过引用左图像产生关于右图像的可见性映射。

另外，在用于执行局部匹配的操作1605和1611中，左图像和右图像之 间的相互操作也会是必需的。即，视差估计设备可通过引用右图像针对左图 像执行局部匹配，通过引用左图像针对右图像执行局部匹配。

在一个或多个实施例中，在此描述的任何设备、系统、元件或解释单元 包括一个或多个硬件装置或硬件处理元件。例如，在一个或多个实施例中， 任何描述的设备、系统、元件、恢复器、预处理元件或后处理元件、跟踪器、 检测器、编码器、解码器等还可包括一个或多个存储器和/或处理元件以及任 何硬件输入/输出传送装置，或者表示一个或多个相应处理元件或装置的操作 部分/方面。另外，术语“设备”应被考虑为与物理系统的元件同义，不限于 单个装置或附件或者所有描述的在所有实施例中的单个相应附件中实现的元 件，而是相反，根据实施例，术语“设备”对于通过不同的硬件元件被一起 实现或被单独实现在不同的附件和/或位置中是开放式的。

除了以上描述的实施例之外，还可通过非暂时性介质(例如，计算机可读 介质)上的计算机可读代码/指令实现实施例以控制至少一个处理装置(诸如处 理器或计算机)，从而实现任何上述的实施例。介质可与允许计算机可读代码 的存储和/或传送的任何定义的、可测量的以及有形的结构对应。

介质还可包括例如与计算机可读代码结合的数据文件、数据结构等。计 算机可读介质的一个或多个实施例包括：磁介质，诸如硬盘、软盘和磁带； 光学介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；以及专门被构 造为存储并执行程序指令的硬件装置，诸如只读存储器(ROM)、随机存取存 储器(RAM)、闪存等。例如，计算机可读代码可包括诸如由编译器产生的机 器代码和包含可由计算机使用解释器执行的高级代码的文件二者。介质还可 以是任何定义的、可测量的以及有形的分布式网络，从而以分布式方式存储 和执行计算机可读代码。另外，仅作为示例，处理元件可以包括处理器或计 算机处理器，处理元件可分布于和/或包括在单个装置中。

仅作为示例，计算机可读介质还可被实现在执行(例如，如处理器那样处 理)程序指令的至少一个专用集成电路(ASIC)或场可编程门阵列(FPGA)中。

虽然已参照本发明的不同实施例具体示出和描述了本发明的多个方面， 但是应理解，这些实施例应仅被考虑为描述的意义，而不是为了限制的目的。 对每个实施例内的特征或方面的描述通常应被解释为可用于其余实施例中的 其它相似的特征或方面。如果描述的技术以不同的顺序被执行并且/或者如果 描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其它组件 或它们的等同物替代或补充，则可等同地实现合适的结果。

因此，虽然已经示出和描述了一些实施例，但是其它实施例等同地可用， 本领域的技术人员将理解，在不脱离本发明的原理和精神的情况下，可对这 些实施例作出改变，本发明的范围由权利要求及其等同物限定。