利用变换的目标区域填充

摘要

描述涉及到变换的目标区域填充技术。在一个或者多个实现方式中，标识将被用来填充场景的图像中的目标区域的补片。使用场景的深度信息来指导将向补片应用的变换，并且使用经变换的补片来填充图像中的目标区域的至少一部分。

说明书

背景技术

图像编辑技术随着图像捕获设备的普及继续增加而正在变得越 来越流行。用户例如可以携带具有数字相机的移动电话、平板计算 机、专用相机等以捕获场景、例如风景、房间、体育赛事等的图像。 用户然后可以运用图像编辑技术以如希望的那样修改图像。

编辑技术的一个这样的示例常称为可以被用来填充图像中的目 标区域的“空洞填充”。因而空洞填充可以被用来支持从图像去除对 象、比如从图像去除人、修复图像等。为了执行这一技术，填充通 过去除对象而创建的空洞，这通常基于图像的落在空洞“以外”的区。

然而，常规空洞填充技术可能在图像中生成可能可为用户所察 觉的不准确。另外，在一些实例中、比如在立体图像中使用时这些 不准确可能被放大，从而使用这些常规技术而修改的图像可能使立 体图像无法用于它们的既定用途。

发明内容

描述利用变换的目标区域填充技术。在一个或者多个实现方式 中，标识将被用来填充场景的图像中的目标区域的补片(patch)。 使用场景的深度信息来指导将向补片应用的变换，并且使用经变换 的补片来填充图像中的目标区域的至少一部分。

在一个或者多个实现方式中，一种系统包括至少部分在硬件中 实施的至少一个模块，该至少一个模块被配置用于使用根据立体图 像计算的视差来计算场景的深度信息。该系统还包括至少部分在硬 件中实施的一个或者多个模块，该一个或者多个模块被配置用于使 用至少部分基于计算的深度信息变换的补片来填充立体图像中的一 个或者多个立体图像中的目标区域的至少一部分。

在一个或者多个实现方式中，一种或者多个计算机可读存储介 质包括在其上存储的指令，这些指令响应于由一个或者多个计算设 备执行而使一个或者多个计算设备执行操作。操作包括使用场景的 深度信息来指导将向补片应用的变换以及使用经变换的补片来填充 场景的图像中的目标区域的至少一部分。

此发明内容以简化形式介绍以下在具体实施方式中进一步描 述的概念选集。这样，此发明内容不旨在于标识要求保护的主题内 容的实质性特征、也不旨在于在确定要求保护的主题内容的范围时 用作辅助。

附图说明

参照附图描述具体实施方式。在各图中，标号的最左数位标识 该标号在其中首次出现的图。在描述和各图中在不同实例中使用相 同标号可以指示相似或者相同项目。在各图中代表的实体可以指示 一个或者多个实体，因此可以在讨论中可互换地指代实体的单数或 者复数形式。

图1是一个示例实施实现方式中的环境的图示，该环境可操作 用于运用这里描述的涉及到目标区域填充的技术。

图2描绘一个示例实现方式中的系统，场景的图像在该系统中 被捕获并且被用来填充目标区域。

图3描绘补片匹配算法的操作示例。

图4是对示例的图示，这些示例包括来自算法的结果，该算法 无变换并且也有扩展以包括使用变换。

图5是包括目标区域的图像的图示，该图示示出将锚点用于标 识将被用来填充目标区域的源补片。

图6是示出向候选补片使用变换和向邻近补片使用偏移的图示。

图7是描绘一个示例实现方式中的过程的流程图，在该过程中 标识补片并且使用深度信息来变换补片。

图8是描绘一个示例实现方式中的过程的流程图，在该过程中 使用根据立体图像计算的视差来计算深度信息并且使用该深度信息 以指导向将被用来填充目标区域的补片的变换。

图9图示视差图的示例。

图10-14是技术的图示，在这些技术中在从立体图像去除对象之 后填充目标区域，在这些立体图像中也填充视差图。

图15是其中保持深度信息的涂鸦去除目标填充技术的示例。

图16-25是技术的图示，在这些技术中在去除对象之后填充目标 区域，其中变换补片，至少部分使用深度信息来指导该变换。

图26图示包括示例设备的各种部件的示例系统，该示例设备可 以被实施为如参照图1-25描述和/或利用的任何类型的计算设备以 实施这里描述的技术的实施例。

具体实施方式

概述

随着消费级立体相机变得越来越普遍，用户希望一种用于以对 于个体图像常规地运用的方式编辑立体图像的能力。因而，这可能 引入维持在编辑的图像之间的立体保真的挑战。然而，这也可以引 入用于利用可以从图像对获得的附加信息的一组新机会。

可以被用来编辑图像的一种技术的示例涉及到通过来自图像的 包围目标区域的其余部分智能地绘制来用内容替换图像的目标区 域，这常称为空洞填充。常规地运用多种不同技术以对单个图像执 行这一替换。然而，这些常规技术可能在应用于立体图像时引起不 一致、由此使立体图像无法用于它们的既定用途、例如支持立体视 觉。

因而这里描述如下技术，可以运用这些技术用于如下目标区域 填充，可以运用该目标区域填充用于立体图像以及个体地用于图像。 在一个实现方式中，描述如下技术，这些技术涉及到目标区域的完 善，这包括使用可以使用深度信息(比如视差、深度传感器等)而 指导的变换(例如缩放、旋转、切变)。例如，可以从图像中的与 将填充的目标区域不同的深度选择补片。因此可以利用深度信息以 选择将对将使用的补片执行的缩放量作为填充的部分。也可以利用 附加技术作为这一空洞填充的部分、比如如在以下章节中进一步描 述的那样相比于被向上缩放和非缩放变换而言向被向下缩放给予优 先等。

在以下讨论中，首先描述可以运用这里描述的技术的示例环境。 然后描述可以在示例环境以及其它环境中执行的示例过程。因而， 示例过程的执行不限于示例环境，并且示例环境不限于执行示例过 程。虽然以下讨论有时描述立体实现方式，但是这些技术也可以适 用于单个图像以及不是立体的多个图像。这可以包括相同场景(例 如特定地标)的多个图像、在不同场景中具有匹配对象(例如在不 同位置拍摄的汽车)的多个图像等。

示例环境

图1是一个示例实现方式中的环境100的图示，该环境可操作 用于运用这里描述的技术。所示环境100包括可以用多种方式配置 的计算设备102和多个图像捕获设备104、106。

计算设备102例如可以被配置为桌上型计算机、膝上型计算机、 移动设备(例如假设手持配置、比如平板计算机或者移动电话)等。 因此，计算设备102可以范围从具有大量存储器和处理器资源的全 资源设备(例如个人计算机、游戏控制台)到具有有限存储器和/或 处理资源(例如移动设备)的低资源设备。此外，虽然示出单个计 算设备102，但是计算设备102可以代表多个不同设备、比如由企业 用来如关于图26进一步描述的那样“在云端”执行操作的多个服务 器。

图像捕获设备104、106还可以用多种方式配置。这样的配置的 所示示例包括独立式相机(比如专用设备、移动电话或者平板计算 机的部分)等。也设想其它示例。例如，图像捕获设备104、106中 的每个图像捕获设备可以被配置为单个立体相机、扫描仪、复印机、 相机、移动设备(例如智能电话)等。在另一示例中，单个图像捕 获设备可以被用来捕获场景的多个图像、比如如图所示房间中的篮 球、椎标和纸张。

图像捕获设备104、106被图示为包括相应的图像捕获模块108、 110。图像捕获模块108、110代表用于比如通过包括用于捕获、处 理和/或存储图像112、114的图像传感器以及其它硬件和软件部件来 捕获相应图像112、114的功能。

图像112、114在这一示例中为立体的，因为图像是从所示场景 116的不同视角拍摄的。例如，图像112、114可以可由用户查看以 获得对场景的三维深度的感知。图像112、114也可以可用来在三维 中对场景进行建模、比如确定在各位置的深度。这可以用如以下进 一步描述的多种方式来执行。

计算设备102被图示为包括图像处理模块118。图像处理模块 118代表用于执行可用来处理图像的一种或者多种技术的功能。虽然 被图示为在计算设备上本地实施，但是图像处理模块的功能也可以 在分布式环境中、如关于图26进一步描述的那样经由网络120(例 如“在云端”)远程等被实施。

可以由图像处理模块118执行的图像处理的示例可以被表示为 立体对应性模块122。立体对应模块122代表用于生成立体对应数据 的功能，该立体对应数据可以描述立体图像中的哪些像素相互对应 而哪些像素可以被表达为视差。立体对应模块112例如可以处理图 像112、114以确定场景116的深度以执行三维建模、执行视图合成、 视图插值、内容操纵、抠图(matting)(例如对象去除)、支持增 强现实(例如对象插入)等。也设想其它示例、比如捕获非立体的 图像112、114、但是仍然提供场景116的不同视图。

表示可以由图像处理模块118执行的图像处理的另一示例为填 充模块124。填充模块124代表用于填充图像112、114中的一个或 者多个图像中的目标区域的功能。例如，填充模块124可以被用来 支持从图像112、114中的一个或者多个图像去除对象、比如如在该 图中由计算设备102的显示设备输出的用户界面中所示从图像112、 114去除篮球。也关于图10-25示出其它示例1000-2500。这些技术 也可以用于多种其它用途、比如填充图像中的例如由于遮挡、错误 等而遗漏的部分。可以用多种方式执行这一处理，可以在以下讨论 和对应图中发现这些方式的描述。

图2描绘一个示例实现方式中的系统200，在该系统中捕获场景 116的图像112、114并且使用图像112、114以填充目标区域。场景 116被图示为示出具有篮球204、交通椎标206和纸张208的房间 202。图像捕获设备104、106被图示为捕获场景116的图像112、114， 这些图像如以下进一步描述的那样可以是立体或者非立体的。在一 个立体实现方式中，可以利用图像用于多种用途、比如用于三维建 模、视图插值等。

为了支持这一示例，图像处理模块118可以运用立体对应模块 122以计算立体对应数据，该立体对应数据描述图像112、114中的 哪些像素相互对应、以便包括将由相应图像112、114运用的视差图 和纹理。可以利用这一数据以支持广泛的功能。

填充模块124例如可以利用这一功能以“填写”图像的目标区域。 图像112、114中的一个或者多个图像例如可以由填充模块124处理 以从图像去除对象(比如去除篮球204)以如该图中所示生成图像 210。

尽管立体一致性可能尤其在目标区域填充中是一个挑战，但是 从立体对或者其它有关图像(例如场景116的未被配置用于支持立 体视图的不同图像)的附加深度信息的可用性可以被用来在执行这 一操作时增加准确性。

可用深度信息、例如可以被用来提供用于创建与人眼的预计一 致的补片(例如补全)的附加信息维度。可以用多种其它方式、比 如通过使用被配置用于输出对场景116在不同位置的深度进行描述 的数据的深度传感器、通过计算立体对应性等来获得深度信息。

无论源于何处，深度信息可以用多种方式加以利用。例如，可 以运用一种技术以如图9的示例900中所示以维持相互一致性的方 式预填充视差图、因此允许相应视差估计辅助进一步匹配和混合。 这可以通过共享在计算中涉及到的信息、从而用于到达用于第一图 像的第一补片的计算可以利用用于第二图像的第二补片的计算中使 用的信息来执行。这一功能被表示为该图中的视差图一致性模块 212。

在另一示例中，可以支持如下技术，这些技术向目标区域和在 另一图像中的立体对应目标区域二者提供跨图像搜索以及深度敏感 比较。这也可以通过共享在计算中涉及到的信息、从而在计算中涉 及到的信息可以涉及到用于不同图像的不同补片来执行。这一功能 被表示为该图中的跨图像一致性模块214。

在又一示例中，描述如下技术，这些技术涉及到扩展成匹配的 目标区域补片的加权混合，这些目标区域补片向在希望的视差的强 立体对应性给予优先。这一功能被表示为该图中的混合模块216。另 外，可以执行在填充视差图中的目标区域和使用彩色纹理来填充相 应立体图像时涉及到的计算，从而共享在计算中涉及到的信息、例 如在用于相应区域的运算之间传播信息。

在再一示例中，可以运用如下技术，这些技术支持可以向用于 填充目标区域的标识的补片应用的变换。例如，可以如以上描述的 那样从图像的如下部分标识补片，该部分可以用于填充该图像和/或 另一图像中的目标区域。深度信息可以被用来指导这一变换、以便 执行缩放、改变透视(例如根据如深度信息指示的图像的场景的三 维理解)等。这一功能被表示为该图中的变换模块218，可以在以下 对应章节和结合图4开始的讨论中发现该变换模块218的进一步讨 论。

因此，可以支持一种可以被用来提高相应目标区域相对于源图 像112、114的其余部分而言的连贯性而又维持立体一致性的系统。 可以执行这一点以用如下方式匹配补片，该方式允许在原先部分闭 塞的区域的情况下跨图像复制而未涉及到显式预复制步骤。这允许 松散标记的蒙版(mask)，这些蒙版是独立的，从而蒙版包括将被 温和地处理的非对应像素而无需两个图像中的对应性。

这一技术也可以处理去除和替换三维对象(例如房间202的墙 壁或者如图15中的涂鸦去除示例1500中所示的其它表面)上的纹 理、去除整个对象(比如图2中的篮球204)以及图11-14的示例 1100-1400、如关于图16-25所示涉及到变换的示例等。因此，使用 深度信息可以支持用于以相对于常规单图像补全技术增加的准确度 来填充目标区域的技术。虽然以下讨论在多种不同示例中使用立体 图像，但是应当容易清楚这些技术也可以利用非立体的图像(比如 将在由用户查看时不支持立体视图的场景的不同图像)，可以涉及 到位于不同场景中的对象并且也可以被执行用于生成单个图像。

在一个或者多个实现方式中，描述如下技术，这些技术可以利 用一种基于单图像补片匹配的补全方式、在以下讨论中也称为“补片 匹配算法”。例如，可以最小化对图像相干性的如下测量：

$d_{\mathrm{total}}(S,T)=\underset{t\in T}{\Sigma }\underset{s\in S}{\min }d(s,t)$

其中“T”是目标区域，“S”是源区域(例如图像的在目标区域以外的 范围)，并且“t∈T”和“s∈S”分别是在目标和源区域内的补片。表达 式是对在补片“s”与“t”之间的差的测量。直观地， 这用来保证在填充的区域内的每个补片与在图像的其余部分中的对 应补片相似，从而惩罚将不与在图像的其余部分中的补片匹配的引 入的非自然成分。

因此，当在每点“p”满足两个条件时满足这一表达式。在第一条 件中，与点“p”重叠的补片“t∈T”中的每个补片具有确切匹配“s∈S”， 因此“d(s，t)＝0”。在第二条件中，与“p”重叠的补片“t∈T”中的每个 补片与在“p”处的值相符，从而补片的混合结果不引入附加误差。因 此，可以通过在匹配每个目标补片“t∈T”到它的最佳匹配“s∈S”之间 迭代地交替来采用一种能量/量值样式的方式，所得补片的混合被用 来合成目标区域中的内容以填充该区域。

基于补片匹配的方式可以通过利用匹配的空间传播和随机搜索 以支持图3的示例300中所示用于发现良好匹配的高效技术来避免 穷举搜索。例如，可以运用一种“最近邻居域“(NNF)方式，该方 式可以提供从图像中的每个补片到在目标区域以外的对应最佳(目 前为止)匹配的映射，该对应最佳匹配可以表示为”s＝NNF(t)“。

此外，可以运用技术以更新“最佳”匹配、然后将匹配混合到目标 区域中。这可以通过按照从每个混合的补片到目标区域的边界的距 离的单调递减函数对补片进行加杈来执行。这可以帮助将内容从区 域以外向目标区域中驱动。此外，一种逐渐尺寸重设方式可以被用 来创建多比例金字塔。在金字塔的最粗比例，扩散填充可以被用来 初始化基于补片匹配的能量/量值迭代。对于后续比例，可以上采样 来自先前比例的NNF，关于以下章节进一步描述该上采样的示例。

立体图像补全

可以用多种方式配置立体图像对112、114。为了以下讨论，这 些图像112、114视为其中“D”为视差的四值“RGBD”图像。此外，图 像112、114可以已经由图像处理模块118纠正并且由立体对应性模 块112计算立体对应性。用户然后可以提供如图10-15的示例 1000-1500中所示指定一个或者多个目标区域的蒙版。这可以用多种 方式、比如通过与基于立体的选择工具交互的人工选择、使用光标 控制设备、手势、通过模块的自动选择(例如前景对象)等来执行。

如图9的示例900中所示视差图可以具有与相应彩色图像的特 性很不同的特性。不同于具有丰富纹理的彩色图像，例如视差图像 一般涉及到具有可以例如由立体对应模块122在用于计算立体视差 的算法中利用的强空间结构、性质的平滑区域。在一个或者多个实 现方式中，首先填充视差图的目标区域。视差图然后可以被用来指 导选择源补片以补全目标区域的彩色纹理。

可以利用模板区域填充以用于多种目的。例如，填充可以被用 来如在篮球的示例中先前描述的那样去除全部前景对象。其它示例 包括如图10-14的示例1000-1400中所示去除图像中的更大对象(比 如墙壁等)上的三维结构细节。在另一示例中，可以保持场景116 的物理结构，但是目标区域可以被用来替换对象上的纹理，这可以 如图15中的示例1500中所示称为“涂鸦去除”并且也可以被用来调 整和去除阴影等。因此设想如下实现方式，在这些实现方式中，用 户可以指定是否填充目标区域中的视差或者保持并使用原始视差 图。然后可以如以下进一步描述的那样基于这些视差合成立体一致 纹理。

深度补全

在这一示例中，描述分别是指左和右图像的两个视差图“D_L”和 “D_R”。这两个视差图然后可以被用来如以下描述的那样处理半闭塞 区域中的深度信息。在使用之前，立体对应模块122可以使用在这 一节中描述的技术的“更小空洞”变化来填充视差图中的空洞。

在一个或者多个实现方式中，基于偏微分方程(PDE)的内涂技 术可以被用来恢复视差图中的平滑空间结构。例如，单个视差图“D” 的内涂可以涉及到以下迭代求解的PDE：

$\frac{\partial }{\partial t}D=▿L·{▿}_{\perp }D$

其中表示视差图的描述的2D拉普拉斯。直观地，这一 PDE被用来沿着图像水平曲线传播图像曲率、因此填充区域并且保 留边缘结构。为了减少对于以上表达式的数值实现方式而涉及到的 迭代数目，可以使用基于扩散的填充来初始化目标区域。向目标区 域中扩散可以限于比区域中的原始内容更小的视差(即更远)。

如先前描述的那样，运用于图像的常规技术单独可能引起在立 体图像之间可查看的走样(artifact)。因而描述如下技术，在这些 技术中使用目标填充，在该目标填充中实行立体一致性。例如，弱 一致性约束可以用作以上迭代地求解的PDE的表达式的一部分。

可以如下在图像中在逐点基础上表征视差图中的值、例如“D_L”和 “D_R”：

-在两个图像中一致并可查看：

D_L(x，y)＝D_R(x-D_L(x，y)，y)

D_R(x，y)＝D_L(x+D_R(x，y)，y)

-半闭塞，从而对象在一个图像中可查看、但是在另一图像中被 闭塞：

D_L(x，y)＜D_R(x-D_L(x，y)，y)或者

D_R(x，y)＜D_L(x+D_R(x，y)，y)

-物理不一致、例如物理上不可能从后面闭塞：

D_L(x，y)＞D_R(x-D_L(x，y)，y)或者

D_R(x，y)＞D_L(x+D_R(x，y)，y)

因此，可以修改以上迭代地求解的PDE的表达式以创建耦合的 PDE对以及附加项如下，该PDE对包括相应视差图的内涂，这些附 加项提高相互一致性并且因此提高立体一致性：

$\frac{\partial }{\partial t}{D}_L={▿L}_L·{▿}_{\perp }{D}_L+{\mathrm{\lambda \rho }}_L$

$\frac{\partial }{\partial t}{D}_R={▿L}_R·{▿}_{\perp }{D}_R+{\mathrm{\lambda \rho }}_R$

其中“L_L”是“D_L”的拉普拉斯，并且“L_R”是“D_R”的拉普拉斯，并且

是一致性项而“∈”控制容差。如果对于视差图中的值描述一致性的以 上表达式在“∈”(例如少于或者等于容差“1”或者其它值)容差内的 给定的像素内适用，则可以进行假设视差将一致。因此，可以调整 这些视差以如希望的那样增加相似性。

在另一方面，如果以上半闭塞表征在大于“∈”容差的给定的像素 处适用，则可以进行假设像素在“半闭塞”中被涉及到，因此保持不 同的视差。另外，如果以上不一致标准适用，则可以调整视差图以 校正这一物理不一致。

纹理匹配和合成

为了合成在图像112、114的相应视差图像之上的纹理以执行图 10-15中所示“补全”，可以拓宽以上描述的目标函数以允许绘制来自 任一图像的源纹理、惩罚图像之间的立体不匹配等。例如，令“S_L”和 “S_R”分别表示左和右图像中的源区域，并且相似地令“T_L”和“T_R”表示 相应目标区域。还令“CLR(t)”表示从以“(x，y)”为中心的补片“t_L∈T_L” 到以“(x-D_L(x，y)，y)”为中心的对应补片“t_R∈T_R”的映射。为了在以下 讨论中简化进一步符号表示，分别地，“C(t)＝C_LR(t)”用于左图像中 的补片，并且“C(t)＝C_RL(t)”用于右图像中的补片。

因此立体填充相干性的优化可以被定义为以下目标函数的最小 化：

$\left(\begin{array}{c}{d}_{\mathrm{total}}(S_L,S_R,T_L,T_R)=\underset{t\in T_L\cup T_R}{\Sigma }\underset{s\in S_L\cup S_R}{\min }d(s,t)\\ +\underset{t\in T_L}{\Sigma }d(t,C_{\mathrm{LR}}\left(t\right))+\underset{t\in T_R}{\Sigma }d(t,C_{\mathrm{RL}}\left(t\right))\end{array}\right)$

这里补片差测量“d(s，t)”可以被重定义为补片的RGBD值之间的均方 差。也可以设想其它补片距离和并入深度和/或视差的方式。

第一项与关于图像相干性测量的以上表达式相似并且有利于相 应图像中的目标区域的相干填充。应当注意在这一示例中显式地允 许跨两个图像匹配补片、由此提供较丰富的源补片集合。

在以上表达式中的附加两项通过惩罚在相关视差表现出可视不 相似的补片来有利于立体一致性。尽管类似地这不直接意味着用于 优化的算法，但是被设计用于提高相互一致性的以上耦合的PDE对 的能量/量值方式可以被扩展。可以基于两个观察来执行这一扩展。 第一，如果满足以上标识的用于最小化图像相干性测量的两个条件 则最小化用于立体填充相干性的目标函数。第二，如果目标区域中 的像素中的每个像素由与在相关视差的另一图像中的对应补片确切 地匹配的内容填充，则最小化用于立体填充相干性的目标函数。这 除非这样的内容将在另一图像中不可见(即半闭塞)则可以成立。 为了有利于这一点，可以修改能量/量值过程的补片混合步骤以除非 在另一图像中闭塞则向立体一致的补片给予增加的杈重。也可以扩 展补片匹配搜索以包括来自两个图像的补片，这包括被设计用于有 助于立体一致性的传播步骤。

立体补片匹配

由于两个源图像提供比单独任一图像更大的源补片集合并且由 于一些有用补片可以在一个图像中可见、但是在另一图像中不可见， 所以可以扩展补片匹配算法以包括如先前描述的跨图像搜索。补片 匹配算法可以使用两个部分以搜寻比当前发现的补片更好的补片， 在图4中示出这一点的示例300。第一是传播步骤，在该传播步骤中， 与当前补片相邻的补片的补片的邻居被视为“空间”示例。例如，用 于邻居“t”的当前NNF匹配视为更新“NNF(t)”。第二涉及到在该图中 表示为“随机”的随机搜索步骤。

如图3的示例实现方式300中所示，这可以扩展成包括立体对 应性步骤，在该立体对应性步骤中考虑另一图像中的立体对应补片、 例如对于在该图中图示为“立体”的补片“C(t)”。因此，这也可以包括 立体传播步骤，在该传播步骤中考虑对于对应补片“C(t)”的邻居发现 的匹配。在一个或者多个实现方式中，包括用于另一图像中的立体 对应补片“C(t)”的当前值是目标补片到在任一目标区域以内或者与 任一目标重叠的目标补片之间允许匹配的仅有的一次。

在扩展搜索中的这一包括允许复制(并且随后混合)已经在另 一图像中发现的补片从而造成最小化以上立体填充相干性目标函数 的后两项。应当注意仍然选择立体对应补片作为在补片匹配过程期 间的最佳对应补片，这最终允许被发现最佳补全的图像支配另一较 弱的解。也有可能在搜索的这一立体对应性部分期间，对应补片是 源区域而不是目标区域的用于另一图像的部分。这可以在去除前景 对象去闭塞一个图像中的在另一图像中可见的区域时发生。常规技 术大量依赖于显式地弯曲(warp)原先半闭塞的数据，然而可以执 行这里描述的技术而无显式复制预步骤。另外，跨图像复制可以自 动发生作为这些技术中的搜索和合成过程的部分。

除了以上引用的补片匹配算法的空间传播步骤之外，还可以包 括立体传播步骤。立体传播步骤可以被用来进一步扩展候选源补片 池以不仅包括另一图像中的对应补片“C(t)”而且包括根据另一图像 的NNF的与“C(t)”的当前最佳匹配。由于即使在原始视差图仅使用 整数视差、仍然在多比例分级中存在的子像素视差，这意味着使用 “C(t)”的x坐标的下限和上限来搜索两个可能候选。

主体一致补片混合

一旦使用以上扩展的补片匹配算法来更新最近邻居域，可以执 行“补片投票”操作以混合源补片并且填充目标区域。为了提高立体 一致性，可以向如下那些补片给予增加的混合杈重，这些补片与它 们在另一图像中的立体对应补片一致。例如，补片中的像素“t”的混 合杈重可以是“t”与立体对应补片“C(t)”之间的相似性的函数。

可以用与以上描述的相互一致性表达式相似的方式、使用与特 定目标像素“p”重叠的每个目标补片“t”匹配的源补片“s”的值的加权 混合来计算像素“p”的颜色“c”。例如，令“{t¹，t²，...，t^k}”与像素“p”重 叠的补片集合、无论是否完全在目标区域“T”以内。也令{s¹，s²，...，s^k} 表示用于补片的相应最佳匹配。如果“c_i”被用来如源补片“Sⁱ”提示的 那样表示用于像素“p”的颜色并且权重“wⁱ”表示向补片“tⁱ”给予的权 重，则通过加权混合来给予用于像素“p”的颜色“c”：

$c=\frac{{\Sigma }_i{w}^i{c}^i}{{\Sigma }_i{w}^i}$

杈重“wⁱ”是两个因子的组合。第一因子与用于如以上对于常规补 片匹配算法描述的单图像填充的因子相同。第二因子是惩罚立体不 匹配如下项的附加因子：

$w^i=w_d^i{w}_s^i$

可以按照下式计算基于距离的权重

$w_d^i={\gamma }^{-\mathrm{dist}(p^i,T)}$

其中“dist(pⁱ，T)”是从“pⁱ”(补片“tⁱ”的中心)到目标区域“T”的边界的 距离或者如果“pⁱ”落在“T”以外则为“0”。在一个或者多个实现方式 中，使用值γ＝1.3。

通过比较补片“tⁱ”的不闭塞部分与在另一图像中的(可能是子像 素的)对应部分来给予立体一致性权重如下：

$w_s^i=e^{\frac{-{\bar{d}}_g(t^i,C\left(t^i\right))}{2{\sigma }_c^2}}$

计算考虑闭塞的补片平方差为在补片“tⁱ”和“C(tⁱ)”的相互 不闭塞部分之间的均方差，这同样可以支持子像素比较。如果在另 一图像中从视图闭塞整个补片“tⁱ”(即无对应“C(tⁱ)”)，则将 设置成最大值“3·255²”以在混合中给予最小、但是非零 的权重。这具有的效果为使半闭塞区域从不闭塞侧被填充、由此向 来自不闭塞邻居补片的贡献给予更强权重。然而在半闭塞区域内， 这些补片各自具有相同(然而低)权重，这通过归一化加权混合从 以上杈重“wⁱ”有效去除这一加杈因子的影响。在一个或者多个实现方 式中，使用值“σ_c＝7”。

深度指导的目标区域填充变换

这一节呈现通过扩展算法以搜寻和发现源补片的缩放版本来扩 展以上补片匹配算法。在以上描述的算法中，沿着对应三维结构比 较每个目标补片的纹理与它的预期源补片。通过比较绝对视差而实 现的这一比较使算法可以从其绘制的潜在源补片有效地限于相似深 度的源补片。这在应用于正面平行(frontoparallel)表面(在表面之 间无深度差)的立体图像时产生希望的结果从而在许多情况下避免 绘制来自不适当区的纹理。它也可以在应用于不正面平行(具有可 变距离)的表面时良好工作，只要对于每个距离有充分适当源纹理。 相似地，它可以在除了目标的距离之外的距离在其它表面上发现适 当源纹理的区域时即使对于正面平行表面仍不良好工作。为了解决 这两个问题，扩展先前算法以并入根据源与目标区域之间的相对距 离适当缩放的源补片。

利用立体图像及其固有3D信息，可以直接完成估计在两个补片 之间的正确缩放。应用估计技术也可以缓解在搜寻潜在源补片时选 择随机比例从而允许算法更快收敛。

在以下讨论中，描述图2的变换模块218的操作，该变换模块 被配置用于估计补片到补片缩放以扩展以上补片匹配算法以能够通 过利用3D信息以估计比例而不是执行完全随机搜索来从缩放的纹 理智能地绘制。图4中所示示例400来自以上补片匹配算法的结果 而无变换以及也有扩展以包括使用变换、例如在这一示例中为缩放。 这些技术也可以被配置用于解决非统一的比例变换、例如在“x”和“y” 方向上的不同比例以解决图像透视缩短和其它并发问题。

可以利用深度信息(比如从立体图像获得的视差信息)以标识 在场景116中包含的3D结构。通过利用这一信息，可以朝着改进的 可能匹配来指导补片搜索，这些匹配甚至可以被用来消除使用如以 上描述的图像的整个空间的随机搜索。

在场景中的两个对象的现实坐标(或者至少现实深度)给定时， 可以通过使用对应深度之比来获得在连个对象之间的相对投影缩放 的估计：

其中“z_t”是目标补片的深度并且“z_s”是源补片的深度。立体视差与深 度成反比如下：

z_p＝fB/d_p

其中“z_p”是在像素“p”处的现实深度(或者从相机的距离)，“d_p”是 在“p”处的视差，“f”是相机的焦距，并且“B”是在两个相机之间的基 线(或者水平距离)(假设典范配置)。应当注意虽然可以使用任 何数目的算法之一来估计视差，但是焦距和基线无预先知识或者相 机校准就不能估计。出于这一原因，可以估计每个像素的深度上至 某个不知比例因子。

使用估计的深度，可以在两个补片之间估计缩放因子。用“f B/d_p” 替换上式中的“z”值并且化简产生以下表达式：

注意未知比例因子“f”和“B”抵消。因此，可以通过使用任何两个补 片的视差之比来估计在补片之间的比例。

如图5中的示例500中所示，锚点(即参考点)可以被用来估 计用于补片的全部的参数。换而言之，可以进行假设补片的一个像 素(例如在所示实现方式中为左上)是整个补片的回忆。

在这一示例500中，示出由根据立体图像对计算的视差确定的 缩放的补片。示例500包括用于给定的目标补片的视差图和示例缩 放的源补片。示出源补片“S₂”为上采样，因为它距相机比目标区域“t” 更远，而示出源补片”S₁”为下采样，因为它与相机更近。在源与目标 补片之间的比例因子由锚位置(补片的左上像素)的视差确定。 在一个或者多个实现方式中，比例因子可以在“x”方向上与在“y” 方向上不同、即和可能不相等。

虽然根据立体图像计算的视差可以被用来提供两个补片之间的 比例的初始估计，但是仍然可以执行在估计的比例周围的搜索。例 如，计算的视差可以由于计算的性质而不准确。此外，算法可以在 一些示例中不计算子像素视差，这即使正确计算视差仍然可以引入 略微误差。因而可以变更算法以在原先估计的比例周围的比例窗中 随机搜索、因此允许算法精化估计的比例。

取代在估计周围任意挑选固定比例范围，目标和源补片的视差 可以被用来智能地指导和确定在其中执行搜索的合理比例范围，这 可以如如下执行：

$S_{\mathrm{window}}=[\frac{d_s+\delta }{d_t-\delta },\frac{d_s-\delta }{d_t+\delta }]$

其中“δ”是在视差图中的预计误差值范围。例如，假设正确视差图上 至整数值，“δ”将是1以考虑子像素视差。因此，比例范围对于更远 的补片更大(其中视差的甚至略微误差仍然可以大大影响计算的比 例变换)而对于更近的补片更小，其中略微误差影响小得多。

可以通过在考虑具体目标和源补片对时对算法可以随机选择的 比例范围进行限制来实现这一加窗搜索。因此，估计的比例可以被 用来使算法聚焦于更合理并且总似然度更好的比例。

在以上描述的补片匹配算法中涉及到的步骤之一涉及到利用图 像的固有结构向邻近像素传播在随机搜索阶段中发现的良好匹配。 然而，向算法中引入新变换可能使这一阶段略微变复杂，因为简单 平移不再使邻近补片相关、由此涉及到变换邻近补片之间的相对偏 移。换而言之，按照以下假设来传播良好匹配，该假设为用于给定 的目标补片“t”的良好候选是“t”的邻居的当前最佳、最近邻居的偏 移。利用统一正面平行变换(即仅平移)，偏移是在“t”与它的邻居 之间的差。然而在添加其它类型的变换时，偏移也反映这一点、即 旋转的源补片将随它旋转它的邻居。

可以如下解决这一问题。例如，令“T(NNF(x))”是由 定义的完全变换，其中“x”和“y”分别是在“x”和“y”方 向上的平移，并且是统一比例因子。传播的候选然后如下：

NNF(x-Δp)+T^'(NNF(x-Δp))Δp

其中“Δp”是目标补片及其邻居的位置差。在更简单项中并且在图6 中的示例600中所示，向邻居的位置应用目标的变换从而给予从源 补片正确偏移和定向的潜在补片、即根据指定的变换来产生源的邻 居。应当注意源的邻居继承来自源补片的参数(除了平移之外)中 的每个参数。在这一情况下，这意味着也传播比例。计算的比例也 可以在传播的平移被用来向候选池添加另一潜在源补片。

统一比例假设在从其绘制的表面与相机正面平行时有效。一旦 平面倾斜，平面的更远部分由于在图像获取期间出现的透视弯曲而 透视缩短。平面越倾斜，透视缩短就越严重。因而特别是在目标和 源补片落在不同倾斜的平面上时不通过统一比例变换对这一透视缩 短进行建模。实际上，可以通过非统一比例变换来近似这一透视缩 短。这样，可以扩展随机搜索阶段以包括非统一比例变换。

这可以通过将统一比例因子分解成用于不同的轴的两个分 离有向比例因子并且将变换空间扩展成来 实现。虽然这向搜索空间添加另一维度，但是可以通过在估计统一 比例因子时估计水平比例来应用以上描述的先前优化。也就是 说，来自水平偏移的相机的视差可以用来估计源与目标补片之间的 比例并且确定在该比例周围的合理搜索窗。然后通过随机选择纵横 比“θ_xy”并且将它应用于每个候选来为确定竖直比例如下：

φ_y＝θ_xyφ_x

因此，按照先前描述的扩展方法，但是同样使算法聚焦于更合 理并且总似然度更好的比例因子。可能纵横比范围可以限于合理值 (例如在半个与双倍大小之间)以避免源补片的极端透射缩短。

为了执行目标区域填充，关于将向目标区域中混合哪个源材料 做出判决。对于基于补片的技术，这涉及到基于选择的相似度度量 选择与空洞中的当前目标补片匹配的源补片，该相似度度量是RGB 通道的简单平方差求和(SSD)。在以上讨论中，向相似度度量中引 入深度信息(比如图像视差)以允许算法不仅比较潜在源补片的纹 理而且也比较它的3D结构。然而如以上描述的那样简单地匹配视差 向度量中折叠深度、由此限制算法考虑的深度。

为了解决这一点，在考虑缩放的补片时去除来自相似度度量的 绝对深度，但是可以包括比较局部相对深度结构。这可以通过根据 在给定的补片的锚点的视差归一化视差或者其它深度信息来实现如 下：

d′_n[i]=d_n[i]-d_n[n_anchor]

其中“d_n[i]”是补片“n”在位置“i”的视差，并且“n_anchor”是“n”的锚位置。 这将视差变换成相对于它的当前补片锚、由此去除固有深度信息而 保留编码的3D结构。包括这作为视差距离度量的部分产生以下表达 式：

${\bar{D}}_d=\underset{i}{\Sigma }{\left(d_t^{\text{'}}\right[i]-{\phi }_x{d}_s^{\text{'}}[i\left]\right)}^2$

该表达式比较目标和源补码的相对结构而不使相似深度优先。注意 按照或者“t”与“s”之间的水平比例因子缩放“d”。由于视差和深 度的反比性，在转换成深度时在更低视差的深度差大于在更高视值 的深度差。为了模拟这一行为，按照对两个补片之间的相对比例进 行编码的水平比例因子相对于视差缩放目标。

为了更好地理解这一比例因子的直观性并且减少计算，以上可 以替换和化简上式如下：

$\left(\begin{array}{c}{\bar{D}}_d=\underset{i}{\Sigma }{(\left(d_t\right[i]-d_t[t_{\mathrm{anchor}}\left]\right)-\frac{a_t\left[t_{\mathrm{anchor}}\right]}{d_s\left[s_{\mathrm{anchor}}\right]}\left(d_s\right[i]-d_s[s_{\mathrm{anchor}}\left]\right))}^2\\ =\underset{i}{\Sigma }{\left(d_t\right[i]-d_t[t_{\mathrm{anchor}}]-\frac{d_t\left[t_{\mathrm{anchor}}\right]}{d_s\left[s_{\mathrm{anchor}}\right]}{d}_s[i]+d_t[t_{\mathrm{anchor}}\left]\right)}^2\\ =\underset{i}{\Sigma }{\left(d_t\right[i]-\frac{d_t\left[t_{\mathrm{anchor}}\right]}{d_s\left[s_{\mathrm{anchor}}\right]}{d}_s[i\left]\right)}^2\\ =\underset{i}{\Sigma }{\left(d_t\right[i]-{\phi }_x{d}_s[i\left]\right)}^2\end{array}\right)$

注意锚视差消除、由此留下比较目标视差与相对缩放的源视差。这 示出将源补片移向匹配深度作为场景中的目标补片而相对比例相应 地调整视差。以这一方式，可以比较相对3D结构而不是3D位置而 上至某个比例因子。

在一些实例中，使用补片匹配算法以执行对于任何比例的源补 片的有向或者无向搜索可以在所得填充中产生大的平坦或者洗掉区 域，关于图16示出这一点的实例1600。如这一实例1600中所示， 有沿着填充的左侧的洗掉区域以及沿着填充的顶部的模糊线条。这 些在这一实例中均由极端上采样引起、但是在如实例1600中的(b) 中所示将惩罚用于这样的极端上采样时不存在。引起这一点可能是 因为补片匹配算法使用简单平方距离求和度量以测量在给定的源与 目标补片之间的相似度。这一度量虽然在一般意义上为良好测量、 但是无实际纹理概念。因此，在具有更多色变化的相似纹理化的源 补片内选择颜色与更少纹理化的目标补片的平均颜色接近的平坦源 补片从而驱使解具有(可能较不吸引人的)大的平坦区域。

可以如图17的示例1700中示范的那样通过挑选然后上采样的 缩放的源补片来人工地引入可以在图像中存在的这些平坦源区域。 在上采样或者放大时，离散数字信号(比如数字照片)、高频信息 丢失。这一技术在应用于数字图像时造成模糊纹理。这在任何照片 查看应用中查看小分辨率照片而放大一直开启时是明显的。如果源 被足够上采样，则即使最多纹理化的区域的补片也将变得平坦而无 特征。这是在补片匹配算法尝试从很小比例绘制时发生的情况。

为了解决这一挑战，算法可以被配置用于向从非缩放和下采样 的补片绘制给予优先。这可以通过在距离度量中包括附加成本项来 实现如下：

Dist(s，t)＝Dist_rgb(s，t)+λ_dDist_d(s，t)+λ_ccost(φ_x，φ_y)

其中“Dist(s，t)”是在指定的通道之间的平方差求和，“λ”是用于指定的 项的比例因子，并且知分别是在“x”和“y”方向上在补片 “s”与“t”之间的有向比例因子。的值可以如下被定义：

其中是最大允许的上采样因子。以这一方式，不允许并且与在 接受的范围内的任何上采样因子比较按照指数比例惩罚的、具有比 最大允许的比例因子更大的上采样因子的任何补片。这允许算法仍 然从未采样的补片绘制、但是对于未缩放、下采样和仅略微上采样 的补片优先构建。

所得填充的略微色变化可以比连续边缘的间断更少可察觉。为 了解决这一点，也可以比较在潜在源补片内的梯度与在它们的相应 目标补片内的梯度。这通过扩展距离度量以包括比较梯度来实现如 下：

$\mathrm{Dist}(s,t)={\mathrm{Dist}}_{\mathrm{rgb}}(s,t)+{\lambda }_d{\mathrm{Dist}}_d(s,t)+{\lambda }_c\cos t({\phi }_x,{\phi }_y)+{\lambda }_g{\mathrm{Dist}}_g(▿s,▿t)$其中是补片“s”和“t”的梯度的平方差求和，并且“λg” 控制向这一梯度项给予的权重，将这一梯度项与距离度量相加提高 局部描述符的高频。换而言之，取代在测量纹理相似度时简单地匹 配颜色，还匹配纹理中的边缘以及纹理的变化。因此，在目标区域 中的边缘可以与匹配高频内容一起更好地补全。

示例变换

使被用来自以上的符号表示，令“S_L”和“S_R”分别表示左和右图像 中的源区域，并且相似地，令“T_L”和“T_R”表示相应目标区域。也令 “C_LR(t)”表示从以(x，y)为中心的补片“t_L∈T_L”到以“(x-D_L(x，y)，y)” 为中心的对应补片“t_R∈T_R”的映射。相似地，令“C_RL(t)”表示从以(x，y) 为中心的补片“t_R∈T_R”到以“(x+D_R(x，y)，y)”为中心的对应补片 “t_L∈T_L”的映射。为了简化进一步符号表示，“C(t)”在以下讨论中被 用来表示在另一图像中的立体对应补片，从而分别地， “C(t)＝C_LR(t)”用于左图像中的补片，并且“C(t)＝C_RL(t)”用于右图像 中的补片。

在以上讨论中，定义立体填充相干性的优化为以下目标函数的 最小化：

$d_{\mathrm{total}}(S_L,S_R,T_L,T_R)=\underset{t\in T_L\cup T_R}{\Sigma }\underset{s\in S_L\cup S_R}{\min }d(s,t)+\underset{t\in T_L\cup T_R}{\Sigma }d(t,C\left(t\right))$

其中：

$d*(s,t)=\underset{w\in W}{\min }[d(w_{\mathrm{st}}\left(s\right),t)+\cos t\left(w_{\mathrm{st}}\right)]$

其中“W”是弯曲(即变换)集合，“w_st”是从源补片到目标补片的弯 曲，并且“w_st(s)”是基于源补片“s”和目标补片“r”的相对几何性、使 用弯曲“w_st”而弯曲的采样的源补片。弯曲集合可以包括身份变换(用 于相同深度的正面平行补片)、缩放(用于不同深度的正面平行补 片)和一般化单应性(用于倾斜的平面补片)。

在以上表达式中的”cost(w_st)”偏指使用特定形式的弯曲。例如，

贴片匹配算法可以如先前描述的那样较上采样的源补片而言偏向于 选择下采样的源补片。相似地，也可以惩罚如下弯曲的使用，这些 弯曲涉及到补片的极端变形。立体相干性项已经改变成并入在两个 视图之间的潜在透视缩短。这通过以与如何通过在目标补片“t”迭代 并且添加在该像素处的视差来采样源补片相似的方式采样“C(t)”来 补全。由于目标函数除了弯曲源补片之外保持相同，所以算法可以 类似地除了相似地并入这些弯曲的源补片之外保持相同。也就是说， 更新NNF、然后混合补片的基本能量/量值策略可以保持相同。

源补片采样

与以上描述的补片匹配算法相似，可以在目标区域中匹配直立 矩形(例如方形)补片与源区域中的变换的补片。使用以上补片匹 配算法的符号表示，令“f：R²→R²”使用绝对坐标来表示最近邻居 域。

在具有中心(或者拐角等)“t_c”的目标补片“t”和具有中心(或 者拐角等)“s_c”的源补片“s”给定时，令“w_st”表示如下几何变换，将 将向目标补片“t”应用该几何变换以正确匹配源补片“s”中的像素， 其中给定包围“t_c”和“s_c”的邻域之间的已知相对三维几何。注意“w_st” 不包括在源与目标位置之间的平移、但是实际上仅包括相对局部几 何变换。

为了比较补片，可以通过在直线补片“t”内迭代、根据逆变换 “w_st^-1”计算源补片中的对应位置并且对图像在该位置的值进行插值 来运用对向后弯曲算法的变化，如下：

使用拐角作为用于补片的基准点：

s_c←f(t_c)

d(w_st(s)，t)←0

或者向“t”中的像素的所有偏移“Δp”执行：

$\Delta \hat{p}\leftarrow w_{\mathrm{st}}^{-1}\left(\mathrm{\Delta p}\right)$

v_t＝I(t_c+Δp)

$v_s=I(s_c+\Delta \hat{p})$

d(w_st(s)，t)←d(w_st(s)，t)+||v_t-v_s||²

结束

与以上补片匹配算法一样，一旦“d(w_st(s)，t)”增长超过当前最佳匹 配的“d(w_st(s)，t)”就可以使这一采样取捷径。可以对于当前最佳匹配 高速缓存图像值“v_s”(即“w_st(s)”)集合以避免在混合期间的重新计 算。

一般化单应性弯曲

同样使用以上符号表示，可以根据从源补片在其上出现的三维 平面到目标补片在其上出现的三维平面的单应性映射来弯曲源补 片。

$H_{\mathrm{st}}=H_t{H}_s^{-1}$

其中“H_t”是将目标补片从它落在其上的假设平面向相机的成像平面 弯曲的单应性，并且“H_s”是用于源补片的相似构造的单应性。下式给 定这一单应性的逆单应性，该逆单应性将目标补片坐标映射到用于 逆弯曲的对应源目标坐标。

可以通过首先补偿用于补片的(在位置“t_c”和”s_c-f(t)”中考虑 的)绝对位置来分离出这些绝对位置。令“T_tc”是从目标补片位置“t_c” 到原点的平移矩阵(即平移了“-t_c”)，并且相似地令“T_sc”是从源补 片位置“s_c”到原点的平移矩阵(即平移了“-s_c”)。用于采样源补片的 逆弯曲然后由下式给定：

$w_{\mathrm{st}}^{-1}=T_{s_c}{H}_s{H}_t^{-1}{T}_{t_c}^{-1}$

直观的是在目标补片中迭代编索引的偏移。应用以上变换表达 式，使用将目标补片索引位置变换成绝对图像坐标，应用逆弯 曲以从绝对图像坐标向对应成像的表面上的本地平面坐标弯 曲。应用前向弯曲“H_s”以从成像的表面上的本地平面坐标弯曲以对 应于源补片的绝对图像坐标。然后使用“T_sc”将源补片的绝对图像坐 标平移回到源补片内的锚相对位置。

可以计算单应性“H_t”和“H_s”如下。为了计算将(存在于二维图 像坐标中的)补片映射到在图像表面的平面上的对应二维平面坐标 的单应性，定义如下。令“p＝(x，y)”是像素在图像中的位置并且 “P＝(P_x，P_y，P_z)”是在该像素位置所见的点的三维位置。“P”由以下表 达式给定：

$P=\frac{b}{D(x,y)}\left(\begin{array}{c}x-x_c\\ y-y_c\\ \mathrm{fh}\end{array}\right)$

其中“b”是相机基线间距，“f”是相机的焦距，“h”是在相机的图像平 面上的像素采样密度，并且“D(x，y)”同样是在位置(x，y)的视差。可以 进行假设光轴在图像的中心“x_c，y_c”并且像素纵横比为一。

令“N(p)”是使用向在点“p”周围的局部邻居——即在该点周围 的二维图像邻居中所见点的三维坐标——的加权最小平方拟合而计 算的平面的与在该点所见估计法线。这些点的权重基于在邻居与该 点之间的空间接近度和视差(以及可能是彩色)相似度。令“R”基于 局部平面坐标和与平面“N”的法线表示从平面到相机的旋转矩阵如 下：

R＝[e₁ e₂ e₃]

可以注意如果记这些矢量为“R”的行，则从相机到平面的现实旋转可 以用从平面到相机的旋转的这一旋转的逆(转置)旋转来获得。值 “e₃＝-N”和旋转矩阵的其它两个方向除了与“N”正交之外不受约束。 这与虚拟相机的平面内旋转相似。“e₂”的值可以被定义为由在目标和 源点的法线之间的重新归一化的叉积定义的“铰接”法线。按照正交 构造，“e₁＝e₂xe₃”。由于焦距、像素密度或者基线间距未知，所以 法线的相对“z”分量正确上至未知比例性常数“b f h”。

可以构造从“p”的成像的位置(x，y)到在“0”的局部平面表面映 射的单应性如下：

$H=\left(\begin{array}{ccc}\mathrm{fh}& 0& 0\\ 0& \mathrm{fh}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}{r}_{11}& r_{12}& {-P}_x\\ r_{21}& r_{22}& {-P}_y\\ r_{31}& r_{32}& -P_z\end{array}\right)$

其中“r_ij”是“R”的“第i、j个”元素。这一构造可以被用来通过使用“p＝ s_c”来计算“H_s”并且相似地通过使用“p＝t_c”来计算“H_t”。

可以通过替换来自以上表达式的“P”来扩展以上表达式，乘积 “fh”在矩阵“H”的除了最低行的前两个元素之外的每个元素中出现。 具体而言，进行这一替换并且提出因子“fh”给出：

$H=\mathrm{fh}\left(\begin{array}{ccc}{r}_{11}& r_{12}& \frac{b}{D(x,y)}(x-x_c)\\ r_{21}& r_{22}& \frac{b}{D(x,y)}(y-y_c)\\ \frac{r_{31}}{\mathrm{fh}}& \frac{r_{32}}{\mathrm{fh}}& \frac{b}{D(x,y)}\end{array}\right)$

因此，随着乘积“fh”变得合理地大，如用典型相机配置所做的那样， 所得单应性变成接近仿射，如同一个单应性的组成与另一单应性的 组成相逆一样。将所得组成“H”用它的仿射近似来近似可以被用来产 生与完全投影单应性相似的结果。

对于缩放和一般化单应性二者，可以仅基于如通过对应性视差 确定的场景几何来确定变换。因而不同于以上补片匹配算法，可以 避免在参数空间内的大量搜索。然而执行使用上两个章节的方式而 确定的初始变换的局部精化仍然可以是有用的。这可以使用在这些 变换的参数周围的范围的随机采样(或者如果足够小则均匀)来完 成。

对于缩放，可以探索缩放比，并且允许非方形纵横比以及独立 精化水平和竖直缩放也可以是有用的。这可以被用来处理沿着水平 和/或竖直后退平面的略微透视缩短而增加在使用一般化单应性时的 稳健性。对于一般化单应性，八个自由参数中的每个自由参数无需 视为独立。由于基于表面法线计算单应性，所以可以调整这些可能 法线。另外，保持目标补片的法线固定并且探索用于源补片的空间 发现可以就足够了。同样对于这些变换二者，可以对于与原始估计 接近的参数空间而不是可能参数/变换的完全空间执行搜索。

如以上所言，被用来在透视投影之下将源映射到目标补片的单 应性可以由给定的仿射变换接近地近似。这提示如果使用场景几何 来接近地比例参数，则也可以通过迭代(梯度下降)精化来发现其 它参数的集合。

为了执行迭代精化，首先初始化变换矩阵“A”，从而可以表达 “${w_{\mathrm{st}}}^{-1}=A$”如下：

$A=\left[\frac{D_s}{D_t}\right]$

可以通过考虑这里和在以上一般化补片匹配算法中二者如何 执行NNF传播来以与内容感知填充相似的方式执行空间相干性加 权。在普通内容认知填充中，通过对如下邻居“c”的数目进行计数来 执行空间相干性加权，这些邻居的NNF条目与“t_c”的NNF条目加上 “t_c”与该邻居之间的偏移匹配。然后将单调递增函数“F(c)”应用于它， 这可以表达如下：

$\mathrm{weight}\left(t\right)=F\left(\underset{n\in N\left(t_c\right)}{\Sigma }\delta \left(\right||f\left(t_c\right)-f\left(n\right)-(t_c-n)|\left|\right)\right)$

其中“δ(x)”是迪拉克增量(Dirac delta)函数，其中如果“x＝0”则 “δ(x)＝1”，否则为“0”。扩展这一点以支持使用弯曲的补片可以表 达如下：

$\mathrm{weinght}\left(t\right)=F\left(\underset{n\in N\left(t_c\right)}{\Sigma }{e}^{-\left|\right|f\left(t_c\right)-f\left(n\right)-\left(w_{\mathrm{st}}^{-1}(t_c-n)\right))\left|\right|}\right)$

注意如果“w_st”是身份变换并且用“δ”替换负指数，则用于弯曲的补片 的上式化简成不弯曲示例。

在目标区域填充中包括变换的示例结果

分别在图18-25的示例1800、1900、2000、2100、2200、2300、 2400、2500中示出以上变换表达式的结果的示例。如图18中所示， 图示图14和17中所示去除书本的结果，这些结果包括再现在书本 下面的木材颗粒。注意在适当缩放纹理之时跟随木材颗粒的方向从 而提供信服结果。如图18中所示，也比较示出不包括变换的结果。

补片匹配算法虽然不以立体一致方式补全两个图像、但是正确 跟随纹理的方向。这是因为它可以从在蒙版以外的源补片自由地绘 制。然而它无深度或者缩放概念、因此例如从更远补片复制更小比 例的纹理，这在不重新缩放时在目标区域中看来错位。

在相反极端，以上描述的算法在无变换(例如缩放)时——仅 使被用来自与相应目标补片相同的深度的未缩放补片——产生适当 缩放的纹理。然而优选在与相应目标补片相同的深度的源补片减少 用于算法从其绘制的可能源补片并且减少结果的合理性。在这一情 况下，由于待填充的平面竖直地后退，所以算法从源区域向目标的 左和右侧绘制相同深度的补片。由于这些区域有限，所以这造成这 些有限纹理在填充的区域中的不合需要的大量重复。然而对于允许 搜寻和混合源补片的变换示例，可以适当缩放补片以与目标区域的 深度匹配，这可以克服这些其它限制。

图17中的在“c”的可视化示出向目标区域中混合的源补片的相 对比例。这里深灰指示上采样，浅灰指示下采样，并且中等灰(值 为128)指示无采样。关于在可视化中呈现的比例将注意若干事项。 第一，算法从它可以的相同比例(比如在目标区域的左侧)绘制。 第二，从目标区域的边缘移向它的中心一般增加上或者下采样数量。

由于图像为平面并且在斜面上，所以朝着目标区域的中心的目 标补片具有从在边缘的目标补片(尤其与倾斜方向平行)越来越发 散。由于在用于算法从其绘制的相同深度(即在目标区域的左和右 侧)有很少到无纹理，所以它被迫从不同深度从缩放增加的纹理绘 制。也注意算法具体在目标区域的中心比上采样有更多下采样。这 归因于使用优先避免模糊或者洗掉的结果。因此，算法沿着目标区 域的其中相对比例接近一的顶部边缘上采样纹理从而引起略微惩 罚。最后，补片匹配算法的性质简单地引起补片状态、即缺乏比例 平滑过渡。在搜索阶段中向邻居传播良好匹配时传递平移和比例二 者。

在图19的示例1900中，沿着大砖墙壁去除窗。注意墙壁的纹 理具有强方向和强图案二者。此外，由于图像的透视，砖的水平线 条从左向右发散，因此有用于算法从其绘制的正确定向的受限纹理。 无论如何，变换技术可以被用来以视觉上合意的方式补全纹理而砖 的直线有略微弯曲。

同样，在选项“d”的补片匹配算法和在选项“e”的来自以上的深 度受限算法二者在这一示例中也不执行。补片匹配算法(同前)跟 随纹理的方向、但是同样遭受不能缩放纹理以更好地与目标区域相 配。这样，它尝试合并大的源材料区域而每个区域具有纹理的线条 的略微不同定向和间隔。

深度受限算法相当更好，因为它紧接在目标区域周围具有从其 绘制的充足源材料。然而由于纹理的发散性质，它具有正确定向的 很少到没有源材料。这样，有在如下边界上引入的若干不连续和略 微弯曲走样，它在这些边界上混合更大的源材料区域(参见目标区 域的右侧)。也注意目标区域的左上部。由于算法受深度限制，所 以它没有不比恰在目标区域上方的源材料更好的从其绘制的相似颜 色的源材料。这驱使算法继续向填充的区域中向下继续竖线条从而 造成有限纹理向填充的区域中的大量重复。同样由于扩展以上描述 的变换技术以搜寻和混合被缩放以与目标区域的深度匹配的源补 片，所以可以克服这些其它限制。

在图20的示例2000中，使用以上描述的涂鸦去除模式来去除 砖墙壁上的阴影。注意这一图像集合具有待补全的区域中的比先前 示例更严重的散发线条。也注意纹理的高频。这两个方面使这成为 难以补全的图像。具体而言，后一方面使填充中的任何不一致直接 地对于查看者明显。也就是说，变换技术产生良好结果，该结果具 有朝着目标区域的顶部的略微弯曲。

对于这一示例，在选项“d”的补片匹配和在选项“e”的深度受限 算法二者难以解决墙壁上的砖纹理的强有向发散性质。具体而言， 二者向并非正确定向的目标区域中绘制纹理从而在砖图案中引起可 见弯曲和不一致、即线条中的间断。对于补片匹配算法，这是因为 它未适当缩放源补片。对于深度受限算法，这是因为它没有如下纹 理，这些纹理具有正确定向，该定向具有与目标区域相似的深度。 变换技术更好地能够通过从图像的不同区域绘制并且适当缩放来自 这些区域的纹理来处理纹理的强有向发散性质。

图21和22的示例2100、2200示出变换技术的附加结果。在 图21中，去除订书机并且在下面补全纹理。在图22中，从图像的 最前部去除扩散和金属球。这两个结果较好而在目标区域中仅有略 微不一致或者弯曲。然而这些结果包括较其它技术而言的略微改进， 因为在相同深度或者周围有用于从其绘制的大量内容。

图23、24和25示出用变换运行的从深度受限算法绘制的示例 2300、2400、2500。在这些示例中，分别去除植物、篮框和泰迪熊。 如在每幅图的比较中所示，变换技术产生如果非更好则至少与深度 受限算法一样好的结果(c)，因为引入深度适当缩放的源补片不限 制变换技术绘制未缩放源补片。

应当注意在图24的泰迪熊示例2400中，以比在来自在选项“b” 的深度受限算法的结果中更视觉合意的方式再现鸟舍上的屋顶的结 构。在视差图中的略微模糊造成初始不良补全，这允许深度受限算 法继续鸟舍的屋顶。由于变换技术不深度受限，所以这些技术不像 在视差图中的模糊一样脆弱并且这样不在视差图的限制以外继续乌 舍的屋顶。

也应当注意在距离度量中添加梯度项已经驱使其它附加改进 中的一些改进。具体而言，这在图23和24中是明显的。在图23中， 在去除植物时，屋顶的线条沿着谷仓的前面示出更好补全。在图25 中，在去除篮框时，通过继续在屋顶的亮与暗部分之间的线条来补 全屋顶纹理，而其它结果未补全。

这一讨论描述如下技术，这些技术可以用来扩展深度受限、正 面平行、立体认知、补片匹配算法以能够搜寻和混合被适当缩放以 与目标区域的深度匹配的源补片。向距离度量引入成本项以向非缩 放和下采样的源补片给予优先以及并入基于梯度的距离项以更好地 补全目标区域中的边缘。这些扩展的结果仍然示范补全的区域的立 体一致性以及扩展算法可以用视觉合意方式补全的图像类。

在以上示例中，假设补片面向前。这可以限制算法的用于在从 场景中的其它非平行平面绘制时准确地再现平面上的纹理的能力。 然而由于可以确定立体图像中的场景的相对3D结构(上至某个未知 比例因子)，所以可以近似场景中的表面的法线。这些法线让它们 本身适用于计算补片到补片单应性变换并且可以被用来进一步扩展 算法可以从其绘制的潜在源图片。这一扩展的示例可以涉及到变换 在大楼的一侧上的纹理(根据场景的3D结构)以与在另一侧(即大 楼的拐角)上的目标区域相配。

示例过程

以下讨论可以利用先前描述的系统和设备来实施的目标区域 填充技术的示例过程。可以在硬件、固件或者软件或者其组合中实 施过程中的每个过程的方面。过程被示出为对一个或者多个设备执 行的操作进行指定的块集合而不必限于示出的用于相应块执行操作 的顺序。在以下讨论的部分中，将参照图1-7和9-24。

图7描绘一个示例实现方式中的过程700，在该过程中，使用 视差以指导将被用来填充图像的目标区域的至少一部分的变换。标 识将被用来填充场景的图像中的目标区域的补片(块702)。例如， 可以在图像中执行搜索寻找如以上描述的可以被用来填充目标区域 的部分、比如通过对象去除而形成的空洞的源补片。

使用场景的深度信息来指导将向补片应用的变换(块704)。 可以运用多种不同变换、比如可以包括向上和向下的缩放。也可以 如以上描述的那样执行统一和非统一缩放。

使用经变换的补片来填充图像中的目标区域的至少一部分(块 706)。经变换的补片如图16-25中所示因此可以具有被缩放以与目 标区域的比例近似的纹理、由此以视觉合意方式补全目标区域。

图8描绘一个示例实现方式中的过程800，在该过程中使用视 差以指导将被用来填充图像的目标区域的至少一部分的变换。使用 根据立体图像计算的视差来计算场景的深度信息(块802)。如以上 所言，可以利用视差以计算可被用来标识场景的三维结构的深度信 息。

使用至少部分基于计算的深度信息变换的补片来填充立体图 像中的一个或者多个立体图像中的目标区域的至少一部分(块804)。 可以例如利用深度信息以计算可以包括非统一比例的比例，从而解 决图像中的对象的透视缩短。也设想多种其它示例而不脱离其精神 实质和范围。

示例系统和设备

图26主要在2600图示示例系统，该示例系统包括代表可以实 施这里描述的各种技术的一个或者多个计算系统和/或设备的示例计 算设备2602。通过包括图像处理模块118来图示这一点，该图像处 理模块可以被配置用于处理图像数据(比如由图像捕获设备104捕 获的图像数据)。计算设备2602可以例如是服务器提供商的服务器、 与客户端关联的设备(例如客户端设备)、片上系统和/或任何其它 适当计算设备或者计算系统。

示例计算设备2602如图所示包括相互通信地耦合的处理系统 2604、一个或者多个计算机可读介质2606和一个或者多个I/O接口 2608。虽然未示出，但是计算设备2602还可以包括相互耦合各种部 件的系统总线或者其它数据和命令传送系统。系统总线可以包括不 同总线结构、比如存储器总线或者存储器控制器、外围总线、通用 串行总线和/或利用多种总线架构中的任何总线架构的处理器或者本 地总线中的任何总线结构或者组合。也设想多种其它示例、比如控 制和数据线。

处理系统2604代表用于使用硬件来执行一个或者多个操作的 功能。因而图示处理系统2604为包括可以配置为处理器、功能块等 的硬件单元2610。这可以包括在硬件、比如专用集成电路或者使用 一个或者多个半导体而形成的其它逻辑器件中实施。硬件单元2610 不受形成它们的材料或者其中运用的处理机制限制。例如，处理器 可以包括半导体和/或晶体管(例如电子集成电路(IC))。在这样 的上下文中，处理器可执行指令可以是电子可执行指令。

图示计算机可读存储介质2606为包括存储器/存储装置2612。 存储器/存储装置2612代表与一个或者多个计算机可读介质关联的 存储器/存储容量。存储器/存储装置2612可以包括易失性介质(比 如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器 (ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置2612 可以包括固定介质(例如RAM、ROM、固定硬驱动等)以及可拆卸 介质(例如闪速存储器、可拆卸硬驱动、光盘等)。可以用如以下 进一步描述的多种其它方式配置计算机可读介质2606。

输入/输出接口2608代表用于允许用户向计算设备2602录入 命令和信息并且也允许向用户呈现信息的功能和/或使用各种输入/ 输出设备的其它部件或者设备。输入设备的示例包括键盘、光标控 制设备(例如鼠标)、麦克风、扫描仪、触摸功能(例如被配置用 于检测物理触摸的电容式或者其它传感器)、相机(例如该相机可 以运用可见光或者不可见光波长(比如红外线频率)以将移动识别 为不涉及到触摸的手势)等。输出设备的示例包括显示设备(例如 监视器或者投影仪)、扬声器、打印机、网卡、触觉-响应设备等。 因此，可以用如以下进一步描述的多种方式配置计算设备2602以支 持用户交互。

这里可以在软件、硬件单元或者程序模块的一般背景中描述各 种技术。一般而言，这样的模块包括执行特定任务或者实施特定抽 象数据类型的例程、程序、对象、单元、部件、数据结构等。如这 里所用术语“模块”、“功能”和“部件”一般代表软件、固件、硬件或者 其组合。这里描述的技术的特征独立于平台，这意味着可以在具有 多种处理器的多种商用计算平台上实施技术。

可以在某个形式的计算机可读介质上存储或者跨该计算机可 读介质传输描述的模块和技术的一个实施例。计算机可读介质可以 包括计算设备2602可以访问的多种介质。举例而言而无限制，计算 机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介 质”。

“计算机可读存储介质”可以是指与仅信号传输、载波或者信号 本身对照实现持久和/或非瞬态存储信息的介质和/或设备。因此，计 算机可读存储不包括信号本身或者信号承载介质。计算机可读存储 介质包括硬件、比如在适合用于存储信息、比如计算机可读指令、 数据结构、程序模块、逻辑元件/电路或者其它数据的方法或者技术 中实施的易失性和非易失性、可拆卸和非可拆卸介质和/或存储设备。 计算机可读存储介质的示例可以包括但不限于RAM、ROM、 EEPROM、闪速存储器或者其它存储器技术、CD-ROM、数字万用 盘(DVD)或者其它光存储、硬盘、磁盒、磁带、磁盘存储装置或 者其它磁存储设备或者适合被用来存储希望的信息并且可以由计算 机访问的其它存储设备、有形介质或者制造品。

“计算机可读信号介质”是指被配置用于比如经由网络向计算 设备2602的硬件传输指令的信号承载介质。信号介质通常可以在调 制的数据信号、比如载波、数据信号或者其它传送机制中体现计算 机可读指令、数据结构、程序模块或者其它数据。信号介质还包括 任何信息递送介质。术语“调制的数据信号”意味着如下信号，该信 号让它的特性中的一个或者多个特性以对信号中的信息进行编码这 样的方式来设置或者改变。举例而言而非限制，通信介质包括有线 介质如有线网络或者直接有线连接和无线介质如声学、RF、红外线 和其它无线介质。

如先前描述的那样，硬件单元2610和计算机可读介质2606代 表以如下硬件形式实施的模块、可编程逻辑器件和/或固定器件逻辑， 可以在一些实施例中运用该硬件形式以实施这里描述的技术的至少 一些方面、比如执行一个或者多个指令。硬件可以包括集成电路或 者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中 的其它实现方式。在本文中，硬件可以作为处理设备操作，该处理 设备执行指令定义的程序任务和/或硬件体现的逻辑以及被用来存储 用于执行的指令的硬件、例如先前描述的计算机可读存储介质。

可以运用前述各项的组合以实施这里描述的各种技术。因而可 以实施软件、硬件或者可执行模块为在某个形式的计算机可读存储 介质上和/或由一个或者多个硬件单元2610体现的一个或者多个指 令和/或逻辑。计算设备2602可以被配置用于实施与软件和/或硬件 模块对应的特定指令和/或功能。因而，可以至少部分在硬件中、例 如通过使用计算机可读存储介质和/或处理系统2604的硬件单元 2610来实现作为软件可由计算设备2602执行的模块的实现方式。指 令和/或功能可由一个或者多个制造品(例如一个或者多个计算设备 2602和/或处理系统2604)可执行/可操作以实施这里描述的技术、 模块和示例。

这里描述的技术可以由计算设备2602的各种配置支持而不限 于这里描述的技术的具体示例。也可以全部或者部分通过使用分布 式系统、比如如以下描述的那样经由平台2616通过“云端”2614实施 这一功能。

云端2614包括和/或代表用于资源2618的平台2616。平台2616 抽象化云端2614的硬件(例如服务器)和软件资源的下层功能。资 源2618可以包括可以在从计算设备2602远离的服务器上执行计算 机处理之时利用的应用和/或数据。资源2618也可以包括通过因特网 和/或通过用户网络、比如蜂窝或者Wi-Fi网络提供的服务。

平台2616可以抽象化用于连接计算设备2602与其它计算设备 的资源和功能。平台2616也可以服务于抽象化资源伸缩以提供与对 于经由平台2616实施的资源2618的所遇需求对应的规模级别。因 而在一个互连设备实施例中，可以遍布系统2600分布这里描述的功 能的实现方式。例如，可以部分在计算设备2602上以及经由抽象化 云端2614的功能的平台2616实施功能。

结论

虽然已经用结构特征和/或方法动作特有的言语描述本发明， 但是将理解在所附权利要求中定义的本发明不必限于描述的具体特 征或者动作。实际上，公开具体特征和动作作为实施要求保护的本 发明的示例形式。