用于增强现实应用程序的装置和方法

摘要

在一特定实施例中，一种方法包含在移动装置处评估第一像素区域以产生第一结果。所述方法进一步包含在所述移动装置处评估第二像素区域以产生第二结果。基于将阈值和所述第一结果与所述第二结果之间的差异进行比较，做出所述第二像素区域对应于场景的背景部分或所述场景的前景部分的确定。

说明书

相关申请案的交叉参考

本申请案主张2012年9月11日申请且标题为“用于移动装置的增强现实应用程 序的装置和方法”的第61/699,615号美国临时专利申请案的优先权，且主张2012年10 月12日申请且标题为“用于增强现实应用程序的装置和方法”的第13/651,098号美国 非临时专利申请案的优先权，以上申请案每一者的内容以全文引用方式并入本文。

技术领域

本发明大体上涉及用于移动装置的增强现实应用程序。

背景技术

技术的进步已导致较小且较强大的计算装置。举例来说，当前存在多种便携式个 人计算装置，包含无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装 置，其体积小、重量轻且易于由用户携带。更具体来说，例如蜂窝电话和因特网协议 (IP)电话等便携式无线电话可经由无线网络传送语音和数据包。此外，许多此类无线电 话包含并入其中的其它类型的装置。举例来说，无线电话还可包含数字静态相机、数 码摄像机、数字记录器，和音频文件播放器。而且，此类无线电话可处理可执行指 令，包含软件应用程序，例如可用以接入网络的网络浏览器应用程序。由此，这些无 线电话可包含大量计算能力。

一些电子装置使用增强现实应用程序来将计算机生成的图像添加到基于现实的图 像或视频。举例来说，当移动装置的相机指向目标区域时，游戏可能在移动装置的显 示器上再生目标区域的图像，同时通过添加计算机生成的“虚拟的”对象而增强所述 图像。此类应用程序可消耗电子装置的大量处理资源且可对用户与所述虚拟对象之间 的交互的检测带来挑战。

一些电子装置利用“标记”来实现位置检测。举例来说，移动装置的用户可打印 具有可由移动装置的应用程序辨识的大小和模式的图像。当移动装置的相机指向标记 时，应用程序可“查看”所述标记来估计所述标记与移动装置之间的距离。然而，使 用此类标记对于用户来说可为不方便的且令人讨厌的。另外，因为在正处理应用程序 时移动装置可能相对于标记移动，所以移动装置可需要重复地再评估所述标记来再估 计地面或其它表面的位置。

发明内容

根据本发明的移动装置可利用一或多种技术来实现增强现实应用程序的高效处 理。在至少一些实施例中，所述一或多种技术实现用户与“虚拟对象”之间的交互而 无需利用标记。举例来说，移动装置可使用积分图像技术来对与待显示图像相关联的 背景进行有效分段(例如，减去)。作为另一实例，移动装置可利用传感器数据来确定地 表面相对于移动装置的位置，因此实现虚拟对象在地表面上的放置而无需使用标记。 作为另一实例，移动装置可使用立体相机来确定与所关注场景相关联的深度信息(例 如，深度分布)。所述深度信息可用以确定虚拟对象的位置(例如，虚拟对象是否在前景 对象的前方显示或由前景对象遮挡)。

在一特定实施例中，方法包含在移动装置处评估第一像素区域以产生第一结果。 所述方法进一步包含在所述移动装置处评估第二像素区域以产生第二结果。基于将阈 值和所述第一结果与所述第二结果之间的差异进行比较，做出所述第二像素区域对应 于场景的背景部分或所述场景的前景部分的确定。

在另一特定实施例中，移动装置包含评估器，其经配置以评估第一像素区域以产 生第一结果。所述评估器进一步经配置以评估第二像素区域以产生第二结果。所述移 动装置进一步包含经配置以基于将阈值和所述第一结果与所述第二结果之间的差异进 行比较而确定第二像素区域对应于场景的背景部分或所述场景的前景部分的逻辑。

在另一特定实施例中，移动装置包含用于评估第一像素区域以产生第一结果且进 一步用于评估第二像素区域以产生第二结果的装置。所述移动装置进一步包含用于基 于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区 域对应于场景的背景部分或所述场景的前景部分的装置。

在另一特定实施例中，计算机可读非暂时性媒体存储指令，所述指令可由移动装 置的处理器执行以在所述移动装置处评估第一像素区域以产生第一结果且在所述移动 装置处评估第二像素区域以产生第二结果。所述指令进一步可由所述处理器执行以基 于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区 域对应于场景的背景部分或所述场景的前景部分。

在另一特定实施例中，方法包含使用移动装置的传感器确定所述移动装置的纵向 范围相对于地表面的角度。所述方法进一步包含估计相对于所述地表面的第一距离。 所述第一距离与从所述移动装置的中心到所述地表面的第一投影相关联，其中所述第 一投影垂直于所述移动装置的所述纵向范围。基于所述角度和所述第一距离估计第二 距离。所述第二距离与从所述移动装置的中心到地表面的第二投影相关联，其中所述 第二投影垂直于所述地表面。

在另一特定实施例中，移动装置包含经配置以确定所述移动装置的纵向范围相对 于地表面的角度的传感器。所述移动装置进一步包含估计器。所述估计器估计与从所 述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂 直于所述移动装置的所述纵向范围。所述估计器进一步基于所述角度和第一距离估计 与从所述移动装置的中心到地表面的第二投影相关联的第二距离。所述第二投影垂直 于地表面。

在另一特定实施例中，移动装置包含用于确定所述移动装置的纵向范围相对于地 表面的角度的装置。所述移动装置进一步包含用于估计第一距离且用于基于所述角度 和第一距离估计第二距离的装置。所述第一距离与从所述移动装置的中心到所述地表 面的第一投影相关联，其中所述第一投影垂直于所述移动装置的所述纵向范围。所述 第二距离与从所述移动装置的中心到地表面的第二投影相关联。所述第二投影垂直于 地表面。

在一特定实施例中，计算机可读非暂时性媒体存储指令，所述指令可由移动装置 的处理器执行以使用所述移动装置的传感器确定所述移动装置的纵向范围相对于地表 面的角度。所述指令进一步可由所述处理器执行以估计第一距离且基于所述角度和第 一距离估计第二距离。所述第一距离与从所述移动装置的中心到所述地表面的第一投 影相关联，其中所述第一投影垂直于所述移动装置的所述纵向范围。所述第二距离与 从所述移动装置的中心到地表面的第二投影相关联。所述第二投影垂直于地表面。

由所揭示的实施例中的至少一者提供的一个特定优点是图像的前景和背景部分的 高效识别。举例来说，根据至少一个说明性实施例，移动装置使用像素强度求和技 术，例如积分图像技术，来有效识别图像的前景和背景部分。此外，所揭示的实施例 中的至少一些使得能够使用并不需要使用标记的增强现实应用程序，进而使所述增强 现实应用程序对于用户更方便。

本发明的其它方面、优点和特征将在审阅全部申请案之后变得显而易见，所述全 部申请案包含以下部分：附图说明、具体实施方式和权利要求书。

附图说明

图1是场景和用以产生所述场景的图像的移动装置的特定实施例的图；

图2A是图1的移动装置的特定实施例的框图；

图2B是图1的移动装置的另一特定实施例的框图；

图2C是图1的移动装置的另一特定实施例的框图；

图3A是图1和2A到2C中的一或多者或其组合的移动装置的操作方法的特定实 施例的流程图；

图3B是图1和2A到2C中的一或多者或其组合的移动装置的操作方法的另一特 定实施例的流程图；

图4是用以估计地表面的位置的移动装置的特定实施例的框图；

图5是图1、2A到2C和4中的一或多者或其组合的移动装置的操作方法的特定实 施例的流程图；

图6是基于与立体相机数据相关联的深度分布产生图像的移动装置的特定实施例 的框图；

图7是说明基于立体相机数据增加图6的图像的一部分的分辨率的特定实例的框 图；

图8是例如图1、2A到2C、4和6中的一或多者或其组合的移动装置等移动装置 的操作方法的特定实施例的流程图；以及

图9是例如图1、2A到2C、4和6中的一或多者或其组合的移动装置等移动装置 的特定实施例的框图。

具体实施方式

图1描绘移动装置104和场景108的特定说明性实施例。在图1的特定实例中， 移动装置104包含相机110、评估器120、背景/前景分析器140和显示器150。场景 108可包含背景对象160、前景对象170和位置180。所述位置180可对应于将例如结 合增强现实应用程序在显示器150处显示的虚拟对象，如下文中参考显示器150的操 作进一步描述。举例来说，显示器150可显示对应于场景108的图像152。

在操作中，相机110可俘获场景108的图像。举例来说，相机110可在第一时间 产生第一像素区域112(例如，多个像素，例如矩阵或表)。作为另一实例，相机110可 在与第一时间不同的时间(例如，在第一时间之后的第二时间)产生第二像素区域114。 第一像素区域112可与在第一时间移动装置104和场景108的定向(例如，定位)相关 联。第二像素区域114可与在第二时间移动装置104和场景108的定向(例如，定位)相 关联。在至少一个实施例中，像素区域112、114各自用以确定图像152的对应于背景 对象160的背景部分，如下文中参考至少图2A进一步描述。在至少另一实施例中，像 素区域112、114中的一或多者用以确定图像152的对应于前景对象170的前景部分， 如下文中参考至少图2B和2C进一步描述。

评估器120可根据一操作而评估第一像素区域112以产生第一结果122。在至少一 个实施例中，所述操作是对第一像素区域112的像素强度进行求和的像素强度求和操 作。举例来说，所述操作可为积分图像操作(也被称作求和区域操作)且第一结果122可 为与第一像素区域112相关联的积分图像(也被称作求和区域表)。在第一像素区域112 的位置(m，n)处的积分图像可为：

$\underset{x\le m;y\le n}{\Sigma }I(x,y),$

其中I(x，y)是第一像素区域112中具有位置(x，y)的像素强度值。因此，积分图像 操作可产生多个值(例如，表)，其中每一值具有对应于第一像素区域112的特定像素的 位置且指示第一像素区域112的在所述特定像素的“左上方”(包含所述特定像素)的那 些像素强度值的总和。为进一步图解说明，进一步参考图2A到2C描述特定积分图像 操作的实例。评估器120还可根据所述操作评估第二像素区域114以产生第二结果 124。第二结果124可为与第二像素区域114相关联的积分图像。

背景/前景分析器140可响应于评估器120。在一特定实施例中，背景/前景分析器 140将例如结果122、124等结果进行比较以产生图像152的背景部分和图像152的前 景部分中的一或多者。举例来说，背景/前景分析器140可比较结果122、124以确定结 果122、124之间的差异。在至少一个实施例中，背景/前景分析器140比较所述差异与 阈值(例如，预定阈值)以确定结果124是否对应于背景对象160和前景对象170中的一 或多者。在至少一个实施例中，使用的阈值是百分比(例如，结果122、124之间的百分 比差异)。

背景/前景分析器140使用的阈值可通过特定上下文和应用程序确定(例如，可以实 验方式确定)。在至少一个实施例中，所述阈值相对于正俘获的图像是“自适应的”。 举例来说，当背景和前景较为不同时(例如，当前景和背景是不同颜色时)，则可增加阈 值。当背景和前景较少不同时(例如，当背景和前景是相似颜色时)，则可减少所述阈 值。在特定说明性实施例中，所述阈值是“最小”值与“最大”值之间的变量，例如1 与255之间(例如，所述阈值可设定成20)。因此，背景/前景分析器140可跟踪前景与 背景之间的差异且相应地调整阈值。背景/前景分析器140还可利用多个阈值，例如用 于确定图像152的背景部分的第一或“背景”阈值和用于确定图像152的前景部分的 第二或“前景”阈值，如进一步参考图2A到2C所描述。

为了借助于特定实例进一步图解说明，如果在第一时间第一像素区域112对应于 场景108的第一区(例如，由相机110俘获的图像的多个区中的一者)且在第二时间第二 像素区域114对应于场景的第一区，那么如果所述差异经确定为低(例如，不超过阈 值)，则所述场景的第一区可经确定为在第一时间与第二时间之间相对静止或稳定。场 景108的第一区可为所俘获图像的选定部分，且可在操作期间改变所述选定部分以评 估所俘获图像的每一部分。因此，所述第一区可经识别为场景108的背景部分(例如， 背景对象160的一部分)。此类静止对象的实例可为图1中所描绘的太阳。如果所述差 异经确定为高(例如，超过阈值)，那么场景108的第一区可经确定为在第一时间与第二 时间之间已移动或改变。因此，第一区可经识别为场景108的前景部分(例如，前景对 象170的一部分)。参与“虚拟足球”游戏(例如，结合增强现实游戏)的用户是其中前 景对象可展现可能超过阈值的移动的应用程序的实例。

参考所述第一区描述的用来识别图像的前景和背景部分的前述技术也可以串行或 并行地应用于场景的一或多个额外区，以识别整个场景的前景和背景部分。在至少一 个实施例中，场景108的所俘获图像的每一区可与场景108的至少一个先前所俘获图 像的对应区进行比较，以便识别所俘获图像的背景和/或前景部分。

显示器150可响应于背景/前景分析器140以显示图像152。图像152可对应于场 景108。举例来说，在图1的特定图示中，图像152包含对应于背景对象160的背景部 分(即，太阳)、对应于前景对象170的前景部分(即，用户)和对应于位置180的虚拟对 象(即，结合例如游戏等增强现实应用程序产生的球)。参考图2A到2C进一步描述移 动装置104的实例操作。

将了解，参考图1描述的前述技术可实现用于移动装置104的简化背景/前景分 析。举例来说，可基于图像的区中像素强度的改变程度而确定对象运动。通过使用以 上方法，移动装置104可避免在移动装置104正处于运动中且处理增强现实应用程序 时重复地再评估定向和位置数据。因此，改善了背景/前景分析的计算效率。

图2A描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1描述图 2A的移动装置104的各种组件和功能性。举例来说，图2A的移动装置104可包含相 机110、评估器120、背景/前景分析器140和显示器150。在图2A的特定实例中，评 估器120包含用来执行例如积分图像操作等操作的电路204，如下文进一步解释。此 外，在图2A的特定实例中，背景/前景分析器140包含比较电路130，其可经配置以基 于比较逐次积分图像与背景阈值之间的至少一个差异而确定背景模型212，如下文进一 步解释。

在操作中，评估器120可响应于各自由相机110产生的第一像素区域112A和第二 像素区域114A。举例来说，电路204可基于像素区域112A、114A而执行操作以分别 产生第一结果122A和第二结果124A。在至少一个实施例中，像素区域112A、114A 和结果122A、124A分别对应于图1的像素区域112、114和结果122、124。在至少一 个实施例中，由电路204执行的操作是积分图像操作，第一结果122A是与第一像素区 域112A相关联的积分图像，且第二结果124A是与第二像素区域114A相关联的积分 图像。为了说明，如果第一像素区域112A由像素强度值矩阵表示，那么在第一像素区 域112A的位置(m，n)处的积分图像是

$\underset{x\le m;y\le n}{\Sigma }I(x,y),$

其中I(x，y)是在所述像素强度值矩阵中具有位置(x，y)的像素强度值。举例来说， 对于输入到电路204的像素强度值矩阵

3 5 1

1 2 1

4 2 4

电路204可确定对应积分图像为：

3 8 9

4 11 13

8 17 23

在至少一个实施例中，背景/前景分析器140响应于由电路204输出的结果(例如， 结果122A、124A)以产生背景模型212。根据一个实例，比较电路130可确定结果 122A、124A之间的差异。如果所述差异并不超过与确定背景模型相关联的阈值(即， “背景阈值”)，那么可做出像素区域112A、114A表示场景的大体上“稳定”或“稳 固”图像(例如，图1的场景108的背景对象160)的确定。在获取所述大体上“稳定” 或“稳固”图像后，即刻可使用像素区域112A、114A和结果122A、124A中的一或多 者来构造背景模型212，以使用背景模型212在显示器150处再现背景部分(例如，结 合增强现实应用程序)，或其组合。

在至少一个实施例中，背景模型212存储在移动装置104处(例如，由背景/前景分 析器140存储，如图2A的实例中所描绘)且在后续计算中使用，如进一步参考至少图 2B和2C所描述。举例来说，结果124A可存储在移动装置104处(例如，作为例如背 景模型212等背景模型的部分)且用以确定图像的前景部分，如进一步参考至少图2B 和2C所描述。根据进一步实施例，背景模型可由例如图2A的移动装置104等移动装 置发送和接收。根据再进一步实施例，可替代地或除前述技术之外，背景模型可基于 “用户指定”技术而产生，如进一步参考图8所描述。

如果所述差异超过所述阈值，那么可做出像素区域112A、114A并不表示场景的大 体上“稳定”或“稳固”图像的确定，且可俘获场景的额外图像(例如，通过将信号发 送到相机110或与相机110相关联的相机控制器，如进一步参考图9所描述)，且分析 所述额外图像直到获得大体上“稳定”或“稳固”像素集合(例如，背景模型)为止。

在特定实施例中，响应于背景/前景分析器140确定所述差异大于或等于阈值，背 景/前景分析器140可确定第二像素区域114A对应于前景部分。进一步参考至少图2B 和2C描述前景部分的确定。

将了解，参考图2A描述的积分图像技术是计算上稳健的且可实现用于移动装置 104的简化背景/前景分析。举例来说，可基于图像的区中像素强度的改变程度(例如， 所述改变程度是否超过阈值)而非基于标记的位置和定位来确定对象运动。因为图2A 的移动装置104可避免在移动装置处于运动中且正处理增强现实应用程序时重复地再 评估标记的定向和位置，所以可减少产生背景模型212的计算复杂性。

图2B描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1和2A 描述图2B的移动装置104的各种组件和功能性。举例来说，图2B的移动装置104可 包含相机110、评估器120、背景/前景分析器140和显示器150。在图2B的特定实例 中，评估器120包含图2A的电路204。此外，在图2B的特定实例中，背景/前景分析 器140包含图2A的比较电路130，其可经配置以通过比较积分图像与背景模型之间的 差异与前景阈值而确定前景/背景部分，如下文进一步解释。

在操作中，评估器120可响应于各自由相机110产生的第一像素区域112B和第二 像素区域114B。举例来说，电路204可基于像素区域112B、114B而执行操作以分别产 生第一结果122B和第二结果124B。在至少一个实施例中，像素区域112B、114B和结 果122B、124B分别对应于图1的像素区域112、114和结果122、124。在至少一个实施 例中，由电路204执行的操作是积分图像操作，第一结果122B是与第一像素区域112B 相关联的积分图像，且第二结果124B是与第二像素区域114B相关联的积分图像。

在至少一个实施例中，图2B的比较电路130经配置以比较操作的结果(例如，结 果122B、124B)与背景模型212以确定前景模型。举例来说，根据特定说明性实施 例，比较电路130可比较第一结果122B与背景模型212(或背景模型212的一部分)以 确定第一差异(例如，两个图像积分之间的差异)。如果所述第一差异并不超过与前景模 型相关联的阈值(即，“前景阈值”)，那么背景/前景分析器140可基于所述第一差异 确定第一结果122B并不对应于场景的前景部分(例如，图1的场景108的前景对象 170，或其一部分)。也就是说，因为所述第一差异指示第一结果122B“相似”于或大 体上“匹配”背景模型212，所以背景/前景分析器140可确定第一像素区域112B并不 对应于场景的前景对象(例如，并不对应于“动态”对象，例如在运动中的用户，或其 一部分)。

继续前述实例，响应于确定第一结果122B并不超过前景阈值，背景/前景分析器 140可致使相机110俘获第二像素区域114B。比较电路可响应于由电路204基于第二 像素区域114B产生的第二结果124B。比较电路140可比较第二结果124B与背景模型 212以产生第二差异。如果所述第二差异超过前景阈值，那么背景/前景分析器140可 基于所述第二差异确定第二结果124B并不大体上“匹配”或不“相似”于背景模型 212。背景/前景分析器140因此可确定第二像素区域114B对应于场景的前景对象(例 如，对应于“动态”对象，例如在运动中的用户，或其一部分)。第二像素区域114B 和第二结果124B中的一或多者可用以例如结合增强现实应用程序在显示器150处再现 前景对象的表示。

将了解，结合图2B描述的技术可实现用于移动装置的简化前景模型产生。举例来 说，可基于图像的区中像素强度的改变程度(例如，所述改变程度是否超过阈值)而非标 记的定位和位置来确定对象运动。因为移动装置可避免在移动装置处于运动中且正在 处理增强现实应用程序时重复地再评估标记的定向和位置，所以可减少背景/前景分析 的计算复杂性。

在至少一个实施例中，响应于确定所述第一差异并不超过阈值，也可将第一结果 122B“细分”为若干部分(例如，子块)。可将所述经细分部分中的一或多者与背景模型 212进行比较。进一步参考至少图2C描述此类技术。

图2C描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1、2A和 2C描述图2C的移动装置104的各种组件和功能性。举例来说，图2C的移动装置104 可包含相机110、评估器120、背景/前景分析器140和显示器150。在图2C的特定实 例中，评估器120包含图2A和2B的电路204且进一步包含存储装置216。背景/前景 分析器140可包含图2A和2B的比较电路130且可进一步包含快速积分图像计算器 220。快速积分图像计算器220可包含经配置以使用一个加法运算和两个减法运算执行 “快速积分图像操作”的电路，如下文中进一步描述。

在操作中，相机110可俘获场景的图像，例如图1的场景108。举例来说，第一像 素区域112C可对应于在第一时间俘获的场景的图像。电路204可对第一像素区域 112C执行操作以产生第一结果122C。第一像素区域112C和第一结果122C可分别对 应于图1的第一像素区域112和第一结果122。

在一特定实施例中，第一像素区域112C对应于由相机110俘获的整个图像的像素 且第一结果122C对应于与整个图像相关联的积分图像(例如，第一结果122C可为“高 水平”积分图像)。背景/前景分析器140可响应于由电路204产生的高水平积分图像。 在至少一个实施例中，快速积分图像计算器220可将第一结果122C划分为若干部分 (例如，子块)且计算与所述部分中的每一者相关联的相应积分图像。

作为说明性非限制性实例，如果第一像素区域112C是四乘四矩阵：

3 5 1 1

1 2 1 1

4 2 4 1

1 1 1 1

那么电路204可将第一结果122C计算为与所述四乘四矩阵相关联的“高水平”积 分图像：

3 8 9 10

4 11 13 15

8 17 23 26

9 19 26 30

背景/前景分析器140可使用例如参考图1、2A和2B描述的技术中的一或多者(例 如，使用阈值)等适当技术比较第一结果122C与背景模型212，以确定第一结果122C 是否“匹配”背景模型212。如果比较电路130并不确定第一结果122C“匹配”背景 模型212，那么快速积分图像计算器220可基于第一结果122C产生一或多个子部分或 “子积分图像”(例如，第一像素区域112C的像素子集的积分图像)，且可比较所述一 或多个子积分图像与背景模型212。在一特定实施例中，快速积分图像计算器根据下式 计算所述一或多个子积分图像：

a+d-b-c

其中d是与第一结果122C的其中将计算子积分图像的一部分相关联的右下方值且 a、b和c是在第一结果122C的所述部分“外部”分别在所述部分的左上方、右上方和 左下方的边界值。为了进一步说明，继续先前说明性非限制性实例，如果第一结果 122C是

3 8 9 10

4 11 13 15

8 17 23 26

9 19 26 30

那么可各自基于第一结果122C确定四个二乘二子积分图像，即：分别针对左上 方、右上方、左下方和右下方子积分图像的11+0-0-0＝11，15+0-0-11＝4，19+ 0-11-0＝8和30+11-15-19＝7。

可将一或多个此类子积分图像与背景模型212进行比较以确定“匹配”。在一特 定实施例中，将子积分图像与背景模型212的“相邻部分”(例如，子积分图像的预定 范围内的部分)进行比较。作为一实例，可将“左上方”二乘二子积分图像与背景模型 212的“左上方”二乘二部分进行比较。如果子积分图像中的一或多者匹配背景模型 212，那么可确定所述一或多个子积分图像对应于背景。如果子积分图像中无任一者匹 配背景模型212，那么可将第一结果122C进一步细分为更小的子积分图像。如进一步 参考图3B所描述，如果所述部分中无任一者经确定为“匹配”背景模型212，那么可 确定第一结果122C对应于前景部分(例如，在运动中的“动态”对象)。

应了解结合图2C描述的技术可实现像素(例如，第一像素区域112C)与背景模型 (例如，背景模型212)的快速比较。举例来说，在至少一个实施例中，仅存储“高水 平”积分图像(例如，存储在存储装置216处)，其可用以例如使用快速积分图像计算器 220产生任何子积分图像。根据特定说明性实施例，在产生第一结果122C之后，第一 像素区域112C不用于额外积分图像产生(例如，由于可改为基于所述高水平积分图像 产生子积分图像)。因此，由于参考图2C描述的计算上高效的技术(例如，使用一个加 法运算和两个减法运算的子积分图像产生)，可处理增强现实应用程序且更快速地再现 结果(例如，在显示器150处)，因此为移动装置104的用户提供更实际的增强现实体 验。

参考图3A，将图1、2A、2B和2C中的一或多者的移动装置104的操作方法的特 定说明性实施例描绘且大体上指定为300。方法300包含在304在移动装置104处评估 第一像素区域(例如，第一像素区域112)以产生第一结果(例如，第一结果122)。方法 300进一步包含在308在移动装置处评估第二像素区域(例如，第二像素区域114)以产 生第二结果(例如，第二结果124)。

在312，基于将阈值和第一结果与第二结果之间的差异(例如，由比较电路130确 定的差异)进行比较，做出第二像素区域对应于场景的背景部分(例如，场景108的背景 对象160)或场景的前景部分(例如，场景108的前景对象170)的确定。在至少一个实施 例中，基于所述差异是否超过或不超过阈值而做出所述确定。

参考图3B，将图1、2A、2B和2C中的一或多者的移动装置104的操作方法的另 一特定说明性实施例描绘且大体上指定为350。方法350包含在302俘获场景的多个初 始图像。所述初始图像可包含像素区域112、114。所述场景可为场景108。初始图像 可由相机110。

在306，基于所述多个初始图像之间的至少一个差异不超过第一阈值，做出所述多 个初始图像中的至少一者对应于场景的背景部分的确定。举例来说，可做出所述多个 初始图像对应于“稳定”图像(例如，图像的背景部分，例如背景对象160)的确定。在 至少一个实施例中，比较电路130使用参考图2A描述的一或多种技术确定所述至少一 个差异并不超过第一阈值。

在310，基于所述多个初始图像中的至少一者产生背景模型(例如，背景模型 212)。所述背景模型可包含与场景相关联的第一积分图像。根据进一步实施例，可根据 用户输入产生背景模型，如参考图8进一步描述。

方法350进一步包含在314俘获(例如，由相机110)与场景相关联的第二图像且确 定与第二图像相关联的第二积分图像。第二积分图像可为参考图2B和2C描述的结果 122B、124B和122C中的任一者。

在318，将第二积分图像分割(例如，划分)为具有大小n的一或多个部分且将所述 一或多个部分中的每一者与第一积分图像的相邻部分(例如，预定范围内的部分)进行比 较。所述大小n可为所述一或多个部分的长度(例如，列数)、所述一或多个部分的高度 (例如，行数)或其组合。作为说明性非限制性实例，如果第二积分图像是四乘四矩阵， 那么可将第二积分图像分割为一或多个二乘二部分。在至少一个实施例中，根据参考 图2C描述的“快速积分图像”技术分割第二积分图像。举例来说，所述一或多个部分 可为参考图2C描述的“子积分图像”且可各自使用一个加法运算和两个减法运算而产 生，例如根据如参考图2C所描述的a+d-b-c。

在322，做出所述一或多个部分中的任一者是否“匹配”第一积分图像的确定。可 根据参考图1和2A到2C描述的一或多种技术例如通过比较所述一或多个部分与第二 阈值以产生第二差异且确定第二差异是否超过第二阈值来做出所述确定。如果所述一 或多个部分中的任一者匹配第一积分图像，那么可做出所述部分对应于场景的背景部 分(例如，对应于场景108的背景对象160或其一部分)的确定。

如果所述一或多个部分中无任一者匹配背景模型，那么在330可减少n，且在318 可再分割第二积分图像。也就是说，可产生第二积分图像的较小(例如，“更精细”)部 分且与第一积分图像的相邻部分进行比较。在至少一个实施例中，可根据“快速积分 图像”技术分割第一积分图像以产生相邻部分。在图3B的特定实施例中，如果在334 无法确定第一和第二积分图像的部分之间的匹配且n已减少到预定底限值m(例如， m＝1)，那么在338可确定第二积分图像对应于场景的前景部分(例如，对应于场景108 的前景对象170或其一部分)。

虽然为说明的方便起见，已经在“对称”分割(例如，将四乘四矩阵分割为四个二 乘二部分)方面描述前述分割技术，但在至少一些应用中可“不对称地”分割积分图像 (例如，其中“剩余”部分具有与一或多个其它部分的大小n不同的大小)。应了解可根 据参考图3B描述的技术对照背景模型来“匹配”此“剩余”部分。

图4描绘经配置以估计地表面408的位置的移动装置404的特定说明性实施例。 移动装置404可为图1和2A到2C中的一或多者的移动装置104(或另一移动装置)。移 动装置404可包含显示器，例如图1和2A到2C的显示器150。移动装置404可进一 步包含相机402(例如，立体相机)、传感器412、移动装置404的用户的高度的指示 416和估计器420。在至少一个实施例中，相机402是参考图1描述的相机110。相机 402可包含自动聚焦特征424(例如，用以致使相机402自动聚焦于相机402的视场内的 对象的逻辑)。传感器412可为经配置以检测移动装置404的位置和/或运动的传感器， 例如陀螺仪、加速度计、运动传感器或其组合。如图4的实例中示出，可根据相对于 地表面408的角度θ(例如，在移动装置404正由用户握持时)定位移动装置404的纵向 范围428。

在操作中，传感器412可确定纵向范围428相对于地表面408的角度θ。估计器 420可产生与从移动装置404的中心436(或从相机402的中心)到地表面408的第一投 影432相关联的第一距离L₁的第一估计444。第一投影432垂直于纵向范围428。第一 估计444可使用由移动装置404的相机402提供的立体相机数据、使用移动装置的自 动聚焦特征424或其组合而产生。

估计器420可进一步基于角度θ和第一估计444产生与从移动装置404的中心436 到地表面408的第二投影440相关联的第二距离L₂的第二估计448。第二投影440垂 直于地表面408。在至少一个实施例中，估计器420根据L₂＝L₁(cos(θ))产生第二估计 448。可替代地或另外，估计器420可基于移动装置404的用户的高度的指示416产生 第二估计448，且可基于第二估计448确定第一估计444。举例来说，对于不包含立体 相机的移动装置(图4中未图示)，第二估计448可基于移动装置404的用户的高度的指 示416而产生，且第一估计444可根据L₂/(cos(θ))而确定。

估计器420可产生地表面408的估计位置452。显示器150可响应于估计位置452 且可显示包含基于地表面408的估计位置452的地表面部分的图像456。

将了解，参考图4描述的技术可实现地表面408的估计位置452的产生而无需利 用标记。举例来说，可执行根据L₂＝L₁(cos(θ))产生第二估计448而无需使用标记。因 此，可简化增强现实应用程序的操作且使其对于移动装置404的用户更方便。

参看图5，描绘图4的移动装置404的操作方法的流程图将其且大体上指定为 500。方法500包含在504使用移动装置的传感器(例如，传感器412)确定移动装置(例 如，移动装置404)的纵向范围(例如，纵向范围428)相对于地表面(例如，地表面408) 的角度(例如，角度θ)。

方法500进一步包含在508估计与从移动装置的中心(例如，中心436)到地表面的 第一投影(例如，第一投影432)相关联的第一距离(例如，第一距离L₁)。所述第一投影 垂直于移动装置的纵向范围。可使用移动装置的立体相机、移动装置的自动聚焦特征 (例如，自动聚焦特征424)或其组合估计所述第一距离。

基于所述角度和第一距离，在512估计第二距离(例如，第二距离L₂)。所述第二距 离与从移动装置的中心到地表面的第二投影(例如，第二投影440)相关联。所述第二投 影垂直于地表面。方法500可进一步包含在516至少部分基于估计的第二距离确定虚 拟对象的位置。举例来说，基于距离和地表面的位置，所述虚拟对象可再现为在地上 (例如，静止的球)或在地面上方(例如，在被踢之后的球)。

参考图6，将经配置以基于立体相机深度数据产生图像的移动装置的特定实施例描 绘且大体上指定为600。移动装置600可包含立体相机610和耦合到立体相机610的深 度评估器620。立体相机610可包含多个镜头，例如第一镜头616和第二镜头614。深 度评估器620可包含细节产生器622。应了解，可参考参照图1到5描述的特征和操作 来描述图6的移动装置600的一或多个特征和操作。举例来说，虽然为了说明的清楚 起见图6中未图示，但移动装置600可包含图1、2A到2C和4的显示器150。

在操作中，立体相机610可产生与场景(例如，图1的场景108)有关的图像深度数 据612。图像深度数据612可指示对象深度。深度评估器620可响应于图像深度数据 612以产生深度分布624。深度分布624可包含与一或多个图像有关(例如，与图1的像 素区域112、114中的一或多者有关)的深度信息。在至少一个实施例中，深度评估器 620经配置以基于深度分布624确定前景部分632是否将在虚拟对象的前方或后方再 现。举例来说，如图6中示出，深度评估器620可基于深度分布624确定虚拟对象634 将在前景部分632的前方再现。作为另一实例，深度评估器620可基于深度分布624 确定虚拟对象636将由前景部分632遮挡。

在至少一个实施例中，细节产生器622可经配置以基于深度分布624增加或减小 图像630中的对象的分辨率。举例来说，响应于指示对象具有相对于移动装置600的 大深度的深度分布，细节产生器622可确定所述对象对应于图像背景且将再现为背景 部分638。作为另一实例，响应于深度分布指示所述对象具有相对于移动装置600的较 小深度，细节产生器622可确定所述对象对应于图像前景且将再现为前景部分642。在 至少一个实施例中且如进一步参考图7所描述，可基于深度分布624确定前景部分642 的边界(例如，前景部分642相对于背景部分638的边界)。另外且如进一步参考图7所 描述，可响应于基于深度分布624确定前景部分642的边界而增加图像630的一部分 (例如，对应于前景部分642的边界的部分)的分辨率。

将了解，结合图6描述的技术实现深度信息的高效产生。举例来说，在图6的实 例中，立体相机610的使用可实现深度信息的产生而无需分析标记的定位和位置。此 外，如进一步参考图7所描述，深度信息可用以选择性改变图像分辨率和质量。也就 是说，如进一步参考图7所描述，一旦图像的前景对象的边界已确定(例如，使用立体 相机610)，便可减少前景对象外部的部分的分辨率且可增加边界内的部分的分辨率。 因此，在至少一个实施例中，可将额外处理资源分配于较关注部分(例如，前景部分)而 不是其它部分(例如，背景部分)。

参看图7，将在基于深度分布624选择性改变图像分辨率之前和之后的图6的图像 630的一部分分别描绘且大体上指定为630A和630B。如图7中示出，部分630A包含 背景部分638和前景部分642。前景部分642包含边界712。边界712可基于深度分布 624而确定。在至少一个实施例中，边界712是基于前景部分642与背景部分638之间 的深度差异超过阈值而确定。

响应于确定边界712，可选择性改变前景部分642的分辨率。举例来说，可基于边 界712减少前景部分642的第一部分716的分辨率或重新分类为背景部分。可基于边 界712增加前景部分642的第二部分720的分辨率。举例来说，在至少一个实施例 中，第二部分720从基于块的分辨率改善到基于像素的分辨率(例如，从粗糙分辨率到 精细分辨率)。在至少一个实施例中，基于存储在存储装置216处的高水平积分图像产 生一或多个低分辨率图像部分，如参考图2C所描述。因此，基于边界712选择性改变 前景部分642的分辨率可改善前景部分642相对于背景部分638的对比度，因此改善 图像质量。

参考图8，将移动装置的实例操作描绘且大体上指定为800。操作800可由图1和 2A到2C中的一或多者的移动装置104、图4的移动装置404、图6的移动装置600或 其组合执行。

举例来说，在804可在移动装置的相机处俘获图像。相机可为图1和2A到2C中 的一或多者的相机110、图4的相机402、图6的立体相机610或其组合。图像可对应 于像素区域112、114。

操作800进一步包含在808产生虚拟对象。所述虚拟对象可为图6的虚拟对象 634、图6的虚拟对象636或其组合。所述虚拟对象可为使用移动装置的处理器产生的 计算机生成的虚拟对象，如进一步参考图9所描述。

操作800进一步包含在812产生待显示图像的背景模型。在至少一个实施例中， 基于用户输入产生所述背景模型。举例来说，根据特定实例，用户可将相机110指向 背景对象(例如，背景对象108)以例如结合增强现实游戏而指定背景模型。也可以例如 结合增强现实游戏在移动装置之间发送和接收此背景模型。背景模型可包含根据参考 图4和5描述的技术产生的地表面部分。可在如参考图1和2A到2C所描述产生第一 结果122之前产生背景模型。

在816，根据像素强度求和技术(例如，参考图1到3描述的积分图像技术)更新背 景模型。举例来说，可利用像素强度求和技术来基于差异是否超过阈值而确定数据对 应于前景部分(例如，图6的前景部分632、图6的前景部分642或其组合)。

操作800进一步包含在818将虚拟对象插入到待显示图像中。举例来说，基于图6 的深度分布624可将虚拟对象插入在前景部分的前方或后方。操作800进一步包含在 820检测冲突、用户输入或其组合。举例来说，可检测前景对象(例如，用户)与对应于 虚拟对象的位置(例如，图1的位置180)之间的冲突。

操作800可进一步包含在824执行序列辨识，且在828执行分段、深度恢复、形 状辨识或其组合。在832，产生输出。举例来说，可在图1、2A到2C和4中的一或多 者的显示器150处显示图像(例如，图1的图像152、图6的图像630或其组合)。

如将了解，基于图8的操作800操作移动装置可实现增强现实应用程序的高效处 理。此外，可处理增强现实应用程序而无需利用标记，这可为用户提供便利性和经改 善的性能。

参考图9，将移动装置的特定实施例的框图描绘且大体上指定为900。在图9的特 定实例中，移动装置900包含处理器910(例如，数字信号处理器)，其包含图1的评估 器120、图1的比较电路130、图1的背景/前景分析器140、图4的估计器420和图6 的深度评估器620。评估器120、比较电路130、背景/前景分析器140、估计器420和 深度评估器620中的每一者可包含硬件、可由处理器910执行的指令或其组合。

图9进一步描绘耦合到处理器910的存储器932。存储器932是经配置以存储指令 954和数据956的计算机可读非暂时性(例如，有形的)媒体。指令954可包含图像处理 指令，例如可由处理器910执行以执行参考图1到8描述的一或多个操作的指令。指 令954可包含增强现实应用程序(例如，包含可由处理器910执行以产生虚拟对象的指 令的应用程序)。数据956可包含图1和2A到2C中的一或多者的像素区域112、 114、图1和2A到2C中的一或多者的结果122、124、图6和7的深度分布624或其 组合。

移动装置900可包含显示器，例如参考图1、2A到2C和4中的一或多者描述的显 示器150。移动装置900可进一步包含耦合到相机控制器990的相机946。相机946可 为图1和2A到2C中的一或多者的相机110、图4的相机402、图6的立体相机610或 其组合。

图9还展示耦合到处理器910和显示器150的显示器控制器926。译码器/解码器 (编解码器)934也可耦合到处理器910。扬声器936和麦克风938可耦合到编解码器 934。图9进一步指示无线控制器940可耦合到处理器910和收发器950。收发器950 可耦合到天线942。

在一特定实施例中，处理器910、显示器控制器926、相机控制器990、存储器 932、编解码器934、无线控制器940和收发器950包含在系统级封装或芯片上系统装 置922中。在一特定实施例中，输入装置930、电力供应器944和传感器(例如，图4 的传感器412)各自耦合到芯片上系统装置922。此外，在一特定实施例中，如图9中所 示，显示器150、输入装置930、扬声器936、麦克风938、天线942、电力供应器944 和传感器412在芯片上系统装置922的外部。然而，显示器150、输入装置930、扬声 器936、麦克风938、天线942、电力供应器944和传感器412中的每一者可耦合到芯 片上系统装置922的组件，例如接口或控制器。

结合所揭示的实施例，描述移动装置，其包含用于评估第一像素区域以产生第一 结果且进一步用于评估第二像素区域以产生第二结果的装置(例如，评估器120)。所述 移动装置进一步包含用于基于将阈值和第一结果与第二结果之间的差异进行比较而确 定第二像素区域对应于场景的背景部分和场景的前景部分中的一者的装置(例如，背景/ 前景分析器140)。

结合所揭示的实施例，描述移动装置，其包含用于确定移动装置的纵向范围(例 如，纵向范围428)相对于地表面(例如，地表面408)的角度(例如，角度θ)的装置(例 如，传感器412)。所述移动装置进一步包含用于估计第一距离(例如，第一距离L₁)且 用于基于所述角度和所述第一距离估计第二距离(例如，第二距离L₂)的装置(例如，估 计器420)。所述第一距离与从移动装置的中心(例如，中心436)到地表面的第一投影(例 如，第一投影432)相关联，其中第一投影垂直于移动装置的纵向范围。第二距离与从 移动装置的中心到地表面的第二投影(例如，第二投影440)相关联。所述第二投影垂直 于地表面。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的多个说明性 逻辑块、配置、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组 合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路和步 骤。此类功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约 束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此 类实施决策不应被解译为引起对本发明的范围的偏离。

结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件、由处 理器执行的软件模块或其两者的组合中。软件模块可驻留在随机存取存储器(RAM)、 快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储 器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘、 压缩光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的非暂时性存储媒体 中。示范性非暂时性(例如有形的)存储媒体耦合到处理器，使得处理器可从所述存储媒 体读取信息，且将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成 一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置 或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在计算装置或 用户终端中。

提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制造或使用所揭 示的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可将本文 定义的原理应用到其它实施例而不脱离本发明的范围。因此，本发明并不既定限于本 文展示的实施例，而应被赋予与如由所附权利要求书界定的原理和新颖特征一致的可 能最宽范围。