在计算设备上创建三维壁纸和用户与三维壁纸的交互

摘要

一种壁纸系统向用户呈现壁纸视频的第一壁纸图像，并且经由用户输入设备接收来自所述用户的(i)空间用户输入选择以及(ii)时间用户输入选择以应用于所述壁纸视频。响应检测的(i)所述空间用户输入选择和(ii)所述时间用户输入选择中的一个或两个，所述壁纸系统确定(i)与所述空间用户输入选择相关联的壁纸视频内的相应空间运动参数以及(ii)与所述时间用户输入选择相关联的所述壁纸视频内的相应时间坐标中的一个或两个。壁纸系统经由所述图像显示器呈现与(i)所述相应空间运动参数和(ii)所述相应时间坐标中的一个或两个相关联的第二壁纸图像。

说明书

相关申请的引用

本申请要求2018年12月26日在美国提交的名称为“在计算设备上创建三维壁纸和用户与三维壁纸的交互”的临时申请62/784914号的优先权，其内容通过引用全部结合到本申请中。

技术领域

本主题涉及创建三维壁纸视频和图像并允许用户与三维壁纸视频和图像交互的可穿戴设备(例如眼戴设备)、移动设备和技术。

背景

壁纸或背景(例如计算机上的桌面壁纸、桌面背景、桌面图片或桌面图像)是一种二维(2D)数字图像(照片、绘图等)，用作计算机屏幕、移动通信设备或其他电子设备上图形用户界面的装饰背景。在计算机上，它通常用于桌面，而在手机上，它通常是“主”屏幕或“待机”屏幕的背景。虽然大多数设备都有默认图片，但用户通常可以将其更改为自己选择的自定义文件。

当前可用的包括便携式眼戴设备(如智能眼镜、头饰和头戴设备)的可穿戴设备、移动设备(如平板电脑、智能手机和笔记本电脑)以及个人计算机等计算设备都集成了图像显示器和摄像头。如今，计算设备的用户可以利用摄像镜头或滤镜在二维(2D)照片上创建效果。可采用贴纸、emojis表情和文字等照片装饰应用来编辑二维照片。

随着三维(3D)图像和视频内容的出现，需要更先进的处理和交互来变换三维图像和视频内容(如视频、图片等)。例如，我们希望能够处理三维图像和视频内容并与之交互，从而在三维图像和视频上创建图形效果。到目前为止，用户与壁纸的交互非常有限。因此，需要增强可用于三维图像和视频壁纸内容的视频和图像图形效果，以考虑到更有趣的用户交互体验。

附图的简单说明

附图中以例举的方式而非限定的方式示出了一个或多个实施例。在附图中，相同的附图标记表示相同或类似的元件。

图1A是用于壁纸系统的眼戴设备示例硬件配置的右侧视图，其中应用来自用户的(i)空间用户输入选择和(ii)时间用户输入选择中的一个或两个以与壁纸图像交互。

图1B是图1A的眼戴设备右组块的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头和电路板。

图1C是图1A的眼戴设备示例硬件配置的左侧视图，示出了深度捕捉摄像头的左侧可见光摄像头。

图1D是图1C的眼戴设备左组块的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头和电路板。

图2A是用于壁纸系统的眼戴设备的另一示例硬件配置的右侧视图，示出了右侧可见光摄像头和深度捕捉摄像头的深度传感器以生成深度图像。

图2B和2C是包括两种不同类型的图像显示器的眼戴设备示例硬件配置的后视图。

图3示出了图2A眼戴设备的后视透视截面图，描述了深度传感器的红外摄像头、框架前部、框架后部和电路板。

图4是穿过图3眼戴设备红外摄像头和框架截取的截面图。

图5示出了图2A眼戴设备的后透视图，描述了深度传感器的红外发射器、深度传感器的红外摄像头、框架前部、框架后部和电路板。

图6是穿过图5眼戴设备红外发射器和框架的截面图。

图7描述了由眼戴设备深度传感器的红外发射器发射的红外光图案以及由眼戴设备深度传感器的红外摄像头捕捉的红外光发射图案反射变化的示例，其用于测量原始图像中像素的深度，从而生成深度图像。

图8A描述了由深度传感器红外摄像头捕捉的红外光作为红外图像以及由可见光摄像头捕捉的可见光作为原始图像以生成三维场景的初始深度图像的示例。

图8B描述了由左侧可见光摄像头捕捉的可见光作为左侧原始图像以及由右侧可见光摄像头捕捉的可见光作为右侧原始图像以生成三维场景的初始深度图像的示例。

图9是示例壁纸系统的高级功能块图，该壁纸系统包括具有深度捕捉摄像头以捕捉包括原始图像的原始视频的眼戴设备、移动设备和经由各种网络连接的服务器系统。

图10示出了图9壁纸系统的移动设备硬件配置的示例以创建包括多个壁纸图像的壁纸视频并与之交互。

图11是可在壁纸系统中实施的方法流程图，以应用于原始视频，从而创建并呈现壁纸图像。

图12示出了与原始视频的第一时间坐标相关联的第一原始图像的示例，该原始视频是由一个或两个可见光摄像头捕捉的经处理(例如经矫正)的图像。

图13示出了经由运动跟踪器类型的用户输入设备接收第一空间用户输入选择(例如向左侧水平倾斜)以处理空间运动参数(例如视场)并作为响应呈现第一壁纸图像。

图14示出了经由运动跟踪器接收第二空间用户输入选择(例如向右侧水平倾斜)并作为响应呈现第二壁纸图像。

图15示出了经由运动跟踪器接收第三空间用户输入选择(例如向左侧水平倾斜)并作为响应再次呈现第一壁纸图像。

图16再次示出了图15的第一壁纸图像，描述了经由触摸传感器类型的用户输入设备开始手指接触以处理时间坐标(例如时间坐标)。

图17示出了经由触摸传感器接收第一时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第二时间坐标相关联的第一壁纸图像。

图18示出了经由触摸传感器接收第二时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第三时间坐标相关联的第一壁纸图像。

图19示出了经由触摸传感器接收第三时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第四时间坐标相关联的第一壁纸图像。

图20示出了经由触摸传感器接收第四时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第五时间坐标相关联的第一壁纸图像。

图21示出了经由触摸传感器接收第五时间用户输入选择(例如垂直向下滚动)并作为响应再次呈现与图19的第四时间坐标相关联的第一壁纸图像。

图22示出了经由触摸传感器接收第六时间用户输入选择(例如垂直向下滚动)并作为响应再次呈现与图15-16的第一时间坐标相关联的第一壁纸图像。

图23示出了移动设备上选择壁纸，包括可作为壁纸选择的各种类型的原始视频和原始图像。

图24示出了在移动设备上选择原始图像作为壁纸。

图25示出了在移动设备上将图24的原始图像设置为壁纸。

图26示出了图25的原始图像，其是由一个或两个可见光摄像头捕捉的经处理(例如，经矫正)的图像。

图27示出了经由运动跟踪器接收第一空间用户输入选择(例如向左侧水平倾斜)以处理空间运动参数并作为响应呈现与第一空间运动参数相关联的第一壁纸图像。

图28示出了经由运动跟踪器接收第二空间用户输入选择(例如向右侧水平倾斜)并作为响应呈现与第二空间运动参数相关联的第二壁纸图像。

图29再次示出了在移动设备上选择壁纸，包括可作为壁纸选择的各种类型的原始视频和原始图像。

图30示出了在移动设备上选择原始视频作为壁纸。

图31示出了在移动设备上将图30的原始视频设置为壁纸。

图32示出了第二原始图像的示例，是与图30原始视频的第二时间坐标相关联的经处理(例如经矫正)的图像。

图33示出了经由触摸传感器接收第一时间用户输入选择(例如垂直向下滚动)以处理时间坐标并作为响应呈现与第一时间坐标相关联的第六壁纸图像。

图34示出了经由触摸传感器接收第二时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第三时间坐标相关联的第六壁纸图像。

图35示出了经由触摸传感器接收第三时间用户输入选择(例如垂直向上滚动)并作为响应呈现与第四时间坐标相关联的第六壁纸图像。

图36示出了经由运动跟踪器接收第一空间用户输入选择(例如向左侧水平倾斜)并作为响应呈现与第四原始图像的第四时间坐标相关联的第一壁纸图像。

图37示出了经由运动跟踪器接收第二空间用户输入选择(例如向右侧水平倾斜)并作为响应呈现与第四原始图像的第四时间坐标相关联的第八壁纸图像。

详细说明

在以下详细说明中，为了对相关教导能够有透彻的理解，通过示例的方式阐述了许多具体细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实施本教导。在其它实例中，为了避免不必要地使本教导的各个方面难以理解，本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路，而不阐述细节。

如本文所使用的术语“壁纸”是指应用于原始图像或一系列原始图像的由计算机生成的效果，其处理原始图像的空间运动参数来改变一系列原始图像的视场或时间坐标。如本文所述，处理空间运动参数的第一种方法是经由“光场效应”，而处理空间运动参数的第二种方法是在三维空间中进行处理以通过旋转通过顶点网格来创建深度图像(例如被纹理映射的顶点网格)。

一般来说，术语“光场”是指给定方向上某一点的辐射率。术语“光场效应”是指呈现图像场景的不同视图，以提供空间运动或旋转的外观，就像观察者从不同的角度或视角观看场景一样。光场效应摄像头可以捕捉来自不同方向的光，并四处运动以创建三维或四维场景(例如使用多个镜头)。然而，这种在三维(X、Y和Z)和四维空间(X、Y、Z和时间)中的处理相对复杂并且可能计算量很大。可以使用两个可见光摄像头114A-B通过仅在计算量较小的二维空间中操作来从两个图像创建简化的光场效应。

本文使用的术语“耦合”或“连接”是指任何逻辑、光学、物理或电连接等，通过这些连接，由一个系统元件产生或提供的电信号或磁信号被传递给另一个耦合或连接的元件。除非另有说明，否则耦合或连接的元件或设备不一定彼此直接连接，可由可修改、操纵或携载电信号的中间组件、元件或传播介质分离。术语“在…上”是指由元件直接支撑，或由通过集成到该元件中或由该元件支撑的另一元件的该元件间接支撑。

为了说明和讨论的目的，仅以示例的方式给出了如任何附图所示的眼戴设备、相关组件以及结合有深度捕捉摄像头的任何完整设备的方向。在用于壁纸创建和用户交互的操作中，眼戴设备可在适合于眼戴设备特定应用的任何其它方向上定向，例如向上、向下、向侧面或任何其它方向。此外，在本文所使用的范围内，前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部、侧面、水平、垂直和对角线等任何方向术语仅以示例的方式使用，且不限于任何深度捕捉摄像头或如本文另外描述所构造的深度捕捉摄像头组件的方向或定向。

示例的其它目的、优点和新特点将部分地在下面的说明中阐述，并且对于本领域技术人员来说，在查看下面的附图后将部分地变得显而易见，或者可以通过示例的生产或操作而获知。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。

现在详细说明在附图中示出并在下面讨论的示例。

图1A是用于壁纸系统的眼戴设备100示例硬件配置的右侧视图，其示出了深度捕捉摄像头的右侧可见光摄像头114B以生成深度图像。如下文进一步描述的，在壁纸系统中，接收来自用户(i)空间用户输入选择和(ii)时间用户输入选择中的一个或两个。为了呈现高度的用户交互，将所接收的空间和时间用户输入选择应用于原始图像或原始视频，上述原始图像或原始视频包括一系列被选择为壁纸的原始图像。举例来说，壁纸系统可改变(i)原始图像(例如原始图像或经处理的原始图像)的空间运动参数(例如视场)及(ii)原始视频的时间坐标中的一个或两个。光场效应等二维(2D)技术和深度处理等三维(3D)技术都可以应用于改变空间运动参数。在一个示例中，空间用户输入选择和时间用户输入选择可以经由移动设备的运动跟踪器(例如加速度计、陀螺仪或惯性测量单元)或触摸传感器等用户输入设备来接收。向左或向右倾斜移动设备处理原始图像的空间运动参数，并且在触摸传感器上向上或向下滚动处理时间坐标以在时间上向前或向后移动原始视频。

眼戴设备100包括右侧光学组件180B，其具有图像显示器以呈现图像，例如原始图像(例如基于左侧原始图像、经处理的左侧图像、右侧原始图像或经处理的右侧图像)和壁纸图像。如图1A-B所示，眼戴设备100包括右侧可见光摄像头114B。眼戴设备100可包括多个可见光摄像头114A-B，其形成被动类型的深度捕捉摄像头，例如立体摄像头，其中右侧可见光摄像头114B位于右组块110B上。如图1C-D所示，眼戴设备100还可包括左侧可见光摄像头114A。可替换地，在图2A的示例中，深度捕捉摄像头可以是包括单个可见光摄像头114B和深度传感器的主动类型深度捕捉摄像头(见图2A的元件213)。

左侧和右侧可见光摄像头114A-B对可见光范围波长敏感。可见光摄像头114A-B中的每一个具有不同的面向前的视场，其重叠以允许生成三维深度图像，例如，右侧可见光摄像头114B具有所描述的右侧视场111B。一般来说，“视场”是场景中通过摄像头在空间中特定位置和方向可见的部分。当图像被可见光摄像头捕捉时，视场111A-B之外的对象或对象特征不被记录在原始图像(例如照片或图片)中。视场描述了可见光摄像头114A-B的图像传感器在给定场景的捕捉图像中接收给定场景电磁辐射的角度范围。视场可以表示为视锥的角度大小，即视角。视角可以水平、垂直或对角的方式测量。

在示例中，可见光摄像头114A-B具有视角在15°到30°之间的视场，例如24°，分辨率为480x480像素。“覆盖角”描述了可见光摄像头114A-B或红外摄像头220(见图2A)的镜头可以有效成像的角度范围。通常，摄像头镜头产生的图像圆足够大以完全覆盖胶片或传感器，可能包括一些朝向边缘的渐晕。如果摄像头镜头的覆盖角没有充满传感器，则图像圆将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将被限制于覆盖角内。

此类可见光摄像头114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)摄像头，例如640p(例如640x480像素，总共30万像素)、720p或1080p。本文使用的术语“重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达30％或更多。本文使用的术语“大幅重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达50％或更多。

来自可见光摄像头114A-B的图像传感器数据与地理定位数据一起被捕捉，由图像处理器数字化，并存储在存储器中。由相应的可见光摄像头114A-B捕捉的左侧和右侧原始图像在二维空间域中，包括二维坐标系上的像素矩阵，该二维坐标系包括针对水平位置的X轴和针对垂直位置的Y轴。每个像素包括颜色属性(例如红色像素光值、绿色像素光值和/或蓝色像素光值)和位置属性(例如X位置坐标和Y位置坐标)。

为了提供立体视觉，可见光摄像头114A-B可耦合到图像处理器(图9的元件912)，用于数字处理以及捕捉场景图像的时间戳。图像处理器912包括用于从可见光摄像头114A-B接收信号并将来自可见光摄像头114的那些信号处理成适于存储在存储器中的格式的电路。时间戳可以由控制可见光摄像头114A-B操作的图像处理器或其它处理器添加。可见光摄像头114A-B允许深度捕捉摄像头模拟人的双眼视觉。深度捕捉摄像头提供基于来自具有相同时间戳的可见光摄像头114A-B两个捕捉图像来再现三维图像的能力。这样的三维图像允许身临其境的逼真体验，例如，用于虚拟现实或视频游戏。

进行矫正以便修改每个捕捉的图像或视频，使相应的像素位于同一光栅线(行)上。一旦完成，就应用半全局块匹配(SGBM)等图像视差计算算法。视差计算算法在右侧图像中为左侧图像中的每个像素找到对应的像素。并且在左图像中为右侧图像中的每个像素找到对应的像素。通常对于非遮挡像素(从两个摄像头看到的像素)从左侧到右侧和从右侧到左侧发现相同的视差。然而通常通过邻近像素混合技术来分别处理被遮挡像素。

对于立体视觉，在给定时刻及时捕捉场景的一对原始红、绿和蓝(RGB)图像(左侧和右侧可见光摄像头114A-B各有一个图像(例如立体图像对))。当(例如通过图像处理器)处理从左侧和右侧可见光摄像头114A-B的面向前的左侧和右侧视场111A-B捕捉的原始图像对时，生成深度图像。深度图像可基于可包括三维网格(例如三角网格)和纹理的三维模型，其作为顶点连同纹理映射一起上传到图形处理单元(GPU)。通常，深度实际上并不可见，但是深度的效果可以在呈现和显示的二维图像中看到。通过将所生成的深度图像转换为作为用于显示的二维图像的各种视点，可以将所生成的深度图像转换为由光学组件180A-B或(例如移动设备的)其他图像显示器的用户感知。所生成的深度图像在三维空间域中，可以包括三维位置坐标系上的顶点网格，该三维位置坐标系包括针对水平位置(例如长度)的X轴、针对垂直位置(例如高度)的Y轴和针对深度(例如距离)的Z轴。每个顶点包括位置属性(例如红色像素光值、绿色像素光值和/或蓝色像素光值)、位置属性(例如X位置坐标、Y位置坐标和Z位置坐标)、纹理属性和/或反射属性。纹理属性量化深度图像的感知纹理，例如深度图像顶点区域中的颜色或强度的空间排列。

通常，深度的感知来自于由可见光摄像头114A-B捕捉的左侧和右侧原始图像中给定3D点的视差。视差是当在可见光摄像头114A-B的视角下被投影时同一3D点的图像定位的差异(d＝x

在示例中，壁纸系统包括眼戴设备100。眼戴设备100包括框架105、从框架105的左侧面170A延伸的左侧眼戴设备腿110A、以及从框架105的右侧面170B延伸的右侧眼戴设备腿110B。眼戴设备100还包括深度捕捉摄像头。深度捕捉摄像头包括：(i)具有重叠视场的至少两个可见光摄像头；或(ii)至少一个可见光摄像头114A-B和深度传感器(图2A中的元件213)。在一个示例中，深度捕捉摄像头包括左侧可见光摄像头114A，其具有左侧视场111A且连接到框架105或左侧眼戴设备腿110A，以捕捉场景的左侧图像。眼戴设备100还包括右侧可见光摄像头114B，其连接到框架105或右侧眼戴设备腿110B且具有右侧视场111B，以捕捉(例如，与左侧可见光摄像头114A同时)与左侧图像部分重叠的场景右侧图像。

壁纸系统还包括计算设备，例如主计算机(例如图9-10的移动设备990)，通过网络耦合到眼戴设备100。壁纸系统还包括图像显示器(眼戴设备的光学组件180A-B；图10中移动设备990的图像显示器1080)，用于呈现(例如显示)一系列图像。一系列图像包括二维空间中的原始图像或经处理的原始图像(例如，在校正之后)以及壁纸图像。壁纸系统还包括图像显示驱动器(图9中眼戴设备100的元件942；图10中移动设备990的元件1090)，耦合到图像显示器(眼戴设备的光学组件180A-B；图10中移动设备990的图像显示器1080)，控制图像显示以呈现一系列图像。一系列图像可包括二维空间中的原始图像或经处理的原始图像(例如，在校正之后)等原始图像以及壁纸图像。

壁纸系统还包括至少一个用户输入设备，用于接收(i)空间用户输入选择和(ii)时间用户输入选择中的一个或两个。用户输入设备的示例包括触摸传感器(图9中的元件991，用于眼戴设备100)、触摸屏显示器(图10中的元件1091，用于移动设备1090)。用户输入设备还包括运动跟踪器，例如加速度计、陀螺仪和惯性测量单元(图9-10中的元件981，用于眼戴设备和移动设备1090)，以及用于个人计算机或笔记本电脑的鼠标。壁纸系统还包括处理器(图9中眼戴设备100的元件932，图10中移动设备990的元件1030)，耦合到眼戴设备100和深度捕捉摄像头。壁纸系统还包括处理器可访问的存储器(图9中眼戴设备100的元件934；图10中移动设备990的元件1040A-B)，以及存储器中的壁纸编程(图9中眼戴设备100的元件945；图10中移动设备990的元件945)，例如在眼戴设备100本身、移动设备(图9中的元件990)或壁纸系统的另一部分(例如图9的服务器系统998)中。

如下所述，为了通过利用光场效应进行二维处理来提供空间运动，壁纸系统采用左侧图像和右侧图像作为输入视点，但不采用中间有视点的图像。为了产生光场效应，如果在时间静止时特征发生跳跃并且摄像头以不同的角度围绕特征旋转，则在由左侧和右侧摄像头114A-B捕捉的左侧和右侧图像之间进行插值。来自几个不同视点的光场效应图像可以被连接在一起，作为视频中的一系列图像，以提供空间运动。例如，对于基于例如移动设备倾斜角的总共11个视点，空间运动参数可以以0.1的增量在0和1之间变化。当空间运动参数被设置为0.0时，视场完全向左侧摄像头视角倾斜。当空间运动参数被设置为0.5时，视场处于左侧和右侧摄像头视角的中间。当空间运动参数设置为1.0时，视场完全向右侧可见光摄像头视角倾斜。

在二维图像处理实施中，对左侧和右侧两个图像进行插值以生成壁纸图像，插值基于从两个原始RGB图像生成的视差图。这通过旋转甚至不是真实的图像来提供3D世界感觉的外观，而仅需要两个修改的二维图像(帧)来产生光场效应。视差图确定在左侧图像中像素之间移动多少像素以获得右侧图像中的对应像素，反之亦然。计算对应于深度的对应像素的立体图像对之间的视差，以便在两个图像之间进行插值并将左侧图像和右侧图像混合在一起，以在所创建的壁纸图像中提供旋转或运动的外观。

图1B是图1A的眼戴设备100右组块110B的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头114B和电路板。图1C是图1A的眼戴设备100的示例硬件配置的左侧视图，示出了深度捕捉摄像头的左侧可见光摄像头114A。图1D是图1C的眼戴设备左组块110A的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头114A和电路板。左侧可见光摄像头114A的构造和布局与右侧可见光摄像头114B基本相似，除了连接和耦合在左侧面170A上。如图1B的示例所示，眼戴设备100包括右侧可见光摄像头114B和电路板，该电路板可以是柔性印刷电路板(PCB)140B。右铰链226B将右组块110B连接到眼戴设备100的右侧眼戴设备腿125B。在一些示例中，右侧可见光摄像头114B、柔性PCB 140B或其它电连接器或触点的组件可位于右侧眼戴设备腿125B或右铰链226B上。

右组块110B包括组块本体211和组块帽盖，在图1B的横截面中省略了组块帽盖。布置在右组块110B内的是各种互连电路板，例如PCB或柔性PCB，其包括用于右侧可见光摄像头114B的控制器电路、麦克风、低功率无线电路(例如用于经由Bluetooth(蓝牙)

右侧可见光摄像头114B耦合到柔性PCB 240或布置在柔性PCB 240上，并被可见光摄像头镜头盖覆盖，可见光摄像头镜头盖通过形成在框架105中的开口对准。例如，框架105的右边缘107B连接到右组块110B并且包括用于可见光摄像头镜头盖的开口。框架105包括面向前侧面，该面向前侧面被配置为离开用户的眼睛面向外。用于可见光摄像头镜头盖的开口形成在面向前侧面上并穿过面向前侧面。在该示例中，右侧可见光摄像头114B具有面向外的视场111B，具有眼戴设备100用户右眼的视线或视角。可见光摄像头镜头盖也可粘附到右组块110B的面向外表面，在该面向外表面中形成具有面向外的视场角但在不同的向外方向上的开口。该耦合也可以是经由中间组件的间接耦合。

左侧(第一)可见光摄像头114A连接到左侧光学组件180A的左侧图像显示器，以捕捉由眼戴设备100的佩戴者在左侧原始图像中观察到的左眼观看的场景。右侧(第二)可见光摄像头114B连接到右侧光学组件180B的右侧图像显示器，以捕捉由眼戴设备100的佩戴者在右侧原始图像中观察到的右眼观看的场景。左侧原始图像和右侧原始图像部分重叠以呈现所生成的深度图像的三维可观察空间。

柔性PCB 140B布置在右组块110B内部，并且耦合到右组块110B中的一个或多个其他组件。尽管被示为形成在右组块110B的电路板上，但右侧可见光摄像头114B可形成在左组块110A、眼戴设备腿125A-B或框架105的电路板上。

图2A是用于壁纸系统的眼戴设备100的另一示例硬件配置的右侧视图。如图所示，深度捕捉摄像头包括框架105上的左侧可见光摄像头114A和深度传感器213，以生成深度图像。在这里不是利用至少两个可见光摄像头114A-B来生成深度图像，而是利用单个可见光摄像头114A和深度传感器213来生成深度图像，例如深度图像。如在图1A-D的示例中那样，来自用户的空间用户输入选择可以应用于深度图像，该深度图像是原始图像的3D模型，以基于空间用户输入选择创建壁纸图像，然后呈现该壁纸图像。深度传感器213的红外摄像头220具有面向外的视场，该面向外的视场与左侧可见光摄像头114A大幅重叠，以获得用户的视线。如图所示，红外发射器215和红外摄像头220与左侧可见光摄像头114A都位于左边缘107A的上部。

在图2A的示例中，眼戴设备100的深度传感器213包括红外线发射器215和捕捉红外图像的红外摄像头220。可见光摄像头114A-B通常包括蓝光滤镜以阻挡红外光检测，在示例中，红外摄像头220是可见光摄像头，例如低分辨率视频图形阵列(VGA)摄像头(例如，640×480像素，总共30万像素)，其中蓝光滤镜被移除。红外发射器215和红外摄像头220都位于框架105上，例如，都被示为连接到左边缘107A的上部。如下面进一步详细描述的，框架105或左和右组块110A-B中的一个或多个包括电路板，该电路板包括红外发射器215和红外摄像头220。例如，红外发射器215和红外摄像头220可以通过焊接连接到电路板。

红外发射器215和红外摄像头220的其他布置也可以实施，包括红外发射器215和红外摄像头220都位于右边缘107A上或在框架105上的不同位置内的布置，例如，红外发射器215在左边缘107B上而红外摄像头220在右边缘107B上。然而，至少一个可见光摄像头114A和深度传感器213通常具有大幅重叠的视场以生成三维深度图像。在另一示例中，红外发射器215在框架105上，红外摄像头220在组块110A-B中的一个上，或者反之亦然。红外发射器215可以基本上连接在框架105、左组块110A或右组块110B上的任何地方，以在用户视力范围内发射红外图案。类似地，红外摄像头220可以基本上连接在框架105、左组块110A或右组块110B上的任何地方，以捕捉用户视力范围内三维场景的红外光发射图案中的至少一个反射变化。

红外发射器215和红外摄像头220被布置为面向外，以获得具有佩戴眼戴设备100的用户所观察对象或对象特征场景的红外图像。例如，红外发射器215和红外摄像头220被直接定位在眼睛的前面，在框架105的上部或在框架105的任一端的组块110A-B中，具有面向前方的视场，以捕捉用户正在注视的场景图像，用于对象和对象特征深度的测量。

在一个示例中，深度传感器213的红外发射器215在场景的面向前视场中发射红外光照明，该红外光照明可以是近红外光或其他低能量辐射的短波长光线。可选地或附加地，深度传感器213可包括发射除红外之外的其他波长光的发射器，并且深度传感器213还包括对该波长敏感的、接收并捕捉具有该波长图像的摄像头。如上所述，眼戴设备100耦合到例如在眼戴设备100本身或壁纸系统的另一部分中的处理器和存储器。眼戴设备100或壁纸系统随后可在生成三维深度图像(例如深度图像)期间处理所捕捉的红外图像。

图2B-C是包括两种不同类型图像显示器的眼戴设备100示例硬件配置的后视图。眼戴设备100具有被配置为由用户佩戴的形态，其在示例中就是眼镜。眼戴设备100可以采用其他形式并且可以结合其他类型的框架，例如，头戴设备、头戴式耳机或头盔。

在眼镜示例中，眼戴设备100包括框架105，框架105包括左边缘107A，左边缘107A经由适于用户鼻子的鼻梁架106连接到右边缘107B。左和右边缘107A-B包括相应的孔175A-B，孔175A-B保持相应的光学元件180A-B，例如镜片和显示设备。如本文所使用的，术语“镜片”是指具有导致光会聚/发散或导致很少或不引起会聚或发散的曲面和/或平面的透明或半透明的玻璃或塑料盖片。

虽然显示为具有两个光学元件180A-B，但是眼戴设备100可以包括其他布置，例如单个光学元件，或者可以不包括任何光学元件180A-B，这取决于眼戴设备100的应用或预期用户。如进一步示出的，眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可在相应侧面170A-B上集成到框架105中(如图所示)，或实现为在相应侧面170A-B上附接到框架105的单独组件。或者，组块110A-B可集成到附接到框架105的眼戴设备腿(未示出)中。

在一个示例中，光学组件180A-B的图像显示器包括集成图像显示器。如图2B所示，光学组件180A-B包括任何适当类型的适当显示矩阵170，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其它此类显示器。光学组件180A-B还包括光学层176，光学层176可以包括透镜、光学涂层、棱镜、反射镜、波导管、光条以及任何组合的其他光学组件。光学层176A-N可以包括棱镜，该棱镜具有合适的尺寸和配置并且包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成于左边缘和右边缘107A-B中的相应孔175A-B的全部或至少一部分上延伸，以当用户的眼睛通过相应的左边缘和右边缘107A-B观看时，允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵置于棱镜上面，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定为使得光在棱镜内折射，并且通过光学层176A-N的棱镜的第二表面指向用户的眼睛。在这点上，光学层176A-N的棱镜的第二表面可以是凸面，以将光指向眼睛的中心。棱镜的尺寸和形状可以可选地确定为放大由显示矩阵170投影的图像，并且光穿过棱镜，使得从第二表面观看的图像在一维或多维上大于从显示矩阵170发射的图像。

在另一示例中，光学组件180A-B的图像显示设备包括如图2C所示的投影图像显示器。光学组件180A-B包括激光投影仪150，其是使用扫描镜或振镜的三色激光投影仪。在操作期间，激光投影仪150等光源设置在眼戴设备100的眼戴设备腿125A-B之一中或眼戴设备腿125A-B之一上。光学组件180A-B包括一个或多个光学条155A-N，其在光学组件180A-B透镜的宽度上或者在透镜前表面和后表面之间的透镜深度上间隔开。

当激光投影仪150投射的光子穿过光学组件180A-B的透镜时，光子遇到光条155A-N。当特定光子遇到特定光条时，光子要么指向用户的眼睛，要么传到下一个光条。激光投影仪150调制和光条调制的组合可以控制特定的光子或光线。在示例中，处理器通过机械、声学或电磁起始信号来控制光条155A-N。尽管示为具有两个光学组件180A-B，但是眼戴设备100可以包括其它布置，例如单个或三个光学组件，或者光学组件180A-B可以根据眼戴设备100的应用或预期用户而采用不同的布置。

如图2B-C进一步所示，眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可以在相应的侧面170A-B上集成到框架105中(如图所示)，或者实现为在相应的侧面170A-B上附接到框架105的单独组件。可选地，组块110A-B可以集成到附接到框架105的眼戴设备腿125A-B中。如本文所使用的，组块110A-B可以包括封装被包围在封装件中的一组处理单元、摄像头、传感器等(例如，对于右侧和左侧不同)的封装件。

在一个示例中，图像显示包括第一(左侧)图像显示器和第二(右侧)图像显示器。眼戴设备100包括第一和第二孔175A-B，其保持相应的第一和第二光学组件180A-B。第一光学组件180A包括第一图像显示器(例如，图2B的显示矩阵170A，或图2C的光条155A-N’和投影仪150A)。第二光学组件180B包括第二图像显示器(例如图2B的显示矩阵170B，或图2C光条155A-N”和投影仪150B)。

图3示出了图2A眼戴设备的后透视截面图。描述了红外摄像头220、框架前部330、框架后部335和电路板。可以看出，眼戴设备100的框架105的左边缘107A的上部包括框架前部330和框架后部335。框架前部330包括向前侧面，该向前侧面被配置为面向外远离用户的眼睛。框架后部335包括向后侧面，该向前侧面被配置为面向内朝向用户眼睛。红外摄像头220的开口形成在框架前部330上。

如框架105左边缘107A中上部圈出的横截面4-4所示，作为柔性印刷电路板(PCB)340的电路板夹在框架前部330和框架后部335之间。还更详细示出了左组块110A经由左铰链326A附接到左侧眼戴设备腿325A。在一些示例中，深度传感器213的部件，包括红外摄像头220、柔性PCB 340或其他电连接器或触点，可以位于左侧眼戴设备腿325A或左铰链326A上。

在示例中，左组块110A包括组块本体311、组块帽盖312、面向内的表面391和面向外的表面392(标记但不可见)。布置在左组块110A内的是各种互连电路板，例如PCB或柔性PCB，其包括用于电池充电的控制器电路、面向内的发光二极管(LED)和面向外(向前的)LED。虽然包括红外发射器215和红外摄像头220的深度传感器213示出为形成在左边缘107A的电路板上，但是可以形成在右边缘107B的电路板上，例如，与右侧可见光摄像头114B组合，以捕捉在生成三维深度图像时使用的红外图像。

图4是穿过红外摄像头220和框架的截面图，对应于图3眼戴设备圈出的横截面4-4。在图4的截面图中可以看到眼戴设备100的各个层。如图所示，柔性PCB 340设置在框架后部335上并连接到框架前部330。红外摄像头220设置在柔性PCB 340上并由红外摄像头镜头盖445覆盖。例如，红外摄像头220回流到柔性PCB 340的背面。回流通过使柔性PCB 340经受将焊膏熔化以连接两个组件的受控热而将红外摄像头220附连到形成在柔性PCB 340背面上的电接触垫。在一个示例中，回流用于将红外摄像头220表面安装在柔性PCB 340上并电连接两个组件。然而，应当理解，例如，可以使用通孔将来自红外摄像头220的引线经由连接线连接到柔性PCB 340。

框架前部330包括用于红外摄像头镜头盖445的红外摄像头开口450。红外摄像头开口450形成在框架前部330的向前侧面上，被配置为面向外远离用户的眼睛并且朝向用户正在观察的场景。在该示例中，柔性PCB 340可以经由柔性PCB粘合剂460连接到框架后部335。红外摄像头镜头盖445可经由红外摄像头镜头盖粘合剂455连接到框架前部330。该连接可以是经由中间部件的间接连接。

图5示出了图2A眼戴设备的后透视图。眼戴设备100包括红外发射器215、红外摄像头220、框架前部330、框架后部335和电路板340。如在图3中，在图5中可以看出，眼戴设备100的框架的左边缘上部包括框架前部330和框架后部335。红外发射器215的开口形成在框架前部330上。

如框架左边缘中上部中圈出的横截面6-6所示，电路板(其为柔性PCB 340)夹在框架前部330和框架后部335之间。还更详细示出的是左组块110A经由左铰链326A附接到左侧眼戴设备腿325A。在一些示例中，深度传感器213的组件，包括红外发射器215、柔性PCB 340或其他电连接器或触点，可以位于左侧眼戴设备腿325A或左铰链326A上。

图6是穿过红外发射器215和框架的截面图，对应于图5眼戴设备圈出的横截面6-6。在图6的截面图中示出了眼戴设备100的多个层，如图6所示，框架105包括框架前部330和框架后部335。柔性PCB 340设置在框架后部335上并连接到框架前部330。红外发射器215设置在柔性PCB 340上并由红外发射器镜头盖645覆盖。例如，红外发射器215回流到柔性PCB340的背面。回流通过使柔性PCB 340经受将焊膏熔化以连接两个组件的受控热而将红外发射器215附接到形成在柔性PCB 340背面上的接触垫。在一个示例中，回流用于将红外发射器215表面安装在柔性PCB 340上并电连接这两个组件。然而，应当理解，例如，可以使用通孔将来自红外发射器215的引线经由连接线连接到柔性PCB 340。

框架前部330包括用于红外发射器镜头盖645的红外发射器开口650。红外发射器开口650形成在框架前部330的向前侧面上，被配置为面向外远离用户的眼睛并且朝向用户正在观察的场景。在该示例中，柔性PCB 340可以经由柔性PCB粘合剂460连接到框架后部335。红外发射器镜头盖645可经由红外发射器镜头盖粘合剂655连接到框架前部330。该耦合也可以是经由中间组件的间接耦合。

图7描述了深度传感器213的红外发射器215发射的红外光781发射图案的示例。如图所示，红外光782发射图案的反射变化被眼戴设备100深度传感器213的红外摄像头220捕捉为红外图像。红外光782发射图案的反射变化被用于测量原始图像(例如左侧原始图像)中像素的深度，以生成深度图像等三维深度图像。

该示例中的深度传感器213包括用于投射红外光图案的红外发射器215和用于捕捉空间中由对象或对象特征所投射红外光的变形红外图像的红外摄像头220，如眼戴设备100的佩戴者所观察到的场景715所示。例如，红外发射器215可以发射红外光781，红外光781落在场景715内的对象或对象特征上，如同大量的点。在一些示例中，红外光作为线图案、螺线或同心环的图案等发射。红外光通常对人眼不可见。红外摄像头220类似于标准的红、绿和蓝(RGB)摄像头，但是接收和捕捉红外波长范围内光的图像。为了深度感知，红外摄像头220耦合到图像处理器(图9中的元件912)和壁纸编程(元件945)，基于捕捉的红外光的红外图像来判断飞行时间。例如，然后所捕捉的红外图像中变形的点图案782可以由图像处理器处理，根据点的位移确定深度。通常，附近的对象或对象特征具有点进一步分散的图案，而远处的对象具有更密集的点图案。应理解，前述功能可体现在系统的一个或多个组件的壁纸编程或应用程序(元件945)的编程指令中。

图8A描述了由具有左侧红外摄像头视场812的深度传感器213的红外摄像头220捕捉的红外光的示例。红外摄像头220将三维场景715中红外光782发射图案的反射变化捕捉为红外图像859。如进一步所示，可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。基于红外图像859和左侧原始图像858A，生成三维场景715的三维深度图像。

图8B描述了由左侧可见光摄像头114A捕捉的可见光和由右侧可见光摄像头114B捕捉的可见光的示例。可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。可见光由具有右侧可见光摄像头视场111B的右侧可见光摄像头114B捕捉为右侧原始图像858B。基于左侧原始图像858A和右侧原始图像858B，生成三维场景715的三维深度图像。

图9是示例壁纸系统900的高级功能块图，其包括经由各种网络连接的可穿戴设备(例如眼戴设备100)、移动设备990和服务器系统998。眼戴设备100包括深度捕捉摄像头，例如可见光摄像头114A-B中的至少一个；以及深度传感器213，其被示为红外发射器215和红外摄像头220。可替代地，深度捕捉摄像头包括至少两个可见光摄像头114A-B(一个与左侧侧面170A相关联，另一个与右侧侧面170B相关联)。深度捕捉摄像头生成深度图像962A-H，深度图像962A-H是呈现的三维(3D)模型，是例如从原始图像858A-N和经处理(例如经矫正)图像960A-N导出的红色、绿色和蓝色(RGB)成像场景纹理映射图像。

移动设备990可以是智能手机、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接925和高速无线连接937与眼戴设备100连接的任何其他此类设备。移动设备990连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。

眼戴设备100还包括光学组件180A-B的两个图像显示器(一个与左侧侧面170A相关联，另一个与右侧侧面170B相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。光学组件180A-B的图像显示器用于呈现图像和视频，包括原始视频964的八个原始图像965A-H(例如原始图像858A-N和经处理图像960A-N)和与八个原始图像965A-H中的相应原始图像相关联的壁纸视频967的八组壁纸图像968A-K、969A-K、...975A-K。每组壁纸图像968A-K、969A-K、...975A-K具有11个壁纸图像(例如968A-K)以提供由各原始图像965A-H的空间运动参数976A-K(例如0.0、0.1、...1.0)代表的总共十一个视场。中间壁纸图像(例如968F)可对应于原始图像(例如965A)的视场。图像显示驱动器942耦合到光学组件180A-B的图像显示器以控制光学组件180A-B的图像显示器以呈现图像和视频，例如原始视频964和壁纸视频967的选择性图像。眼戴设备100还包括用户输入设备991(例如触摸传感器)以从用户接收空间用户输入选择978和时间用户输入选择979。在一些示例中，用户输入设备991包括运动跟踪器981(例如惯性测量单元)。

图9所示的眼戴设备100组件位于一个或多个电路板上，例如位于边缘或眼戴设备腿中的PCB或柔性PCB。替代地或附加地，所描述的组件可位于眼戴设备100的组块、框架、铰链或鼻梁架中。左侧和右侧可见光摄像头114A-B可包括数字摄像头元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头或可用于捕捉数据(包括具有未知对象的场景图像)的任何其它相应的可见光捕捉元件。

眼戴设备100包括存储器934，其包括壁纸编程945，用于执行本文所述壁纸效果的功能子集或所有功能，其中用户的(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个被应用于与壁纸图像968A-K、969A-K、...975A-K的交互。如图所示，存储器934还包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B以及由深度传感器213的红外摄像头220捕捉的红外图像859。存储器934进一步包括多个深度图像962A-H，八个原始图像965A-H的每一个对应一个深度图像。经由深度捕捉摄像头生成深度图像962A-H，且深度图像962A-H的每一个包括顶点963A-H的相应网格。

在图11中示出了概述可在壁纸编程945中执行各功能的流程图。存储器934还包括由用户输入设备991接收的空间用户输入选择978(例如眼戴设备100或移动设备990的倾斜)和时间用户输入选择979(例如初始触摸点和最终触摸点)。存储器934还包括：左侧图像视差图961A、右侧图像视差图961B、左侧经处理(例如经校正)图像960A和右侧经处理(例如经校正)图像960B(例如删除朝向镜头端部的渐晕)。如进一步所示，存储器934包括用于每个深度图像962A-H的顶点963A-H的相应网格，以及原始视频964，其包括一系列原始图像965A-H及与每个原始图像965A-H相关联的相应时间坐标966A-H。存储器还包括壁纸视频967，其包括用于八个相应原始图像965A-H每一个的八组十一个壁纸图像968A-K、969A-K、...975A-K。十一个壁纸图像968A-K、969A-K、...975A-K与相应原始图像965A-H的相应时间坐标966A-H相关联。可在原始图像858A-B的图像处理期间生成存储器934中的一些或全部存储信息，以生成壁纸图像968A-K、969A-K、…975A-K。

例如，创建0.1、0.2直到1的K个视场(或视点)，以生成与11个壁纸图像968A-K相对应的11个视图，从而使每个壁纸图像968A-K在不同的角度方向上可见。当用户倾斜(例如旋转)移动设备990时，十一个不同壁纸图像968A-K在其间旋转。通过具有若干(十一)个壁纸图像968A-K，创建3D外观。移动移动设备990提供不同视点的效果，其甚至在仅基于设定为壁纸的单个原始图像965A时提供短视频动画。

在基于3D图像处理生成多组壁纸图像968A-K、969A-K、...975A-K时，实际距离或深度可用于围绕顶点963A-H的3D网格旋转。在2D光场效应图像处理版本中，使用与深度相关的视差，但是视差不直接是深度。相反，视差只是像素的运动，这意味着图像处理可以在二维空间中完成，以加快运行速度并减少内存需求。不需要任何转换到3D，而是存在对应像素和对应像素之间的插值。虽然对应性(视差)可以转化为深度(距离)，但这种空间运动壁纸效果不需要深度。无论Z轴上的深度是10米还是20米都无关紧要，根据空间运动输入选择978，像素可以运动到不同的X轴位置坐标。

如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942耦合到高速电路930并由高速处理器932操作，以便驱动光学组件180A-B的左侧图像显示器和右侧图像显示器。高速处理器932可以是能够管理眼戴设备100所需任何通用计算系统高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936管理高速无线连接937上到无线局域网(WLAN)的高速数据传送所需的处理资源。在某些实施例中，高速处理器932执行操作系统，例如眼戴设备100的LINUX操作系统或其它这样的操作系统，并且该操作系统被存储在存储器934中以供执行。除了任何其它责任之外，执行眼戴设备100软件架构的高速处理器932还用于管理对于高速无线电路936的数据传输。在某些实施例中，高速无线电路936被配置为执行电气和电子工程师协会(IEEE)802.11通信标准，在本文中也被称为Wi-Fi。在其它实施例中，可由高速无线电路936执行其它高速通信标准。

眼戴设备100的低功率无线电路924和高速无线电路936可以包括短距离收发器(Bluetooth(蓝牙)

存储器934包括能够存储各种数据和应用的任何存储设备，其中包括由左侧和右侧可见光摄像头114A-B、红外摄像头220和图像处理器912生成的摄像头数据，以及为了由图像显示驱动器942在光学组件180A-B的图像显示器上显示而生成的图像。虽然存储器934被示为与高速电路930集成，但是在其它实施例中，存储器934可以是眼戴设备100的独立元件。在某些这样的实施例中，电气布线可以提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其它实施例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。

如图9所示，眼戴设备100的处理器932可耦合到深度捕捉摄像头(可见光摄像头114A-B；或可见光摄像头114A、红外发射器215和红外摄像头220)、图像显示驱动器942、用户输入设备991和存储器934。如图10所示，移动设备990的处理器1030可耦合到深度捕捉摄像头1070、图像显示驱动器1090、用户输入设备1091以及存储器1040A。眼戴设备100的处理器932执行存储器934中的壁纸编程945，眼戴设备100可以执行以下描述的全部功能或功能子集。移动设备990的处理器1030执行存储器1040A中的壁纸编程945，移动设备990可执行以下描述的全部功能或功能子集。可在壁纸系统900中划分各项功能，使得眼戴设备100生成原始图像858A-B，但移动设备990对原始图像858A-B执行图像处理的剩余部分以生成原始视频(包括八个原始图像965A-H)以及壁纸视频967(包括八组壁纸图像968A-K、969A-K、...975A-K)。

示例壁纸系统900包括用于呈现壁纸视频967的图像显示器180A-B、1080，所述壁纸视频967包括一系列壁纸图像968A-K、969A-K、...975A-K。壁纸图像968A-K，969A-K，...975A-K是二维(2D)的，并且基于经由深度捕捉摄像头捕捉的原始图像858A-B或经处理的原始图像960A-B。每个壁纸图像968A-K、969A-K、...975A-K与用于呈现时间的时间(T)轴上的相应时间坐标966A-H和相应空间运动参数976A-K相关联。壁纸系统900还包括耦合到图像显示器180A-B、1080的图像显示驱动器942、1090，以控制图像显示器180A-B、1080呈现壁纸视频967。

壁纸系统900还包括用户输入设备991、1091、981，用于从用户那里接收以下选择中的一个或两个：应用于壁纸视频967的(i)空间用户输入选择978和(ii)时间用户输入选择979。壁纸系统900还包括存储器934、1040A；以及处理器932、1030，其耦合到图像显示驱动器942、1090、用户输入设备991、1091、981和存储器934、1040A。壁纸系统900还包括存储器934、1040A中的壁纸编程945、1045。

处理器932、1030执行壁纸编程945将壁纸系统900配置为执行各项功能，包括经由图像显示器180A-B、1080向用户呈现壁纸视频967的第一壁纸图像的功能。在该示例中假设第一壁纸图像是与空间运动参数976A相关联的968A。壁纸系统900经由用户输入设备991、1091、981从用户那里接收以下选择中的一个或两个：(i)空间用户输入选择978及(ii)时间用户输入选择979以应用于壁纸视频967。

壁纸系统900确定下述两个内容的一个或两个：(i)与空间用户输入选择978相关联的相应空间运动参数976A-K，以及(ii)与时间用户输入选择979相关联的相应时间坐标966A-H。壁纸系统900经由图像显示器180A-B、1080呈现与(i)相应空间运动参数976A-K和(ii)相应时间坐标966A-H中的一个或两个相关联的第二壁纸图像。继续第一壁纸图像是968A的示例，假定空间运动参数是976B并且时间坐标是966B。如果仅存在仅用于空间运动的空间用户输入选择978，则第二壁纸图像是968B以仅呈现壁纸视频967的空间运动。如果仅存在仅用于时间运动的时间用户输入选择979，则第二壁纸图像为969A以仅呈现壁纸视频967的时间运动。然而，如果既存在空间用户输入选择978又存在时间用户输入选择979，则第二壁纸图像为969B以呈现壁纸视频967的空间运动和时间运动。

移动设备990或眼戴设备100可以包括用户输入设备991、1091。在基于触摸的用户输入设备991、1091中，时间用户输入选择979可以被检测为触摸传感器上的垂直滚动(滑动)类型的手指手势(例如，向上滚动以推进(向前)时间坐标966A-H或向下滚动以倒回时间坐标966A-H。基于触摸的用户输入设备1091可以作为触摸屏显示器集成到移动设备990中。在一个示例中，用户输入设备991、1091包括触摸传感器，该触摸传感器包括输入表面和耦合到输入表面以接收用户输入的至少一个手指接触的传感器阵列。用户输入设备991、1091还包括集成到或连接到触摸传感器并连接到处理器932、1030的感测电路。感测电路被配置为测量电压以跟踪输入表面上的至少一个手指接触。经由用户输入设备1091从用户那里接收(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个以应用于壁纸视频967的功能包括以下功能。首先，在触摸传感器的输入表面上接收从用户那里输入的至少一个手指接触。第二，经由感测电路跟踪输入表面上的至少一个手指接触。第三，基于来自用户的至少一个手指接触来检测(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个以应用于触摸传感器输入表面上的壁纸视频967。

基于触摸的用户输入设备991可以集成到眼戴设备100中。如上所述，眼戴设备100包括组块110A-B，组块110A-B在眼戴设备100的侧面170A-B上集成到框架105中或连接到框架105。框架105、眼戴设备腿125A-B或租块110A-B包括电路板，该电路板包括触摸传感器。该电路板包括柔性印刷电路板。触摸传感器设置在柔性印刷电路板上。传感器阵列是电容性阵列或电阻性阵列。电容性阵列或电阻性阵列包括形成二维直角坐标系统的网格，以跟踪X和Y轴位置坐标。

移动设备990或眼戴设备100的用户输入设备991、1091可以包括运动跟踪器981。在用户输入设备991、1091的运动跟踪器981中，空间用户输入选择978可以被检测为例如移动设备990或眼戴设备100的左侧或右侧水平倾斜(倾斜角度或旋转角度的改变)。运动(movt)跟踪器981是惯性测量单元(IMU)等电子设备，其使用加速度计和陀螺仪(有时还有磁力计)的组合来测量和报告身体的比力、角速率(有时还测量和报告身体周围的磁场)。如果存在磁力计，磁场可以用作输入，以检测取决于地球或人工磁场的特定姿势。在该示例中，惯性测量单元确定眼戴设备100或移动设备990等主计算机的旋转加速度。运动跟踪器981通过使用一个或多个加速度计检测线性加速度和使用一个或多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置包括三个轴中每个轴一个加速度计、陀螺仪和磁力计：水平轴针对左右运动(X)，垂直轴(Y)针对顶底运动，深度或距离轴针对上下运动(Z)。陀螺仪检测围绕3个轴(X、Y和Z)的旋转速率。磁力计像罗盘一样检测磁场(例如朝南、朝北等)，产生方向基准，磁场是地球磁场和其他人工磁场(例如由电力线产生的磁场)的混合物。三个加速度计检测沿着以上定义的水平(X)、垂直(Y)和深度或距离(Z)轴的加速度，这些轴可以相对于地面、眼戴设备100或移动设备990、深度捕捉摄像头或佩戴眼戴设备100或持有(或携带)移动设备990的用户来定义。因此，加速度计检测3轴加速度矢量，其然后可用于检测地球的重力矢量。

在一个示例中，移动设备990包括用户输入设备1091。用户输入设备1091包括耦合到处理器1030以跟踪移动设备990运动的运动跟踪器981。运动跟踪器981包括：(i)测量移动设备加速度的至少一个加速度计，(ii)测量移动设备旋转的至少一个陀螺仪，或者(iii)具有至少一个加速度计和至少一个陀螺仪的惯性测量单元(IMU)。经由用户输入设备1091从用户那里接收(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个以应用于壁纸视频967的功能包括以下功能。首先，通过(i)经由至少一个加速度计测量移动设备990的加速度，(ii)经由至少一个陀螺仪测量移动设备990的旋转，或(iii)经由惯性测量单元测量移动设备990的加速度和旋转，经由运动跟踪器981跟踪移动设备990的运动。第二，检测(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个，通过检测所跟踪的运动在时间段上的至少一个变化来应用于壁纸视频967。

如上所述，眼戴设备100包括框架105、连接到框架105侧面170A-B的眼戴设备腿125A-B以及深度捕捉摄像头。深度捕捉摄像头由框架105或眼戴设备腿125A-B中的至少一个支撑。深度捕捉摄像头包括：(i)具有重叠视场111A-B的至少两个可见光摄像头114A-B，或(ii)至少一个可见光摄像头114A或114B和深度传感器213。可以类似地构造移动设备990的深度捕捉摄像头1070。

在一个示例中，深度捕捉摄像头包括至少两个可见光摄像头114A-B，其包括左侧可见光摄像头114A和右侧可见光摄像头114B，左侧可见光摄像头114A具有捕捉左侧原始图像858A的左侧视场111A，右侧可见光摄像头114B具有捕捉右侧原始图像858B的右侧视场114B。左侧视场111A和右侧视场111B具有重叠的视场813(参见图8B)。

在2D图像处理光场效应示例中，处理器932、1030执行壁纸编程945将壁纸系统900配置为执行各项功能，包括通过实施以下功能生成第二壁纸图像的功能。首先，计算(i)左侧像素矩阵和右侧像素矩阵之间的左侧图像视差图961A，以及(ii)右侧像素矩阵和左侧像素矩阵之间的右侧图像视差图961B。左侧原始图像858A或左侧经处理的图像960A包括左侧像素矩阵。右侧原始图像858B或右侧经处理的图像960B包括右侧像素矩阵。第二，确定左侧像素矩阵和右侧像素矩阵的相应空间运动参数976a-K沿着(i)针对水平位置运动的X轴和(ii)针对垂直位置运动的Y轴至少一个。在一个示例中，仅沿着平行于基线(连接可见光摄像头114A-B的虚线)的单一X轴进行运动。第三，通过基于相应的空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的左侧像素矩阵中的像素来填补左侧插值像素矩阵。第四，通过基于空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的右侧像素矩阵中的像素来填补右侧插值像素矩阵。第五，将左侧插值像素矩阵和右侧插值像素矩阵混合在一起以创建第二壁纸图像。

在二维图像处理示例中，假设第一壁纸图像为968F，与976F的空间运动参数相关联。第一壁纸图像968F具有与原始图像965A相同的视场并且基本上模仿原始图像965A。因此，由左侧可见光摄像头和右侧可见光摄像头114A-B捕捉的原始图像858A-B对应于处理之前的原始图像965A，并且经处理的图像960A-B对应于经矫正之后的原始图像965A。假设所接收的空间用户输入选择978仅用于空间运动并且与空间运动参数相关联的是976B，则所呈现的第二壁纸图像是968B。基于左侧插值像素矩阵和右侧插值像素矩阵将第二壁纸图像968B混合在一起以呈现围绕第一壁纸图像968F(即原始图像965A)的空间运动或旋转的外观。将左侧插值像素矩阵和右侧插值像素矩阵混合在一起是基于左侧图像视差图961A和右侧图像视差图961B中的视差置信度水平、梯度或其组合。例如，视差置信水平值基于左侧像素和右侧像素之间的相关性的大小。

继续2D示例，空间运动参数976A-K用于沿X轴的水平位置运动。通过沿X轴运动的左侧像素矩阵中的像素来填充左侧插值像素矩阵。通过进一步基于空间运动参数976A-K的补码(即1减去空间运动参数976A-K)沿X轴运动的右侧像素矩阵中的像素来填充右侧插值像素矩阵。

在某些示例中，对原始图像965A-H进行预处理以创建壁纸图像矩阵可能是有利的。创建壁纸图像矩阵通过预先生成并持续存储八组壁纸图像968A-K、969A-K、..975A-K来节省壁纸系统900响应于空间用户输入选择978和时间用户输入选择979的处理时间。另一方面，预先生成壁纸图像矩阵对壁纸系统900存储器932、1040A实施了额外的存储要求，但确实提供对用户交互的更快响应速度以处理壁纸视频967的益处。因此，处理器932、1030执行壁纸编程945将壁纸系统900配置为在用户选择原始视频964作为壁纸时，创建壁纸图像矩阵并将其持久地存储在存储器934、1040A中。每组相应的壁纸图像968A-K、969A-K、...975A-K对应于原始视频964的相应原始图像965A-H的相应时间坐标966A-H。每组相应的壁纸图像968A-K、969A-K、...975A-K提供围绕原始视频964的相应原始图像965A-H的空间运动或旋转的外观。相应壁纸图像968A-K、969A-K、...975A-K组内的每个壁纸图像968A-K对应于相应原始图像965A-H内的不同空间运动参数976A-K(例如存在十一个视场)。

在2D图像处理光场效应示例中，创建壁纸图像矩阵(包括壁纸视频967的壁纸图像968A-K、969A-K、...975A-K各组)的功能包括以下功能。首先，经由深度捕捉摄像头捕捉对应于各自原始图像965A-H的左侧原始图像858A和右侧原始图像858B。第二，计算(i)左侧像素矩阵和右侧像素矩阵之间的左侧图像视差图961A，以及(ii)右侧像素矩阵和左侧像素矩阵之间的右侧图像视差图961B。左侧原始图像858A或左侧经处理的图像960A包括左侧像素矩阵。右侧原始图像858B或右侧经处理的图像960B包括右侧像素矩阵。然后对于对应组壁纸图像968A-K、969A-K、...975A-K的每个壁纸图像968A-K、969A-K、...975A-K执行以下功能。首先，确定相应原始图像965A-H的左侧像素矩阵和右侧像素矩阵的相应空间运动参数976A-K，其沿着(i)针对水平位置运动的X轴和(ii)针对垂直位置运动的Y轴中的至少一个。第二，通过基于用于相应原始图像965A-H的相应空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的左侧像素矩阵来填充左侧插值像素矩阵。第三，通过基于相应原始图像965A-H的相应空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的右侧像素矩阵来填充右侧插值像素矩阵。第四，将左侧插值像素矩阵和右侧插值像素矩阵混合在一起以创建相应壁纸图像968A-K、969A-K、…975A-K。

在3D图像处理示例中，由处理器932、1030执行壁纸编程945将壁纸系统900配置为执行以下功能。首先，经由深度捕捉摄像头创建对应于第一壁纸图像的相应深度图像962A-H。相应深度图像962A-H由顶点963A-H的相应网格形成。每个顶点表示三维场景中的像素。每个顶点都有位置属性。每个顶点的位置属性基于三维位置坐标系统，包括针对水平位置的X轴上的X位置坐标、针对垂直位置的Y轴上的Y位置坐标和针对深度(距离)的Z轴上的Z位置坐标。每个顶点还包括颜色属性、纹理属性或反射属性中的一个或多个。通过基于相应的空间运动参数976A-K旋转相应的深度图像962A-H来执行生成所呈现的第二壁纸图像的功能。相应的空间运动参数976A-K沿着(i)针对水平位置运动的X轴，(ii)针对垂直位置运动的Y轴以及(iii)针对深度(距离)运动的Z轴中的至少一个。

在壁纸系统900的一个示例中，处理器包括第一处理器932和第二处理器1030。存储器包括第一存储器934和第二存储器1040A。眼戴设备100包括用于通过网络925或937(例如无线短程网络或无线局域网)进行通信的第一网络通信924或936接口、耦合到第一网络通信接口924或936的第一处理器932、以及第一处理器932可访问的第一存储器934。眼戴设备100还包括第一存储器934中的壁纸编程945。第一处理器932执行第一壁纸编程945将眼戴设备100配置为执行经由深度捕捉摄像头捕捉原始图像965A-H(例如原始图像858A-B或经处理的原始图像960A-B)的功能。

壁纸系统900还包括通过网络925或937耦合到眼戴设备100的主计算机，例如移动设备990。主计算机包括用于通过网络925或937进行通信的第二网络通信接口1010或1020。第二处理器1030耦合到第二网络通信接口1010或1020。第二存储器1040A可由第二处理器1030访问。主计算机还包括第二存储器1040A中的第二壁纸编程945。

第二处理器1030执行第二壁纸编程945将主计算机990、998配置为执行以下功能。首先，经由图像显示器1080向用户呈现壁纸视频967的第一壁纸图像。第二，经由用户输入设备1091、981(例如触摸屏、计算机鼠标、运动跟踪器)从用户那里接收应用于壁纸视频967的(i)空间用户输入选择978以及(ii)时间用户输入选择979中的一个或两个。第三，响应接收(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个，确定(i)与空间用户输入选择978相关联的相应空间运动参数976A-K和(ii)与时间用户输入选择979相关联的相应时间坐标966A-H中的一个或两个。第五，经由图像显示器180A-B、1080呈现与(i)相应空间运动参数976A-K和(ii)相应时间坐标966A-H中的一个或两个相关联的第二壁纸图像。

服务器系统998可以是作为服务或网络计算系统一部分的一个或多个计算设备，例如，其包括处理器、存储器和通过网络995与移动设备990和眼戴设备100通信的网络通信接口。眼戴设备100与主计算机连接。例如，眼戴设备100经由高速无线连接937与移动设备990配对，或者经由网络995与服务器系统998连接。

眼戴设备100的输出组件包括视觉组件，例如如图2B-C所描述的光学组件180A-B的左侧图像显示器和右侧图像显示器(例如，液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管等显示器)。光学组件180A-B的图像显示器由图像显示驱动器942驱动。眼戴设备100的输出组件还包括声学组件(例如扬声器)、触觉组件(例如振动马达)、其它信号发生器等。眼戴设备100、移动设备990及服务器系统998的输入组件可包括字母数字输入组件(例如键盘、被配置为接收字母数字输入的触摸屏、光键盘或其它字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触觉输入组件(例如物理按钮，提供触摸位置和触摸力或触摸手势的触摸屏或其它触觉输入组件)、音频输入组件(例如麦克风)等。

眼戴设备100可以可选地包括附加的外围设备元件。这样的外围设备元件可以包括生物计量传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件可包括任何I/O组件，包括输出组件、运动组件、位置组件或本文描述的任何其它此类元件。

例如，生物计量组件包括用于检测表情(例如手表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、汗液或脑电波)、识别人(例如声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。位置组件包括生成位置坐标的位置传感器组件(例如全球定位系统(GPS)接收器组件)、用于生成定位系统坐标的WiFi或Bluetooth(蓝牙)

图10是经由图9的壁纸系统900通信的移动设备990示例的高级功能块图。移动装置990包括用户输入设备1091(例如触摸屏显示器或运动跟踪器981)，用于接收空间用户输入选择978或时间用户输入选择979以实时应用于原始图像965A-H或可包含存档壁纸图像矩阵的壁纸视频967。作为响应移动设备990基于与空间用户输入选择978相关联的相应空间运动参数976A-K或与时间用户输入选择979相关联的相应时间坐标966A-H呈现相应壁纸图像968A-K、969A-K、...975A-K。

移动设备990包括闪存1040A，其包括壁纸编程945，用于执行本文所述的全部功能或功能子集，以产生壁纸效果，其中来自用户的(i)空间用户输入选择978以及(ii)时间用户输入选择979中的一个或两个被应用于与壁纸图像968A-K、969A-K、…975A-K交互。

如图所示，存储器1040A还包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B和由深度传感器213的红外摄像头220捕捉的红外图像859。移动设备1090可以包括深度捕捉摄像头1070，该深度捕捉摄像头1070包括至少两个可见光摄像头(具有重叠视场的第一和第二可见光摄像头)或者至少一个可见光摄像头和具有大幅重叠视场的深度传感器，和眼戴设备100一样。当移动设备990包括和眼戴设备100一样的组件(例如深度捕捉摄像头)时，可经由移动设备990的深度捕捉摄像头1070捕捉左侧原始图像858A、右侧原始图像858B和红外图像859。

存储器1040A还包括多个深度图像962A-H(包括顶点963A-H的各个网格)，这些深度图像是经由眼戴设备100的深度捕捉摄像头或移动设备990本身的深度捕捉摄像头1070生成的。图11中示出了概述可在壁纸编程945中实施的功能的流程图。存储器1040A还包括由用户输入设备1091接收的空间用户输入选择978和时间用户输入选择979(例如初始触摸点和最终触摸点等)。存储器1040A还包括：左侧图像视差图961A、右侧图像视差图961B、以及左侧经处理(例如矫正)和右侧经处理(例如消除朝向镜头末端的渐晕)的图像960A-B。如进一步所示，存储器1040A包括具有原始图像965A-H和关联的相应时间坐标966A-H的原始视频964。存储器1040A进一步包括具有多组壁纸图像968A-K、969A-K、...975A-K和关联的相应空间运动参数976A-K的原始视频967。可在原始图像858A-B的图像处理期间产生存储器1040A中存储信息的一些或全部，以生成壁纸图像968A-K、969A-K、…975A-K。

如图所示，移动设备990包括图像显示器1080、用于控制图像显示的图像显示驱动器1090以及类似于眼戴设备100的用户输入设备1091。在图10的示例中，图像显示器1080和用户输入设备1091一起被集成到触摸屏显示器中。

可使用的触摸屏型移动设备示例包括(但不限于)智能手机、个人数字助理(PDA)、平板电脑、笔记本电脑或其他便携式设备。然而，触摸屏型设备的结构和操作是通过示例的方式提供的，并且本文所述的主题技术并不希望仅限于此。为了本讨论的目的，图10提供了示例移动设备990的块图图示，该示例移动设备990具有用于显示内容并接收用户输入作为用户界面(或作为用户界面的一部分)的触摸屏显示器。

本文所讨论的焦点活动通常涉及与接收来自用户的(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个相关的数据通信，以呈现与在便携式眼戴设备100或移动设备990中被选择为壁纸的原始图像965A-H或原始视频964的高度用户交互。如图10所示，移动设备990包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(XCVR)1010，其被示为WWAN XCVR。移动设备990还包括附加的数字或模拟收发器，例如用于经由NFC、VLC、DECT、ZigBee、Bluetooth(蓝牙)

为了生成用于定位移动设备990的位置坐标，移动设备990可以包括全球定位系统(GPS)接收器。可选地或附加地，移动设备990可以利用短程XCVR 1020和WWAN XCVR 1010中的任一个或两个来生成用于定位的位置坐标。例如，基于蜂窝网络、WiFi或Bluetooth(蓝牙)

收发器1010、1020(网络通信接口)符合现代移动网络所使用的各种数字无线通信标准中的一个或多个。WWAN收发器1010的示例包括(但不限于)被配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术(包括但不限于3GPP类型2(或3GPP2)和LTE，有时被称为“4G”)进行操作的收发器。例如，收发器1010、1020提供信息的双向无线通信，该信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息和网络相关输入以及去往/来自移动设备990的用于壁纸效果的各种类型的移动消息通信。

如上所述，通过收发器1010、1020和网络进行的这些类型的若干通信涉及支持与眼戴设备100或服务器系统998进行通信的协议和程序，以生成原始图像965A-H和壁纸图像968A-K、969A-K、…975A-K，例如传送左侧原始图像858A、右侧原始图像858B、红外图像859、深度图像962A-H和经处理(例如经矫正)的图像960A-B。例如，这样的通信可以经由短程XCVR 1020通过无线连接925和937传输去往和来自眼戴设备100的分组数据，如图9所示。例如，这样的通信还可以利用IP分组数据传输通过图9所示的网络(例如因特网)995经由WWANXCVR 1010来传输数据。WWAN XCVR 1010和短程XCVR 1020都通过射频(RF)发送和接收放大器(未示出)连接到相关联的天线(未示出)。

移动设备990还包括微处理器，如CPU 1030所示，其在本文中有时称为主控制器。处理器是具有被构造和布置成执行一个或多个处理功能(通常是各种数据处理功能)元件的电路。尽管可使用离散逻辑组件，但示例是利用形成可编程CPU的组件。例如，微处理器包括一个或多个集成电路(IC)芯片，该芯片结合执行CPU功能的电子元件。例如，处理器1030可基于任何已知或可用的微处理器架构，例如使用ARM架构的精简指令集计算(RISC)，如当今在移动设备和其它便携式电子设备中普遍使用的那样。当然，可以使用其它处理器电路来形成智能电话、笔记本电脑和平板电脑中的CPU 1030或处理器硬件。

微处理器1030通过将移动设备990配置为执行各种操作(例如根据可由处理器1030执行的指令或编程)来充当移动设备990的可编程主控制器。例如，这样的操作可以包括移动设备的各种一般操作，以及与壁纸编程945、眼戴设备100和服务器系统998的通信有关的操作。虽然可以通过使用硬连线逻辑来配置处理器，但是移动设备中的典型处理器是通过执行编程来配置的通用处理电路。

移动设备990包括用于存储数据和编程的存储器或存储设备系统。在该示例中，存储器系统可以包括闪存1040A和随机存取存储器(RAM)1040B。RAM 1040B用作处理器1030所处理指令和数据的短期存储器，例如用作工作数据处理存储器。闪存1040A通常提供较长期存储。

因此，在移动设备990的示例中，闪存1040A用于存储由处理器1030执行的编程或指令。取决于设备的类型，移动设备990存储并运行移动操作系统，通过该移动操作系统执行特定应用，包括壁纸编程945。应用程序(例如壁纸编程945)可为本地应用程序、混合应用程序或网络应用程序(例如由网络浏览器执行的动态网页)，其在移动设备990上运行以基于(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个产生各组壁纸图像968A-K、969A-K、...975a-K。移动操作系统的示例包括谷歌安卓系统(Google Android)、苹果iOS系统(I-Phone或iPad设备)、视窗移动系统(Windows Mobile)、亚马逊Fire OS系统、RIM黑莓操作系统等。

应当理解，移动设备990只是壁纸系统900中的一种类型的主计算机，并且可以利用其他布置。例如，服务器系统998(例如图9所示的服务器系统)可以在经由眼戴设备100的深度捕捉摄像头生成原始图像858A-B之后生成各组壁纸图像968A-K、969A-K、...975A-K。

图11是具有可在壁纸系统900中实施步骤的方法流程图，以应用于原始视频964，从而创建和呈现壁纸图像968A-K、969A-K、...975A-K。在块1100中开始，该方法包括经由深度捕捉摄像头捕捉原始视频964的一系列原始图像965A-H。每个原始图像965A-H与用于原始视频964中的呈现时间的时间(T)轴上的相应时间坐标966A-H相关联。

现在继续到块1110，该方法进一步包括经由图像显示器180A-B、1080向用户呈现原始视频964的原始图像965A-H。继续到块1120，该方法还包括经由用户输入设备991、1091、981从用户那里接收(i)应用于原始视频964的空间用户输入选择978以及(ii)应用于原始视频964的时间用户输入选择979。

在第一示例中，经由用户输入设备991、1091、981从用户那里接收应用于原始视频964的(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个，包括以下步骤。首先，在触摸传感器的输入表面上接收用户输入的至少一个手指接触。第二，经由感测电路跟踪输入表面上的至少一个手指接触。第三，基于来自用户的至少一个手指接触，检测(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个以应用于触摸传感器输入表面上的原始视频964。例如，通过接收触摸传感器上的垂直滚动(滑动)类型的手指手势来检测时间用户输入选择979。

在第二示例中，经由用户输入设备991、1091、981从用户那里接收应用于原始视频964的(i)空间用户输入选择978以及(ii)时间用户输入选择979的步骤包括，首先经由运动跟踪器981跟踪移动设备990的运动。通过以下方式实现运动跟踪：(i)经由运动跟踪器981的至少一个加速度计测量移动设备990的加速度，(ii)经由运动跟踪器981的至少一个陀螺仪测量移动设备990的旋转，或(iii)经由运动跟踪器981的惯性测量单元测量移动设备990的加速度和旋转。第二，通过检测所跟踪的运动在时间段上的至少一个变化来检测(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个以应用于原始视频964。例如，通过经由包括惯性测量单元的运动跟踪器981感测移动设备990的水平倾斜来检测空间用户输入选择978。

响应接收到(i)空间用户输入选择978和(ii)时间用户输入选择979中的一个或两个，执行块1130和1140。进展到块1130，该方法进一步包括将(i)与空间用户输入选择978相关联的相应空间运动参数976A-K和(ii)与时间用户输入选择979相关联的相应时间坐标966A-H中的一个或两个应用于原始视频964。现在结束于块1140，该方法进一步包括经由图像显示器180A-B、1080呈现与(i)相应空间运动参数976A-K和(ii)相应时间坐标966A-H中的一个或两个相关联的壁纸图像。

在2D图像处理示例中，壁纸图像由原图像965A-H按以下步骤生成。首先，计算(i)左侧像素矩阵和右侧像素矩阵之间的左侧图像视差图961A，以及(ii)右侧像素矩阵和左侧像素矩阵之间的右侧图像视差图961B。第二，确定所述左侧像素矩阵和所述右侧像素矩阵的相应空间运动参数976A-K沿着(i)针对水平位置运动的X轴和(ii)针对垂直位置运动的Y轴中的至少一个。第三，通过基于相应的空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的左侧像素矩阵中的像素来填充左侧插值像素矩阵。第四，通过基于相应的空间运动参数976A-K沿着(i)X轴和(ii)Y轴中的至少一个运动的右侧像素矩阵中的像素来填充右侧插值像素矩阵。第五，将左侧插值像素矩阵和右侧插值像素矩阵混合在一起以创建壁纸图像。

例如，一旦创建了两个视差图(一个左侧图像视差图961A和一个右侧图像视差图961B)，空间运动参数976A-K在0和1之间变动，以设置或偏离生成的壁纸图像的空间运动或旋转。假设空间运动参数976A-K水平偏离，并且当被设置为0.0(例如976A)时，空间运动参数976A-K完全偏离到左侧图像，水平运动参数966被设置为1.0(例如976K)完全偏离到右侧图像。如果空间运动参数976A被设置为0.0，则权重被设置为输出左侧图像。例如，针对原始图像965A、965B和965H分别生成壁纸图像968A、969A和975A。如果空间运动参数976K被设置为1.0，则权重被设置为输出右侧图像作为壁纸图像968K。例如，壁纸图像968K、969K和975K是分别针对原始图像965A、965B和965H生成的。当空间运动参数976B-J不等于0.0或1.0时(在中间值处)，空间运动或旋转多少在左侧和右侧图像之间。将空间运动参数976B-J设置为0.1-0.9，用RGB值填充空的插值像素矩阵967A-B，以导出分别来自原始图像965A-H的中间壁纸图像968B-J、969B-J、...975B-J。例如，将空间运动参数976F设置为0.5，则左侧图像中的像素根据来自左侧图像视差图961A的各个视差值运动到右侧图像中对应像素的中途。例如，将来自左侧图像视差图961A的相应视差值乘以0.5并将其添加到X轴位置坐标以导出左侧运动的X轴位置坐标968A。通过根据来自右侧图像视差图961B的相应视差值将右侧图像中的像素运动到左侧图像中对应像素的中途，以相同的方式填充右侧插值像素矩阵。例如，将来自右侧图像视差图961B的相应视差值乘以0.5并添加到X轴位置坐标以导出右侧运动的X轴位置坐标。因此，对于每个像素，颜色值保持相同，但是X轴位置坐标在X轴上运动了视差值的一半。如果像素没有值(被遮挡)，但是邻近像素有值，则基于加权的邻近像素连同视差置信水平来计算被遮挡像素的像素值。在该示例中，将空间运动参数976F设置为0.5，创建模仿每个原始图像965A-H的视场。

在另一个示例中，假设空间运动参数976B设置为0.1。为了填充左侧插值像素矩阵，使用以下计算：对于左侧图像中的每个左侧像素，左侧图像视差图961A中的相应视差值乘以0.1，以得出相应的左侧运动的X轴位置坐标。为了填充右侧插值像素矩阵，使用以下计算：对于右侧图像中的每个右侧像素，右侧图像视差图961B的相应视差值乘以0.9，以得出相应的右侧运动的X轴位置坐标。这在左侧图像和右侧图像之间创建了新视图。

生成壁纸图像968A-K、969A-K、...975A-K的步骤通过将左侧插值像素矩阵和右侧插值像素矩阵混合在一起来实现。该混合基于左侧图像视差图961A和右侧图像视差图961B中的视差置信度水平(例如，通过加权每侧的贡献)、梯度或其组合。例如，视差置信水平值基于左侧像素和右侧像素之间相关性的大小。尽管人们可能期望获得相同的图像，但是由于反射、照明等因左侧图像和右侧图像中的视角不同而不同(因此术语光场效应)，壁纸图像是不相同的。这创建了具有新视场的壁纸图像968A-K。

在3D图像处理示例中，壁纸图像968A-K、969A-K、...975A-K由以下步骤生成。首先，经由深度捕捉摄像头创建对应于原始图像965A-H的相应深度图像962A-H。各个深度图像962A-H由顶点963A-H的各个网格形成。每个顶点代表一个三维场景中的像素。每个顶点都有位置属性。每个顶点的位置属性基于三维位置坐标系统，并且包括针对水平位置的X轴上的X位置坐标、针对垂直位置的Y轴上的Y位置坐标和针对深度(距离)的Z轴上的Z位置坐标。每个顶点还包括颜色属性、纹理属性或反射属性中的一个或多个。第二，通过基于相应的空间运动参数976A-K旋转相应的深度图像962A-H从原始图像生成所呈现的壁纸图像968A-K、969A-K、...975A-K。相应的空间运动参数976A-K沿着(i)针对水平位置运动的X轴、(ii)针对垂直位置运动的Y轴以及(iii)针对深度(距离)运动的Z轴中的至少一个。

图12-22演示了用户与一个穿着白色短裤和t恤的男子的原始视频964的交互。在原始视频964中，这名男子像忍者一样，在不同的时间坐标966A-H的空间和时间上，拿着游泳棒并在其周围摆动转动，这是捕捉的八个原始图像965A-H。壁纸视频967是基于原始视频964生成和呈现的，并且包括相应八组壁纸图像968A-K、969A-K、975A-K(具有十一个不同的视点)，这些壁纸图像作为响应基于图13-15的各种空间用户输入选择978A-C在围绕八个原始图像965A-H的空间中移动，并基于图17-22的各种时间用户输入选择979A-F在时间上向前和向后。

在初始化期间，原始视频964被设置为移动设备990上的壁纸。图12示出了与原始视频964的第一时间坐标966A相关联的第一原始图像965A的示例。第一原始图像965A是由可见光摄像头114A-B中的一个或两个捕捉的经处理后(例如经矫正)的图像。

在图13-15中，经由运动跟踪器981(例如IMU)类型的用户输入设备1091分别接收作为水平左侧和右侧倾斜的三个空间用户输入选择978A-C。图13示出了经由运动跟踪器981接收第一空间用户输入选择978A(例如向左侧水平倾斜)，以通过与最左侧视场(例如0.0)相关联的第一空间运动参数976A来处理第一原始图像965A。如图所示，作为响应，移动设备990的图像显示器1080呈现与第一空间运动参数976A相关联的第一壁纸图像968A。从针对第一原始图像965A生成的第一组壁纸图像968A-K提取第一壁纸图像968A。

图14示出了经由运动跟踪器981接收第二空间用户输入选择978B(例如向右侧水平倾斜)，以通过与左侧中间视场(例如0.2)相关联的第二空间运动参数976B来处理第一原始图像965A。作为响应，如图所示，移动设备990的图像显示器1080呈现与第二空间运动参数976B相关联的第二壁纸图像968B。从针对第一原始图像965A生成的第一组壁纸图像968A-K提取第二壁纸图像968B。

图15示出了经由运动跟踪器981接收第三空间用户输入选择978C(例如向左侧水平倾斜)，以再次通过与最左侧视场(例如0.0)相关联的第一空间运动参数976A来处理第一原始图像965A，如先前在图13中所描述的。如图所示，作为响应，移动设备990的图像显示器1080再次呈现与第一空间运动参数976A相关联的第一壁纸图像968A。

在图16-22中，经由触摸屏传感器类型的用户输入设备1091分别接收作为向上和向下垂直滚动的六个时间用户输入选择979A-F。图16再次示出了图15的第一壁纸图像968A，并描述了经由触摸传感器类型的用户输入设备1091发起手指接触1600以处理时间坐标966A-H(例如时间坐标)。这通过接收时间用户输入选择(例如979A-H)来完成。

图17示出了经由触摸传感器类型的用户输入设备1091接收第一时间用户输入选择979A(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第二时间坐标966B相关联的第一壁纸图像969A。从针对第二原始图像965B生成的第二组壁纸图像969A-K提取第一壁纸图像969A-K。

图18示出了经由触摸传感器类型的用户输入设备1091接收第二时间用户输入选择979B(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第三时间坐标966C相关联的第一壁纸图像970A。从针对第三原始图像965C生成的第三组壁纸图像970A-K提取第一壁纸图像970A。

图19示出了经由触摸传感器类型的用户输入设备1091接收第三时间用户输入选择979C(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第四时间坐标966D相关联的第一壁纸图像971A。从针对第四原始图像965D生成的第四组壁纸图像971A-K提取第一壁纸图像971A。

图20示出了经由触摸传感器类型的用户输入设备1091接收第四时间用户输入选择979D(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第五时间坐标966E相关联的第一壁纸图像972A。从针对第五原始图像965E生成的第五组壁纸图像972A-K提取第一壁纸图像970A。

图21示出了经由触摸传感器类型的用户输入设备1091接收第五时间用户输入选择979E(例如垂直向下滚动)。如图所示，作为响应，移动设备990的图像显示器1080再次呈现与图19的第四时间坐标966D相关联的第一壁纸图像971A。从针对第四原始图像965D生成的第四组壁纸图像971A-K提取第一壁纸图像971A。

图22示出了经由触摸传感器类型的用户输入设备1091接收第六时间用户输入选择979F(例如垂直向下滚动)。如图所示，作为响应，移动设备990的图像显示器1080再次呈现与图15-16的第一时间坐标966A相关联的第一壁纸图像968A。从针对第一原始图像965A生成的第一组壁纸图像968A-K提取第一壁纸图像970。

图23-25描述了由用户在移动设备990上进行的壁纸选择和设置过程，其中，穿着红色纽扣式衬衫的有胡子男人对着摄像头微笑的单个原始图像965A被设置为壁纸。图23示出了移动设备990上的壁纸选择2300，包括可作为壁纸选择的各种类型的原始视频和原始图像。图24示出了在移动设备990上选择原始图像965A作为壁纸。图25示出了壁纸设置2500及将图24的原始图像965A加载为移动设备990的壁纸。

图26-28演示了用户与单一原始图像965A的交互，其中穿着红色纽扣式衬衫的有胡子男人对着摄像头微笑。图26示出了图25的原始图像965A，其是由可见光摄像头114A-B中的一个或两个捕捉的经处理(例如经矫正)的图像。在图27-28中，经由运动跟踪器981接收空间用户输入选择978A-B，并且生成相应的壁纸图像968A-B。图27示出了经由运动跟踪器981类型的用户输入设备1091接收第一空间用户输入选择978A(例如向左侧水平倾斜)，以通过与最左侧视场(例如0.0)相关联的第一空间运动参数976A来处理第一原始图像965A。如图所示，作为响应，移动设备990的图像显示器1080呈现与第一空间运动参数976A相关联的第一壁纸图像968A。从第一原始图像965A生成第一壁纸图像968A。

图28示出了经由运动跟踪器接收第二空间用户输入选择978B(例如向右侧水平倾斜)，以通过与左侧中间视场(例如0.2)相关联的第二空间运动参数976B来处理第一原始图像965A。如图所示，作为响应，移动设备990的图像显示器1080呈现与第二空间运动参数976B相关联的第二壁纸图像968B。从第一原始图像965A生成第二壁纸图像968B。

图29-31再次描述了用户在移动设备990上进行的壁纸选择和设置过程，其中，被扔过木板桥的粉红色飞盘的原始视频964被设置为壁纸。图29示出了移动设备990上的壁纸选择2900，包括可作为壁纸选择的各种类型的原始视频和原始图像。图30示出了在移动设备990上选择原始视频964(示为由第二原始图像965B表示)作为壁纸。图31示出了壁纸设置3100和将图30的原始视频964加载为移动设备990的壁纸。

图32-37演示了用户与原始视频964的交互，其中粉红色飞盘被扔过木板桥。图32示出了第二原始图像965B，其是由可见光摄像头114A-B中的一个或两个捕捉的经处理(例如经矫正)的图像。第二原始图像965B与原始视频964的第二时间坐标966B相关联。

在图33-35中，经由触摸屏传感器类型的用户输入设备1091分别接收作为垂直向上和向下滚动的三个时间用户输入选择979A-C。图33示出了经由触摸传感器类型的用户输入设备1091接收第一时间用户输入选择979A(例如垂直向下滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第一原始图像965A的第一时间坐标966F相关联的第六壁纸图像968F。比较图32-33，可以看出图33中的粉红色飞盘比图32的粉红色飞盘更靠近摄像头。因此，壁纸视频967在图33中的时间比在图32中的时间向后运动(倒回)。在空间上，选择第六壁纸图像968F，因为第六空间运动参数976F最接近地模仿(类似于或映射)所呈现的第二原始图像965B的视场，其位于由左侧和右侧可见光摄像头114A-B捕捉的左侧图像和右侧图像之间的中途。对于第六壁纸图像968F，空间运动参数976F被设置为0.5。从针对第一原始图像965A生成的第一组壁纸图像968A-K提取第六壁纸图像968F。

图34示出了经由触摸传感器类型的用户输入设备1091接收第二时间用户输入选择979B(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第三原始图像965C的第三时间坐标966C相关联的第六壁纸图像970F。比较图33-34，可以看出图34中的粉红色飞盘比图33中的粉红色飞盘离摄像头更远。将图34与图32进行比较，可以看出图34中的粉红色飞盘比图32中的粉红色飞盘离摄像头更远。因此，壁纸视频967在图34中的时间与在图32-33中的时间相比向前运动。从针对第三原始图像965C生成的第三组壁纸图像970A-K提取第六壁纸图像970F。

图35示出了经由触摸传感器类型的用户输入设备1091接收第三时间用户输入选择979C(例如垂直向上滚动)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第四时间坐标966D相关联的第六壁纸图像971F。从针对第四原始图像965D生成的第四组壁纸图像971A-K中提取第六壁纸图像971F。

在图36-37中，经由运动跟踪器981(例如IMU)类型的用户输入设备1091分别接收作为水平左侧和右侧倾斜的两个空间用户输入选择978A-B。图36示出了经由运动跟踪器981接收第一空间用户输入选择978A(例如向左侧水平倾斜)以通过与最左侧视场(例如0.0)相关联的第一空间运动参数976A处理第四原始图像965D(或图35中的第六壁纸图像971F)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第一空间运动参数976A相关联的第一壁纸图像971A。从针对第四原始图像965D生成的第四组壁纸图像971A-K提取第一壁纸图像971A。

图37示出了经由运动跟踪器981接收第二空间用户输入选择978B(例如向右侧水平倾斜)以通过与右侧中间视场(例如0.7)相关联的第八空间运动参数976H处理第四原始图像965D(或图36中的第一壁纸图像971A)。如图所示，作为响应，移动设备990的图像显示器1080呈现与第八空间运动参数976H相关联的第八壁纸图像971H。从针对第四原始图像965D生成的第四组壁纸图像971A-K提取第八壁纸图像971H。

本文描述的用于眼戴设备100、移动设备990和服务器系统998的任何壁纸效果功能可以体现在如前所述的一个或多个应用中。根据一些实施例，“功能”、“应用”、“指令”、“指令”或“编程”是执行在程序中所确定功能的程序。可以采用各种编程语言来创建以面向对象的编程语言(例如Objective-C、Java或C++)或程序编程语言(例如C语言或汇编语言)等各种方式构造的一个或多个应用程序。在具体示例中，第三方应用程序(例如，由特定平台供应商以外的实体使用ANDROID

因此，机器可读介质可以采用多种形式的有形存储介质。例如，非易失性存储介质包括光盘或磁盘，例如任何计算机中的任何存储设备等，例如可用于实现附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，例如这种计算机平台的主存储器。有形的传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的导线。载波传输介质可以采用电信号或电磁信号的形式，或声波或光波的形式，例如在射频(RF)和红外(IR)数据通信期间产生的声波或光波。因此，例如计算机可读介质的常见形式包括：软盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、RAM、PROM和EPROM、快闪EPROM、任何其他存储器芯片或盒、传输数据或指令的载波、传输这种载波波的电缆或链路，或计算机可从中读取编程代码和/或数据的任何其它介质。许多这些形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。

保护的范围仅受所附权利要求书限制。当根据本说明书和随后的申请过程进行解释时，该范围旨在并且应当被解释为与权利要求书中所使用语言的普通含义一样宽，包括所有等同结构和功能。尽管如此，权利要求无意包含不满足《专利法》第101、102或103节要求的主题，也不应以这种方式解释这些主题。特此否认对该主题的任何无意包含。

除上文所述外，任何已陈述或说明的内容均无意或不应被解释为使任何组件、步骤、特征、目的、利益、优势等捐献于公众，无论其是否在权利要求中陈述。

应理解，除了在本文中另外阐述的特定含义之外，本文使用的术语和表达具有与这些术语和表达相对于其相应的研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变型旨在涵盖非排他性包含，使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤，而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面有“a”或“an”的元件，在没有进一步限制的情况下，不排除在包括该元件的过程、方法、制品或设备中存在附加的相同元件。

除非另有说明，在本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如，除非另有明确说明，否则参数值等可能与规定的数量相差±10％。

另外，在前面的具体实施方式中，可以看出，为了简化本公开，在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求在此结合到具体实施方式中，其中每个权利要求独立地作为单独要求保护的主题。

虽然上文已经描述了被认为是最佳方式和其它示例的内容，但是应当理解，可以在其中进行各种修改，可以以各种形式和示例来实现本文公开的主题，并且它们可以应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念真实范围内的任何和所有修改和变化。