用于360度立体视频的无缝左/右视图

摘要

本发明涉及用于360度立体视频的无缝左/右视图。公开一种用于将来自三个或更多个图像传感器的第一和第二组图像缝合在一起的方法。第一组图像被组合为全景的合成左视图，而第二组图像被组合为全景的合成右视图。当适当地缝合在一起时，左右视图可作为全景的立体视图呈现。应用缝合算法，该缝合算法去除由所组合的左图像中和所组合的右图像中的视差带来的任何差别。

说明书

技术领域

本发明涉及图像处理，尤其涉及360度立体视频的无缝左/右视图。

背景技术

人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索 之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同 的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D 深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一 个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近 似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。

常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感 器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不 能获得场景的全景360度视图。这点的原因至少在于：在围绕360度全景的某 一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了360 度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的 情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。

发明内容

本文公开一种用于将来自三个或更多个图像传感器的第一和第二组图像 缝合在一起的方法。第一组图像被组合为全景的合成左视图，而第二组图像被 组合为全景的合成右视图。当适当地缝合在一起时，左右视图可作为全景的立 体视图呈现。应用缝合算法，该缝合算法去除由所组合的左图像中和所组合的 右图像中的视差带来的任何差别。

该缝合算法首先基于所检测的由视差在该重叠区域中的对象间带来的差 异来计算光学流。然后该算法从左向右和从右向左交叉淡化两遍，以将该重叠 区域中来自两个视图的对象对齐。为了防止拉伸后的图像中的间隙，当拉伸该 图像时应用经加权的因子。因此，当从左向右拉伸时，用在该重叠的左边缘处 的经加权因子0和在该重叠的右边缘处的经加权因子1来执行该交叉淡化。当 从右向左拉伸时，用在该重叠的右边缘处的相同的经加权因子0和在该重叠的 左边缘处的相同的经加权因子1来执行该交叉淡化。然后在两个方向上使用经 加权的交叉淡化来使该图像变形。然后可对变形后的图像的左半部和右半部应 用拉普拉斯混合以平滑掉任何剩余差别。

在一个示例中，本技术涉及一种从多个图像传感器形成立体图像的方法， 该方法包括如下步骤：(a)将来自不同图像传感器的第一组图像组合起来，该 第一组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一 组图像的重叠的情况下组合的；(b)将来自该不同图像传感器的第二组图像 组合起来，该第二组图像被用作该立体图像中的右侧视角且该第二组图像是在 具有该第二组图像的重叠的情况下组合的；(c)移除该第一和第二组图像的重 叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)通过将 第一图像在第一方向上在该重叠的第一边界处拉伸0倍而在相对边界处拉伸1 倍而将该重叠区域中来自两个不同图像的对象对齐，以及ii)通过将第二图像 在与该第一方向相反的第二方向上在该重叠的第二边界处拉伸0倍而在相对边 界处拉伸1倍而将该重叠区域中来自该两个不同图像的对象对齐。

在一个进一步示例中，本技术涉及一种从多个图像传感器形成立体图像的 方法，该方法包括如下步骤：(a)将具有视差的第一组图像组合起来，该第一 组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一组图 像的重叠的情况下组合的；(b)将具有视差的第二组图像组合起来，该第二 组图像被用作该立体图像中的右侧视角且该第二组图像是在具有该第二组图 像的重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对 图像之间的缝的出现，该步骤(c)包括如下步骤：i)使用重叠区域中的对应 对象之间的水平差异来计算光学流，ii)使用加权因子从左到右交叉淡化，该 因子从左到右增加，iii)使用加权因子从右到左交叉淡化，该因子从右到左增 加，iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形，以及v)在 该重叠区域的左半部和右半部之间应用拉普拉斯混合。

在另一示例中，本技术涉及用于对处理器进行编程以执行一种从三个图像 传感器形成立体图像的方法的机器可读存储介质，该方法包括如下步骤：(a) 将来自该三个图像传感器的第一组三个图像组合起来，围绕360度全景拍摄的 该第一组三个图像被用作该全景的该立体图像中的左侧视角，该第一组图像是 在具有重叠的情况下组合的；(b)将来自该三个图像传感器的第二组三个图 像组合起来，围绕360度全景拍摄的该第二组三个图像被用作该全景的该立体 图像中的右侧视角，该第二组图像是在具有重叠的情况下组合的；(c)移除该 第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括 如下步骤：i)使用重叠区域中的对应对象之间的水平差异来计算光学流，ii) 使用在重叠区域的左边缘处的0和该重叠区域的右边缘处的1之间加权的因子 来从左向右交叉淡化，iii)使用在重叠区域的右边缘处的0和该重叠区域的左 边缘处的1之间加权的因子来从右向左交叉淡化，iv)使用在步骤(c)(ii) 和(c)(iii)中修改的流来变形，以及v)在重叠区域的左半部和右半部之间 应用拉普拉斯混合。

提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步 描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必 要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护 主题不限于解决本发明的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1是包括反折射底架组件和计算系统的本发明系统的图。

图2是反折射底架组件的透视图。

图3是反折射底架的透视图。

图4是移除了凸面镜的反折射底架组件的一部分的透视图。

图5是在反折射底架组件的图像传感器内使用的镜的俯视图。

图6是反折射底架组件的图像传感器的截面侧视图。

图7是捕捉全景的视图的反折射底架组件的俯视图。

图8是捕捉图7的全景的不同部分的视图的反折射底架部件的俯视图。

图8A是示出了遮挡角计算的图7的反折射底架组件的图示。

图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和被遮 挡视图的图表。

图10-12是根据本发明的替代实施例的反折射底架组件的俯视图。

图13是本发明系统的一实施例的操作流程图。

图14是捕捉反折射图像的凸面镜的仰视图。

图15是从图14的反折射图像变形的柱形图像的透视图。

图16是示出凸面镜的各参数的图14的凸面镜的仰视图。

图17是图15的柱形图像的展平视图。

图18-20是由三个图像传感器捕捉的柱形图像，并且示出可以为校准目 的而在不同的图像间匹配的线索。

图21是示出图13的步骤208的进一步细节的流程图。

图22是示出图13的步骤212的进一步细节的流程图。

图23是来自不同图像传感器的柱形图像被分成左视图和右视图的视图。

图24和25是在从全景的不同部分接收到图像数据时区分瞳孔间视距的两 个例子。

图26是左图像被合成为全景左图像且右图像被合成为全景右图像的视图。

图27是示出图13的步骤218的进一步细节的流程图。

图28是示出图27的步骤274的进一步细节的流程图。

图29是左图像或右图像的对要被合成的视图。

图30是图29的图像被合成为带有重叠区域的视图。

图31是示出图30的图像在重叠区域中以第一方向通道变形的视图。

图32是示出图30的图像在重叠区域中以第二方向通道变形的视图。

图33是可在其上实现本发明系统的各实施例的示例计算设备的框图。

具体实施方式

现在将参考附图1-33来描述本发明的技术的一般涉及用于生成全景立体 图像的系统和方法的各实施例。在各实施例中，本发明系统包括硬件和软件组 件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多反折射图像传 感器的组件。每个图像传感器生成全景的图像，诸如场景的360度视图。软件 组件将反折射图像处理成全景的柱形图像，在空间上校准来自不同图像传感器 的柱形图像并且在时间上将它们彼此同步，将柱形图像分割成用于左眼的图像 和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的 右眼图像缝合在一起。结果是可以被显示给用户以便提供例如360度全景的3D 立体视图的全景左视图和右视图。

在各例子中，系统中所使用的图像可以是真实事件、人物、地点或事物的 图像。仅作为一些非限制性的例子，图像可以是体育事件或音乐会的图像，其 中用户能够从竞技场、舞台或者图像收集设备所位于的任何地方来观看该事 件。下面说明用于生成场景的立体全景图的硬件和软件组件。

图1-4示出用于捕捉全景立体图像的系统100的一个例子。系统100包 括能够与计算系统110通信的反折射底架组件104。下面参照图33更详细地说 明了计算系统110的实施例，但通常，计算系统110可以是一个或多个台式机、 便携式计算机、服务器、多处理器系统、大型计算机、分布式计算环境或其他 处理系统。反折射底架组件104可以经由物理连接或者无线地与计算系统110 通信。在各实施例中，计算系统110可以是来自组件104的单独组件。在这样 的实施例中，计算系统110可以直接连到组件104，或者计算系统110和组件 104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中， 计算系统可以作为反折射底架组件104的一部分集成，以形成单个组件。

在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传 感器112、114和116。每个反折射图像传感器可以在底架120中安装在一起以 便将图像传感器保持为相对固定关系。图3是没有图像传感器112、114、116 的底架120的视图。底架120可以包括各插孔，基本上是柱形的图像传感器112、 114、116的每一个可以被容纳和固定在插孔中，例如通过一个或多个螺丝钉或 其他扣件。一旦被固定，图像传感器112、114和116就相对于彼此保持基本 上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。 如下面说明的，底架120可以被配置成容纳大于三个图像传感器。底架120例 如可以安装在三脚架122上。

每个图像传感器112、114、116包括中心轴，每个中心轴在此称为传感器 112、114、116的光轴。传感器112、114、116固定在底架120内，使得光轴 一起限定了等边三角形的顶点。在其他实施例中，各个传感器的轴可以形成具 有其他配置的三角形。底架120可由金属、塑料或其他刚性材料形成。在包括 多于三个图像传感器的实施例中，会相应地配置底架120，以便将组件内的每 一个图像传感器保持为彼此固定关系。

由于每一个反折射图像传感器112、114、116彼此相同，以下对一个反折 射图像传感器的说明适用于阵列104中的每一个反折射图像传感器。如图1-2 和4-6所示，每个反折射图像传感器可以包括相机124以及通过杆132和环 133固定安装至相机124的凸面镜130。镜130包括和杆132相邻的顶部130a 和底部130b。杆132可以是关于反折射图像传感器的光轴同轴的，并且可以支 撑镜，使得镜130b的底部距离相机约为7英寸，然而在其他实施例中也可以 更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形，然而 在其他实施例中，它也可以具有其他直径并且可以是其他截面形状。

镜130和杆132可以通过一环133相对于相机124而固定，环133可以固 定到底架120的插孔。镜130和杆132可以通过各种其他固定方法来固定到底 架120和/或相机124。一种这样的方法在2008年7月15日公告的第7399095 号美国专利中公开，该专利题为“Apparatus For Mounting a Panoramic Mirror (用于安装全景镜的装置)”，该专利全体结合于此。构想了其他安装结构， 用于以使安装结构在反折射图像传感器所捕捉的图像中的出现最小化的方式 将镜安装到相机。相机124可以是用于捕捉图像并将图像数字化为像素数据的 已知数字相机。在一个例子中，相机可以是具有IEEE-1394接口的IIDC数字 相机。可使用其它类型的数字相机。

凸面镜130可以是关于光轴对称的，并且通常可用来捕捉来自360度全景 的图像数据并将该图像数据向下引导至相机124。特别是，如图5和6所示， 提供镜130的表面，使得镜130的各部分上入射的光线LR被引导至相机124 内的透镜134上。透镜又将光线聚焦到图像传感设备138上，图像传感设备138 可以例如是图6示意性地示出的CCD或CMOS传感器。在下面描述的实施例 中，每个反折射图像传感器112、114、116所捕捉的全景可以是360度全景。 然而，图像传感器所产生的全景可以小于360度，诸如在90度和360度之间， 然而在其他实施例中也可以小于90度。

在各实施例中，镜130的表面是关于图像传感器的光轴对称的。可以使用 在与摄像机光学结合时真正等角的镜形状。在这一等角的镜/相机系统中，图像 中的每个像素可以跨越相等的角度，而不考虑它离开反折射图像传感器112、 114、116所创建的圆形图像中心的距离。由此，图像的径向变形是统一的。可 以修改镜的形状，以便补偿在与镜结合时相机透镜增加的透视效应，从而提供 改进的高分辨率全景图像。和凸面镜130的形状的一个例子有关的进一步细节 在2006年6月6日公告的Singh等人的第7058239号美国专利中提出，该专利 题为“System and Method for Panoramic Imaging(用于全景成像的系统和方 法)”，该专利通过引用全部结合于此。下面提供了镜130的形状的一些细节。

图5和6示出等角镜130的例子的几何形状。所反射的光线LR被放大一 个常数增益α，而不管沿着镜130的垂直剖面的位置。这些镜的通式在等式(1) 中给出：

$\cos \left(\theta \frac{1+\alpha }{2}\right)={\left(\frac{r}{r_0}\right)}^{-(1+\alpha )/2}---\left(1\right)$

对于α的不同值，可以产生具有高度曲率或低度曲率的镜，而仍旧保持它们的 等角特性。在一个实施例中，α在从约3到约15的范围内，例如可以为11。 这些镜的一个好处是图像数据中的恒定分辨率。在各实施例中，镜130的顶部 130a可以具有3英寸直径，镜130从顶部130a到底部130b的高度可以是2英 寸。在其他实施例中，该直径和高度可以在那些值以上和/或以下改变。

已经确定向相机添加透镜引入了这样的效应，使得每个像素不跨越相同的 角度。这是因为镜和相机的组合不再是投影设备。由此，为了真正的等角，可 以对镜进行成形以便考虑透镜的透视效应，并且可以修改各算法。在上面标识 的第2003/0095338号美国专利公布文本中提出了如何修改上面的等式(1)以 考虑透镜效应的例子，这些例子通过引用结合于此。

镜130使表面符合这些凸面镜的一个好处在于，它们导致图像数据中的恒 定分辨率。这允许直接的数学换算和不昂贵的处理以将每个反折射图像传感器 112、114、116所获得的圆形图像转换(即解除变形)成具有线性x轴和y轴 分量的柱形图像。然而，可以理解，在其他实施例中镜表面可以符合各种其他 外形。在这种其他实施例中，可以使用已知的数学等式来将每个反折射图像传 感器所获得的所产生的圆形图像转换成具有线性x轴和y轴分量的柱形图像。

在各实施例中，镜130可由涂敷有铝制反射面的玻璃制成，并且具 有例如硅的保护涂层。应当理解，在其他实施例中，镜130可由其他材料以及 其他反射面和/或涂层制成。在一个例子中，镜的平滑度是可见光波长的四分之 一，同样，这在其他实施例中也可以改变。

图7示出具有三个反折射图像传感器112、114和116的反折射底架组件 104的例子的俯视图。每一个图像传感器捕捉环绕全景P的图像。如下面说明 的，包括三个或更多图像传感器的组件104的一个特征在于，可以从组件104 中的至少两个不同的图像传感器中选择环绕全景P的视图，以便从每个方向上 的图像传感器提供360度全景P的无遮挡的立体视图。例如，如图8的俯视图 所示，可以使用图像传感器112和114来提供全景P的部分P1的无遮挡视图； 可以使用图像传感器114和116来提供全景P的部分P2的无遮挡视图；并且 可以使用图像传感器116和112来提供全景P的部分P3的无遮挡视图。部分 P1、P2和P3一起形成全景的360度视图。在各实施例中，每一段P1、P2和 P3可以是120度，但在其他实施例中无需如此。

通常，如背景技术部分中所述，为了提供立体图像，从不同视野拍摄两个 图像：左侧视图和右侧视图。当左侧视图和右侧视图偏移了和人眼的瞳孔间距 近似的视差时，可以向左眼显示左侧视图，向右眼显示右侧视图。所产生的合 成图像(如果还被正确校准和同步)可由大脑解释为具有立体深度。

为了使用组件104的图像传感器来提供这一立体效应，给定的图像传感器 在捕捉全景的第一部分时提供左侧图像，同一个图像传感器在查看全景的第二 部分时提供右侧图像。确定两个图像传感器中的哪一个提供了全景的给定部分 的左侧图像和右侧图像取决于相对于来自全景该部分的光线来说、哪个图像传 感器在左边、哪个在右边。

例如，现在参考图8，当使用图像传感器112和114来捕捉全景的图像部 分P1时，图像传感器114相对于入射光线在右侧，由此，图像传感器114为 部分P1提供右侧图像。然而，当使用图像传感器114和116来捕捉全景的图 像部分P2时，图像传感器114相对于入射光线在左侧，由此，图像传感器114 为部分P2提供左侧图像。当使用组件104来捕捉图像部分P3时，来自图像传 感器114的视图会包括图像传感器112和116并且被它们遮挡，由此，在捕捉 全景的部分P3的视图时不使用图像传感器114。下面提供了用于获得全景图像 并将它们处理成立体全景视图的系统110的结构和操作的更多细节。

图9示出由围绕图8的360度全景的图像传感器112、114、116捕捉的图 像的图表，其中将原点(0度)任意地选择为在P3和P1之间。如图所示，对 于图8的配置，图像传感器112将为部分P1提供左侧图像数据，并且对于部 分P2被遮挡，并且会为部分P3提供右侧图像数据。图像传感器114将为部分 P1提供右侧图像数据、为部分P2提供左侧图像数据，并且会对于部分P3被遮 挡。以及图像传感器116将对于部分P1被遮挡、为部分P2提供右侧图像数据， 并且会为部分P3提供左侧图像数据。图8和9内用“x”标记的区域表示了来 自图像传感器的可能被另一图像传感器遮挡的、并因此在生成立体全景视图时 不使用的视图。可以理解，由于图像传感器查看全景的不同部分，其他相机配 置会得到左图像数据、右图像数据和被遮挡的图像数据的不同细分。

在图8所示的三传感器实施例中，可能使左图像跨越120度，右图像跨越 120度，被遮挡的区域为120度。然而，如下面说明的，当来自每个图像传感 器的左图像被合成、而来自每个图像传感器的右图像被合成时，希望提供图像 中可能发生缝合和混合的重叠。在各实施例中，如图9所示，左图像段和右图 像段可能有某种程度的重叠。此外，也如图9所示，通过降低被用作被遮挡区 域x的区域的角大小，可以提高左图像和右图像的跨度。重叠程度可以变化， 但例如可以是10度到20度的重叠。在其他实施例中，重叠可以更大或更小。

被遮挡区域x可以被减少的量取决于图像传感器112、114、116中使用的 镜的尺寸和间隔。现在将参考图8A的示例来说明这一点。该示例说明了关于 图像传感器112的尺寸和间隔，但同样也会适用于图像传感器114和116。来 自图像传感器112的右图像可以延伸到和传感器116相切的线j。此外，右图 像会包括图像传感器116的视图。类似地，来自传感器112的左图像可以延伸 到和传感器114相切的线k。此外，左图像会包括图像传感器114的视图。

在图8A中，r是镜的半径r_max，D是镜之间的中心间距。限定被遮挡区域 x的遮挡角(以度为单位)由角度α+β+α给出，其中：

α＝sin^-1(r/D)，并且

β＝180(1-(2/N))，其N等于镜的数量。

由此，遮挡角由以下等式给出：

2sin^-1(r/D)+180(1-(2/N))                                 (2)

从以上等式可见，在图像传感器112、114和116的三个镜互相接触使得D ＝2r时，等式(2)给出的遮挡角会是120度。然而，当镜之间存在间隔使得D 大于2r时，遮挡角会小于120度，使得如图9所示，左图像和右图像有更大的 重叠跨度。期望的重叠可以通过选择镜的尺寸和间隔来设置。

如上所述，在其它实施例中，反折射底架组件104可以包括多于三个图像 传感器。图10是包括四个图像传感器的反折射底架组件104的俯视图，这四 个图像传感器标记为IS1、IS2、IS3和IS4。图像传感器1和2可用于提供全景 P的部分P1的无遮挡视图；图像传感器2和3可用于提供全景P的部分P2的 无遮挡视图；图像传感器3和4可用于提供全景P的部分P3的无遮挡视图； 图像传感器4和1可用于提供全景P的部分P4的无遮挡视图。在各实施例中， 每一段P 1、P2、P3和P4各自可以是90度，但在其他实施例中无需如此。根 据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例 如，图像传感器3在捕捉P2时提供右侧视图，而在捕捉P3时提供左侧视图。

在各实施例中，在四个镜的配置中，为了提供用于缝合图像的重叠区域， 左图像和右图像跨越的角度应当大于90度(360度/4)。左图像和右图像的跨 度可以通过彼此重叠来增加。或者或另外，遮挡区域x可以小于180度。特别 是，如关于图像传感器1所示，右图像跨越的角度可以被提高至线j，左图像 可被提高至线k。尽管仅为图像传感器1示出，这适用于每个图像传感器1-4。 如上所述，线j与相邻图像传感器4相切，线k与相邻传感器2相切。可以选 择图像传感器1-4中的镜的尺寸和形状以通过上述等式(2)限定被遮挡区域。 被遮挡区域的量会部分地限定左图像和右图像的可允许跨度。

其他配置是已知的。图11示出包括图像传感器1-5的反折射底架组件104 的俯视图。如图11所示，相邻的图像传感器对可用来捕捉五个不同的部分P1 -P5。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧 视图。例如，图像传感器5在捕捉P5时提供右侧视图，而在捕捉P1时提供左 侧视图。可以提供左图像和右图像间的重叠。此外，遮挡区域x可以被缩小至 线j和k(分别为图像传感器5和2的切线)所界定的角度。这还允许提高左 图像和右图像的跨度。尽管仅在图像传感器1上示出，但是为图像传感器1示 出的遮挡可以适用于图像传感器1-5的每一个。

图12示出进一步的配置，该配置包括含有图像传感器1-6的反折射底架 组件104的俯视图。如图12所示，相邻的图像传感器对可用来捕捉六个不同 的部分P1-P6。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视 图或右侧视图。例如，图像传感器4在捕捉P3时提供右侧视图，而在捕捉P4 时提供左侧视图。可以提供左图像和右图像间的重叠。此外，遮挡区域x可以 被缩小至线j和k(分别为图像传感器6和2的切线)所界定的角度。这还允 许提高左图像和右图像的跨度。尽管仅在图像传感器1上示出，但是为图像传 感器1示出的遮挡可以适用于图像传感器1-6的每一个。

图1-12中提出的实施例仅仅为示例。应当理解，在其他实施例中，其他 的反折射底架组件104可以包括多于六个图像传感器。此外，在反折射底架组 件104在和每个图像传感器的光轴垂直的平面上具有彼此对齐的不同图像传感 器的实施例中，可以构想，图像传感器中的一个或多个相对于一个或多个其他 图像传感器而言可以在平面之外；也就是说，一个或多个图像传感器可以沿着 其光轴相对于一个或多个其他图像传感器上移或下移。

而且，尽管反折射底架组件104中的全部图像传感器的光轴可以彼此平行， 可以构想，一个或多个图像传感器的光轴可以朝向或远离一个或多个其余的图 像传感器而倾斜。例如，图像传感器的光轴可以在0度和45度之间的角度向 彼此倾斜。下述实施例是关于具有三个图像传感器112、114和116的组件104 描述的。然而，以下描述也适用于具有多于三个图像传感器的组件104。

此外，尽管本发明的技术的实施例包括上述镜130，替代的实施例可以在 没有镜的情况下捕捉围绕360度的全景的图像。特别是，相机124可以包括广 角镜，使得包括例如三个这样的图像传感器的实施例可以捕捉全景的三个图 像，每个都围绕360度。之后，如下面说明的，所捕捉的图像可以被解析成柱 形图像。

图13是示出从反折射底架组件104的图像传感器所捕捉的反折射图像生 成左全景图像和右全景图像的高级流程图。在步骤200中，反折射底架组件104 的图像传感器112、114、116捕捉反折射图像数据。如上所述，反折射底架组 件104中的每个图像传感器捕捉环绕全景P的图像，例如围绕360度的全景。 图14示出由图像传感器112、114、116之一获得的关于360度全景P的反折 射图像150。来自图像传感器周围360度的光线入射到镜130上并且向下反射 到相机124中以创建反折射图像150。反折射图像150包括全景P、以及组件 104中其他传感器的图像。例如，在图14中所示的图像由图像传感器116生成 时，传感器112和114的图像在所捕捉的图像中可见。

在步骤202中，来自每一个图像传感器的图像可以在时间上彼此同步，步 骤204是重新获得捕捉系统参数的校准步骤。这些参数对于将来自输入图像的 像素映射到输出的立体柱形图像是必要的。如下面说明的，在各实施例中，图 13的各步骤可以每帧执行一次，以提供立体视频图像。在这样的实施例中，同 步步骤202仅需执行一次。一旦图像传感器彼此同步，就无需对于每帧重复该 步骤。然而，在其他实施例中，可以每帧执行同步步骤。类似地，可构想校准 步骤可以仅执行一次。例如，在步骤204，校准步骤可以对于受控图像在受控 环境中执行。一旦图像彼此校准，就无需对于每帧重复该步骤。然而，和时间 同步步骤不同，图像传感器的彼此校准更可能改变，例如，如果图像传感器被 震动、跌落或以其他方式彼此移动。因此，在其他实施例中，可以每帧执行校 准步骤204(或者在受控环境中、然后在受控环境外实时使用，或者仅仅在受 控环境外的实时使用)。

步骤202的适当同步操作的进一步细节在申请人于2010年5月3日提交 的共同待批的第12/772,802号美国专利申请中公开，该申请题为“Heterogeneous  Image Sensor Synchronization(异类图像传感器同步)”，该申请通过引用整体 被结合于此。然而，通常，可以使用已知的同步锁相技术以及/或者图像传感器 112、114、116中的每一个可以被绑定至或者在反折射底架组件104中或者在 计算设备110中的公共时钟。通过使用公共时钟，系统可以确保，在来自不同 图像传感器的图像被合成时，图像各自是在同一个时刻被拍摄。在各实施例中， 如果图像传感器是全部同步锁相的或是硬件同步的，可以省略同步步骤。

图13的校准步骤204包括步骤208，将相机124中获得的反折射图像变形 为柱形图像。特别是，镜130的底部130b和镜顶部130a同样地接收来自全景 P的相同量的光线。然而，底部130b小于顶部130a。因而，和从顶部130a生 成的反折射图像数据相比，镜130的底部130b所生成的全景图像数据更为精 简。在上述第7,058,239号美国专利中公开了用于将反折射图像变形成柱形图 像(也称为将反折射图像解除变形成柱形图像)的算法的细节。进一步的细节 也在2005年2月15日公告的第6,856,472号美国专利中公开，该专利题为 “Panoramic Mirror and System For Producing Enhanced Panoramic Images(用于 产生增强的全景图像的全景镜和系统)”，该专利通过引用全部进一步地结合 于此。

图15示出被变形为柱形图像154的图14的反折射图像数据的示意表示。 柱形图像154可以由反折射图像150的等角或等直角投射产生。图17示出被 扁平化成柱形图像数据的二维表示的图15的柱形图像154。尽管在图17上被 示出为平的、二维图像，柱形图像154表示全景的360度视图，其最左边部分 和最右边部分是全景的同一区域的图像。

图16是图14的反折射图像150的图示，并且有图像中心(x_cen，y_cen)、 最小半径r_min(从所投射的镜杆的中心到边缘)、最大半径r_max(从镜的中心到 外边缘)的指示。如图17所示，反折射图像中从r_min到r_max通过(x_cen，y_cen) 的径线158映射为柱形图像中的垂线160。

给定柱形图像的宽度w，对于一图像传感器，对着角度θ(逆时针方向) 的径线158通过以下等式映射到垂线160：

x＝w*(θ)/2π。

沿着宽度维度上的距离x的范围是从0到全宽w。

如上所述，在各实施例中，镜的形状是等角的。这一形状的一个好处在于， 径线158和垂线160之间沿着x和y方向上的变形是线性的。也就是说，y坐 标(在底部y＝0)对应于：

y＝h*(r-r_min)/(r_max-r_min)

其中h是柱形图像的高度。沿着高度维度的距离y从0至全高h(在r＝r_max)变 化。如上所述，在其他实施例中，镜的形状可能不是等角的。在这样的实施例 中，可以推导出用于将反折射图像中的径线158变形成柱形图像中的垂线160 的已知等式。

对于第二和第三图像传感器从反折射数据到柱形数据的映射和对于第一 图像传感器所述的是相同的，除了添加固定角度移位以考虑第二和第三图像传 感器相对于第一图像传感器的相对方向以外。

校准步骤204还包括将来自不同图像传感器112、114、116的图像垂直地 对齐。特别是，如下面所说明的，来自不同图像传感器的图像的部分彼此合成 在一起。即使在图像传感器最初彼此校准的情况下，移动、震动或不对齐也会 使来自不同图像传感器的图像变得不校准。执行校准以确保图像在垂直方向上 (沿y方向)的对齐，因为y方向上的不对齐会影响立体效应。校准在水平方 向上(沿x方向)并非同样的关键，因为为了产生深度幻象和3D效应，图像 彼此间故意偏移一个和瞳孔间距近似的距离。

如上所述，可以执行校准一次或者可以周期性地执行校准，例如在反折射 底架组件104静止时。或者，可以为来自图像传感器112、114、116的捕捉图 像数据的每个帧执行校准，例如在反折射底架组件104静止或移动时。在各实 施例中，反折射底架组件104可以包括图像稳定性组件和/或软件来使图像传感 器112、114、116所捕捉的图像间的任何差异最小化。

图18又示出在步骤200和208中由第一图像传感器生成的全景的柱形数 据。图19和20分别类似地示出以相似方式由第二和第三图像传感器所生成的 柱形图像数据。从图中可见，在捕捉完全的360度全景时，每个图像传感器捕 捉其视野内的其余图像传感器的图像。如上所述，每个图像传感器所生成的图 像具有四个可变参数：限定图像中心的两个参数(x_cen，y_cen)；从所投影的镜杆 的中心到边缘的最小半径r_min；以及镜的中心到外边缘的最大半径r_max。对于三 图像传感器系统，因而有十二个可变参数。

然而，通过使图像传感器之一保持作为参考，而其他图像传感器与参考相 比较，可以将可变参数的数目减少为八个。校准步骤208的目标是选择第二和 第三图像传感器的可变参数，以便使由三个图像传感器所生成的柱形图像之间 的垂直移位最小化。

一种执行校准步骤208的方法是通过标识由不同的图像传感器112、114 和116所生成的图像中诸如对象角落这样的点特征。现在将参考附图21的流 程图描述这一校准步骤的进一步细节。在步骤224中，标识了来自不同图像传 感器的图像的点特征166(特征中的一些在图18-20中标记)。点特征可以是 具有局部强度边缘的数据点，因此在来自不同图像传感器的图像间容易地标 识。理想情况下，在每个图像内标识多个这种空间上良好分布的点特征。图像 内的其他对象的各方面也可以成为线索。

存在各种用于从图像中标识出线索的已知算法。在Mikolajczyk，K.和 Schmid，C的“A Performance Evaluation of Local Descriptors(局部描述符的性 能评估)”(IEEE模式分析和机器智能学报，27，10，1615-1630(2005年)) 中阐述了这样的算法，该论文的全部内容通过引用结合于此。另一用于利用图 像数据检测线索的方法是比例不变特征变换(SIFT)算法。例如在2004年3 月23日颁发的题为“Method and Apparatus for Identifying Scale Invariant  Features in an Image and Use of Same for Locating an Object in an Image(用于在 图像中标识出比例不变特征和将其用于对图像中的物体进行定位的方法和装 置)”的美国专利第6,711,293号中描述了SIFT算法，该专利的全部内容通过 引用结合于此。另一线索检测器方法是最大稳定极值区域(MSER)算法。例 如在J.Matas、O.Chum、M.Urba、和T.Pajdla的论文“Robust Wide Baseline  Stereo From Maximally Stable Extremal Regions(来自最大稳定极值区域的鲁棒 宽基线立体)”(英国机器视觉会议学报，第384-396页(2002年))中描述 了MSER算法，该论文的全部内容通过引用结合于此。

一旦来自各个图像的点特征被标识，这些点匹配就可以在步骤226被映射 回输入的反折射图像(图14和16)。对于一组给定的假定的相机参数，来自 输入图像的线索166可以被映射至柱形坐标。在步骤230中，线索在图像间比 较，以标识不同图像中的相同线索。在步骤234中，可以找到线索166的相应 对之间的垂直(y坐标)移位。因此，在步骤238中，选择了能产生垂直移位 (差异)的最小平均的可变参数的值。在一个实施例中，可以使用Nelder-Mead 单式算法来搜索能使图像传感器112、114和116间的垂直移位最小化的局部 最优的相机参数。Nelder-Mead单式算法在例如由Nelder、John A.、R.Mead 所著的“A Simplex Method For Function Minimization(用于功能最小化的单式 方法)”(计算机期刊7：308-313(1965))中提出，该公开内容通过引用 全部结合于此。

在图像彼此校准之后，来自每个图像传感器112、114和116的图像在步 骤212中被分成左视图和右视图。左视图是指将被显示给用户左眼的图像数据， 右视图是指将被显示给用户右眼的图像数据，从而在全景被显示给用户时造成 立体效应。重要的是，当两个图像传感器从场景的同一部分接收图像数据时， 由于两个图像在反折射底架组件104内彼此间偏移，因此这两个图像包含视差。 所捕捉的视差负责立体效应。

根据图像数据来自于全景中的什么区域，每个图像传感器既生成左视图又 生成右视图。在从全景的一个区域接收图像数据时，图像传感器提供右视图， 在从全景的另一个区域接收图像数据时，该同一个图像传感器可以提供左视 图。现在将参考图21的流程图以及图8、9和23的图示来说明将来自图像传 感器的图像数据分割成左视图和右视图的进一步细节。

在步骤250中，对于给定的反折射底架组件配置，可以预先确定，根据组 件相对于正在被捕捉的全景部分的方向，每个图像传感器所捕捉的什么视图将 被用作左视图、右视图或不被使用。如图8和9所示，当反折射底架组件104 如图8所示定向时，来自全景的部分P1的图像被图像传感器112和114捕捉。 两个图像传感器接收来自部分P1的图像数据，其中图像传感器112接收左侧 图像数据，图像传感器114接收右侧图像数据。由于两个图像间的视差，分别 来自图像传感器112和114的部分P1的左视图和右视图的呈现将实现部分P1 的立体视图。如下面说明的，瞳孔间视距取决于图像数据是来自P1的中间部 分还是来自P1的侧面部分而改变，该改变可以被校正。在查看部分P1时，图 像传感器116捕捉到图像传感器112、114中至少一个的出现。由此，来自图 像传感器116的视图不用于来自部分P1的图像数据。

以相同方式，图像传感器114和116分别提供了部分P2左视图和右视图。 图像传感器112不用于来自部分P2的图像数据。图像传感器116和112分别 提供了部分P3的左视图和右视图。图像传感器114不用于来自部分P3的图像 数据。由此，围绕360度全景，给定的图像传感器将提供左视图、右视图和无 视图。

现在参考图22的流程图以及图23的图示，来自每一个图像传感器112、 114和116的左视图被分组在一起，来自每一个图像传感器112、114和116的 右视图被分组在一起。图23分别示出从例如图像传感器112、114和116拍摄 的柱形图像168、170和172。在每一个图像168、170和172上标记左视图和 右视图。然后在步骤254中处理每一个图像168、170、172以便移除除了左视 图以外的全部视图，并且在步骤258中将它们保存为一组图像174、176和178。 类似地，在步骤260中，再次处理图像168、170和172来移除除了右视图以 外的全部视图，这些图像然后在步骤264中被保存为一组图像180、182和184。 图像168、170和172然后可以被缝合在一起以提供整个全景的左视图图像数 据，但是从图像来处理图像传感器。类似地，图像174、176和178然后可以 被缝合在一起以提供整个全景的右视图图像数据，但是从图像来处理图像传感 器。下面说明了缝合步骤。

如上所述，一对图像传感器之间的瞳孔间视距可以取决于图像传感器正在 从全景的什么部分接收图像数据而改变。例如，图24和25示出两种情况。在 第一种情况下，图像传感器114和116正在查看在图像传感器的在效果上直前 的全景的一部分(在上述任意约定中，这会来自P2的中间部分)。在本上下 文中的“直前”可意味着和图像传感器114和116的光轴间的线垂直。瞳孔间 视距是D1。在图25的第二种情况下，图像传感器114和116正在查看更接近 于一边界的全景的一部分，例如，更接近于部分P1。瞳孔间视距是D2。D2小 于D1。因而，关于图25中的全景部分捕捉的左图像数据和右图像数据的立体 效应将不与关于图24中的全景部分捕捉的左图像数据和右图像数据的立体效 应相同。

因而，参照图13中的步骤214，可以处理左图像168、170、172以及右图 像174、176、178以便对从全景一部分的中间拍摄的视图和在两侧拍摄的视图 之间的瞳孔间视距变化进行校正。该处理步骤可以包括处理图像以便有效地改 变从中捕捉图像的有利位置，使得不管是查看全景的直前部分还是侧面部分， 瞳孔间视距都是相同的。有利位置的这一变化不是相机位置的实际变化。它是 图像传感器在机器空间中的有利位置的转换，以便好像图像传感器处在不同的 有利位置那样来有效地转换图像数据。在图像传感器彼此校准之后，在单参考 系统中，每个图像传感器的位置相对于彼此是已知的。这样，来自任一个图像 传感器的图像数据可以用已知的矩阵变换来转换，其中移位部分取决于景深， 以便看上去已经在不同的有利位置生成。在其他实施例中可以省略校正瞳孔间 视距变化的步骤214。

现在参考图13中的步骤218以及图26的图示，一旦如上所述获得了左图 像174、176、178和右图像180、182、184，左图像可以被合成为单个全景左 图像186，右图像可以被合成为单个全景右图像188。在上述三图像传感器的 配置中，左图像174、176、178和右图像180、182、184中的每一个可能仅跨 越120度，使得每个图像在被合成为全景左图像186和全景右图像188时，每 个图像包括完整的360度全景。然而，在合成例如左图像174、176、178时， 每个图像来自一个不同的图像传感器以及一个略微不同的视角。由此，即使图 像传感器在图像间的接缝处捕捉同一图像，不同视图间的视差也会在图像被合 成之处的接缝处造成不连续。对于在将右图像180、182、184合成为全景右图 像188时同样如此。

为了防止不连续性，图像传感器112、114、116所捕捉的左视图和右视图 的每一个可以各自跨越略大于120度，使得在合成左图像174、176、178时， 接缝处有重叠。对于右图像180、182、184同样如此。合成图像例如可以重叠 10度至20度，然而在其他实施例中，重叠可以更大或更小。

现在将参考图27的流程图说明合成左图像174、176、178和右图像180、 182、184的步骤218的进一步细节。合成图像包括将左图像的边缘重叠在一起 以形成合成的全景左图像、以及将右图像重叠在一起以形成合成的全景右图像 的步骤270。此后，在步骤274中在重叠区域内执行缝合算法以移除任何接缝 的出现。

参考图28的流程图和图29-32的图示来描述步骤274的缝合操作的进一步 细节。图29示出要被缝合在一起的一对图像190和192。图像190、192可以 来自图26所示的左侧图像174、176、178或右侧图像180、182、184中的任 一个。为清楚起见以虚线示出图像192。图像190和192包括对象194、196， 这些对象可以是图像传感器所捕捉的任何对象。在其他示例中可以存在更少或 多得多的这样的对象。图30示出图像190、192被合成，并且有重叠区域198。 尽管图像是对于相同的对象拍摄的，然而因为图像从略微不同的视角拍摄，因 此对象彼此间不能完全对齐。对象194在重叠区域198中被示出为对象194a 和194b，对象196在重叠区域198中被示出为对象196a和196b。

在步骤284中，计算两个流场；一个流场将图像190的特征变形为图像192 中在重叠区域198内的对应特征，另一个流场将图像192的特征变形为图像190 中在重叠区域198内的对应特征。每个流场以相同方式计算，通过对强度分布 和移位像素进行局部比较以便使强度分布中的差异最小化。这具有分别对齐对 象194a和194b以及对象196a和196b的效应。在各实施例中，也可以标识和 对齐诸如对象角落和边缘这样的图像特征，以便计算流。作为校准的结果，重 叠区域198内的190和192之间的移位是水平的。通过将场景对象保持在最小 距离，可以将移位保持为合理小的程度，以便使光流计算容易处理。重叠区域 内的像素移位可能不相同。也就是说，对象194a和194b之间的偏移距离d₁可 能与对象196a和196b之间的偏移距离d₂不同。

在步骤284中，基于匹配强度分布所需的距离来计算双向流场。在各实施 例中，移动可以是水平的，但是由于校准过程中的硬件非理想性和不准确性， 图像对齐也可能需要一些小的垂直移动。在各实施例中，可以使用Horn-Schunck 流算法来计算双向流场，例如在B.K.P.Horn和B.G.Schunck等人所著的 “Determining Optical Flow(确定光流)”，人工智能第17卷第185-203页 (1981)中描述，该公开内容通过引用全部结合于此。可以使用其他已知的算 法来基于来自重叠图像的相应模式来计算流场。

如上所述，来自相应对象的不同像素可能需要沿着重叠区域198内的线移 动不同的距离。流场线可以是水平的，或者它们也可以是带有少量垂直偏移而 水平的。流场线可能具有单像素宽度，或者流场线的长度可以为多像素。在相 应的强度分布中的相应像素相对离开较远时，会导致相对强的流场。相反，在 相应的亮度模式中的相应像素相对较近时，会导致相对弱的流场。

如果图像数据仅仅移位了所计算的流场以对齐相应的强度分布，则在重叠 区域边界处的图像中会有间隙。为了考虑这一点，在步骤286中，将像素要沿 每个流场线移动的距离和一个因子相乘，该因子在0和1之间，并且和离开重 叠边缘的距离成比例。如图31所示，在第一遍，来自图像190的像素在步骤 288中沿着所计算的流场从左向右变形。图31示出流场的三个部分x₁、x₂和 x₃。像素190中的处在重叠区域198左边界的像素将它们的流场乘以0。这样， 这些像素不移动。在图像190中的左边界附近的像素具有小的、非零因子。由 此，图像190中接近左边界的像素被恰好移位一个小的量，该量等于流场乘以 小因子。中间部分的像素移动约为流场一半的因子。最后，重叠区域右边界处 的像素被移动流场的完全量(流场乘以1)。

如图31所示，在第一遍之后，由于对象194a接近左边界，因此对象194a 中的像素仅仅朝向对象194b变形了一个小的距离。另一方面，在第一遍之后， 由于对象196a接近右边界，因此对象196a中的像素朝向对象196b变形了距离 的一大部分。

在步骤286的第二遍中，如图32所示，来自图像192的像素沿着相同的 所计算的流场x₁、x₂和x₃从右向左变形。如上所述，图像192中的处在重叠区 域198右边界的像素将它们的流场乘以0。这样，这些像素不移动。中间部分 的像素移动约为流场一半的因子。重叠区域左边界处的像素被移动流场的完全 量(流场乘以1)。

在步骤290，向上述第一遍和第二遍中生成的已变形图像应用拉普拉斯 (Laplacian)混合。拉普拉斯混合技术的描述例如在P.J.Burt和E.H.Adelson 所著的“A Multiresolution Spline With Application To Image Mosaics(应用于图 像马赛克的多分辨率样条)”(ACM图形学报第2卷第4号第217-236页， 1983年10月)中提出，该公布内容通过引用全部结合于此。然而，通常来说， 从第一遍和第二遍生成的图像首先被分解成一组带通滤波的组成图像。接着， 每个空间频带内的组成图像被聚集成一个相应的带通马赛克。在该步骤中，使 用过渡区内的加权平均来结合组成图像，过渡区的大小和频带内表示的波长成 比例。最后，将带通马赛克图像相加来获得重叠区域198内的合成图像。步骤 280到290的效应是，在不留出图像中的间隙的情况下以及在不模糊图像内的 对象的情况下，对重叠区域进行变形以对齐高频对象。应当理解，可以使用除 拉普拉斯混合以外的已知算法来对图像进行平滑和混合。

再次参考图13的高级流程图，一旦获得了左全景图像186和右全景图像 188，图像就可以经由3D显示耳机(未示出)被显示给用户，该3D显示耳机 向用户左眼显示左全景图像186，向用户右眼显示右全景图像188。左全景图 像186和右全景图像188可以在步骤222中被显示给用户。可以向用户提供使 用户能向前、向左、向右或向后看的控制，控制或者在3D显示耳机中提供， 或者作为单独的控制器来提供。无论用户看向何处，都可以显示全景的立体视 图。在其他实施例中，可以扩展图像数据以便不仅提供柱形立体图像数据，而 且提供球形立体图像数据。在这样的实施例中，可以提供附加的图像传感器来 从用户之上和之下捕捉图像数据。

可以为图像传感器中获得的图像数据的每个新帧执行图13的上述步骤。 在一个例子中，图像传感器可以以60Hz对图像数据进行采样，然而在其他实 施例中，采样率可以高于或低于60Hz。由此，可以向用户显示立体视频数据， 其中用户能够自由地选择围绕360度的视频全景的任何视图。在其他实施例中， 图像传感器可以捕捉围绕360度或较小的全景的静止图像。

尽管本发明的系统有利地提供了围绕360度的全景的立体视图，但是可以 理解，被图像传感器所查看的和/或被显示给用户的全景可以小于360度。在一 个进一步的例子中，全景可以是180度以及180度和360度之间的角度。在进 一步的实施例中，全景可以小于180度。

图33示出了可以是上述任何计算系统的示例性计算系统。图33示出了计 算机610，它包括，但不限于：处理单元620、系统存储器630以及将包括系 统存储器在内的各种系统组件耦合至处理单元620的系统总线621。系统总线 621可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的 任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而 非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结 构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局 部总线，以及也称为夹层总线的外围部件互连(PCI)总线。

计算机610通常包括各种计算机可读介质。计算机可读介质可以是能由计 算机610访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不 可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通 信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程 序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动 和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、 闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、 磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以 由计算机610访问的任何其它介质。通信介质通常以诸如载波或其他传输机制 等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据， 并包括任意信息传送介质。术语“已调制数据信号”是指具有以在信号中编码 信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制，通信 介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红 外及其他无线介质之类的无线介质。以上的任一种的组合也包括在计算机可读 介质的范围之内。

系统存储器630包括易失性和/或非易失性存储器形式的计算机存储介质， 如只读存储器(ROM)631和随机存取存储器(RAM)632。基本输入/输出系 统633(BIOS)包含诸如在启动期间帮助在计算机610内的元件之间传输信息 的基本例程，基本输入/输出系统633(BIOS)通常储存储在ROM 631中。RAM 632通常包含处理单元620可立即访问和/或目前正在操作的数据和/或程序模 块。作为示例而非限制，图33示出了操作系统634、应用程序635、其他程序 模块636，以及程序数据637。

计算机610也可以包括其他可移动/不可移动、易失性/非易失性计算机存 储介质。仅作为示例，图33示出了对不可移动、非易失性磁介质进行读写的 硬盘驱动器641，对可移动、非易失性磁盘652进行读写的磁盘驱动器651， 以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘656进行读写的 光盘驱动器655。可在示例性操作环境中使用的其他可移动/不可移动、易失性 /非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数 字录像带、固态RAM、固态ROM等。硬盘驱动器641通常由诸如接口640等 不可移动存储器接口连接至系统总线621，并且磁盘驱动器651和光盘驱动器 655通常由诸如接口650等可移动存储器接口连接至系统总线621。

上文所讨论的并且在图33中示出的驱动器及其相关联的计算机存储介质 为计算机610提供了对计算机可读的指令、数据结构、程序模块及其他数据的 存储。例如，图33中，硬盘驱动器641被示为存储操作系统644、应用程序 645、其它程序模块646和程序数据647。这些组件可以与操作系统634、应用 程序635、其他程序模块636，以及程序数据637相同，也可以不同。在此操 作系统644、应用程序645、其他程序模块646以及程序数据647被给予了不 同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘 662和定点设备661——通常是指鼠标、跟踪球或触摸垫——向计算机610输入 命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘 式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户 输入接口660连接至处理单元620，但也可以由其他接口和总线结构，例如并 行端口、游戏端口或通用串行总线(USB)来连接。监视器691或其他类型的 显示设备也通过诸如视频接口690之类的接口连接至系统总线621。除监视器 之外，计算机也可包括诸如扬声器697和打印机696之类的其他外围输出设备， 它们可以通过输出外围接口695来连接。

计算机610可以使用到一个或多个远程计算机(如远程计算机680)的逻 辑连接，以在联网环境中操作。远程计算机680可以是个人计算机、服务器、 路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上文参考计 算机610所描述的许多或全部元件，虽然图33中只示出了存储器设备681。 图33中所描述的逻辑连接包括局域网(LAN)671和广域网(WAN)673， 但是，也可以包括其他网络。这些联网环境在办公室、企业范围计算机网络、 内联网和因特网中是常见的。

当用于LAN网络环境中时，计算机610通过网络接口或适配器670连接 到LAN 671。当在WAN联网环境中使用时，计算机610通常包括调制解调器 672或用于通过诸如因特网等WAN 673建立通信的其他手段。调制解调器672 可以是内置的或外置的，可以经由用户输入接口660或其他适当的机制连接到 系统总线621。在联网环境中，相对于计算机610所描述的程序模块或其部分 可被存储在远程存储器存储设备中。作为示例而非限制，图33示出了驻留在 存储器设备681上的远程应用程序685。应当理解，所示的网络连接是示例性 的，并且可使用在计算机之间建立通信链路的其他手段。

本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨 在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许 多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及 其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所 构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所 附权利要求书来定义。