虚拟和实际环境中的传感器增强的定位

摘要

在一个实施例中，基于计算机的系统包含：测量装置（120）；显示器（112、204）；处理器（222）；和被存储在与处理器（222）耦合的有形计算机可读媒介中的逻辑指令（260），当被处理器（222）执行时，其配置处理器（222）从而确定测量装置（120）在真实三维空间内相对于在三维空间中的至少一个真实物体的位置和取向，并且在显示器（112、204）上显示对应于在虚拟三维空间（145）内的真实物体的虚拟物体的虚拟图像的透视图，其中虚拟物体的透视图符合来自测量装置（120）的位置的真实物体的透视图。

说明书

技术领域

背景技术

大型物体(例如可复位的结构)的装配和维护，可能通过使用定位 系统被协助，以引导组件的放置。例如，飞机可能在设施中被安装，设 施包含位置确定系统和设备以确定飞机特定组件的位置，例如机翼和尾 翼，以保证组件合理布局。在飞机制造中，机械和质量保证(QA)检验 员通常需要获得在飞机上的特定位置。他们可能使用纸质输出件，其具 有以笛卡尔坐标X、Y、Z(有时被称为测站、纵抛线、水线)列出的位 置的文本说明。附图有时也被用于引导。一旦达到理想的位置，技工或 QA检查员可能需要执行任务，例如编写需要被修复的物品损害的坐标。 在一些情况中，卷尺可能被用于确定距靠近感兴趣区域的地标或特征的 距离，其可能被写入或输入至笔记本电脑。这些程序可能是耗时的并且 通常存在误差的多来源问题，例如文本或附图的错误解释、关于如何执 行测量的混淆以及手工抄写错误。因此，需要具有一种运动跟踪方法， 其可与相应虚拟环境的3D模型集成。

目前的位置确定系统具有不同的缺点。举例说明，光学运动捕捉受 到系统尺寸和阻碍物的限制，磁追踪受到磁干涉的影响，基于同步定位 和地图创建(SLAM)的方法需要在环境中高对比度特征的连续可视性， 其不是永远可获得的，尤其是在飞机外面。用于人员追踪的标准惯性测 量单元(IMU)方法具有加速度计漂移问题，其导致位置的直接计算随 着时间推移变得不可靠。

因此，在不同环境中的3D定位与导航系统和技术可能获得利用。

发明内容

在一个实施例中，基于计算机的方法包含：确定测量装置在真实三 维空间内相对于该三维空间内的至少一个真实物体的位置和取向；和在 耦合到测量装置的显示器装置上显示虚拟三维空间中的对应于真实物 体的虚拟物体的虚拟图像的透视图，其中虚拟物体的透视图对应于来自 源自从测量装置接收的数据的位置和取向的真实物体的透视图。

在另一实施例中，基于计算机的系统包含：测量装置、显示器、处 理器以及逻辑指令，其被存储在耦合到处理器的有形计算机可读取的媒 介中，当被处理器执行时，其配置处理器从而：确定测量装置在真实三 维空间内相对于三维空间内的至少一个真实物体的位置和取向；在显示 器上显示虚拟三维空间中的对应于真实物体的虚拟物体的虚拟图像的 透视图，其中虚拟物体的透视图对应于来自测量装置的位置的真实物体 的透视图。

在另外的实施例中，计算机产品包含逻辑指令，其被存储在耦合到 处理器的有形计算机可读取的媒介中，当被处理器执行时，其配置处理 器从而：确定测量装置在真实三维空间内相对于三维空间内的至少一个 真实物体的位置和取向；和在耦合到测量装置的显示器装置上显示虚拟 三维空间中的对应于真实物体的虚拟物体的虚拟图像的透视图，其中虚 拟物体的透视图对应于来自测量装置的位置的真实物体的透视图。

从此处提供的说明将显而易见适用性的进一步区域。应被了解的是 该说明和特定示例意图只用于示出的目的并且不意图限制本公开的范 围。

附图说明

根据本公开的教示，方法、系统和计算机程序产品实施例参考附图 被详细地描述：

图1是根据实施例的其中基于IMU的定位被实施的计算环境的示意 图；

图2根据一些实施例的计算装置的示意图，该计算装置可以适用于 执行基于IMU的定位；

图3-4是示出了根据实施例的基于IMU的定位的方法中的操作流程 图。

具体实施方式

使导航成为可能的基于IMU的定位系统和方法在此处被描述。如下 说明和附图中提出的特定实施例的细节提供了这些实施例的全面理解。 然而，本领域技术人员将了解的是没有如下说明中描述的几个细节的替 代实施例可能被实施。

此处描述的概念涉及交互技术以通过在对应实际环境中的用户移 动控制虚拟世界导航，同时仍允许用户观察和操纵实际物体并且使用 CAD可视化特征用于分析。此处描述的不同实施例的背景被设置在复杂 交通工具(例如飞机、船、火车、机动交通工具、建筑物和其他结构中) 执行制造和/或维护操作。根据此处的使用，术语“交通工具”被构造为 包含这些物品中的任意一个。根据此处描述的实施例，交通工具的虚拟 三维(3D)模型可被存储在基于计算机的系统的存储器中。包含或被耦 合到IMU并且包含显示器和足够的处理能力以存储至少部分3D模型的 便携式计算设备，可能被定位在临近交通工具或交通工具内部指定的、 已知的位置，以便一个或更多真实物体被定位在紧邻便携式计算设备。 对应于真实物体的一个或更多虚拟物体的虚拟图像，可被显示在显示器 并且被排列以便在显示器上虚拟图像的透视图对应于一个或更多个真 实物体的透视图，其使用来自基于IMU的定位方法的有关的位置和取向 数据，因此同步虚拟环境和真实环境。此步骤初始化在此方位的基于 IMU位置和取向的追踪方法，并且后续运动相对于该定位被限定。当 IMU移动通过真实环境时，被描述在计算设备的显示器上的虚拟环境也 随之改变。当需要再次初始化基于IMU的追踪方法到一个新方位时，额 外的修正可能由用户实施。在一些实施例中，IMU产生代表计算设备的 旋转和/或平移的信号。在其他的实施例中旋转和平移输入可被经由用户 界面提供至计算设备。

图1是根据实施例的计算环境的示意图，其中基于IMU的定位可能 被实施。参考图1，在简要概述中，一个实施例环境100中包含基于计 算机的设备110、惯性测量单元120、一个或更多通信网络130、服务器 140和文件存储150。在一些实施例中，环境100可包含交通工具，例 如飞机160。

基于计算机的设备可被具体化为便携式计算设备，例如笔记本电 脑、平板电脑、个人数字助理、智能手机或其他类似物。服务器140被 具体化为固定计算设备。图2是计算设备200的示意图，其适用于基于 计算机的设备110或服务器140中的一种。在一个实施例中，计算设备 100包括一个或更多伴随输入/输出设备，其包含具有屏幕204的显示器 202、一个或更多扬声器206、键盘210、一个或更多其他I/O装置(212) 以及鼠标214。其他的I/O装置212可能包含触摸屏、声控的输入装置、 追踪球(track ball)以及可允许系统200从用户接收输入的任何其他装 置。

计算装置200包含系统硬件220和存储器230，其可能被实现为随 机存取存储器和/或只读存储器。文件存储280被通信联通地耦合到计算 装置208。文件存储280可能在计算装置108内部，例如，一个或更多 硬盘驱动器、CD-ROM驱动、DVD-ROM驱动或其他类型的存储装置。 文件存储280还可能是在计算机208外部，例如，一个或更多外部硬盘 驱动器、网络附加存储或独立的存储网络。

系统硬件220可能包含一个或更多处理器222、一个或更多图像处 理器224、网络接口226和总线结构228。根据此处的使用，术语“处 理器”代表任何类型的计算单元，例如但不限制于，微处理器、微控制 器、复杂指令集合计算(CISC)微处理器、精简指令集合计算(RISC) 微处理器、超长指令字(VLIW)微处理器或其他类型处理器或处理电 路。

(一个或更多)图像处理器224可能作为(一个或更多)附处理器 运行，其管理图像和/或视频操作。(一个或多个)图像处理器224被集 成到计算系统200的主板或可能经由扩充插槽被耦合到主板。

在一个实施例中，网络接口226可以是有线接口，例如以太网接口 (详见，例如电气与电子工程师协会/IEEE802.3-2002)，或无线接口， 例如IEEE802.11a，b或g-兼容接口(详见，例如，针对IT-系统LAN/MAN 间的通讯与信息交换-的IEEE标准-第二部分：无限LAN媒介访问控制 (MAC)和实际层(PHY)规范修正4：在2.4GHz频段的更高数据速 率扩展，802.11G-2003)。另外的无线接口示例可能是通用分组无线业 务(GPRS)接口(详见，GPRS手机要求指南，移动通信/GSM协会的 全球系统，版本3.0.1，2002年12月)。

总线结构228连接系统硬件220的各种组件。在一个实施例中，总 线结构228可能是几种类型的总线结构的一个或更多种，包含了存储器 总线、外围总线或外部总线和/或局部总线，其使用任何各种可提供的总 线结构，包含但不限制于11-bit总线、工业标准结构(ISA)、PCI、微 通道架构标准(MSA)、扩充型ISA(EISA)、智能化驱动电路(IDE)、 VESA局部总线(VLB)、外围组件互联(PCI)、通用串行总线(USB)、 高级图像端口(AGP)、个人计算机存储器卡国际协会总线(PCMCIA) 以及小型计算系统接口(SCSI)、PCI高速(PCI-E)总线、串行ATA (SATA)总线等等。

存储器230可能包含操作系统240用于管理计算装置208的操作。 在一个实施例中，操作系统240包含硬件接口模块254，其对系统硬件 220提供接口。此外，操作系统240可能包含文件系统250(其管理在 计算装置208运行中使用的文件)以及程序控制子系统252(其管理在 计算装置208上执行的程序)。

操作系统240可能包含(或管理)一个或更多通信接口，其与系统 硬件220结合操作，以从远程数据源收发数据包和/或数据流。操作系统 240可能还包含系统调用接口模块242，其提供操纵系统240与一个或 更多位于存储器130中应用模块之间的接口。操作系统可能被实现为 操作系统或UNIX操作系统或者其任何衍生物(例如，Linux、 Solaris、iOS、Android等等)或其他操作系统。

在一个实施例中，存储器230包含虚拟映射模块260，其被实现为 编译在有形计算机可读媒介中的逻辑指令。图1所示，在体现为服务器 140的计算机装置208中，在图1中被标记为145的虚拟映射模块，保 持三维环境和环境中物体的虚拟体现。举例说明，在一些实施例中，在 服务器上的虚拟映射模块145可能保持飞机160的三维环境。三维环境 可能包括不同结构和组件，其包含飞机160。图1所示，在体现化为基 于计算机的装置110的计算装置208中，虚拟映射模块260可能包含逻 辑指令，其当被(一个或更多)处理器222执行时，引起(一个或更多) 处理器222通过由服务器140中虚拟映射模块145保持的三维环境执行 基于IMU的定位。

回来参考图1，在一些实施例中，惯性测量单元(IMU)120被集成 到基于计算机的装置110。在替代实施例中，IMU120可能是单独的装置， 其可能被耦合到基于计算机的装置110，经由合适的接口，例如通用串 行总线(USB)端口等等。IMU120可能包含内部微处理器，或可能依 赖于基于计算机的装置110中用于处理任务的处理器。在一些实施例中， IMU120可能包含一个或更多微机电系统(MEMS)，例如测量相对加 速度(加速度计)和旋转速度(陀螺仪)的运动传感器装置。由IMU120 产生的输出可能被提供至基于计算机的装置110。由运动传感器检测的 运动可能被用于当IMU在运动时计算IMU120的位置和取向。在运动 程序中，IMU120还可提供平移或旋转移动的估计。

IMU120和基于计算机的装置110可经由一个或更多通信网络130 被耦合到服务器140。(一个或更多)通信网络130可能被实现为个人 局域网(PAN)、局域网(LAN)、城域网(MAN)或广域网(WAN)、 专有通信网络等等。而且，通信网络130、132、134可能包含一个或更 多子网络。举例说明，但不限制于，通信网络130、132、134可能包含 一个或更多访问点(Ap)，其建立对LAN或直接对骨干网(例如英特 网)的访问通路。此外，通信网络130、132、134可能包含不同输入/ 输出传输，例如但不限制于：有限USB或串行链路、无线802.11x链接、 无线USB、蓝牙、红外链接、蜂窝网络等等。

系统的结构组件已经被描述之后，现在将描述执行系统不同组件的 基于IMU的定位、操作和交互作用。在一些实施例中，基于计算机的装 置110和IMU120合作以通过服务器140保存的虚拟环境使能导航。

图3是流程图，其根据实施例图示基于IMU的定位方法中的操作。 尤其，图3描述了定位方法中的操作，由此可以选择在虚拟空间中的初 始位置。在一些实施例中，图3中描述的操作可被虚拟映像模块260执 行，虚拟映射模块260在基于计算机的装置110上单独或与在服务器140 中执行的虚拟映像模块145合作执行。

参考图3，在操作310虚拟环境被加载到基于计算机的装置110的 存储器。在一些实施例中，完整的虚拟环境可从服务器140的虚拟映射 模块145中经由(一个或更多)网络130加载到计算装置110的存储器 中。然而，在其他实施例中仅一部分的虚拟环境被加载到基于计算机的 装置110中。举例说明，基于计算机的装置110的用户可能要求虚拟环 境的特定区域，并且仅要求的区域从服务器140的虚拟映射模块145加 载到基于计算机的装置110的存储器。

在操作315，IMU120被激活以便IMU120将产生指示出由IMU经 历的运动的信号。在操作320时信号被接收，其表示已知的实际方位， 其在模拟环境中被建模。举例说明，用户可能从触摸屏显示器112上菜 单118中选择靠近或位于飞机160内多个预定方位中的一个，并且可能 在选择的方位安置基于计算机的装置110和IMU120。响应该选择，在 基于计算机的装置110上执行的虚拟映射模块260在操作320呈现所选 择方位的虚拟环境的图像。

在操作330时，确定呈现在显示器上的虚拟图像是否与来自相同角 度的真实环境的图像对应。在一些实施例中，确定可被手动执行。举例 说明，基于计算机的装置的用户可观察显示在装置110的显示器112上 的虚拟图像，并且可做出关于是否图像对应的主观判断。在其他实施例 中，此确定可能以客观的方式通过在基于计算机的装置110或耦合至其 的计算机上执行的逻辑进行。举例说明，在一些实施例中，计算装置110 可能包含图像捕捉装置，例如，照相机，其可被用于捕捉靠近基于计算 机的装置的真实环境的图像。在这些实施例中，被计算机装置捕捉的图 像属性可能与呈现在显示器上的虚拟图像属性比较，以确定是否图像是 对应的。

在操作330时，如果虚拟图像不符合真实环境的图像，则控制传递 到操作335并且相对图像位置和取向被用户调整，直至虚拟和真实环境 匹配。仍在其他实施例中，在显示器上的虚拟图像可能被操纵，例如， 通过旋转、移动和/或变焦虚拟视点，其通过使用触摸屏(或其他视点控 制)或实际地移动显示器装置(和附连的传感器)直至虚拟图像对应于 真实环境。与之相比，如果在操作330时图像对应，则定位程序被认为 是成功的并且基于计算机的装置110和IMU120在真实世界的方位与呈 现在显示器上的虚拟图像的视角同步。

因此，控制进行到操作340并且追踪程序在基于计算机的装置110 上被开始。在一些实施例中，追踪程序使用单独或结合来自显示器112 上的一个或更多用户界面的用户输入的IMU120，以允许用户通过呈现 在显示器112上的对应于IMU120与计算装置112在其中移动的真实环 境的虚拟图像导航。

追踪程序的另一方面将参考图4进行说明。参考图4，在操作410 时虚拟图像的透视图被呈现在显示器112上。在操作415时，在基于计 算机的装置110上执行的虚拟映射模块，接收表明IMU120旋转运动的 取向信号。在一些实施例中，取向信号是由IMU120产生以响应通过用 户控制计算装置110而使IMU120旋转。在其他实施例中，旋转信号可 以通过用户输入到触摸屏显示器112上的用户界面产生。

类似地，在操作420时虚拟映射模块260接收平移信号。在一些实 施例中，平移信号表明IMU120平移运动。在一些实施例中，平移信号 是从IMU120接收的数据中获得以响应IMU120通过用户控制基于计算 机的装置110使其平移。在其他实施例中，平移信号可以通过用户输入 到触摸屏显示器112上的用户界面114产生。

在操作430时，呈现在显示器112上的虚拟图像被更新以响应旋转 信号和平移信号。在一些实施例中，来自IMU120的取向信号可能被体 现在3×3旋转矩阵中。任何额外的基于屏幕的平移被包含在该解决方 案中，其通过3×3旋转矩阵乘以被限定在屏幕坐标中的x、y、z平移的 3×1矢量，如方程式(1)所示：

$\left(\begin{array}{c}\mathrm{ROT}\\ (3\times 3)\end{array}\right)\left(\begin{array}{c}\mathrm{Xs}\\ \mathrm{Ys}\\ \mathrm{Zs}\end{array}\right)=\left(\begin{array}{c}\mathrm{Xa}\\ \mathrm{Ya}\\ \mathrm{Za}\end{array}\right)$                    方程式(1)

其中[ROT]代表3×3旋转矩阵，3×1矢量[Xs，Ys，Zs]T是屏幕平移， 并[Xa，Ya，Za]T是在绝对坐标中的合成平移。此数据而后被重构成4×4 齐次变换矩阵，形式为：

$\left(\begin{array}{cccc}& & & \mathrm{Xa}\\ & \underset{(3\times 3)}{\mathrm{Rot}}& & \mathrm{Ya}\\ & & & \mathrm{Za}\\ 0& 0& 0& 1\end{array}\right)$

方程式(2)

在一个实施例中，显示器112从计算程序(其从IMU120中接收数 据)中接收相对于开始位置的显示在方程式(2)中的4×4矩阵形式的 方位数据(位置和取向信息)。此矩阵而后被预乘以与开始位置有关的 矩阵，如方程式(3)中所示：

         方程式(3)

其中所有三个矩阵都是4×4齐次变换矩阵。在一些实施例中，合 成矩阵可能被直接使用或转成其他形式(依赖于图像应用)以设定在虚 拟环境中的视点，并且图像显示被更新以呈现新的视点(操作430)。

在操作432时，确定虚拟图像是否匹配真实物体的图像。如果在操 作432时需要视图修正，则控制返回到操作325。相比之下，如果不需 要视图修正则控制传递到操作435。

如果在操作435时需要选择物体或(x、y、z)位置点，则用户通过 移动基于计算机的装置110和IMU120和/或使用屏幕上的平移来改变取 向，以在屏幕112上定位感兴趣的物体或区域。选择感兴趣的物体和区 域(操作440)可以通过使用合适的用户界面，例如，十字标线116或 其他目标元素。位置点可被存储(操作445)在合适的存储器方位，或 者来自选择物体的数据可被呈现至用户。其他基于位置的选择功能同样 可在此方法中启用，例如使用选择事件选择物体以接受关于物体的额外 数据、改变其颜色、禁用其或类似的功能。

如果在操作450用户完成通过环境的导航，则控制进行到操作455 并且方法结束。相比之下，如果用户希望继续导航，则控制返回操作415。

因此，图3中描述的操作通过操作310至340使得用户能够匹配模 拟环境与真实环境，并且操作415至450限定环路，通过该环路计算装 置110和IMU120的用户可移动计算装置110和IMU120通过交通工具 160中或邻近的三维空间路径，并且虚拟环境对应视图被呈现在基于计 算机的装置110的显示器112上。或者，用户使用在显示器112上的输 入通过虚拟环境操纵。此方法描述了人工导航，其使用由基于IMU的定 位方法提供的数据通过真实和虚拟环境连续匹配而得以实现。

在任何时间点，用户可在显示器装置的屏幕上选择一个或更多感兴 趣的项目，并且作为响应，显示器装置可在选择点显示关于物体的信息 和/或存储选择点的坐标。

在一个替代的实施例中，被用于指导用户到特殊方位的导航指令， 可被显示在显示器装置上。这可能包含3D取向指示(箭头等等)或文 本或语音反馈元素。例如，用户可能希望通过输入或选择一组或更多目 标坐标到达飞机上的特殊方位，并且然后要求自动导航应用以产生指令 指引用户从当前方位到目标方位。当用户在真实环境中移动时，虚拟环 境被更新显示虚拟环境的对应视图，同时更新导航指示元素。此自动导 航辅助应用要求访问用户的当前位置和取向，用户携带配备了可执行如 上所述定位方法的IMU显示装置。

在上述讨论中，示范程序的具体实施方式已经被描述，然而应了解 的是在替换实施方式中特定的动作不需要按上述描述的顺序执行。在替 代实施例中，一些动作可能被修改、以不同的顺序执行或可被完全删除， 其依赖于环境。而且，在各替代的实施方式中，描述的动作可由计算机、 控制仪、处理器、可编程的装置、固件或其他适合的装置实施，并且可 能是根据存储在一个或更多计算机可读媒介或以其他方式存储或编程 到这些装置中(例如，包含实时传输计算机可读取的指令到这些装置)。 在软件背景下，上述描述的动作可能代表计算机指令，其当有一个或更 多处理器执行时执行所述动作。如果计算机可读取的媒介被使用，则计 算机可读取的媒介可以是任何可被装置被访问以执行其上存储的指令 的可利用的媒介。

在附图和文本中，一方面，公开的基于计算机的方法包含：确定测 量装置120相对于在三维空间内的至少一个真实物体在真实的三维空间 中的位置和取向；将虚拟三维空间145中对应于真实物体的虚拟物体的 虚拟图像的透视图显示在被耦合到测量装置120的显示器装置112、202 上；其中虚拟物体的透视图对应于来自测量装置120的位置的真实物体 的透视图。在一个变化中，其中确定测量装置120相对于在三维空间内 的至少一个真实物体在真实的三维空间中的位置和取向包含：接收表明 测量装置120被定位在真实三维空间中的已知实际方位的信号；在显示 器112、202上提供来自已知实际物质透视图的至少一个虚拟物体的虚 拟图像的透视图；以及确认真实物体透视图和虚拟物体透视图之间的对 应性。

在其他变化中，方法包括其中测量装置120包含惯性测量单元IMU 120并且还包含：接收指示惯性测量单元120相对于真实物体的取向的 改变的旋转输入；在显示器装置112、202上旋转虚拟物体的透视图， 以便虚拟物体的透视图匹配来自来源于从测量装置120接收的数据的位 置和取向的真实物体的透视图。在又一变化中，方法包括其中旋转输入 包含来自惯性测量单元IMU120的输入或来自被耦合到IMU120或 IMU数据处理应用145、260和显示器装置112、202的输入装置112、 202、204、206、210、212、214的输入的至少一个。

在其他变化中，方法包括其中确认真实物体的透视图与虚拟物体的 透视图之间的对应性，包括以下至少之一：接收平移输入，其指示惯性 测量单元120相对于真实物体在位置上的改变；以及在显示器112、202 上更新虚拟三维空间145的透视图以便虚拟三维空间145的透视图匹配 来自测量装置120的位置与取向的真实三维空间透视图。在一个示例中， 方法包括其中平移输入包含来自测量装置120的输入或来自被耦合到测 量装置处理应用145、260和显示器装置112、202的输入装置112、202、 204、206、210、212、214的输入的至少一个。在其他示例中，方法还 包括：接收显示器112、202中的输入以选择一个或更多感兴趣的项目； 和响应输入；显示关于一个或更多感兴趣项目的信息。

在一个方面中，公开的基于计算机的系统包括：测量装置120；显 示器112、204；处理器222；以及逻辑指令260，其被存储在被耦合到 处理器222的有形计算机可读媒介230中，当被处理器222执行时配置 处理器222以：确定测量装置120在真实的三维空间中相对于至少一个 在三维空间中的真实物体的位置和取向，并且在显示器112、204上提 供对应于虚拟三维空间145中的真实物体的虚拟物体的虚拟图像的透视 图，其中虚拟物体的透视图对应于来自测量装置120的方位的真实物体 的透视图。在一个变化中，基于计算机的系统包括逻辑指令260以确定 在真实三维空间中的位置和取向，还包含逻辑指令，其当由处理器222 执行时配置处理器222以：接收指示测量装置120被定位在三维空间中 的已知实际位置的信号；在显示器上显示来自已知实际位置透视图的至 少一个虚拟物体的虚拟图像的透视图；以及确认真实物体的透视图与虚 拟物体的透视图之间的对应性。

在另一变化中，基于计算机的系统还包括逻辑指令260，其被存储 在被耦合到处理器222的有形计算机可读取的媒介230中，其当由处理 222执行时配置处理器222以：接收指示测量装置120相对于真实物体 的取向的改变的旋转输入；并且在显示器装置112、202上旋转虚拟物 体的透视图，以便虚拟物体的透视图匹配来自测量装置120位置和取向 的真实物体的透视图。在一个示例中，基于计算机的系统包括其中旋转 输入包含来自惯性测量单元120的输入或来自被耦合到测量装置处理应 用145、260和显示器装置112、202的输入装置112、202、204、206、 210、212、214的输入的至少一个。

在另一示例中，基于计算机的系统还包括被存储在被耦合到处理器 222的有形计算机可读取的媒介230的逻辑指令260，当被存储器222 执行时，其配置处理器222从而：接收显示器112、202中的输入以选 择一个或更多感兴趣的项目；并且响应输入，显示关于一个或更多感兴 趣项目的信息。在另一示例中，基于计算机的系统包括其中输入包含来 自测量单元120的输入或来自被耦合到测量装置处理应用145、260和 显示器装置112、202的输入装置112、202、204、206、210、212、214 的输入的至少一个。在又一示例中，基于计算机的系统还包括存储在被 耦合到处理器222的有形计算机可读取的媒介230中的逻辑指令260， 当被存储器222执行时，其配置处理器222从而：接收来自耦合到测量 装置处理应用145、260和显示器装置112、202的输入装置112、202、 204、206、210、212、214的确认输入；以及接收来自匹配程序的确认 输入，其确定虚拟物体的透视图与真实物体的实时图像之间的匹配。

在一个方面中，公开的计算机产品包含存储在被耦合到处理器222 的有形计算机可读取的媒介230中的逻辑指令，当被存储器222执行时， 其配置处理器222从而：确定测量装置120在真实的三维空间中相对于 至少一个在三维空间中的真实物体的位置和取向；并且在耦合到测量装 置120的显示器112、204上提供对应于虚拟三维空间145中的真实物 体的虚拟物体的虚拟图像的透视图，其中虚拟物体的透视图对应于来自 测量装置120的方位的真实物体的透视图。在一个变化中，计算机程序 产品包括逻辑指令260以确定在真实三维空间中的位置和取向还包含逻 辑指令260，其当由处理器222执行时配置处理器222以：接收指示测 量装置120被定位在三维空间中的已知实际位置的信号；在显示器112、 202上提供来自已知实际位置透视图的至少一个虚拟物体的虚拟图像的 透视图；以及确认真实物体的透视图与虚拟物体的透视图之间的对应 性。

在又一实施例中，计算机程序产品包括其中测量装置120包含惯性 测量单元120，并且还包含存储在被耦合到处理器222的有形计算机可 读取的媒介230中的逻辑指令260，当被存储器222执行时，其配置处 理器222从而：接收指示惯性测量装置120相对于真实物体的取向的改 变的旋转输入；并且在显示器装置112、202上旋转虚拟物体的透视图， 以便虚拟物体的透视图匹配来自测量装置120位置和取向的真实物体的 透视图。在一个变化中，该计算机程序产品包括其中旋转输入包含来自 惯性测量单元120的输入或来自被耦合到测量装置处理应用145、260 和显示器装置112、202的输入装置112、202、204、206、210、212、 214的输入的至少一个。

在一个示例中，计算机程序产品还包含存储在被耦合到处理器222 的有形计算机可读取的媒介中的逻辑指令，当被存储器222执行时，其 配置处理器222从而：接收指示惯性测量单元120相对于真实物体的位 置改变的平移输入；并且在显示器装置112、202上更新虚拟三维空间 145的透视图，以便虚拟三维空间145的透视图匹配来自测量装置120 位置和取向的真实三维空间的透视图。在另一示例中，计算机程序产品 包括其中平移输入包含来自惯性测量单元120的输入或来自被耦合到测 量装置处理应用145、260和显示器装置112、202的输入装置112、202、 204、206、210、212、214的输入中的至少一个。在又一示例中，计算 机程序产品还包含存储在被耦合到处理器222的有形计算机可读取的媒 介中的逻辑指令260，当被存储器222执行时，其配置处理器222从而： 接收显示器装置202中输入以选择一个或更多感兴趣的项目；以及响应 输入，显示关于一个或更多感兴趣项目的信息。

在不同实施例中，此处例如参考图3-4讨论的一个或更多操作，可 能被实现为硬件(例如，逻辑电路)、软件、固件或其组合，其可提供 为计算机程序产品，例如，包括机器可读取的或计算机可读取的媒介， 其具有存储在其上被用于程序控制计算机执行此处讨论程序的指令。机 器可读取的媒介可能包括合适的存储装置，例如在参考图3和图4讨论 的那些。

此外，这些计算机可读取的媒介可被下载为计算机程序产品，其中 程序可能从远程计算机(例如服务器)被转移到请求的计算机(例如客 户)，经由通信链路(例如，调制解调器或网络连接)通过载波或其他 传播媒介中实现的数据信号。因此，此处载波应被认为是包含机器可读 取的媒介。

详述中涉及“一个实施例”或“一实施例”意味着关于其描述的特 定特征、结构或特性与可能被包括在至少一个实施方式中的实施例有 关。在说明书中不同位置处出现的短语“在一个实施例中”，可以或者 可以不全部指相同的实施例。

同样，在说明书和权利要求中，可使用术语“耦合”和“连接”及 其派生词。在一些实施例中，“连接”可以被用于表示两个或者更多元 件被直接物理的或电子的接触彼此。“耦合”可以表示两个或者更多元 件不是直接接触彼此，但是仍可能彼此配合或相互作用。

因此，尽管已经用特用于结构特征和/或方法论动作的语言描述了本 发明的实施例，但应被了解的是要求保护的主题不局限于描述的特定特 征或动作。而是，特定特征或动作公开为实现要求保护的主题的范例。