混合照片导航及地图绘制

摘要

所揭示实施例结合在穿越在结构中及围绕所述结构的若干地点时俘获所述结构的一连串外部及内部图像而从多个传感器获得多个测量集合。每一测量集合可与至少一个图像相关联。从所述结构的外部图像及UE的对应室外轨迹确定所述结构的外部结构包络。以绝对坐标确定所述结构的位置及定向以及所述结构包络。另外，可基于所述结构的内部图像、绝对坐标的结构包络及在穿越室内区域以俘获所述内部图像期间与所述UE的所述室内轨迹相关联的测量来获得绝对坐标的所述结构的室内地图。

说明书

相关申请案的交叉引用

本申请案主张2014年9月25日申请的题为“混合照片导航及地图绘制(Hybrid PhotoNavigationandMapping)”的第14/497,219号美国申请案的权益及优先权，所述美 国申请案主张2013年年9月27日申请的题为“在惯性导航的上下文中使用特征辅助的偏离 目标跟踪(Off-TargetTrackingUsingFeatureAidingintheContextofInertial Navigation)”的第61/883,921号美国临时申请案的权益及优先权，所述两个申请案以全文 引用的方式并入本文中。

技术领域

本文中揭示的标的物大体涉及地面定位系统，且明确地说，涉及用于混合照片导 航及地图绘制的系统及方法。

背景技术

通常需要知道例如蜂窝电话等终端的地点。举例来说，定位业务(LCS)客户端可能 需要在紧急服务呼叫的情况下知道终端的地点或向终端的用户提供某一服务，例如，导航 辅助或测向。术语“地点(location)”与“位置(position)”是同义的，且在本文中可互换地 使用。

一种确定例如移动装置等用户设备(UE)的地点的方法是基于信号从多个天线到 达的时间的测量。举例来说，UE可测量来自多个基站天线的所接收信号的时间差。因为基站 天线的位置已知，所以观测到的时间差可用于计算终端的地点。

UE可利用基站年历(BSA)来执行测量计算及/或可将测量发送到地点服务器以用 于位置计算。术语高级前向链路三边测量(AFLT)用于描述在码分多址(CDMA)系统中的地面 定位，而术语观测到达时间差(OTDOA)在宽带CDMA(WCDMA)及长期演进(LTE)系统的情况下 使用。

然而，当前位置定位解决方案集中于室外地图绘制/导航，其中可使用全球导航卫 星系统(GNSS)及/或地面蜂窝式(AFLT/OTDOA/参考信号时间差(RSTD))的测量来确定UE的 位置。相比之下，对于其中对SPS/地面信号的存取可能不存在、受限及/或受多路径影响的 室内地点，不存在可容易部署的具成本效益的定位/导航系统。此外，大规模辅助室内导航 的室内地图的获取及维持已被认为成本过高的。

准确度及从室外到室内地图的顺畅转变两者促进使用室内地图作为导航辅助。举 例来说，在建筑物中的房间内定位UE同时还提供外部上下文(例如指示房间及/或建筑物地 点相关的室外较大区域地图)的能力对于用户定向且在提供导航辅助时可为有帮助的。通 常，当前SPS/无线导航系统即使可用也不会提供用于室内地图绘制/导航解决方案的适当 准确度。

因此，存在对于具成本效益地获取及维持地图(包含室内地图)以部分地支持全网 络室内导航系统的部署的相干策略的需要。

发明内容

在一些实施例中，一种在用户设备(UE)上的方法可包括：在穿越结构内的多个地 点时俘获所述结构的内部的多个图像；俘获多个测量集合，其中每一测量集合对应于至少 一个图像，且每一测量集合包括惯性测量单元(IMU)测量或可用无线测量中的至少一者；以 及部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹。在一些实施例中， 所述所估计轨迹、所俘获图像及对应测量集合可发送到无线地耦合到所述UE的服务器；且 可从所述服务器接收基于所述所估计轨迹、所俘获图像及对应测量集合而接收的所述结构 的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。

在另一方面中，一种用户设备(UE)可包括：摄像机，其在穿越结构内的多个地点时 俘获所述结构的内部的多个图像；多个传感器，所述传感器包括惯性测量单元(IMU)；无线 模块，其经配置以采集可用无线信号的测量；以及处理器，其耦合到所述摄像机、传感器及 无线模块。在一些实施例中，所述处理器可经配置以：获得结构的内部的多个图像，获得多 个测量集合，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合 包括IMU测量及可用无线测量中的至少一者；部分地基于所述所俘获图像及所述多个测量 集合估计UE的轨迹，将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到 所述UE的服务器；以及基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接 收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨 迹的信息。

在另一方面中，一种用户设备(UE)可包括：成像装置，其经配置以在穿越结构内的 多个地点时俘获所述结构的内部的多个图像；感测装置，所述感测装置包括惯性测量单元 (IMU)、经配置以采集可用无线信号的测量的无线测量装置、用于获得结构的内部的多个图 像的装置、用于获得多个测量集合的装置，其中每一测量集合对应于所述多个图像中的至 少一个图像，且每一测量集合包括IMU测量及可用无线测量中的至少一者；用于部分地基于 所述所俘获图像及所述多个测量集合估计所述UE的轨迹的装置，用于将所述所估计轨迹、 所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器的装置；以及用于基于所 述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图的装 置，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。

所揭示实施例还涉及一种包括指令的非暂时性计算机可读媒体，所述指令在由处 理器执行时致使所述处理器经配置以：在穿越结构内的多个地点时俘获所述结构的内部的 多个图像；俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包 括惯性测量单元(IMU)测量或可用无线测量中的至少一者；部分地基于所述所俘获图像及 所述多个测量集合估计所述UE的轨迹；将所述所估计轨迹、所俘获图像及对应测量集合发 送到无线地耦合到所述UE的服务器；以及基于所述所估计轨迹、所俘获图像及对应测量集 合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于 所述UE的经校正轨迹的信息。

可由服务器(包含地点服务器)、移动站等中的一或多个使用LPP、LPPe或其它协议 执行所揭示的方法。所揭示的实施例还涉及由处理器使用非暂时性计算机可读媒体或计算 机可读存储器建立、存储、存取、读取或修改的软件、固件及程序指令。

附图说明

图1A展示说明经启用而以与所揭示实施例一致的方式支持混合照片导航及地图 绘制的UE的某些示范性特征的示意性框图。

图1B展示示范性可佩戴式用户装置。

图2展示能够提供地点服务到UE(包含地点辅助数据或地点信息的传送)的系统的 架构。

图3A及3B展示指示在多种情形中的不同定位技术的可用性连同相关联的地点精 度、定位不明确性及功率消耗的表。

图4为能够以与所揭示实施例一致的方式执行地图绘制的示范性应用程序400的 框图。

图5A展示处于从人造卫星(SV)及/或无线网络的信号接收可用的地点的用户。

图5B为零售商店的简化俯视图，其说明建立及映射用于室内导航系统的目标的示 范性方法。

图6A展示用于无线地图产生的示范性方法的流程图。

图6B展示在UE沿循轨迹时可能在各种地点及时间点出现的视线及非视线条件。

图7A展示在结构内的用户与移动台。

图7B展示由处于室内地点的移动装置上的摄像机俘获的图像。

图8展示与所揭示实施例一致的示范性地图绘制数据收集方法的流程图。

图9展示在混合照片地图绘制期间的示范性高阶数据流。

图10A到10C展示说明用于基于照片、无线、磁性及气压数据产生地图的方法的流 程图。

图11展示说明能够确定MS的地点的系统中一些实体的简化框图。

图12展示说明经启用以支持位置确定以及众包地图产生及导航的服务器的示意 性框图。

图13展示与所揭示实施例一致的混合照片地图绘制的示范性方法的流程图。

具体实施方式

术语“用户装置”(UD)或“用户设备”(UE)或在本文中可互换地使用并且可指代一 种装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、 个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航 信号的其它合适的移动装置。术语还旨在包含例如通过短程无线、红外、有线连接或其它连 接与个人导航装置(PND)通信的装置，不管在所述装置或所述PND处是否发生卫星信号接 收、辅助数据接收及/或位置相关的处理。UE可表示移动电话、记事本计算机或膝上型计算 机，或其可为本文中出于产生街道地图及/或延迟及/或信号强度图的目的收集测量集的车 辆。

另外，术语UE、UD、“移动站”或“移动装置”旨在包含所有装置，包含无线及有线通 信装置、计算机、膝上型计算机等，其能够例如通过因特网、Wi-Fi、蜂窝式无线网络、DSL网 络、封包电缆网络或其它网络，而不管所述装置、服务器或与所述网络相关联的另一装置处 是否发生卫星信号接收、辅助数据接收及/或位置相关的处理。上述的任何可操作组合也被 视为“移动装置”。

图1A展示说明经启用以支持基于无线信号与基于传感器的测量的组合的地图绘 制(包含基于摄像机或其它图像的技术)的UE100的某些示范性特征的示意性框图。另外， 在一些实施例中，UE100还可通过组合基于图像的技术与基于无线信号及传感器的技术来 支持混合照片导航。术语“混合”用以指使用基于传感器、基于图像及/或基于无线信号的技 术中的一或多者的组合来以根据本文所揭示的实施例的方式执行地图绘制及导航。在一些 实施例中，UE100可支持混合照片地图绘制。在一些实施例中，UE100可进一步支持混合照 片导航及地点确定。

MS100可(例如)包含可用一或多个连接120(例如，总线、线、纤维、连结等)操作性 地相互耦合的一或多个处理单元或处理单元150、存储器130、收发器110(例如，无线网络接 口)及(如可适用)GNSS或卫星定位系统(SPS)接收器140、光学传感器/摄像机180、磁力计、 高度计、气压计及传感器组185(共同地被称作传感器185)、惯性测量单元(IMU)170、非暂时 性计算机可读媒体160、显示器190及存储器130。在某些实例实施方案中，UE100的全部或 部分可呈芯片组及/或类似者的形式。磁力计可能能够测量地球磁场的强度及/或方向，且 可充当指南针及/或提供UE100的行进方向的指示。高度计可用以提供在经校准层面上的 海拔的指示，而气压计可提供大气压力的指示，其可用以获得海拔的确定。

可使GNSS/SPS接收器140能够接收与一或多个SPS资源相关联的信号。所接收的 GNSS/SPS信号可用以确定UE100的位置。收发器110可(例如)包含使得能够在一或多个类 型的无线通信网络上发射一或多个信号的发射器112及接收在一或多个类型的无线通信网 络上发射的一或多个信号的接收器114。

在一些实施例中，UE100可包括例如CCD或CMOS传感器的图像传感器及/或摄像机 180，其在下文被称作“摄像机180”。摄像机180可将光学图像转换为电子或数字图像，且可 将所俘获图像发送到处理单元150。举例来说，如图1B中所示，在一些实施例中，摄像机180 可收容在可佩戴式移动装置中，且可在操作上耦合到显示器190、处理单元150及/或UE100 中的其它功能单元。

在一些实施例中，处理单元150还可从一或多个传感器185接收输入，所述传感器 可包含多种传感器185，例如磁力计、高度计及/或气压计。此外，传感器185可包含环境光传 感器、声学换能器(例如，麦克风/扬声器)、超声换能器及/或深度传感器中的一或多者，深 度传感器可用以获取深度信息及/或确定到目标的距离。一般来说，以上非穷尽性传感器列 表及传感器组185可包含正越来越多地被并入到现代智能电话及其它移动装置内的各种其 它类型的传感器及换能器。

在一些实施例中，UE100还可包含惯性测量单元(IMU)170。在一些实施例中，IMU 170(可包括3轴加速度计、3轴陀螺仪及/或磁力计)可将速度、定向及/或其它位置相关信息 提供到处理单元150。在一些实施例中，IMU170可经配置以测量且输出同步到摄像机180对 每一图像帧的俘获及/或UE100中的传感器185所采集的测量的所测量信息。在一些实施例 中，IMU170的输出可由处理单元150用来确定UE100的位置及定向。

术语“无线测量”在本文中用以指SPS、蜂窝式、WLAN、WPAN及其它无线电信号的测 量。术语“非无线测量”指包含(但不限于)IMU、气压计、高度计及磁力计测量的传感器测量。 在一些实施例中，可使由UE进行的无线测量的俘获与非无线测量的俘获同步。另外，可将无 线及/或非无线测量的俘获与由UE进行的图像的俘获同步。举例来说，测量(无线及/或非无 线)及俘获的图像可带时间戳，且测量与图像可基于时间戳而相互关联。测量与图像及/或 与彼此的关联可与测量/图像记录同时发生，及/或在基于与测量相关联的时间戳的稍后时 间点发生。

术语“测量集合”用以指由UE在测量地点在一时间点或在时间点的某一指定间隔 内执行的信号测量。进行的信号测量可与地图绘制及/或位置确定有关。进行的信号测量也 可取决于UE100、UE100的能力、环境特性及/或可用于UE100在特定地点/时间进行的测 量的信号特性。通常，测量集合可包括图像、无线测量及非无线测量，其中测量集合中的每 一元素可已在时间点的某一指定时间间隔内记录。由UE100记录的测量集合可存储在UE 100上的存储器130中及/或发送到服务器，在服务器处，其可经处理及/或与相关于那个测 量地点的其它测量聚集在一起。举例来说，测量集合可存储在基站年历(BSA)中及/或用于 地图绘制/地点确定。

可使用硬件、固件与软件的组合来实施处理单元150。在一些实施例中，处理单元 150可包含地图绘制模块(MM)152、导航模块(NM)154，及地点辅助数据模块(LADM)158。在一 些实施例中，LADM158可处理所接收的地点辅助数据。地点辅助数据可呈分层地图信息的 形式，例如多路径及可见地图辅助信息、观测到达时间差(OTDOA)辅助信息，包含PRS辅助信 息，等。在一些实施例中，处理单元150还可包含计算机视觉模块(CVM)155，所述计算机视觉 模块可实施多种图像处理及CV功能。

如本文中所使用的术语“地图层”指针对UE的位置及位置不确定性定制的信息，例 如地点辅助信息。地图的每一层可包括关于参数的信息，其中提供关于所述层共同的绝对 或全球坐标的信息。一般来说，地图层可包括各种类型的信息。举例来说，地图层可包括以 下各者中的一或多者：使接收信号强度与地图地点相关的接收信号强度地图层；使信噪比 (SNR)与地图地点相关的SNR地图层；使前向链路校准(FLC)信息与地图地点相关的FLC层； 等。

在一些实施例中，摄像机180可包含多个摄像机、前置及/或后置摄像机、广角摄像 机，且还可并有CCD、CMOS及/或其它传感器。可为静态摄像机及/或摄影机的摄像机180可俘 获环境的一系列2维(2D)静态及/或视频图像帧，且将所俘获图像帧发送到处理单元150。在 一些实施例中，摄像机180可为可佩戴式摄像机或外部摄像机，其可操作耦合到UE100中的 其它功能单元，但收容之处与其它功能单元分开。在一个实施例中，由摄像机180俘获的图 像可呈原始未压缩格式，且可在经处理及/或存储在存储器160中前被压缩。在一些实施例 中，图像压缩可由处理单元150(例如，由CVM155)使用无损或有损压缩技术来执行。

在一些实施例中，摄像机180可为深度感测摄像机或可耦合到深度传感器。术语 “深度传感器”用以指可用以独立地及/或与摄像机180一起获得用于环境的深度信息的功 能单元。在一些实施例中，可包括RGBD摄像机，除了彩色(RGB)图像之外，当启用深度传感器 时，其还可俘获每像素深度(D)信息。作为另一实例，在一些实施例中，摄像机110可呈3D飞 行时间(3DTOF)摄像机的形式。在具有3DTOF摄像机110的实施例中，深度传感器可呈耦合到 3DTOF摄像机110的频闪光灯的形式，其可照亮场景中的物件，且反射光可由摄像机110中的 CCD/CMOS传感器俘获。可通过测量光脉冲行进到目标且回到传感器所花时间来获得深度信 息。

作为另一实例，深度传感器可呈耦合到摄像机110的光源的形式。在一个实施例 中，光源可将可由一或多个窄频带的光组成的结构化或纹理化的光图案投影到场景中的物 件上。接着可通过利用由物件的表面形状引起的经投影图案的几何失真来获得深度信息。 在一个实施例中，可从例如对齐到RGB摄像机的红外结构光投影仪与红外摄像机的组合的 立体传感器获得深度信息。在一些实施例中，摄像机180可为能够俘获3维(3D)图像的立体 摄像机。在另一实施例中，摄像机180可包含能够估计深度信息的深度传感器。举例来说，深 度传感器可形成无源立体视觉传感器的部分，无源立体视觉传感器可使用两个或两个以上 摄像机获得场景的深度信息。可使用俘获的场景中的两个摄像机共同的点的像素坐标连同 摄像机姿势信息及/或三角测量技术来获得每像素深度信息。在一些实施例中，当深度传感 器不在使用中时，可停用深度传感器。举例来说，可将深度传感器置于待用模式中，或当不 使用时断电。在一些实施例中，处理器150可在一或多个时间点停用(或启用)深度感测。

处理单元150还可执行处理由摄像机180俘获的图像帧的软件。举例来说，处理单 元150可能能够处理从摄像机180接收的一或多个图像帧以确定摄像机180的姿势，从而实 施各种计算机视觉及图像处理算法及/或执行对应于从摄像机180接收的图像的环境的3D 重建。摄像机180的姿势指摄像机180相对于参考系的位置及定向。在一些实施例中，可针对 6自由度(6-DOF)确定摄像机姿势，所述6自由度指三个平移分量(其可由参考系的X、Y、Z坐 标给定)及三个角度分量(例如，相对于同一参考系的横滚、俯仰及偏航)。

在一些实施例中，摄像机180及/或UE100的姿势可由处理单元150使用视觉跟踪 解决方案基于由摄像机180俘获的图像帧来确定及/或跟踪。在一些实施例中，CVM155可使 用例如专用集成电路(ASIC)、数字信号处理器(DSP)及/或专用处理器(例如，处理单元150) 的专用电路来实施。在一些实施例中，CVM155可包含与UE100上的一或多个其它处理器通 信的功能性。

在一些实施例中，CVM155可实施各种计算机视觉及/或图像处理方法，例如3D重 建、图像压缩及滤波。CVM155还可实施基于计算机视觉的跟踪、基于模型的跟踪、同时定位 与地图绘制(SLAM)等。在一些实施例中，由CVM155实施的方法可基于由摄像机180俘获的 色彩或灰阶图像数据，其可用以产生摄像机的6-DOF姿势测量的估计。

SLAM指一类技术，其中在建立环境的地图(例如，正由UE100模型化的环境的地 图)的同时跟踪UE100相对于所述地图的姿势。SLAM技术包含视觉SLAM(VLSAM)，其中由摄 像机(例如，UE100上的摄像机180)俘获的图像可用以在建立环境的地图的同时跟踪所述 摄像机相对于所述地图的姿势。VSLAM因此可以涉及在跟踪摄像机的6DOF姿势的同时还确 定周围环境的3-D结构。例如，在一些实施例中，VSLAM技术可检测一或多个所俘获图像帧中 的突出特征小片且将所俘获的成像帧存储为关键帧或参考帧。在基于关键帧的SLAM中，可 接着(例如)通过比较当前所俘获图像帧与一或多个先前俘获及/或存储的关键帧来确定摄 像机的姿势。

在一些实施例中，CVM155可包括3D重建模块，其可使用摄像机姿势及每像素地图 信息来建立环境的3D模型或表示。在一些实施例中，可使用专用电路实施3D重建模块，所述 专用电路例如专用集成电路(ASIC)、数字信号处理器(DSP)及/或专用处理器(例如，处理单 元150)。3D重建模块可使用点云中的一组3D点来获得结构的3D模型，可从结构的图像确定 所述点。

在一个实施例中，处理单元150可通过使用单筒VSLAM技术建置UE100周围的环境 的粗略地图以用于摄像机180的准确且稳健6DOF跟踪来轨道摄像机180的位置。术语单筒指 使用单个非立体摄像机俘获图像或无深度信息的所俘获的图像。

可以多种方式实现跟踪空间坐标系统中的UE及/或摄像机姿势。在卫星定位系统 (SPS)信号不可用或不可靠的情况下(例如在室内环境中)，可使用视觉与惯性跟踪系统的 组合进行此跟踪。举例来说，由摄像机180俘获的图像可结合由IMU170及/或传感器组185 中的传感器(例如，高度计、气压计、磁力计等)进行的测量用以确定UE100及/或摄像机180 的姿势。在一些实施例中，基于VSLAM的技术可部分用以校正IMU170中的错误(例如，偏差 及漂移)。在可用的情况下，也可使用GPS坐标提供地点信息。在一些实施例中，混合视觉-惯 性跟踪器可并有具有扩展卡尔曼滤波器(EKF)的SLAM/VSLAM系统，从而将各种输入提供到 EKF以跟踪摄像机180及/或UE100的姿势。卡尔曼滤波器(KF)为广泛使用的用于跟踪及姿 势估计的方法。具体来说，KF随着时间推移递归地对一连串噪声输入测量进行操作以产生 基础系统状态的统计上最优估计(其可包含未知变量的估计)。EKF线性化非线性模型以促 进KF的应用。

在一些实施例中，摄像机的姿势可用以重新校准IMU170中的传感器，及/或补偿 及/或移除与传感器185及/或IMU170中的传感器的测量的偏差。举例来说，IMU170及/或 传感器185可输出与由UE100中的摄像机180进行的每一图像帧的俘获同步的所测量信息。 当可(例如)基于VLSAM准确地估计摄像机姿势(例如，图像中的一或多个对应特征点的成功 检测)时，则可使用VSLAM估计的摄像机姿势对由IMU170及/或传感器185进行的测量应用 校正，及/或重新校准IMU170/传感器185，使得由IMU170及/或传感器185进行的测量可更 紧密地跟踪VSLAM确定的姿势。

在另一实施例中，可与由摄像机180进行的深度图像的俘获一起俘获的来自深度 传感器的深度数据可用以实时(或离线)产生且递增地更新环境的3D或体积模型。举例来 说，可通过基于观测到的可用深度数据跟踪相对于3D模型的实况深度图像帧来获得当前摄 像机姿势。作为一个实例，在一连串俘获的深度图像中的每一深度图像可与实时SLAM一起 用以产生及/或递增地更新3D模型，同时基于每一帧中的深度数据跟踪摄像机180的姿势。 借助于深度传感器及SLAM技术，用户可能能够产生平滑递增更新的3D重建。在一些实施例 中，为了节省电力，当基于SLAM的3D重建技术确定对于现有3D模型来说新的信息已被成像 时，可启用深度传感器以获取深度信息。

另外，在3D重建能力为不可用UE100的情况下，所俘获图像数据连同摄像机姿势 及与图像帧的俘获或摄像机姿势的确定一起俘获或测量的其它传感器数据可存储在存储 器130、媒体160中，及/或使用发射器114发送到服务器，其中数据可经离线处理以获得环境 的3D模型及/或地图。因此，本文中揭示的一或多个方法也可由与UE100通信的服务器离线 执行。

在一些情况下，3D模型可呈可用以显现正被模型化的3D环境的纹理化3D网格、线 框模型、体积数据集合、CAD模型等的形式。举例来说，在其中使用3D网格的实施例中，可使 用VSLAM技术中的关键帧来获取环境的点云表示。术语点云指坐标系统(例如，具有X、Y及Z 坐标的3D坐标系统)中的一组数据点。随后可使用适当的分散数据内插方法将点云表示转 换为3D网格。在一些情况下，可在3D重建期间获得且使用基于一组分散数据点的稀疏点云 表示。

另外，在一些实施例中，处理单元150可进一步包括定位引擎(PE)或位置确定模块 (PDM)156(下文称为PDM156)，其可独立地使用从图像、传感器及由UE100进行的无线测量 导出的信息或结合所接收的地点辅助数据确定UE100的位置及位置不确定性估计。举例来 说，LADM158可处理包括多路径及可见地图辅助信息的地点辅助信息、PRS时序图案及/或 静音信息等，所述信息可接着由处理单元150用以选择信号获取/测量策略及/或确定初始 地点。在一些实施例中，处理单元150还可能能够直接地或结合图1中展示的一或多个其它 功能块处理各种其它所接收(例如)长期演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息 (包含辅助信息)。

在一些实施例中，UE100可包含可在内部或外部的一或多个UE天线(未展示)。UE 天线可用以发射及/或接收由收发器110及/或SPS接收器140处理的信号。在一些实施例中， UE天线可耦合到收发器110及SPS接收器140。在一些实施例中，由UE100接收(发射)的信号 的测量可在UE天线与收发器110的连接点处执行。举例来说，用于接收(发射)的RF信号测量 的参考的测量点可为接收器114(发射器112)的输入(输出)端子及UE天线的输出(输入)端 子。在具有多个UE天线或天线阵列的UE100中，天线连接器可被看作表示多个UE天线的聚 集输出(输入)的虚拟点。在一些实施例中，UE100可测量包含信号强度的接收的信号，并且 可由处理单元150处理TOA测量及原始测量。

取决于应用，可通过各种装置来实施本文中所描述的方法。举例来说，可使用硬 件、固件、软件或其任何组合中的模块来实施这些方法。对于硬件实施方案，处理单元可实 施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可 编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子 装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。

对于固件及/或软体实施方案，可使用执行本文中所描述的功能的代码、程序、功 能等等来实施所述方法。在实施本文所描述的方法时，可使用有形地体现指令的任何机器 可读媒体。举例来说，软件代码可存储在连接到处理单元150且由处理单元150执行的非暂 时性计算机可读媒体160或存储器130中。存储器可实施于处理器单元内或处理器单元外 部。在本文中使用时，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存 储器，且不应限于任何特定类型的存储器或任何特定数目的存储器或存储存储器的媒体的 类型。在一些实施例中，存储器130可持有促进混合照片导航及地图绘制、图像处理、SLAM、 跟踪、模型化、3D重建及由处理器150上的MM152、NM154、CVM155及/或PDM156执行的其 它任务。举例来说，存储器160可持有数据、俘获的静态图像、深度信息、视频帧、程序结果、 3D模型、关键帧以及由IMU170、各种传感器185提供的数据。

如果以固件及/或软件实施，那么功能可作为一或多个指令或程序代码存储在计 算机可读媒体(例如，媒体160及/或存储器130)上。实例包含编码有计算机程序及与所述程 序相关联或由所述程序使用的数据的计算机可读媒体。举例来说，包含存储于其上的程序 代码的计算机可读媒体可包含以与所揭示的实施例一致的方式支持混合照片地图绘制及 导航的程序代码。所述代码可部分地通过使用地点辅助信息来进一步支持高级前向链路三 边测量(AFLT)/混合AFLT/参考信号时间差(RSTD)/OTDOA测量及定位。计算机可读媒体160 包含物理计算机存储媒体。存储媒体可以是可由计算机存取的任何可用的媒体。作为实例 而非限制，此计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储 装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程 序代码且可由计算机访问的任何其它媒体；如本文中所使用的磁盘及光盘包含压缩光盘 (CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性 方式再现数据，而光盘用激光以光学方式再现数据。以上各自的组合也应包含在计算机可 读媒体的范围内。

除了存储在计算机可读媒体160上之外，还可将指令及/或数据提供为通信设备中 包含的发射媒体上的信号。举例来说，通信设备可包含可通过接收器112接收指示指令及数 据的信号的收发器110。指令及数据可使一或多个处理器实施混合照片地图绘制及导航及/ 或AFLT/混合AFLT/RSTD/OTDOA测量及定位，及/或本文中概述的其它功能。即，通信设备包 含具有指示用以执行所揭示的功能的信息的信号的发射媒体。

存储器130可表示任何数据存储机构。存储器130可包含(例如)主存储器及/或辅 助存储器。主存储器可包含(例如)随机存取存储器、只读存储器等。虽然在此实例中说明为 与处理单元150分开，但应理解，主存储器的全部或一部分可提供在处理单元150内或以其 它方式与处理单元150共置/耦合。举例来说，辅助存储器可包含例如与主存储器及/或一或 多个数据存储装置或系统相同或类似类型的存储器，例如磁盘驱动器、光盘驱动器、磁带驱 动器、固态存储器驱动器等。

在某些实施方案中，辅助存储器可操作性地接收或以其它方式可配置以耦合到非 暂时性计算机可读媒体160。因而，在某些实例实施方案中，本文中提出的方法及/或设备可 整体或部分呈可包含存储于其上的计算机可实施指令1108的计算机可读媒体160的形式， 所述指令如果由至少一个处理单元150执行，那么可操作性地使其能够执行如本文中所描 述的实例操作的全部或部分。计算机可读媒体160可为存储器130的一部分。

另外，UE100可包含能够显现彩色图像(包含3D图像)的屏幕或显示器190。在一些 实施例中，显示器190可用于显示由摄像机180俘获的实况图像、图形用户接口(GUI)、程序 输出等。在一些实施例中，显示器190可包括及/或收容有触摸屏，以准许用户经由虚拟键 盘、图标、菜单或其它图形用户接口(GUI)、用户手势及/或输入装置(例如触控笔及其它写 入工具)的某一组合输入数据。在一些实施例中，可使用液晶显示器(LCD)显示器或发光二 极管(LED)显示器(例如有机LED(OLED)显示器)实施显示器190。在其它实施例中，例如，如 图1B中所展示，显示器190可为可操作耦合到摄像机180、处理单元150及/或UE100中的其 它功能单元的可佩戴式显示器或平视显示器。

图2展示能够将地点及/或导航服务提供到UE(包含传送地点辅助数据或地点信 息)的系统200的架构。在一些情况下，系统200可以与本文中揭示的实施例一致的方式用于 地图绘制服务，例如，用于混合照片地图绘制。

举例来说，在一些情况下，服务器250可任选地将地图或其它地点辅助信息发送到 UE100(或多个UE100)，所述地图或信息可由UE100用以估计大致地点。另外，可将可由UE 100俘获的一或多个图像帧、视频及/或其它测量发送到服务器150。举例来说，在一些情况 下，基于所接收地点辅助数据(例如，由LADM158)，UE100可获得包含无线信号测量及/或 可与由摄像机180进行的图像俘获一起俘获的使用传感器185的测量的测量。俘获的图像 及/或测量可由UE100本地使用及/或可发送到服务器250。举例来说，俘获的图像及测量可 由UE100及/或服务器150用以产生或更新地点的模型/地图及/或更新基站年历(BSA)数 据。可接着将经更新数据/BSA数据发送到一或多个UE100作为地点辅助数据。

如图2中所说明，UE100可经由网络230及统称为天线240的基站天线240-1到240- 4与服务器250通信，所述天线可能与网络230相关联。在一些情况下，服务器250可提供地图 绘制服务器、地点服务器、BSA服务器、位置确定实体(PDE)或另一网络实体中的一或多者的 功能性。地点及其它信息的传送可以适于UE100及服务器250两者的速率发生。

在一些实施例中，系统100可使用例如UE100与服务器250之间的LPP或LPPe消息 等消息。LPP协议为众所周知的并且在来自被称为第三代合作伙伴计划(3GPP)的组织的各 种公开可用的技术指标中描述。LPPe已由开放移动联盟(OMA)定义并且可以与LPP组合使用 以使得每一组合的LPP/LPPe消息将为包括嵌入式LPPe消息的LPP消息。

在一些实施例中，UE100可接收并且测量来自基站天线240的信号，所述信号可用 于位置确定。天线240可形成无线通信网络的部分，所述网络可为无线广域网(WWAN)、无线 局域网(WLAN)、无线个人局域网(WPAN)等。术语“网络”与“系统”通常在本文中可互换地使 用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分 多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)、WiMax等等。

CDMA网络可以实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W- CDMA)等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统 (GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM、W-CDMA及LTE描述于来自被称 为“第三代合作伙伴计划”(3GPP)的组织的文献中。CDMA2000描述于来自名称为“第3代合作 伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE 802.11x网络，并且WPAN可为蓝牙网络、IEEE802.15x或某种其它类型的网络。所述技术还 可结合WWAN、WLAN及/或WPAN的任何组合来实施。举例来说，天线240及网络230可形成例如 演进UMTS陆地无线接入网(E-UTRAN)(LTE)网络、W-CDMAUTRAN网络、GSM/EDGE无线接入网 (GERAN)、1xRTT网络、演进数据优化(EvDO)网络、WiMax网络或WLAN的部分。

UE100还可从统称为宇宙飞船(SV)280的一或多个地球轨道SV280-1至280-4接 收信号，所述地球轨道宇宙飞船可为SPS/GNSS的部分。例如，SV280可在例如美国全球定位 系统(GPS)、欧洲伽利略系统、俄罗斯Glonass系统或中国指南针系统的GNSS的群集中。根据 某些方面，本文中所呈现的技术不限于SPS的全球系统(例如，GNSS)。举例来说，本文中所提 供的技术可应用于或以其它方式经启用以用于在各种地区性系统中使用，例如，日本上方 的准天顶卫星系统(QZSS)、印度上方的印度地区性导航卫星系统(IRNSS)、及/或可与一或 多个全球的及/或地区性导航卫星系统相关联或以其它方式经启用以供一或多个全球的 及/或地区性导航卫星系统使用的各种扩增系统(例如，基于卫星的扩增系统(SBAS))。借助 实例但非限制，SBAS可以包含提供完整性信息、差分校正等的增强系统，例如，广域增强系 统(WAAS)、欧洲地球同步导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理 增强导航或GPS及地理增强导航系统(GAGAN)，及/或类似者。因此，如本文所使用，SPS可包 含一或多个全球及/或地区性导航卫星系统及/或扩增系统的任何组合，且SPS信号可包含 SPS、类似SPS及/或与此类一或多个SPS相关联的其它信号。

为简单起见，图2中仅展示一个UE100及服务器250。通常，系统100可包括具有额 外网络230、LCS客户端260、移动站100、服务器250、(基站)天线240及宇宙飞船(SV)280的由 245-k(0≤k≤N_cells，其中N_cells为小区的数目)指定的多个小区。系统100可进一步包括包含 宏小区及毫微微小区的小区以符合本文所揭示的实施例的方式的混合。

MS100可能能够通过支持定位及地点服务的一或多个网络230与服务器250无线 通信，所述服务可包含(但不限于)由OMA定义的安全用户平面地点(SUPL)定位解决方案及 由适用于LTE服务网络的3GPP定义的控制平面定位解决方案。举例来说，可代表接入服务器 250(其可提供与地点服务器相关联的功能性)且发出对UE100的地点的请求的LCS客户端 260执行地点服务(LCS)。服务器250可接着以UE100的地点估计响应于LCS客户端260。LCS 客户端260还可称为SUPL代理，例如当服务器250及UE100所使用的定位解决方案为SUPL 时。在一些实施例中，UE100还可包含LCS客户端或SUPL代理(图1中未展示)，所述LCS客户 端或SUPL代理可发出对例如UE100内的PDM156的某一能定位的功能的地点请求且稍后接 收回UE100的地点估计。UE100内的LCS客户端或SUPL代理可针对UE100的用户执行地点 服务，例如提供导航方向或识别UE100附近的关注点。

服务器250可呈SUPL定位平台(SLP)、演进型服务移动定位中心(eSMLC)、服务移动 定位中心(SMLC)、网关移动定位中心(GMLC)、位置确定实体(PDE)、独立SMLC(SAS)及/或类 似者的形式。

如图2中所示，UE100可经由网络230及可与网络230相关联的天线240与服务器 250通信。UE100可接收且测量来自天线240的信号，所述信号可用于位置确定。举例来说， 为了促进位置确定，UE100可接收且测量来自分别可与小区245-1、245-2、245-3及245-4相 关联的一或多个天线240-1、240-2、240-3及/或240-4的信号。UE100还可使用从SV280(其 可形成SPS的部分)接收的信号确定其位置。作为另一实例，UE100可使用混合定位方案，其 使用UE100上的全球定位系统(GPS)或SPS接收器140且基于来自传感器185的测量及/或所 俘获图像结合AFLT及GPS测量(例如，来自SV280)计算其位置。在一些实施例中，GNSS'、地 面测量(例如AFLT、小区区段测量、WLAN测量、OTDOA)及/或传感器测量(例如使用IMU170、 传感器185、摄像机或图像传感器(其可包含深度传感器)等的测量)可用于获得位置估计。

在一些实施例中，获得的位置估计可为粗略及/或初始位置估计，且可以符合所揭 示实施例的方式进行改进。通常，由UE100进行的测量可与网络相关的测量(例如存储在 BSA中的测量)组合以增强UE100及/或天线240的计算位置的可用性及准确度。

作为另一实例，在供WCDMA及LTE使用的基于OTDOA的定位中，UE100可测量从多个 基站天线240接收的信号的时间差。因为天线240的位置已知，所以观测到的时间差可用于 计算UE100的地点。举例来说，定位参考信号(PRS)的到达的测量时间差(其被称为参考信 号时间差(RSTD))可连同每一小区的绝对或相对发射时序及针对参考及相邻小区的天线 240的已知位置一起用以计算UE100的位置。

在供CDMA使用的基于AFLT的定位中，UE100可测量导频信号的相位，所述信号经 同步至绝对时间标度(例如，GPS时间)并且从四个基站天线240-1到240-4发射。来自天线 240-i(1≤i≤4)的导频信号的所测量的相位可用于计算UE100与个别天线之间的距离。距 离测量集可用于计算UE100的地点，假设天线240的时间偏移已知。

MS100可通过比较小区信号的到达时间与绝对时间标度来获得前向链路小区信 号的时间同步的量度。UE100可在此测量时记录已知GPS位置及GPS时间，并且使用如天线 240-1的小区发射器的已知位置，可确定小区信号的到达时间偏差。

小区信号的时间偏差的确定被称为前向链路校准(FLC)。在一些情况下，UE100可 将原始测量信息发送到服务器250，所述服务器可执行前向链路校准。举例来说，将距离校 正量化为前向链路校准值(FLC)。FLC改善定位准确度，因为即使小区之间约为100ns的同步 变化也将会转化为30米的测距误差。因此，FLC准确度促进地面定位系统中的最优性能。然 而，即使在小区245内，FLC也可能基于多种因素(例如信号衰减、堵塞、多路径，等)而随UE的 位置而变化。举例来说，在室内或密集城市环境(其中堵塞及/或多路径较为常见)中，对室 内或密集城市环境进行地图绘制及/或获得准确位置估计可能存在挑战。举例来说，例如来 自SV280及/或来自一或多个天线240的信号的各种信号可为不可用的或弱的，由此限制仅 基于无线信号的位置确定技术。

因此，本文中揭示的实施例促进使用本文中揭示的混合照片地图绘制及导航技术 在室内环境中的地图绘制及导航，且由此改善位置估计且扩展地面定位系统部署及利用。

图3A及3B展示指示在多种情形中的不同定位技术的可用性连同相关联的定位精 度、定位不明确性及功率消耗的表。位置不明确性指使用所述技术确定的位置不正确的可 能性。举例来说，在不同地点处拍摄的两个图像中的若干特征点可能匹配，从而使得难以确 定移动装置的实际地点。

如图3A中所展示，基于SPS的定位技术通常在全球范围内在室外高度可用，展现高 室外精度、低室外位置不明确性及合理的功率消耗。然而，如图3B所示，SPS信号在室内可能 并不始终可用，且在室内可用时，SPS信号强度可能弱。因此，较之于移动台在室外时，室内 精度可能较低且室内不明确性较高。另外，到卫星的视线(LOS)促进与SPS系统的时间拼接。 时间拼接指准确地使从各种传感器获得的测量与共同时间标度上的所俘获图像相关且对 准的能力。

惯性导航技术在室内及在室外皆高度可用，且展现合理的功率消耗，但由于漂移 及其它偏差，其精度通常较低，范围从中等到良好。IMU测量更易时间拼接且与其它测量相 关。

照片导航在室内及在室外皆高度可用，但展现较高功率消耗以及较高的室内及室 外定位不明确性。举例来说，有时可在各种不同地点获得类似图像，从而使在无额外图像 及/或其它感测输入的情况下对单个地点的识别困难。另一方面，当可将移动台局限于一区 域时，则定位精度高。举例来说，可能存在已知地标可见的有限地点集合，因此基于所俘获 图像，可准确地确定UE的地点以用于地图绘制及导航两者。所俘获图像可相对快速地进行 时间拼接且与其它测量相关。

基于WAN的位置技术在室外及在室内皆展现良好可用性，且当可用时，具有相对强 的信号。然而，WAN信号具有有限的全球可用性，因为可能存在未由蜂窝式信号服务到的区 域。基于WAN的定位技术展现相对低功率消耗，具有中等室外及室内精度，低室内及室外定 位不明确性，且可以合理的容易性进行时间拼接。

最后，基于LAN或信标的定位技术展现在室外的合理可用性及在室内的良好可用 性，但信号强度可能随地点而显著变化。LAN信号具有良好的全球可用性，展现合理的功率 消耗，具有中等室外及室内精度，低室内及室外定位不明确性，且可以合理容易性进行时间 拼接。

如可从图3A及3B以及以上描述看出，当个别地使用时，定位技术具有各种强度及 缺点。因此，当使用依赖于以上方法中的一者的当前地点确定技术时，地图绘制及/或导航 解决方案常常为次优的。

因此，本文中揭示的方法组合来自多个传感器的测量与图像及无线信号测量以促 进地点确定。举例来说，SPS具有全球范围，而强WAN信号可帮助在局部室内环境中的低功率 背景导航，尤其在无线接入点的地点已知的情形中。当与由摄像机图像及来自惯性传感器 (当无线信号不可用时，其可提供额外输入)的测量提供的优良局部精度组合时，可实现更 稳健且准确的定位解决方案。

然而，缺乏地图，尤其是室内地点的地图。另外，即使在室内地图可用时，室内地图 也并不提供关于整个较大区域地图的上下文。因此，用户可能不能够将房间、走廊等的地点 置于较宽区域地图中。在没有准确地图的情况下，位置信息的最优利用是困难的。举例来 说，在没有可用地图的情况下，不可提供从点A(例如，在室内)到点B(例如，在室外)或从点B 到点A的导航指令。因此，以低成本获得室内地点的可靠且准确的地图可促进现有移动装置 功能性的更佳使用。因此，所揭示技术还组合来自多个传感器的测量与图像及无线信号测 量以促进地图绘制及/或导航。举例来说，在与精确“照片”及/或可见度地图一起使用时，可 增强基于图像的导航技术。类似地，由摄像机所俘获的图像提供的精确校准可用以提供有 效的室内无线导航。本文所揭示的这些及其它技术与移动装置一起使用以获得并更新地点 的地图且实现导航功能性。

在一些实施例中，可使用地图绘制模块(MM)152将UE100置于“地图绘制模式”中。 在地图绘制模式中，UE100上的摄像机180可结合来自传感器185(包含磁力计、高度计及气 压计)及IMU170的测量而以指定帧率俘获图像或视频。举例来说，用户在使用UE100用于 地图绘制时将UE100置于地图绘制模式。在地图绘制模式中，可将摄像机置于“广角”模式 中。另外，在地图绘制模式中，可俘获高分辨率图像，但所述图像可经压缩、滤波或更改以减 小大小。在一些实施例中，由摄像机180俘获的图像可以高分辨率在本地存储及/或发送到 服务器250供稍后处理。举例来说，在一些实施例中，可将图像减小到向量地图或向量图像， 其提供多种不同内容及分辨率以适合不同需求。

另外，在一些实施例中，在处于地图绘制模式中时，CV模块155可经配置以使用“曼 哈顿世界(ManhattanWorld)”假设。广泛地用以从图像及/或点云产生都市结构的3D重建 的曼哈顿世界(MW)假设假定由摄像机俘获的场景或图像由具有显著方向的逐个平面表面 组成。通常，当使用MW假设确定建筑物几何形状时，假定场景中的三个相互正交的方向的主 导。还可假定水平及铅垂表面及边缘。MW假设促进从2D图像进行3D重建。各种熟知技术可用 于基于俘获的图像的3D重建。举例来说，在一个示范性实施例中，可从图像提取主要平面方 向(例如，X、Y、Z)，可针对图像中的平面产生假设(例如，基于图像中的特征点密度)中，且可 通过使图像像素与平面中的一或多者相关联来获得3D重建。当与深度传感器一起使用时， MW假设可促进基于获取的深度信息的更快3D重建。当使用惯性传感器确定装置定向及摄像 机角度时，MW假设可促进垂直及水平边缘及表面及其相应地点、定向与关系的更有效率的 辨别。

在一些实施例中，当用户正行进通过一区域及/或经诱导行进通过一区域时，可机 会性地启动UE100上的地图绘制模式，所述区域为：(i)尚未进行地图绘制的区域，及/或 (ii)需要更新地图数据的区域。举例来说，当在地图绘制模式中时，基于关于在服务器处的 地点的众包数据(或此数据的不存在)，UE可请求结构的内部及/或外部的“调查”。在另一实 施例中，可使用机会性众包，且可基于UE的所估计地点要求用户进入地图绘制模式。在一些 实施例中，可获得用户的同意，且用户可主动地参与机会性众包地图绘制。在一些实施例 中，例如，在摄像机180可佩戴的情况下，可自动触发图像俘获及传感器数据收集，且基于先 前获得的用户同意，数据可存储在UE100上及/或发射到服务器250。术语“众包”用以指收 集的图像、RF、传感器与来自多个移动台及/或PDE的与定位有关的测量的集合及后续聚集。 在一些实施例中，在检测到用户处于可能需要进行地图绘制(或更新现有地图)的结构附近 后，可要求或诱导用户以与所揭示的实施例一致的方式执行地图绘制。

图4为能够以与所揭示实施例一致的方式执行地图绘制的示范性应用程序400的 框图。在一些实施例中，应用程序400的部分可在使用处理单元150的UE100上及/或在无线 耦合到UE100的服务器上运行。在一些实施例中，应用程序400可使用利用CVM155及EKF组 件405的SLAM-EKF拓扑。在一些实施例中，与应用程序400相关联的功能性可由硬件或软件 或其组合实施。

如图4中所说明，CVM155可接收同步到无线及非无线测量的俘获的图像帧。取决 于可用功能性，可俘获所述图像帧，作为一系列静态图像及/或作为视频的部分。利用视频 俘获的实施例可(例如)以每秒30帧接收图像。其它实施例可利用其它帧率。CVM155可使用 摄像机校准。固有的摄像机校准可包含主点、焦距及径向失真。外在摄像机校准参数可包含 相对于IMU170的旋转及平移信息。可估计旋转，或在一些情况下，可假定IMU与摄像机对 准。

如上文所概述，CVM155可使用多种算法中的任一者来确定并检测图像帧中的关 键点。在一些实施例中，关键点检测可导致关键点的测量的2D摄像机坐标的识别，所述摄像 机坐标经中继到EKF组件405。EKF组件405可进一步与CVM155共享关键点的预测的2D摄像 机坐标以使关键点搜索空间变窄。当一或多个关键点由CVM155找出位置时，这些关键点的 2D摄像机坐标可提供到EKF组件405。在一些实施例中，CVM155也可基于图像帧中的关键点 的地点提供可由CVM155确定的6个自由度(6DOF)摄像机姿势。

在一些实施例中，输入6DOF摄像机姿势(由CVM155提供)可由EKF405基于由CVM 155及/或IMU及/或无线测量供应的输入改进以获得UE在绝对坐标中的姿势。由EKF确定的 6DOF摄像机姿势也可用以计算目标的地点。EKF组件405可利用来自CVM155的2D关键点测 量连同无线及/或非无线测量跟踪摄像机180/UE100在绝对坐标中的6DOF姿势。举例来说， EKF组件405可使用最近GPS或其它无线测量(当可用时)来将测量集合锚定到绝对座标框 架。术语“绝对坐标”或“全球坐标”用以指例如由GPS提供的绝对SPS坐标或例如用于地图绘 制及导航的全球大地坐标系统(WGS)标准的任何其它全球坐标系统。在一些实施例中，除了 图像帧中的检测的特征点的3D地点外，EKF组件405还可将重力向量提供到CVM155。在一些 实施例中，可在姿势估计过程期间或作为姿势估计过程的部分来获得关键点的重力及3-D 地点。关于重力的确定的更多信息，请见伊格尔·S.琼斯(EagleS.Jones)、斯特凡诺·索 托(StefanoSoatto)的“视觉-惯性导航、地图绘制及本地化：可缩放实时因果方法 (Visual-InertialNavigation,MappingAndLocalization:AScalableReal-Time CausalApproach)”(2010)。在使用常规视觉-惯性技术的系统中，可确定UE的轨迹。然而， 常规技术未揭示基于测量的3D结构包络确定及室内地图的确定，其中将结构3D包络信息及 室内地图对齐到绝对坐标。

在一些实施例中，地图绘制应用程序可引导用户在使用EKF的同时获得额外测量。 举例来说，可发指令给用户以步行到已经进行地图绘制的区域中以允许发生闭合回路检 测，且接着联合地从数据收集迭代对所估计地图/关键点、轨迹及闭合回路检测以及(如果 可用)GPS定位进行全球捆绑调整。

通过确定相对于目标的UE/摄像机姿势且将测量锚定到绝对坐标，UE的绝对姿势 可由EKF405确定。

EKF组件405可进一步确定与IMU170及/或其它传感器相关联的任何偏差，其可用 以减轻漂移。例如全球捆绑调整(GBA)等全球优化技术可由EKF405用以校正漂移及在地图 绘制期间于UE的封闭回路轨迹的计算中使用，如以下进一步概述。

图5A展示处于从SV280及/或无线网络230的信号接收可用的地点的用户。在地图 绘制模式中，在应用程序的引导下，UE100可在用户围绕室外地点(例如建筑物)行进时收 集图像。举例来说，可引导用户沿循轨迹410，且UE100可在用户围绕结构427行进时收集图 像。因为SPS及蜂窝式测量通常在室外可用，因此可基于SPS/蜂窝式测量确定轨迹410。在发 生信号中断的情况下，IMU170及/或传感器组185进行的带时间戳的测量可结合带时间戳 的所俘获图像用以跨越中断进行拼接。举例来说，可通过摄像机180结合来自IMU170及/或 传感器组185的带时间戳的测量来俘获结构427的带时间戳的图像以跟踪用户移动。在一些 实施例中，时间戳可用以使来自不同传感器的测量相关及/或跨越信号/测量中断进行时间 拼接，如下文进一步解释。

在一些实施例中，MM152可引导用户俘获突出视觉特征的图像，包含外部可见标 牌(例如商店标牌“XYZ商店”)、窗户、门、悬垂物、拐角点、相邻结构，等。举例来说，如果墙壁 中具有窗户，那么可作出墙壁在“外部”及“内部”两者的推断。在从外侧及内侧检视时，可使 用那一窗户对准相同墙壁的两个不同视图。因此，MM152可引导用户俘获可能从结构的内 侧及外侧两者可见的特征。

在一些实施例中，所俘获图像可由CVM155处理以确定与一或多个图像相关联的 描述符，以确定结构427的外部3D结构包络、轨迹410及/或经处理而以本文所揭示的实施例 一致的方式获得其它信息。在一些实施例中，所俘获图像可发送到服务器，且可在服务器处 发生特征描述符及与所俘获图像相关的测量的处理，所述服务器可将结果(例如对齐到绝 对坐标的闭合回路轨迹及/或对齐到绝对坐标的外部3D结构包络)返回到UE100。在一些实 施例中，用户的轨迹可经校正以通过返回到先前拍摄的视觉特征而解决漂移。可接着确定 “闭合回路”轨迹且使用其来校正漂移。可基于经校正及/或闭合回路轨迹来确定对齐到绝 对坐标的结构427的外部3D结构包络。举例来说，在一些实施例中，可使用UE100上的应用 程序400来处理所俘获图像及测量。

在收集图像、无线(例如，SPS及蜂窝式)测量及/或非无线(例如，IMU170及传感器 组185)测量之后，用户可从室外地点430进入零售商店450。

图5B展示零售商店450的简化俯视图，其说明建立用于室内导航系统的目标的示 范性方法。目标为突出的视觉特征(其可包含过道标牌460)、潜在地外部可见特征(例如通 路470及/或窗户475)、边缘、拐角点等。

如图5B中所示，可使用从UE100接收的输入产生零售商店450的地图。UE用户(例 如，商店经理)可搜集数据以建立零售商店450的地图。在一些实施例中，例如UE100上的MM 152等地图绘制应用程序可引导用户俘获过道标牌460-1到460-8、通路470、窗户475及/或 其它外部可见特征、边缘、拐角点的图像，顶灯布置的图像，等。

举例来说，用户可带着移动装置步行走过商店，遵循通过或接近用户可能穿越的 地点的路径435。图4B中展示的路径435仅作为一实例而提供。在一些实施例中，MM152可建 议用户将沿循的更多详尽路径。举例来说，在一些实施例中，MM152可引导用户在一系列闭 合回路中穿越商店450。在一个实施例中，可引导用户在每一相交点处向一个方向转弯。举 例来说，可引导用户在每一相交点处右转(右手规则)或在每一相交点处左转(左手规则)以 增大在一系列闭合回路中将发生所述地点的穿越的可能性。在穿越路径435期间，UE100/ MM152可从LADM158(如果地点辅助信息可用于所述地点)、CVM156(关于所俘获图像的处 理)及/或PDM156(例如，以确定UE100的估计地点)接收输入。

在一些实施例中，UE100/MM152可利用来自摄像机180、IMU170及/或传感器组 185的带时间戳的视觉及惯性信息以跟踪用户穿过商店的移动。举例来说，可通过摄像机 180结合来自IMU179及/或传感器组185的带时间戳的测量俘获商店的带时间戳的图像以 跟踪用户移动。在一些实施例中，时间戳可用以使测量相关及/或跨越信号/测量中断进行 时间拼接。举例来说，如果无线测量从时间t1到t2不可用，那么可使用IMU170的测量来在 从t1到t2的时间间隔期间使用在时间t1确定的UE100的基于SPS的地点来部分地确定UE的 地点。另外，摄像机180俘获的图像及/或传感器组185进行的测量及/或其它无线测量可基 于时间戳而与IMU170进行的测量相关，且用以校正IMU170的偏置及/或使用IMU170确定 的地点/轨迹(以与本文所揭示的实施例一致的方式)。在一些实施例中，可使用所俘获图像 及与图像的俘获同步的IMU测量来执行跟踪。

在一些实施例中，路径435还可包含UE100可使用基于SPS的定位来使得由地图绘 制应用程序提供的地点信息能够以SPS接收器140提供的绝对坐标系统锚定的地点(例如就 在商店450外部或接近窗户475的地点430)。举例来说，在一些实施例中，MM152可在SPS信号 可用的地点处开始地图绘制，且可通过基于与测量相关联的时间戳对测量集合进行时间拼 接及/或通过使用带时间戳的所俘获图像来确定UE100在各个时间的地点。

在一些实施例中，如果准确的SPS信号在穿越路径435期间在一或多个点(例如，窗 户475附近)处可用，那么MM152可确定额外的基于SPS的UE地点，所述地点可基于其准确 度、可见卫星的数目或载波相位的可用性而用作额外或新的锚点。

在用户步行走过零售商店450时，可指定各种目标。指定可取决于所要功能性而自 动地及/或手动地出现。在所说明的实例中过道标牌460(包括标牌460-1到460-8)被指定为 目标。举例来说，MM152可包含商店经理可借以俘获过道标牌的图像且将其指定为目标的 用户接口。手动指定可适用于指定目标110的人员知晓目标110不大可能改变(由此帮助确 保其将随后可辨识为基于视觉的定位(VBP)系统的目标)的情况。

在一些实施例中，US100所搜集的数据可发送到服务器以建置零售商店450的地 图以供消费者后续使用。举例来说，目标110的带时间戳的图像及关于UE100在俘获所述图 像时的位置的带时间戳的测量可发送到服务器，所述服务器可建置目标中的每一者的描述 符。描述符可包含例如目标上的特征点。图像描述符可呈此项技术中熟知的的尺度不变特 征变换(SIFT)、加速稳健描述符(SURF)等形式。所确定/存储的图像描述符可在稍后时刻由 图像或目标检测器用以确定UE的姿势。

在一些实施例中，UE100可确定对应于路径435的初始轨迹。举例来说，在一个实 施例中，可基于如由EKF405输出的UE100的姿势及/或特征点的3D地点确定轨迹。在一些 实施例中，初始轨迹及/或图像及/或其它测量可发送到无线地耦合到UE100的服务器。所 述服务器可使用UE的初始地点430及对齐到绝对坐标的结构的可用外部3D包络的知识来确 定室内地图。举例来说，服务器可使用以下各者中的一或多者连同可用3D外部包络以产生 室内地图：i)将轨迹与早先确定的结构的可用3D外部包络对准的外部可见室内特征，例如 门、窗户等，或II)所俘获图像中在所述结构附近的内部可见外部关键点。举例来说，结构附 近的关键点的知识可基于在外部地图绘制阶段期间(例如，在沿循轨迹410俘获图像时)俘 获的图像而为可用的。

举例来说，一旦已产生商店的地图，即可将图像描述符提供到消费者作为地点辅 助数据，以促进目标辨识及执行IMU170的漂移/偏差校正。在一些实施例中，取决于UE100 上可用的能力，可基于带时间戳的所俘获图像及带时间戳的无线(例如，SPS或蜂窝式)及非 无线(例如，IMU170或传感器组185)测量来在UE100上建置地图。

在穿越收集数据以进行地图建立的零售商店450时，所确定的地点(例如，由EKF 405输出的UE100的姿势)可能经受漂移。对于1％漂移误差，例如，100m的路径长度将导致 约1m的漂移。为了校正漂移误差，可对由UE100/MM152搜集的数据及/或在用户已完成搜 集数据后由EKF405输出的UE100的姿势执行闭合回路检测(LCD)及全球捆绑调整(GBA)。 在一些实施例中，可在服务器(例如，建立地图的服务器)上执行LCD及GBA。举例来说，UE 100可将收集的数据及/或估计的轨迹发送到服务器，服务器可执行LCD及GBA任务。然而，取 决于UE100上可用的能力，可在UE100上执行LCD及GBA中的一或多者。

在一些实施例中，LCD可识别图像中的先前查看的特征以确定漂移。使用由UE 100/MM152搜集的数据，CVM155可使用来自由摄像机180俘获的图像的特征信息确定具有 共同特征信息的区域440。举例来说，可基于摄像机姿势及与第一图像相关联的测量针对第 一图像中的第一静态特征确定第一组坐标。可在由摄像机俘获且与第二组坐标相关联的后 续图像中识别第一静态特征。因为与特征相关联的地点尚未改变，所以LCD算法可确定在UE 100的轨迹上的漂移。举例来说，LCD算法可通过将第一组坐标指派到同一特征的任何后续 访问来“闭合所述回路”。可接着使用GBA算法来校正并对准测量以减轻或消除从最初估计 轨迹(对应于路径435)的漂移错误且计算经更新“闭合回路”轨迹(也对应于路径435)，所述 经更新“闭合回路”轨迹可用以导出零售商店450的地图。

作为简化实例，在用户于第一时间穿越商店450中的地点440-1时，UE100上的CVM 155可在与地点440-1相关联的第一所俘获图像中标示第一特征，且确定与第一特征相关联 的第一估计地点。举例来说，第一特征点可与座标(x1,y1,z1)相关联。在用户再次通过区域 440-1且在第二图像中俘获所述第一特征时，与所述特征相关联的座标可估计为(x2,y2, z2)。类似地，与区域440-2相关联的第二特征可能在第一次通过期间与座标(x3,y3,z3)相 关联且在第二次通过期间与座标(x4,y4,z4)相关联。与静态特征相关联的座标的差异可归 于漂移。因为漂移持续地发生，因此可校正整个轨迹。在一个实施例中，一旦用户已完成搜 集数据，即可将与地点440-1及440-2相关联的特征信息(连同所有其它数据)(例如与路径 435相关联的所估计轨迹)提供到服务器。服务器可执行LCD算法且识别商店经理两次通过 的区域440-1及440-2，且确定座标(x1,y1,z1)及(x2,y2,z2)对应于第一特征，而座标(x3, y3,z3)及(x2,y2,z2)对应于第二特征。因此，LCD处理可通过将座标(x1,y1，z1)指派给第一 特征的第二访问且将座标(x3,y3,z3)指派给第二特征的第二访问而为闭合回路的。漂移可 看作在最初所估计轨迹上发生。

可接着使用全球捆绑调整来校正漂移且确定与路径435相关联的闭合回路轨迹。 举例来说，闭合回路轨迹可反映经调整以减轻漂移的UE地点。可使用所述闭合回路轨迹来 部分地确定商店450的地图。

一旦建立地图，即可将其提供到或使其可用于UE100上的一或多个应用程序(例 如，NM154)。地图可用以巡览零售商店450。另外，在使用地图时，可使用上文概述的技术跟 踪消费者的移动装置的地点。尽管估计地点可能在导航期间漂移，但可在每当NM154(或 CVM155)检测到任何先前存储的目标(例如示范性目标460-1到460-8)时校正UE100的地 点。举例来说，CVM155中的图像或对象检测算法可提供摄像机/UE姿势以按上文解释的方 式校正漂移。

取决于所要功能性，地图可包含多种额外特征中的任一者。举例来说，地图可并有 楼层平面图，且可以产品放置、每日特价品等等扩增以在用户巡览零售商店450时增强用户 体验。

在一些实施例中，可确定及/或存储如由UE100在地图建置阶段期间确定的Wi-Fi 或WLAN接入点(AP)的识别码及地点。在一些实施例中，AP的已知地点(例如，来自导航期间 的地图数据)还可用以获得UE100的地点的估计。举例来说，例如接收信号强度指示 (RSSI)、往返时间(RTT)及/或其它AP无线信号测量等WLAN测量可用以确定UE100在商店 450中的估计地点。在一些实施例中，估计地点可由VBP算法用以通过将搜索目标限制为检 测在估计地点附近的那些目标而减小与目标检测相关的处理负载。例如在消费者在进入零 售商店300之后开始在某一点使用商店地图时，此种功能性可为有益的。在最初不具有地点 的情况下，NM154可得益于基于WLAN测量确定的估计地点。

举例来说，如果NM154确定UE位于零售商店450的前方附近(例如，靠近区域440- 1)，那么有可能NM154可在商店450前方附近遇到目标460-1、460-3、460-5或460-7中的一 或多者。然而，不大可能NM154将检测到处于商店450后方的目标460-2、460-4、460-6或 460-8中的任一者。因此，NM154可在基于其当前地点搜索特征时不考虑目标460-2、460-4、 460-6或460-8。

注意，上文关于图5B所描述的技术还可结合图5A中的室外地图绘制来使用。举例 来说，可部分地基于与先前成像及存储的特征相关联的地点来如上文所概述确定路径410 (图5A中)的闭合回路轨迹。

图6A展示用于无线地图产生的示范性方法500的流程图。在一些实施例中，方法 500可由UE100执行。在一些实施例中，方法500的部分可由UE100及/或服务器150执行。在 步骤510中，UE100可进入地图绘制模式。

在“地图绘制模式”中，UE100可以相对高速率收集连续GNSS、摄像机及惯性数据 及其它传感器数据。另外，在地图绘制模式中，例如RF测量、GNSS测量及来自惯性、磁力计、 高度计及/或气压传感器的数据的感测测量可与图像的俘获一起俘获。在地图绘制模式中， 可使用实际GNSS测量数据(例如，连续载波相位可观测量(如与通常在智能电话中看到的 “位置输出”相对))以提供用于视觉里程计过程的再一锚定且使UE时钟状态稳定，只要对于 至少一或多个SPS卫星280存在视线(LOS)条件。

在各种时间点可存在到一或多个卫星的非视线(NLOS)条件，但如果在那些时间存 在到其它卫星的LOS条件，那么，可将LOS卫星的载波相位观测拼接在一起。举例来说，如图 6B中所展示，在时间T0，当沿循轨迹410时，UE100可接收来自SV280-1及280-2、天线240-1 的LOS信号，而从SV280-3、天线240-3及AP620-1接收的信号可为NLOS。另外，在后续时间 T1且在轨迹410上的不同地点处，UE100可接收来自SV280-3及天线240-3的LOS信号，而来 自SV280-1及280-2、天线240-1及AP620-1的信号可为NLOS。

因此，如果在各种时间存在关于SV280-1、280-2及/或280-3中的一或多者的LOS 条件，那么可将LOS卫星的载波相位观测拼接在一起。在存在载波相位可观测量的短暂中断 (常常被称作循环滑移)或存在非LOS(NLOS)条件的情形中，来自惯性传感器、气压传感器、 磁力计及/或基于图像的里程计的组合的数据可用以跨中断“拼接”及确定UE位置。

参考图6A，在步骤515中，可接着基于SPS/GNSS与传感器测量的组合确定UE的6-轨 迹。举例来说，当惯性轨迹漂移小于某一阈值(例如，小于GPSL1波长的一半)时，可使用惯 性拼接。

在步骤520中，可基于所俘获图像、IMU170的测量、传感器185的测量及无线(SPS 及/或RF)信号测量获得3D建筑物包络(或外部3D结构包络)及/或外部3D地图。在一些实施 例中，可引导用户俘获相邻地标、结构、建筑物悬垂物等的图像，同时保持结构(例如结构 427)在视图中。术语“建筑物包络”指充当建筑物的内部与外部环境之间的物理分隔器的建 筑物/结构的外壳。在一些实施例中，可使用MW假设来部分地确定建筑物包络。

在步骤525中，可确定UE100的闭合回路轨迹。举例来说，在一个以上卫星存在LOS 条件(由此准许同时多个载波相位观测)的情况下，可使惯性轨迹变稳定。举例来说，可引导 用户/MS返回到先前在数据收集期间拍照的视觉特征。可例如使用VSLAM技术计算用于两个 图像的摄像机姿势。基于与所述两个图像相关联的摄像机姿势，IMU(陀螺仪及加速度计错 误)可经建模而使得轨迹得以重新估计以返回到不具有明显错误的视觉特征。可将此闭合 回路轨迹看作具有7个自由度(7-DOF)，其指示位置不确定性的3个维度、旋转不确定性的3 个维度及接收器时钟偏差的一额外“维度”。接收器时钟偏差在使例如与GNSS、WWAN及WLAN RTT相关联的那些测量等无线测距测量相关时是有用的，其中约1ns的时序误差会转化为约 1英尺的测距错误。在GNSS卫星的LOS条件中，经校正的载波相位测量可具有大约1cm的精确 度，但未知的积分常数。可通过在动态载波相位处理技术中已知的许多技术来确定此积分 常数。应了解，在不知晓绝对积分常数的情况下，轨迹上的载波相位的改变有助于确定精确 UE位置及轨迹上的时钟偏差概况。精确UE位置及轨迹上的时钟偏差概况对于以精细精度建 立精确的无线延迟地图是重要的。

在许多情况下，可保持大约数米的绝对误差，但可有效地减轻归因于无线多路径 变化的失真，从而提供精确轨迹及因此具有多个精确相关联地图层的精确地图，其中相关 联可都准确到好于一米，即使在地图绘制时并不知晓结构的绝对位置好于一米。在装置处 于到GNSS信号的LOS中时，那么有可能建立可用以不仅合作校正IMU传感器并且还确定其它 测量源(例如，WWAN、WLAN、气压传感器及磁力计)的较大偏差及稳定性的高度精确轨迹。

在步骤530中，在一些实施例中，可接着基于重新估计的7-DOF轨迹重新确定3D建 筑物包络。在一些实施例中，可使用MW假设确定建筑物包络。举例来说，可假定多数墙壁为 铅垂(极佳地，垂直)且按90度角会合。因此，以此方式，可将建筑物的初始“开放回路”3D照 片模型调整到矩形墙壁及垂直对准。还可假定墙壁垂直或平行。接着，可从视觉里程计数据 对照此调整的3D照片模型重新计算UE100的轨迹。在步骤535中，可接着部分地通过使用 GNSS伪距测量来将建筑物的位置对齐到全球坐标。在一些实施例中，可基于空中图像结合 房顶悬垂物或其它特征的本地视图来调整结构的外部包络。

在步骤540中，可接着将重新估计的轨迹对齐到全球坐标。在一些实施例中，可使 用差分方法减轻由于多路径、卫星位置、卫星时钟漂移、残余电离层及对流层信号延迟等引 起的伪距测量误差，其中可使用针对卫星位置及时钟、电离层活动及对流层湿润延迟等的 更准确模型来减轻误差。此外，在载波相位观测同时可用的程度上，可使用代码载波变平滑 来减小多路径误差且可适当地加权具有大代码载波方差的测量。

在一些实施例中，可使用载波相位差分GNSS处理来进一步改善具有浮动或固定 (解决的)载波循环不明确性的装置轨迹估计。载波相位差分GNSS处理通常使用在已对齐到 全球坐标系统的已知基准地点处的附近参考接收器。在此情况下，残余大气压误差大大地 消除且可解决循环不明确性。

在替代实施例中，可使用视觉里程计将装置轨迹拼接在一起以随着时间的过去形 成合成载波相位差分过程。因为与卫星有关的误差及大气压误差相对慢地改变，所以可一 开始不通过差分处理来维持本地地图的精确度，且当适当参考数据变得可用时，可随后添 加差分处理以用于地图对齐及解释。参考数据可包含实际卫星位置、定向及时钟偏移的观 测。

在一些实施例中，可在说明卫星天线的相位方向图时确定卫星定向，使得可确定 且应用广泛区域卫星载波相位校正。如果使用地面参考接收器网络确定卫星定向或产生信 号相位变化的任何其它因数(具有或无卫星天线相位校正)，那么可接着将所得“差分校正” 本地化，以用于在地图处理中使用。

在一些实施例中，在步骤545中，从传感器在地图绘制模式中获得的测量也可用以 产生及/或更新可存储在服务器250上的一或多个现有地图。这些地图可包含室外2D道路地 图或楼层平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种地点处 的一或多个天线的信号强度)及/或空间可变FLC地图(其可指示在各种地点处的天线的信 号延迟)中的一或多者。在一些实施例中，所述地图中的一或多者可以不同等级的位置粒度 作为测量存储在现有地图层中及/或与测量一起聚集在现有地图层中。如本文中所使用的 术语“地图层”指针对UE的位置及位置不确定性定制的信息，例如，地点辅助信息。每一测量 类型可能存在不同地图层，其中所有地图层可对齐到相同的本地或绝对坐标。举例来说，对 于所关注的每一无线信号，可能存在以下各者中的至少一者：延迟、信号强度或衰减地图 层。可能存在气压变化注释层。可能存在磁场变化层，从而提供对标准地球磁场模型的本地 校正。

在一些实施例中，当在地图绘制模式中时，UE100可请求及/或接收地点辅助信息 以确定初始地点估计，其也可以地图层的形式提供。举例来说，基于UE100的估计的第一位 置及位置不确定性，包括第一FLC值的地点辅助信息可在第一地图层中对UE100提供。当UE 100的位置/位置不确定性经基于先前提供的地点辅助信息改进或重新估计时，可从另一地 图层检索基于改进的位置估计/位置不确定性的FLC值以有助于UE位置的更准确确定。

通常，地图层可包括各种其它类型的信息。举例来说，地图层可包括以下各项中的 一或多个：使接收信号强度与地图地点相关的接收信号强度地图层；使SNR与地图地点相关 的信噪比(SNR)地图层；指示LOS条件很可能相对于一或多个天线的地图地点的视线(LOS) 地图层；非视线地图层，NLOS地图层指示NLOS或身体阻挡条件很可能相对于一或多个天线 的地图地点，等等。

在一些实施例中，地图层还可包括为BSA中的地点提供天线的多路径程度的指示 的至少一个多路径层。另外，在一实施例中，多路径层可进一步包括以下各项中的至少一 者：指示天线的长阴影区的长阴影层，所述长阴影层包括长阴影区中的排除区、对多路径量 值的指示及/或天线的信号衰减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包 括短阴影区中的天线信号的时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射 模型的发射模式层。在一些实施例中，UE100可使用一或多个地图层中的信息估计地点及 地点不确定性，且基于地点及地点不确定性，可请求额外地图层。在一些实施例中，可基于 UE100的地点/地点不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100 通信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器及/或在UE100处可用的 处理能力及各种其它参数将包括地图层的地点辅助信息提供到UE100。

类似地，当从UE100接收到测量时，可使用所述测量产生及/或更新现有地图层。 举例来说，新测量可代替用以确定一或多个地图层的一或多个较旧的测量。举例来说，可更 新早于某一时间周期的测量，及/或一或多个地图层中被视为不可靠或不准确的测量(例 如，其中位置不确定性估计超出当前测量中的结果)。在一些实施例中，可将新测量与较旧 的测量聚集在一起。举例来说，当统计显著时，可通过将所述测量与现有测量聚集在一起来 计算平均、中值及/或其它统计度量以产生一或多个经更新地图层。应了解，需要适当版本 控制机构来维持所提供的地图层的及时性、精度及准确性。

图7A展示在结构527内的用户与移动台。如图7B中所示，由摄像机180俘获且显示 在商场内的UE100上的显示器190上的图像640可展示例如关注点610及630等一或多个商 店标牌，其在图7A中分别展示为商店“ABC书”及“PQR鞋”。在结构527中，UE100可能能够间 歇性地从SV280中的一或多者接收信号。然而，来自接入点(AP)520的信号可能可用。举例 来说，AP620-1及620-2可为用于部署在结构527内的WLAN网络的接入点，且可由UE100接 入。然而，如上文所论述，在一些情况下，在处于结构527内时，UE100仅可间歇性地从SV 280及/或天线240-1及240-2接收信号。

在一些实施例中，在用户在UE100处于地图绘制模式中的情况下穿越结构527内 的室内地点时，可继续收集上文详述的图像及其它感测数据。在一些实施例中，可引导用户 俘获例如图片、标牌、房间编号、各种其它标记及/或“拐角点”等特征点的图像，其可用来唯 一地识别一地点。举例来说，用户可俘获分别对应于商店标牌“ABC书”及“PQR鞋”的关注点 610及630。在一些实施例中，SLAM/VSLAM技术可结合地点辅助数据及其它测量(例如，无线 测量及/或传感器测量)来用以部分地通过使用所俘获图像中的特征点(例如关注点610及 630)确定摄像机姿势来获得地图。在一些实施例中，基于EKF的技术可用以确定用户/UE所 沿循的地点/轨迹。

参考图6A，在一些实施例中，在步骤550中，数据(包含由摄像机180俘获的图像、 IMU170的测量、传感器(包含气压/高度计/磁力计)185的测量、在穿越室内区域期间俘获 的RF测量及/或SPS测量(如果存在))可由UE100处理及/或发送到服务器250以确定UE100 的7-DOF室内轨迹。

在步骤555中，可从结合其它传感器测量俘获的图像产生室内区域的3D模型及/或 地图。举例来说，可使用高度计、磁力计、气压及IMU测量来部分地产生室内地图及/或作为 所产生地图的可靠性的指示符。另外，在其中一或多个AP可用的情况下，可使用包含往返时 间(RTT)及/或接收信号强度指示符(RSSI)的RF测量来表征AP，例如AP620-1及620-2(图6A 中)。在一些实施例中，MW假设可用以从所俘获图像重建室内区域的3D模型。举例来说，CVM 155可用以执行重建，及/或可由服务器250离线地执行重建。

在一些实施例中，可利用到所连接/邻近空间(其可在室内或室外)的指针来组织 室内地图集合。举例来说，在针对单个结构获得地图或正产生地图时，可添加关于邻近结构 及/或结构单元的信息以促进直到及/或到相邻结构的导航。举例来说，在多层办公楼中，如 果地图划分成个别层，那么电梯井及楼梯井以及用户可沿途停下的每一楼层的情境信息 (每一门外部的霍尔模型)可包含于每一地图中。“连接器”地图可为单独的，或可提供为与 每一个别地图重叠的层。

在步骤560中，可接着使在步骤555中产生的室内模型与在步骤530中确定的建筑 物包络对齐/对准。在一些实施例中，在使图像对齐到外部地图时，可使用例如窗户、门等可 在内部及外部两者皆可见的外部可见室内结构特征。在一些实施例中，每一房间或适当室 内结构单元可个别地解析，且接着对齐到外部包络。

举例来说，如果墙壁中具有窗户，那么可作出墙壁在“外部”及“内部”两者的推断。 在从外侧及内侧检视时，可使用那一窗户对准相同墙壁的两个不同视图。另外，可通过在外 部视图中从窗户边缘到外部拐角的距离及在内部视图中从相同窗户边缘到相关联内侧拐 角的距离之间的差来推断墙壁厚度。还可从窗台的深度来推断墙壁厚度(如果窗台或周围 的视图容易可用)。在许多但非所有情况下，结构的所有外壁将有效地具有相同厚度。因此， 有可能形成室内地图(假定此情况)，但视需要检查所述假设且查找数据中的例外状况。多 个方法可用以确定外壁厚度且经组合以形成比仅使用一个方法的情况更准确的测量。一旦 墙壁厚度已知，就可精确地对齐及对准具有内表面及外表面两者的墙壁，从而建立较大内 部一致性且使得有可能将室内地图对齐到更准确导出的外壳形状、定向及地点。

在一些情况下，不具有外表面的内壁可能具有与外壁不同的厚度。再次，第一次地 图建模可假定所有内壁具有相同宽度。举例来说，在美国，内部非承重墙壁通常具有2×4框 架，而外壁可使用2×6或2×8框架。此外，外部板壁可添加较多厚度到外壁。可通过将多个 房间一起组装到建筑物地图中且使其“对齐”到外壁来形成整个模型，从而在处理中解决外 部及内壁厚度。还可合理地预期给定结构中的墙壁厚度及/或构造材料可类似于其相邻者。 因此，一旦已知第一结构墙壁厚度，那么可假定相邻墙壁厚度相同，直到证实并非如此，或 可独立地求出多个墙壁厚度，且接着比较。在确定房顶间距、表面积等时可遵循类似处理， 如此项技术中所熟知。

在步骤565中，在一些实施例中，可发指令给用户/MS以返回到先前在数据收集期 间拍摄的视觉特征，可确定闭合回路轨迹以减轻IMU170(例如，陀螺仪及/或加速度计)错 误中的错误，以使得可重新估计轨迹以返回到不具有明显错误的视觉特征。在一些实施例 中，可引导用户使用一系列一或多个闭合回路穿越室内区域以最小化惯性传感器错误的影 响。举例来说，发指令给用户以在每一相交点处右转(或左转)的右手(或左手)规则可用以 形成闭合回路，且确保对结构内部的完整覆盖。

在步骤570中，可接着基于来自步骤365的重新估计的闭合回路轨迹来重新处理室 内区域的3D模型。在一些实施例中，在步骤375中，可接着基于所述3D模型产生室内地图。

在一些实施例中，所收集数据的全部或部分可在UE100上处理及/或发送到服务 器250进行处理。在一些实施例中，如果地图可用于相邻及/或所附属结构，那么用于当前结 构及所附属/相邻结构的室内/室外地图可例如通过使用外部图像而拼接在一起。在一些实 施例中，到邻近结构地图的指针/关联可高速缓冲存储于UE中及/或服务器上。在一些实施 例中，在“智能眼镜”或其它可佩戴式装置耦合到例如具有摄像机的蓝牙耳机等电话的情况 下，可触发智能眼镜/可佩戴式装置上的摄像机。

图8展示与所揭示实施例一致的示范性地图绘制数据收集方法700的流程图。在一 些实施例中，方法700可由UE100执行。在一些实施例中，方法700的部分可由UE700及/或 服务器150执行。在一些实施例中，当在地图绘制模式中时，方法700的部分可由UE100执 行。举例来说，可在步骤705中调用方法700，且UE100可进入或被置于地图绘制模式中。

接下来，在步骤710中，可开始对无线信号的搜索。在一些实施例中，请求及/或从 服务器150接收的地点辅助数据可由UE100用以选择用于无线信号搜索的策略。在一些实 施例中，地点辅助数据可包含WWAN、WLAN及/或GNSS辅助数据。在步骤712中，可对无线信号 搜索提供反馈。举例来说，可从服务小区及一或多个相邻WLAN小区245、一或多个GNSSSV 280及/或一或多个WLANAP620接收信号并记下其绝对及/或相对信号强度。

在步骤720中，可启动UE100上的一或多个传感器。举例来说，可启动摄像机180、 传感器185及/或IMU170。在一些实施例中，传感器185及/或IMU170的测量可同步到通过 摄像机180对图像帧的俘获。在一些实施例中，如果无线定位(例如，基于GNSS及/或混合测 量的定位)基于在步骤710/712中获得的信号而可用，那么IMU170可基于无线定位而利用 初始位置进行初始化。

在一些实施例中，当将UE100置于地图绘制模式中时，可结合从15fps到30fps的 视频帧率及/或基于从15fps到30fps的视频帧率细粒度地进行传感器测量。在一些实施例 中，可基于俘获的图像使用利用CV技术确定的摄像机姿势校准一或多个传感器。在一些实 施例中，在应用层面获得的图像时间戳、从应用程序编程接口(API)获得的传感器时间戳、 时间戳之间的偏移及/或基于曝光时间的摄像机时间戳中的抖动可用于：(i)使各种传感器 测量相关，(ii)使俘获的图像与传感器测量相关，及/或(iii)对所述测量进行时间拼接。在 一些实施例中，当使传感器测量与图像相关时，可使用相对时间戳或偏移。

在一些实施例中，在步骤722中，可在IMU170的校准时任选地对用户发指令。在一 个实施例中，可使用由摄像机180俘获的图像校准IMU170。举例来说，可对用户发指令以使 摄像机指向目标对象及/执行运动序列。在步骤725中，可向用户提供与运动序列及/或校准 的进展有关的反馈。举例来说，基于计算机视觉(CV)的技术可用以获得多个图像的摄像机 姿势。可部分通过比较所述多个帧中的每一者的基于CV的姿势与所述帧的对应的IMU确定 姿势来校准IMU170。在一些实施例中，可使用使CV测量与IMU170错误状态相关的观测等 式来校准IMU170，所述观测等式可使用众所周知的EKF技术进行建模。

在步骤730中，可起始用于UE100上的天线的天线方向图的确定。在一些情形中， 可在室外执行天线方向图确定。每一天线将具有其自身的相位及增益型样。当UE100的定 向已知时，可在用户以典型姿势拿着装置且将其围绕一或多个轴线旋转时确定天线方向 图。

因此，在步骤732中，可对用户给予关于UE100的运动的指令，使得可确定用于UE 100的天线方向图信息。在一些实施例中，为了有助于UE100的运动或移动的性能，在步骤 735中，就移动装置的方向及/或天线方向图确定过程的完成程度而言，可提供反馈。在一些 实施例中，可使用在显示器190上展示的图形用户接口(GUI)提供反馈。

在步骤737中，UE100可提供天线方向图确定已完成且可产生UE100的天线方向 图739的指示。在一些实施例中，基于在沿循的轨迹(例如，轨迹410)的路程上的UE100的估 计的定向，可进一步校正在步骤737中确定的天线方向图，例如，在方法500中的步骤540(图 5A)期间。为了增加的准确性且为了进一步减轻任何残余GNSS载波多路径，在轨迹410的部 分中，其中观测指示沿循惯性轨迹，载波多路径最具挑战性，在高度超定轨迹解决方案可用 的情况下，可制订及移除及/或去加权任何残余相位误差。因此，天线方向图校正可发生，甚 至在步骤737的完成之后及/或与有关于方法500中的室外轨迹的确定的一或多个步骤(例 如，图5A中的515到540)的执行一起。在一些实施例中，可使用天线方向图数据739减轻对后 续RF信号特性化的天线方向图效应。

在步骤740中，可将UE100置于室外包络数据收集模式中；且在步骤742中，可对用 户发出关于室外数据收集的指令。举例来说，可将摄像机180置于广角模式中，且可引导用 户俘获门、窗户及在室内也可见的其它特征/结构要素的图像。作为另一实例，可引导用户 俘获任何屋顶悬垂物的图像，使得在从屋顶结构的空中成像与从下面的悬垂物的相片的组 合确立建筑物周边的过程中，可从屋顶尺寸将其减去。应了解，悬垂物可在建筑物的所有侧 上相同，但并不始终相同。因此，模型可假定单个观测的悬垂物在整个周边周围相同，且接 着稍后在地图确定过程期间校正此假设。同样，可进行屋顶悬垂物的若干估计且沿着单个 外壁平均化所述估计。因此，不仅跟踪悬垂物长度及屋顶间距的估计而且知晓这些参数(呈 不确定性参数的形式)的程度是重要的。

在步骤745，可向用户提供关于待沿循的轨迹的反馈。举例来说，可要求UE100的 用户沿循连续轨迹以获得从所有侧的结构的视图，同时维持结构的最优距离及/或视图。在 一些实施例中，可指引用户俘获附近结构、地标等的图像，同时保持室外结构绘制于视图 中。也可要求用户调整摄像机指向，使得可立刻看到全部边缘，例如，建筑物拐角的完全伸 展、屋檐或基墙的全长、墙壁与天花板之间的边缘的全长等。可要求用户环绕(例如)建筑物 或城市街区的周边，且返回到其开始点以使惯性导航的回路闭合，且确认针对全部回路精 确地跟踪所述轨迹。如果在过多卫星上的锁定丢失或IMU校准受损达大于简短时间周期，那 么可要求用户返回跟踪以使用视觉装置重新获取轨迹，确保已恢复锁定且接着在路线上继 续。

在步骤747中，如果用于室外包络确定的图像俘获及测量过程不完整，那么可在步 骤740开始另一迭代。举例来说，可要求用户重复轨迹410以使载波相位连续性最大化及/或 避免特定困难的多路径位置，同时仍维持结构的良好视觉视图。天空中的卫星地点可显示 给用户，同时表示何时失去及/或恢复锁定，以向用户提供其如何保留装置及维持锁定的快 速反馈。

在步骤750中，可将UE100置于室内数据收集模式中；且在步骤752中，可对用户发 出关于室内数据收集的指令。举例来说，可引导用户俘获各种室内特征的图像，所述特征包 含标牌、门、窗户、边缘、拐角或其它唯一特征等。如果这些特征还在外部可见，那么其可用 以将结构的室内模型对准或对齐到结构的外部包络。在一些实施例中，可引导用户使用一 系列闭合回路穿越室内区域以最小化惯性传感器错误的影响。在另一实施例中，发指令给 用户以在每一相交点处及/或在某一测量距离之后右转(或左转)的右手(或左手)规则可用 以形成闭合回路且确保对结构的完整覆盖。另外，可引导用户记录门及窗框处的墙壁宽度 的图像。另外，高度计、气压计等的测量可用以确定高度，且磁力计的测量可用以获得UE 100的行进方向，其可用于结合IMU170的测量而使用及/或补充IMU170的测量。在一些情 况下，可发指令给用户以在可能时从多个角度获得无线AP的图片。在一些实施例中，可在AP 上执行对象检测以获得制造商及甚至可能型号以及相关联的已知模型特定特性，且确定AP 相对及/或绝对地点。

在步骤755，可向用户提供关于室内数据收集处理的反馈。举例来说，可向用户提 供指示：是否一或多个所俘获图像缺乏特征及/或是否图像及/或是否一或多个图像特征丰 富。另外，在其中一或多个AP可用的情况下，可使用包含往返时间(RTT)及/或接收信号强度 指示符(RSSI)或热图的RF测量来表征AP。在一些实施例中，在地图绘制模式中，UE100可跟 踪GNSS及WAN信号的信号强度、准确度及/或可用性，且可推断房顶、墙壁、窗户及门的RF穿 透性以包含在地图数据中。此外，应用程序可从天线方向图739推断身体阻挡以确定每一所 测量RF信号是否经过用户身体。

在步骤757中，如果用于室内包络确定的图像俘获及测量处理不完整或确定为不 充分，那么可在步骤750中开始另一迭代。举例来说，可要求用户重复室内数据收集。

在步骤760中，收集的测量及图像可经处理以获得地图数据763。在一些实施例中， 可在例如服务器250的服务器上离线执行步骤760。举例来说，UE100可将收集的测量及图 像发射到服务器250。举例来说，服务器250可为基站年历(BSA)服务器及/或可处理及/或将 测量/图像与从其它移动台接收的数据聚集在一起的另一位置服务器。在一些实施例中，可 使传感器/RF/SPS/测量与俘获的图像相关以获得地图数据763。

在步骤770中，可基于地图数据763产生一或多个地图773。在一些实施例中，可基 于地图数据763更新现有地图以获得地图773。在一些实施例中，可将地图773组织为处于不 同等级的UE位置粒度的层。

在步骤780中，可提示用户结束地图绘制模式或重复方法700中的一或多个步骤。 在一些实施例中，当提示用户结束地图绘制模式时，可对用户展示地图数据763及/或所收 集的数据的概述。基于用户输入，可在步骤785终止地图绘制模式，及/或可重复方法700中 的一或多个步骤。

图9展示在混合照片地图绘制期间的示范性高阶数据流800。在一些实施例中，在 室外数据收集阶段810-1期间，可收集以下各者中的一或多者：摄像机及惯性数据813、无线 测量数据815(其可包含GNSS、WAN及LAN测量)、气压或高度计数据817、天线方向图739，及磁 力计数据819。

在室外数据处理阶段820，在室外数据收集阶段810-1中收集的数据可用以获得室 外开放回路轨迹823，可接着使用所述室外开放回路轨迹获得外部3D建筑物包络825、室外 无线地图827及室外闭合回路轨迹829。

在一些实施例中，在室内数据收集阶段810-2期间，可在室内收集以下各者中的一 或多者：摄像机及惯性数据813、无线测量数据815(其可包含GNSS、WAN及LAN测量)、气压或 高度计数据817、天线方向图739，及磁力计数据819。

在室内数据处理阶段830，可使用外部3D建筑物包络825、室外无线地图829及室外 闭合回路轨迹827连同在810-1中收集到的数据来获得室内开放回路轨迹833，可接着使用 所述室内开放回路轨迹来获得内部3D建筑物模型835。可使内部3D建筑物模型与外部3D建 筑物包络825对齐以获得第一内部及外部3D建筑物模型837，所述第一内部及外部3D建筑物 模型可与摄像机及惯性数据一起用来获得室内闭合回路轨迹839。

在地图产生阶段840中，可沿着室内闭合回路轨迹839使用分别在数据收集阶段 810-1及810-2中在室外及在室内收集的数据中的一些或全部来更新内部及外部3D建筑物 模型837且产生各种地图。举例来说，可获得室内及室外3D无线地图、磁性地图层气压注释 等。

气压压力通常随着建筑物内的高度改变而遵循标准绝热直减率。然而，一些建筑 物或建筑物的部分可能加压。可由于建筑物加压而推断从标准绝热直减率的任何偏离。那 些偏离以及偏离的任何不确定性可作为气压注释标注到地图上。举例来说，“将从楼层24到 36预测观测为高于绝热直减率XMMHg的气压压力”。

图10A展示说明用于基于照片、无线、磁性及气压数据的产生地图的方法900的流 程图。在一些实施例中，方法900的部分可由UE100及/或服务器250执行。在一些实施例中， 在调用方法900之前或在初始化步骤期间，UE100可通过进入地图绘制模式而俘获各种测 量。举例来说，在地图绘制模式中，UE100可以相对高速率收集连续GNSS、摄像机及惯性数 据及其它传感器数据。另外，在地图绘制模式中，例如RF测量、GNSS测量及来自惯性、磁力 计、高度计及/或气压传感器的数据的感测测量可与图像的俘获一起俘获。

在步骤905中，可基于摄像机及惯性数据813以及无线测量数据815确定UE的室外 7-DOF开放回路轨迹823。举例来说，SPS/GNSS/LAN/WAN测量、IMU170测量与摄像机180俘获 的图像的组合可用以确定UE100的7-DOF轨迹。举例来说，在惯性轨迹漂移小于某一阈值 (例如，小于GPSL1波长的一半)时，可使用惯性拼接。

在步骤910中，在一些实施例中，可基于室外7-DOF开放回路轨迹823获得外部3D建 筑物包络825。

在步骤915中，可通过对照外部3D建筑物包络825重新处理视觉里程计而获得室外 7-DOF闭合回路轨迹829。举例来说，在一个以上卫星存在LOS条件由此准许同时多个载波相 位观测的情况下，可通过返回到先前在数据收集期间拍摄的视觉特征而使惯性轨迹稳定， 且可对陀螺仪及加速度计错误进行建模，使得轨迹得以重新估计以返回到不具有明显错误 的视觉特征。在一些实施例中，MW假设可用于确定外部3D建筑物包络825。接着，可从对照此 经调整3D照片模型的视觉里程计数据重新计算UE100的轨迹，以获得室外7-DOF闭合回路 轨迹829。接下来，在步骤920中，可基于7-DOF闭合回路轨迹829更新及/或重新处理3D建筑 物包络825。

参看图10B，在一些实施例中，在步骤925中，也可部分通过使用经更新的3D建筑物 包络825及无线测量815将建筑物的位置及定向对齐到全球坐标。在步骤930中，可接着将室 外7-DOF闭合回路轨迹829对齐到全球坐标。

在一些实施例中，在步骤930中，还可使用天线方向图739、经更新的3D建筑物包络 825及无线测量815产生及/或更新一或多个现有室外无线地图835。在一些实施例中，室外 无线地图835可经产生及/或存储在服务器250上。这些地图可包含室外2D道路地图或楼层 平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种地点处的一或多 个天线的信号强度)及/或空间可变FLC地图(其可指示在各种地点处的天线的信号延迟)中 的一或多者。在一些实施例中，地图中的一或多者可以不同等级的位置粒度作为层存储。

在步骤940中，可基于摄像机及惯性数据813、室内无线测量数据815以及气压及/ 或高度计数据817估计室内7-DOF回路轨迹833。举例来说，可使用SPS/GNSS/LAN/WAN测量、 IMU170测量与摄像机180俘获的图像的组合来确定UE100的7-DOF轨迹。在无线信号中断 的情况下，摄像机及惯性数据813可用以将测量拼接在一起以获得轨迹。在一些实施例中， 可基于摄像机及惯性数据813以及气压及/或高度计数据817而不参考室内无线测量数据 815来估计室内7-DOF回路轨迹833，因为室内测量可能不可用及/或受多路径显著影响。

在图10C中，在步骤945中，可从摄像机及惯性数据813、室内无线测量数据815以及 室内7-DOF回路轨迹833产生内部3D建筑物模型835及/或室内区域的地图。举例来说，可使 用高度计、磁力计、气压及IMU测量来连同图像数据部分地产生室内地图。在一些实施例中， MW假设可用以从所俘获图像重建室内区域的3D模型。举例来说，CVM155可用以执行重建， 及/或可由服务器250离线地执行重建。在其中深度传感器在UE100上可用的实施例中，所 提供的深度数据可用以重建室内区域。另外，在其中室内无线测量数据815包含用于一或多 个AP的数据的情况下，包含往返时间(RTT)及/或接收信号强度指示符(RSSI)的RF测量可用 以表征AP，例如AP620-1及620-2(图7A中)。

在步骤950中，可部分地通过使3D内部建筑物模型835与外部3D建筑物包络825对 齐/对准而从3D内部建筑物模型835获得内部及外部3D建筑物模型837。在一些实施例中，在 将图像对齐到外部地图时，可使用例如窗户、门等可在内部及外部两者可见的结构特征。在 一些实施例中，每一房间或适当的室内结构单元可个别地解析，且接着对齐到外部包络。

在步骤955中，在一些实施例中，可通过对照内部及外部3D建筑物模型837重新处 理视觉里程计而确定室内7-DOF闭合回路轨迹839。举例来说，通过返回到先前在数据收集 期间拍摄的视觉特征，可补偿IMU170中的错误，且可重新估计轨迹以返回到不具有明显错 误的视觉特征。

在步骤960中，可接着基于室内7-DOF闭合回路轨迹839以及惯性及摄像机数据813 重新处理/更新3D模型建筑物模型837。在一些实施例中，在步骤960中，可接着基于3D模型 产生室内地图。

在步骤965中，可基于室外无线地图835、无线测量数据815、天线方向图739及3D模 型建筑物模型837获得3D室内/室外无线地图841。

在步骤970中，可使用磁力计数据819来产生磁性地图层847，且在步骤975中，可使 用气压数据817来产生气压地图注释。

在一些实施例中，所收集的数据中的全部或部分可在UE100上处理及/或发送到 服务器250进行处理。在一些实施例中，如果地图可用于相邻及/或所附属结构，那么可将用 于当前结构及所附属/相邻结构的室内/室外地图拼接在一起，例如，通过使用外部图像。在 一些实施例中，可将到附近结构地图的指针/关联高速缓冲存储在UE中及/或服务器上。在 一些实施例中，在将“智能眼镜”或其它可佩戴式装置(例如，具有摄像机的蓝牙头戴式耳 机)耦合到电话时，可触发智能眼镜/可佩戴式装置上的摄像机。

图11展示说明能够确定UE100的地点的系统1000中的一些实体的简化框图。在一 些实施例中，系统1000可形成UE辅助定位系统的部分。参看图10，UE100可测量来自参考来 源1070的信号以获得初始测量1002及/或初始地点估计1004。参考来源1070可表示来自与 网络230相关联的SV280及/或天线240及/或AP620的信号。UE100还可获得初始测量 1002，例如用于SV280的伪测距测量及/或来天线240的OTDOA/RSTD相关测量。

在一些情况下，UE100还可通过使用初始测量1002获得初始地点估计1004。有时 被称为“前缀”的初始地点估计1004可为UE100的位置的粗略估计。在一些情况下，由UE 100进行的测距测量可用以获得初始地点估计1004。在一些情况下，与服务小区或最强小区 或最早小区或另一小区相关联的地点可用作初始地点估计1004。举例来说，服务小区或最 强小区或最早小区或某一其它小区的形心可用作初始地点估计1004。作为另一实例，小区 内的随机或默认开始地点可用作初始地点估计1004。可从小区扇区识别码、网络ID、系统ID 及由基站发射的其它信息获得小区有关信息。UE100可将初始地点估计1004及/或初始测 量1002(例如，来自一或多个GNSS的卫星测量，或来自一或多个网络的例如OTDOA及/或RSTD 的网络测量，等)提供到服务器250。在一些情形中，UE100可不确定初始地点估计1004，而 是，由UE100采集的初始测量1002可发送到服务器250，所述服务器可使用初始测量1002来 确定UE100的初始初始估计1004。

服务器250可接着基于初始地点估计1004将与地点有关的信息(例如，地点辅助数 据1006)提供到UE100。在一些实施例中，地点辅助数据可由LDAM158、MM152、PDM156及/ 或NM154中的一或多者接收，且可用以辅助UE100获取及测量来自SV280及/或天线240的 信号，及/或改进从测量1002获得的任何初始地点估计1004。在一些实施例中，地点辅助数 据可按适应于初始地点估计1004及与初始地点估计1004相关联的位置不确定性的粒度包 含地图层及/或其它信息。

举例来说，在一些情况下可呈具备安全用户平面(SUPL)功能的终端(SET)的形式 的UE100可与服务器250通信且使用地点辅助数据1006获得额外测量1008。在一些实施例 中，额外测量1008可包括各种与FLC有关的测量及/或导频相位测量、到达时间、RSTD/OTDOA 测量、与基站天线的时间偏移有关的测量、GPS(例如，伪距)测量等。在一些情况下，响应于 接收到地点辅助数据或缺少其，UE100可进入地图绘制模式且俘获额外测量1008，额外测 量可包含来自摄像机180、IMU170、传感器185及如以上概述的其它无线(GNSS/WAN/LAN)信 号测量的测量。在一些实施例中，UE100可通过网络230将额外测量208发送到服务器250或 另一PDE，及/或将测量存储在存储器130中。

在一些实施例中，服务器250、UE100或另一PDE可使用额外测量208来获得UE100 的改进的地点。在一些实施例中，UE100可使用额外测量1008来直接获得改进的地点估计。 另外，在一些实施例中，可将UE100的改进的地点估计传达到LCS客户端260。当UE100的位 置/位置不确定性经基于先前提供的地点辅助信息改进或重新估计时，可从另一地图层检 索基于改进的位置估计/位置不确定性的FLC值及/或其它信息以有助于UE位置的更准确的 确定。一般来说，位置定位可由MS辅助，其中UE100通过基站将原始或经预处理的测量数据 发送回网络中的PDE以在位置确定中使用；或者，所述位置定位可为基于MS的，其中由UE 100执行位置计算。

提供位置确定服务的无线通信系统通常在例如基站年历(BSA)数据库、地图数据 库等的一或多个数据库中存储及/或聚集校准信息及用于地点确定的其它测量。举例来说， 数据库可包含具有地图层的地图，其可包含各种其它类型的信息。

举例来说，地图层可包括以下各项中的一或多个：使接收信号强度与地图地点相 关的接收信号强度地图层；使SNR与地图地点相关的信噪比(SNR)地图层；指示LOS条件很可 能相对于一或多个天线的地图地点的视线(LOS)地图层；非视线地图层，NLOS地图层指示 NLOS或身体阻挡条件很可能相对于一或多个天线的地图地点，等等。在一些实施例中，所述 地图层还可包含至少一个多路径层以提供用于BSA中的地点的天线的多路径范围的指示。 在一实施例中，多路径层可进一步包括以下各项中的至少一者：指示天线的长阴影区的长 阴影层，所述长阴影层包括长阴影区中的排除区、对多路径量值的指示及/或天线的信号衰 减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包括短阴影区中的天线信号的 时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射模型的发射模式层。

在一些实施例中，UE100可使用一或多个地图层中的信息估计地点及地点不确定 性，且基于地点及地点不确定性，可请求或检索额外地图层。在一些实施例中，可基于UE 100的地点/地点不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100通 信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器及/或在UE100处可用的处 理能力及各种其它参数将包括地图层的地点辅助信息提供到UE100。

在一些实施例中，地图上的每一区域可通过一或多个边界点的座标(例如，纬度、 经度、海拔高度)识别，所述座标可取决于地图层的粒度。因此，在这些实施例中，关于区域 内的点的测量可聚集并且与区域相关联。可基于UE100的位置/位置不确定性将聚集的测 量及有关数据的阶层中的一些或全部提供给其。

BSA数据库可存储/聚集校准及与其它基站有关的信息。基站的BSA记录可指定基 站标识信息、基站天线的位置(例如，海拔高度、经纬度)天线的一位置处的FLC值、天线定 向、范围、转发器信息等。如本文所使用的术语“FLC值”可指代FLC值及FLC残差两者。FLC残 差可以距离单位(例如，米)指定，而FLC值可以时间单位(例如，秒)指定。在一些实施例中， BSA还可包含如以下各项的信息：基站区段覆盖区域的中心、基站信号的最大范围、一或多 个覆盖区域/子区域上方的平均地形高度、一或多个覆盖区域/子区域上方的地形高度标准 差、往返延迟(RTD)校准信息、CDMA系统中的伪随机噪声(PN)增量、基站天线位置中的不确 定性、前向链路延迟校准中的不确定性以及往返延迟校准中的不确定性。

在一些实施例中，促进地面定位系统校准的系统可聚集额外测量1008，包含FLC相 关测量及多个移动站/PDE的改进的位置估计。在一些实施例中，由多个移动台中的每一者 进行的在地图绘制模式中的测量可在服务器上聚集并存储，并且可基于所述聚集导出统计 显著性。举例来说，可由所述聚集导出标准差、差异、平均值、中值及其它统计量度。在一些 实施例中，由UE100采集的测量可用以代替数据库中的测量。举例来说，如果视觉图像及/ 或其它测量指示结构的内部已相对于存储的3D建筑物模型837改变，那么可基于最新的测 量将存储的建筑物模型837更新及/或用新建筑物模型代替。类似地，可基于新测量更新外 部3D建筑物包络825、3D无线地图841、磁性地图层847及/或气压地图注释849及/或其它地 图层中的一或多者。因此，UE100可接收数据库中呈信息的形式的地点辅助数据1006，且由 UE100在地图绘制模式中俘获得额外测量1008可用以更新现有数据库。

举例来说，基于存储在数据库中的信息的粒度，与UE100相关联的改进的地点估 计及由UE100在那些地点处进行的测量(包含俘获的图像)可与由其它移动台针对同一地 点及/或针对在那个地点附近的区进行的测量相关联及/或聚集在一起。在一些实施例中， 可将俘获的图像中的一或多者作为关键帧或参考帧连同与关键帧图像相关联的估计的摄 像机姿势一起存储。在一些实施例中，外部及内部3D模型837可包含关键帧。

在一些实施例中，改进的位置估计可基于与定位相关联的质量阈值而与聚集测量 相关联。举例来说，表示与每一定位相关联的误差估计的“水平估计位置误差”(HEPE)质量 量度可用于确定将哪些测量添加及/或聚集到BSA数据库。举例来说，与定位相关联的测量 (取决于所要准确度或位置粒度，其具有小于某一指定阈值的HEPE值)可添加及/或与数据 库聚集。

在一些实施例中，基站年历数据库最初可配置有默认、平均或估计FLC值及合理地 精确天线位置。在一些实施例中，可基于从多个UE'120及/或PDE接收的多个额外测量208使 用及更新现有BSA。基于通过多个MS'120/PDE进行的重复测量，天线位置估计及空间可变 FLC值将不断地随时间而改善。产生更大程度的天线位置确定性，所述确定性可用于改善前 向链路校准准确度。

在一些实施例中，服务器250可聚集来自一群移动件的原始测量信息以利用处于 与测量相关联的不同粒度的信息建立统计显著地图。在一些实施例中，服务器250可执行 BSA、地图及/或地点服务器的功能中的一些或全部。举例来说，服务器250可收集且格式化 地点数据，产生且更新地图或模型，可为移动台进行位置估计提供辅助，及/或可执行计算 以获得移动台的位置估计。在一些实施例中，服务器250可包括BSA服务器，所述服务器可管 理存储完整BSA的BSA数据库。

例如包含摄影的众包及来自多个移动台/PDE的其它测量的实施例可提供包含室 内地图的连续维护的地图数据，且减少或移除对资源集中现场工作的需求。在一些实施例 中，由于由公众拥有的移动装置进行的频繁众包取样，可贯穿网络维持高取样率。在一些实 施例中，众包测量可用以建置及/或更新数据库/BSA。

因为信息的取样速率、统计显著性以及准确度与一地点处的用户密度成比例，所 以将频繁校准具有较高用户密度的常用地点。因此，此类基于群众的校准系统可优化其本 身到用户定位之处及/或地点服务重复地使用之处。相比而言，通常基于网络几何结构或信 号传播模型的一些指标来校准现有系统，所述指标可能不反映使用模型。另外，移动站用户 常去的常用地点还将倾向于具有最新统计显著且精确的信息。另外，在符合本文所揭示的 实施例的系统的部署期间，可快速地基于更频繁聚集的测量获得常用地点的FLC信息，从而 促进部署。

在一些实施例中，摄影数据及测量还可通过“战争驾驶(wardriving)”来收集及/ 或补充。在战争驾驶中，用户可俘获图像，进行传感器测量及进行无线信号的测量，其可与 UE位置相关以获得地图。收集的测量可与存储在数据库中的测量聚集及/或用以补充及/或 代替存储在数据库中的测量及/或更新现有地图。在一些实施例中，可诱导UE用户(例如，需 要测量/地图绘制的地点或路线附近的用户)行进到所述地点及/或采用指定路线。举例来 说，针对所要地点附近或沿所述路线的建立的呈现金奖励、折扣、自由飞行时间或激励形式 的奖励可用作激励。在一些实施例中，可获得用户同意以在智能电话上安装可定期对服务 器250报告测量的应用程序。

在一些实施例中，提供到UE100的地图中的信息可包含以下各者中的一或多者的 指示：信号的检测的可能性、在UE100的估计的位置处的信号的可能准确性连同UE100的 初始位置不确定性的估计。另外，在一些实施例中，提供到UE100的地图还可包含以下各者 中的一或多者的指示：LOS条件的可能性、长多路径条件的缺少及/或UE100处于长还是短 阴影区中的确定。地图可包含例如eNodeB天线地点、天线场型及输出功率等简单注释，以使 得移动设备可用一级模型执行简单链接分析。另外，地图可含有所述一级模型与更局部化 的模型之间的差异，含有高阶校正项。

现在参考图12，其为说明经启用以支持混合照片地图绘制及导航的服务器250的 示意性框图。在一些实施例中，服务器250还可提供对位置确定以及众包地图产生及导航的 支持。在一些实施例中，服务器250可通过以符合所揭示实施例的方式提供包含分层地图的 地点辅助信息来支持地点确定。另外，在一些实施例中，服务器250可以符合所揭示实施例 的方式基于由一或多个UE'100报告的测量及信息更新数据库(例如，BSA、地图及/或配置数 据库)。在一些实施例中，服务器250可包含(例如)一或多个处理单元1152、存储器1154、存 储装置1160以及(如适用)通信接口1190(例如，有线或无线网络接口)，以上各组件可以操 作方式使用一或多个连接1156(例如，总线、线路、光纤链路等)耦合。在某些实例实施方案 中，服务器250的某一部分可呈芯片组及/或类似者的形式。

通信接口1190可包含支持有线发射及/或接收的各种有线及无线连接并且，在需 要时可另外或替代地支持一或多个信号通过一或多个类型的无线通信网络的发射及接收。 通信接口1190还可包含用于与各种其它计算机及外围配置通信的接口。举例来说，在一实 施例中，通信接口1190可包括实施由服务器250执行的通信功能中的一或多种功能的网络 接口卡、输入输出卡、芯片及/或ASIC。在一些实施例中，通信接口1190还可与网络230连接 以获得各种网络配置相关信息，例如由网络中的基站使用的PCI、配置的PRS信息及/或时序 信息。举例来说，通信接口1190可利用以3GPPTS36.455定义的LPP附件(LPPa)协议或对这 种协议的修改以从网络230中的基站获得PCI、配置的PRS、时序及/或其它信息。处理单元 1152可以符合所揭示实施例的方式使用所接收信息中的一些或全部来产生地点辅助数据。

处理单元1152可使用硬件、固件及软件的组合加以实施。在一些实施例中，处理单 元1152可包含服务器位置辅助数据模块1166，所述模范组可产生包含具有多路径及可见性 信息的分层地图、空间可变FLC数据、PRS时序及静音辅助信息等的位置辅助信息以用于发 射到移动站100。在一些实施例中，服务器位置辅助数据模块1166还可产生位置辅助信息以 用于发射到移动站100。处理单元1152还可能能够直接或者结合图11中所示的一或多个其 它功能块处理各种其它LPP/LPPe辅助信息。在一些实施例中，处理单元1152可产生如长期 演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息的地点辅助信息。

图13展示与所揭示实施例一致的混合照片地图绘制的示范性方法的流程图1300。 在一些实施例中，方法1300可由UE及/或无线地耦合到UE的服务器执行。在一些实施例中， 方法1300可由UE上的地图绘制应用程序执行。举例来说，地图绘制应用程序可提供关于图 像的俘获及/或待沿循的轨迹的指令。

在一些实施例中，在步骤1310中，可在穿越结构内的多个地点时俘获结构的内部 的多个图像。

接下来，在步骤1320中，可俘获多个测量集合，其中每一测量集合对应于至少一个 图像，且每一测量集合包括惯性测量单元(IMU)测量或可用无线测量中的至少一者。在一些 实施例中，可在俘获对应图像的短时间窗内俘获每一测量集合。在一些实施例中，每一测量 集合进一步包括以下各者中的一或多者：气压测量；或高度计测量；或磁力计测量。在一些 实施例中，所述无线测量包括以下各者中的一或多者：无线广域网(WWAN)测量，包括以下各 者中的一者：观测到达时间差(OTDOA)测量，或参考信号时间差(RSTD)测量，或高级前向链 路三边测量(AFLT)测量，或混合AFLT测量；或无线局域网(WLAN)测量，包括接入点(AP)信号 的射频(RF)测量。

在步骤1330中，可部分地基于所俘获图像及多个测量集合估计UE所穿越的轨迹。 可例如通过以下操作估计所述轨迹：以绝对坐标获得所述结构附近的UE的位置；以及部分 地基于以绝对坐标获得的所述UE的所述位置估计所述轨迹。在一些实施例中，可通过以下 操作估计所述UE的轨迹：将视觉同时定位与地图绘制(VSLAM)技术应用于所述多个图像的 子集以确定所述UE相对于所述子集中的每一图像的对应6自由度(6DOF)姿势，所述6DOF姿 势是基于图像的所述子集中的关键点而确定；以及对于所述子集中的每一图像，部分地基 于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势。在一些实施例 中，对于所述子集中的每一图像，可通过以下操作以绝对坐标确定所述UE的对应姿势：将对 应6DOF姿势及对应测量集合提供到扩展卡尔曼滤波器(EKF)，且所述EKF可部分地基于所提 供信息而以绝对坐标确定所述UE的所述对应姿势。

在步骤1340中，可将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地 耦合到所述UE的服务器。

在步骤1350中，可从服务器接收对齐到绝对坐标的结构的室内地图。所接收室内 地图可基于所述所估计轨迹、所俘获图像及对应测量集合，且可包括关于UE的经校正轨迹 的信息。

在一些实施例中，室内地图可包含对准到绝对坐标的多个层。所述多个对准的层 可包含以下各者中的至少两者：平面图地图，或3维结构模型，或对未由标准绝热直减率模 型预测到的气压压力的任何变化的注释，或对未由标准地球磁场模型预测到的磁场的任何 变化的注释，或与被绘制地图的结构相关联的WWAN信号的衰减或延迟，或对所述结构内的 WWAN信号强度的任何变化的注释，或与所述被绘制地图的结构相关联的WLAN信号的衰减或 延迟，或所述结构内的WLANAP地点的指示，或所述结构内的WLAN场强度的指示，或所述结 构内的WLANRTT延迟校准的指示。在一些实施例中，UE的经校正轨迹可对应于可以绝对坐 标提供的UE的闭合回路轨迹。

本文在流程图及消息流程中描述的方法可依据应用由各种装置实施。例如，这些 方法可以用硬件、固件、软件或其任何组合来实施。对于硬件实施，处理单元1152可实施于 一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程 逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装 置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。

尽管出于指导性目的，结合具体实施例来说明本发明，但本发明不限于此。在不脱 离本发明的范围的情况下可作出各种改编及修改。因此，所附权利要求书的精神及范围不 应限于前述描述。