用于提供在增强现实中的注释的方法和装置

摘要

一种用于提供在增强现实AR中的与位置相关或与对象相关的注释的方法，该方法包括以下步骤：由用户的客户端设备基于所述客户端设备的大致地理位置和/或基于用户信息数据，响应于查询Q来检索针对所述位置和/或对象的可用增强现实气泡ARB的候选列表CL；从可用增强现实气泡的检索到的候选列表CL中选择至少一个增强现实气泡ARB；由查询客户端设备从数据库中加载针对每个被选择的增强现实气泡ARB的精确局部图和一组注释，并且使用相应的增强现实气泡ARB的加载的精确局部图，在被选择的增强现实气泡ARB内精确跟踪所述客户端设备，以在被跟踪的客户端设备的精准位置处提供在增强现实中的注释。

说明书

背景技术

增强现实（AR）向真实世界环境中的用户提供交互式体验。驻留在真实世界环境中的对象通过计算机生成的信息而被增强。所显示的叠加信息可以在增强现实中与物理真实世界交织在一起，使得用户将其感知为真实环境的沉浸式方面。增强现实可以被用来增强自然环境或情景，并为用户或操作者提供感知丰富的体验。借助先进的增强现实技术，关于用户的周围真实世界环境中的信息可以变成交互式的，并可以由用户操纵。在增强现实中，有关环境及其对象的信息被叠加在真实世界上。所显示的信息可以是虚拟的或真实的，例如允许感知其他真实感测的或测量的信息，诸如以与它们在空间中的实际位置精确对准的方式被叠加的电磁无线电波。通常与环境元素或对象一起在语义上下文中实时地执行增强技术。

在许多用例中，有必要相对于物理真实世界中的特定位置或对象来放置增强现实注释。其他用户以后希望在他们靠近相应地点或对象时检索、查看或编辑此信息。

存在用于创建增强现实内容并且以后检索增强现实内容的许多不同方法。这些常规方法包括基于标记的增强现实，其中增强现实内容在三维图形编程环境中被创建，并被锚定到二维可视标记。然后，当此二维可视标记位于用户所拿着的客户端设备的相机内部时，增强现实内容被检索。基于标记的增强现实通常被用于增强现实营销应用，例如以将三维模型放置在杂志广告的顶部。

另一种常规方法是基于对象的增强现实。增强现实内容在三维图形编程环境中被创建，然后被锚定到三维计算机辅助设计（CAD）数据模型。当真实对象被客户端设备使用基于模型的跟踪方法检测到时，增强现实内容被检索。基于对象的增强现实常常被用于工业环境中的维护应用。

另一种常规方法是地理参考的增强现实。增强现实内容被生成，然后在地理参考的内容中被检索。

又一种常规方法是将基本上是三维模型的全息图放置在用户的客户端设备可以识别的增强环境中。后来，当另一个用户在同一地点使用相同的客户端设备时，全息透镜可以基于环境的三维重建来识别该地点，并在同一地点示出全息图。

增强现实注释主要与物理世界中的特定地点（位置）和/或对象（事物）相关。常规上，客户端设备的地理位置由集成在客户端设备中的地理位置检测或确定单元（诸如GPS接收机）执行，该GPS接收机从GPS卫星接收GPS卫星信号以确定客户端设备的当前方位。然而，在许多应用中，由常规地理位置检测单元提供的地理位置不够准确和精准。特别地，在诸如包括具有复杂子组件的机器的工厂之类的技术环境中，常规的地理位置不允许在精准的方位处向用户提供注释。此外，地理位置检测单元可能无法在室内工作，因此它们不能在诸如工厂之类的建筑物内以足够的精度来提供客户端设备的地理位置或精准的方位。

发明内容

因此，本发明的目的是提供一种用于在精准的方位处精确地提供注释的方法和装置。

根据包括权利要求1的特征的方法来实现该目的。

根据第一方面，本发明提供一种用于提供在增强现实中的与位置相关或与对象相关的注释的方法，其中该方法包括以下步骤：由用户的客户端设备基于所述客户端设备的大致地理位置和/或基于用户信息数据，响应于查询来检索针对所述位置和/或对象的可用增强现实气泡的候选列表，

从可用增强现实气泡的检索到的候选列表中选择至少一个增强现实气泡，

由查询客户端设备从数据库中加载针对每个被选择的增强现实气泡的精确局部图和注释集，以及

使用相应的增强现实气泡的加载的精确局部图，在被选择的增强现实气泡内执行对所述客户端设备的精确跟踪，以在被跟踪的客户端设备的精准位置处提供在增强现实中的注释。

由根据本发明的方法提供的注释可以帮助用户在精准位置处执行动作并提高那些动作的准确性。

在根据本发明的第一方面的方法的可能实施例中，可以自动地执行从可用增强现实气泡的检索到的候选列表中选择至少一个增强现实气泡。

在一个可能的实施例中，从可用增强现实气泡的检索到的候选列表中选择至少一个增强现实气泡包括：

捕获客户端设备环境的图像和/或声音，

处理所捕获的图像和/或所捕获的声音以提取与预定义气泡标识标签相比较的标签，该预定义气泡标识标签与检索到的候选列表的增强现实气泡相关联，以及

取决于比较结果，确定检索到的候选者列表的相关增强现实气泡。

在根据本发明的第一方面的方法的又一个可能的实施例中，从可用增强现实气泡的检索到的候选列表中选择至少一个增强现实气泡可以响应于用户输入命令来执行，该用户输入命令基于在客户端设备的用户界面的显示器上向用户显示的可用增强现实气泡的名称来选择增强现实气泡。

在根据本发明的第一方面的方法的另一个可能的实施例中，由客户端设备加载的局部图包括局部特征图，特别是SLAM（同时定位和映射）图和/或被选择的增强现实气泡内的对象的计算机辅助设计CAD模型。

在根据本发明的第一方面的方法的又一个可能的实施例中，通过所述客户端设备的地理位置检测单元来检测客户端设备的大致地理位置。

在根据本发明的第一方面的方法的可能实施例中，所述客户端设备的地理位置检测单元适于响应于地理位置检测单元从包括GPS卫星和/或WiFi站的外部信号源接收到的信号来确定客户端设备的大致地理位置。

在根据本发明的第一方面的方法的另一个可能的实施例中，客户端设备的被跟踪的精准的当前位置的注释借助于客户端设备的用户界面而被输出给用户或操作者。

在根据本发明的第一方面的方法的又一可能实施例中，注释包括静态注释，该静态注释包括与位置相关和/或与物理对象相关的文本注释、声学注释和/或视觉注释（包括VR体验）。

在根据本发明的第一方面的方法的又一可能实施例中，注释包括静态注释，该静态注释同样包括与增强现实气泡相关的文本注释、声学注释和/或视觉注释（包括VR体验）。

这意味着注释未被链接到增强现实气泡内的特定位置或特定物理对象。相反，注释被链接到全部增强现实气泡；换句话说，注释就这样被链接到整个增强现实气泡。在增强现实气泡对应于（物理）房间的这些情况下，本实施例也可以被称为“张贴到房间”。将注释链接到例如整个房间的优点是简化了注释的放置，并且如果扫描房间遇到问题时也起作用。

在另一个替代方案中，注释还可以包括与特定对象相关的触觉信息。关于数据手套的使用，这种替代方案可能特别相关。

触觉信息的提供使得用户能够与数字内容进行简化且更直观的交互。触觉信息的提供和检索是通过记录相应信息的数据手套来有利地执行。

在根据本发明的第一方面的方法的另一个可能的实施例中，注释包括指向源的链接，所述源提供静态注释和/或包括数据流的动态实况注释。

在根据本发明的第一方面的方法的又一可能实施例中，注释与不同的数字注释层相关联，该不同的数字注释层根据包括用户访问权限和/或用户任务的用户信息数据而是可选择的和/或被过滤。

在根据本发明的第一方面的方法的又一个可能的实施例中，每个增强现实气泡由存储在平台的数据库中的数据集来表示，其中该数据集包括：

增强现实气泡的气泡名称，

附着到位置和/或附着到对象并具有全局坐标系的全局坐标的锚点，

精确局部空间图，包括在所述增强现实气泡内被用于精确跟踪所述球体内的客户端设备的跟踪数据，并具有围绕所述增强现实气泡的锚点的局部坐标系的局部坐标，

与所述增强现实气泡的球体内的位置和/或对象相关的注释，和

被用来通过与被提取的标签进行比较来标识增强现实气泡的气泡标识标签。

在根据本发明的第一方面的方法的又一个可能的实施例中，增强现实气泡数据集的气泡标识标签包括在增强现实气泡的球体内的可检测特征，包括在增强现实气泡球体的环境内的文本特征、声学特征和/或视觉特征。

在根据本发明的第一方面的方法的又一个可能的实施例中，客户端设备的环境的图像和/或声音由客户端设备的传感器捕获，并且由标签识别算法或由经训练的神经网络处理以对其进行分类并提取被用于与预定义气泡标识标签进行比较的标签。

在根据本发明的第一方面的方法的又一可能的实施例中，若干增强现实气泡被一起汇集在一个元增强现实气泡中，并且所述增强现实气泡形成候选列表的一部分。

依附于一个元增强现实气泡（简称：元气泡）的增强现实气泡可以提供有内部标记。元气泡可以包括覆盖被汇集在元气泡中的所有增强现实气泡的精确局部图。

举一个具体示例，元气泡可以对应于会议建筑物。在该示例中，元气泡可以包括依附于元气泡的多个增强现实气泡，其中每个增强现实气泡对应于会议建筑物的一个会议房间。如果用户到达会议的某个会议房间，则他将被手动或自动精确定位，并且可以接收属于他所在的特定房间的相应注释。

元气泡可以包括使用条款，该使用条款管控对汇集在元气泡中的所有增强现实气泡的访问权限。通过这种方式，可以防止可从外部识别建筑物的内部结构，例如其房间的数量和标签。

在根据本发明的第一方面的方法的又一个可能的实施例中，可用增强现实气泡之一被链接到用户的设备的位置。该设备可以例如是用户的智能电话。

这样的增强现实气泡也可以被称为“自由漂浮气泡”或“用户气泡”。这意味着用户拥有他自己的个人气泡，由于气泡被链接到他的智能电话，所以他可以随时打开该气泡并且因此无论他走到哪里都跟随他。在用户已经位于另一个气泡中的情况下，也可以打开用户气泡（“气泡中气泡”场景）。

在第一替代方案（“自由漂浮气泡”）中，用户气泡中的注释只能由气泡所属的用户查看和编辑。在这种情况下，用户气泡可以被视为用户的个人剪贴板。

在第二替代方案（“用户气泡”）中，用户气泡中的注释也可以由位于用户气泡中或附近的其他用户可看到和可编辑。在那种情况下，用户可以在他的用户气泡中留下他想与他人共享的批注。

借助于自由漂浮或用户气泡，使得用户能够在任何时间在任何地点以并不复杂的方式传送和访问信息。此外，所述信息的编辑和交互被优化。

自由漂浮和用户气泡一般需要将位置数据（地理跟踪数据）与从位置确定设备获得的数据合并，以便将自由漂浮和用户气泡的注释与相应用户（例如他的智能电话）的位置正确地链接起来。

对于用户气泡，需要多个人的设备之间的通信，例如，在也被称为“世界空间”的公共空间中。

在根据本发明的第一方面的方法的又一个可能的实施例中，查询是经由客户端设备的用户界面来输入的，并且经由局部和/或全局网络而被供应给具有搜索引擎的服务器，该服务器响应于接收到的查询，确定在查询客户端设备的检测到的大致地理位置处可用的增强现实气泡，并将可用增强现实气泡的候选列表返回给查询客户端设备。

特别地，客户端设备在将其大致地理位置传输给服务器时还可以将传感器数据传输给服务器。

作为示例，客户端设备不仅将GPS信息而且还将例如少量的传感器数据（音频、视频等）发送给服务器。然后，服务器可以将接收到的传感器数据与相应的增强现实气泡的现有数据进行比较。这具有以下优点：可以减少从气泡发送到服务器的数据量，从而减少客户端设备的能量消耗，并且可以延长客户端设备的电池寿命。此外，可以实现复杂的全息图的显示。在根据本发明的第一方面的方法的又一个可能的实施例中，使用相应增强现实气泡的所加载的精确局部图，在被选择的增强现实气泡的球体内准确跟踪客户端设备是基于从客户端设备的传感器所捕获的图像和/或声音中提取的低级别特征。

在根据本发明的第一方面的方法的又一个可能的实施例中，与位置相关和/或与对象相关的注释由用户借助于相应用户的客户端设备的用户界面来创建和/或编辑和/或指派给特定的数字层。

注意，对特定层的访问权限例如可以被存储在用户定义的设置中。这些例如在向用户提供带注释的增强现实气泡的应用中可以被查看和编辑。诸如设置的密码保护之类的安全设置可以被提供。此外，可以经由web链接或类似的提供商来提供对增强现实气泡的访问。

在根据本发明的第一方面的方法的又一个可能的实施例中，对象包括物理对象，该物理对象包括位于真实世界环境中的固定位置处的固定对象或在真实世界环境中可移动并具有可变位置的移动对象。

在本发明的又一个实施例中，气泡地依附于特定公司的增强现实的布局可以适于该设计的公司身份（企业设计）。例如，这适用于相应气泡中显示的用户界面、层或注释。

根据第二方面，本发明还提供一种用于提供在增强现实中的与位置相关和/或与对象相关的注释的系统，该系统包括权利要求21的特征。

根据第二方面的系统包括经由局域网和/或广域网连接到服务器的客户端设备，该服务器适于响应于从用户的查询客户端设备接收到的查询，基于查询客户端设备的大致地理位置和/或基于用户信息数据，检索可用增强现实气泡的候选列表，并适于将检索到的候选列表返回给用户的查询客户端设备，以从返回的候选列表中选择至少一个增强现实气泡，其中针对每个被选择的增强现实气泡的精确局部图和一组注释由客户端设备从服务器的数据库中加载，其被用于在被选择的增强现实气泡内跟踪客户端设备并在被跟踪的客户端设备的精准位置处提供在增强现实中的注释。

在根据本发明第二方面的系统的可能实施例中，客户端设备包括处理器，该处理器适于自动处理客户端设备的环境的所捕获的图像和/或所捕获的声音，以提取与预定义标签相比较的标签，该预定义标签与可用的增强现实气泡相关联，其中将被提取的标签与预定义气泡标识标签（与检索到的候选列表的增强现实气泡相关联）进行比较，从而从检索到的候选列表中自动确定最相关的增强现实气泡。

附图说明

在下文中，参考附图更详细地描述了本发明的不同方面的可能实施例。

图1示出了用于例示出根据本发明的方法和装置的可能示例性实施例的示意性框图；

图2示出了根据本发明的一个方面的用于提供注释的方法的可能实施例的流程图；

图3示出了用于例示出根据本发明的方法和装置的可能示例性实施例的信令图；

图4示出了用于例示出根据本发明的方法和装置的可能示例性用例的示意图；

图5示出了用于例示出根据本发明的方法和装置的另一可能示例性用例的示意图。

具体实施方式

正如从图1的框图可以看出的，本发明根据一个方面提供了一种系统1，该系统1用于提供在增强现实中的与位置相关和/或与对象相关的注释。系统1包括网络云2，网络云2具有将客户端设备3与至少一个包括搜索引擎5的服务器4相连接的局域网和/或广域网。服务器4的搜索引擎5可以访问中央数据库6或分布式数据库6。系统1可以包括多个不同的客户端设备3，客户端设备3经由有线或无线链路而直接或间接地（路由器、边缘设备）连接到网络云2。增强现实客户端设备3可以包括例如智能电话、平板电脑或具有头戴式显示器的客户端设备。客户端设备3包括广域网连接性。客户端设备3可以包括传感器的传感硬件，特别是如图1中所例示的相机7和/或麦克风8。客户端设备3的传感器7、8可以向客户端设备3的处理单元9提供传感器数据。客户端设备3的相机7适于捕获客户端设备的环境的图像。麦克风8适于捕获客户端设备3的环境的声音。在所例示的实施例中，客户端设备3包括通信接口10，以经由无线或有线数据链路将客户端设备3与网络云2相连接。客户端设备3还包括用户界面11，以向用户U显示信息和/或接收用户输入命令。

在图1中所例示的实施例中，客户端设备3还包括地理位置检测单元12。地理位置检测单元12提供客户端设备3的大致地理位置。客户端设备3的地理位置检测单元12适于响应于由客户端设备3的接收机从外部信号源接收到的信号来确定客户端设备3的大致地理位置。这些外部信号源可以包括将GPS卫星信号发送给客户端设备3的地理位置检测单元12的GPS卫星和/或发射WiFi信号的WiFi站。客户端设备3可以包含GPS接收机、基于WiFi的或类似的地理位置检测设备12。地理位置检测单元12允许客户端设备3在室外大约5米和室内大约50米的一定（相对低）准确度内确定其方位。地理位置检测单元12可以被集成到如图1中所例示的客户端设备3中，或者被集成到连接到客户端设备3的另一个设备中。例如，如果客户端设备3不包括地理位置检测单元，则其可以被捆绑到具有地理位置检测单元12的另一个设备。该外部设备可以是例如操作为移动热点并包括GPS接收机的智能手机。

客户端设备3包括能够拍摄环境的照片或图像的相机7，照片或图像可以被供应给客户端设备3的处理单元9。处理单元9包括至少一个微处理器，其在可能的实施例中可以运行用于执行图像识别任务的图像识别算法。可替代地，由客户端设备3的相机7生成的图像也可以经由网络云2而被发送到具有适于执行所需图像识别任务的处理器的服务器4。以类似的方式，可以通过集成在客户端设备的处理单元9中的微处理器或者通过远程服务器4的处理器来处理由相机8捕获的声音。客户端设备3包括相机7、屏幕和/或适当的感测硬件，以实现与用户U的增强现实交互。客户端设备3的存储器可以包括能够执行用于增强现实的局部SLAM（同时定位和映射）的可执行软件。一个示例可以包括具有ARKit 2的Apple iPhone或Microsoft 全息透镜（Hololens）。SLAM软件可以创建客户端设备的环境或真实世界的局部光学特征的三维SLAM图，并可以将该图保存到服务器4。此外，软件可以适于从服务器4的数据库6中检索预先存储的特征的图，并且使用所检索的特征来精确地跟踪客户端设备3。可以将局部特征图LMAP的大小限制为某个三维区域。在可能的实现中，该三维区域或气泡可以包括大致10×10×10米的大小。局部图的大小可以对应于建筑物内的不同房间的大致大小。局部特征图LMAP的大小可以取决于用例而变化。在如图1中所例示的根据本发明的系统1中，客户端设备3能够经由用户界面11来向用户或操作者U显示或输出在增强现实AR中的注释。客户端设备3可以从服务器4中检索这些注释ANN，并让用户U借助于用户界面11来查看和/或听到检索到的注释。这些注释ANN可以包括语音（音频和语音至文本）、浮动三维模型（诸如箭头、绘图、由客户端设备3捕获的照片和/或视频）和/或其他文档。注释可以包括静态注释和/或动态实况注释。静态注释一般可以包括与位置相关的和/或与对象相关的文本注释、声学注释和/或视觉注释。注释还可以包括指向源的链接，该源提供静态注释和/或包括数据流的动态实况注释。

注释ANN可以包括由其他系统（诸如SCADA系统）提供的数据和/或数据流。在可能的实施例中，客户端设备3能够经由局域网而被连接到本地控制器或边缘设备，或者经由云而被连接到实况IoT数据聚合平台。注释可以包含指向实况数据流的链接，例如来自位于机器或对象内部的温度传感器的图表。注释可以被构造成逻辑数字层L。层L是在某些时刻与某些类型的用户U相关的一组注释，例如维护信息、构造信息、旅游信息或使用信息。用户U可以在注释的不同数字层L之间进行选择，以经由用户界面11向他进行显示。注释与不同的数字注释层L相关联，可以借助于用户界面11来选择这些不同的数字注释层L，用户界面11可以使用过滤算法来进行过滤。可以在包括用户的用户访问权限和/或相应用户的已存储用户任务在内的用户信息数据的基础上来执行对数字注释层的选择。可能的是，用户可以生成或创建连接到对象和/或位置的注释，并取决于期望用途将所创建的注释指派给不同的数字层L。在可能的实施例中，用户可以管理其他用户对相应的数字层L的访问，从而让其他用户访问他们已经创建的注释。

如图1中所示，不同的客户端设备3经由网络云2而被连接到至少一个服务器4。服务器4可以包括云服务器或本地或边缘服务器。服务器4可以访问数据库6以存储用于不同客户端的数据。数据库6可以存储由对应的数据集表示的所谓的增强现实气泡ARB。在可能的实施例中，增强现实气泡ARB的数据集可以包括相应的增强现实气泡的气泡名称、附着到位置和/或附着到对象并且具有全局（全球）坐标系的全局坐标的锚点。数据集还包括诸如SLAM图之类的精确的局部空间图，其在所述增强现实气泡ARB的球体内包括跟踪数据，该跟踪数据被用于精确地跟踪球体内的客户端设备3并具有围绕增强现实气泡的锚点的局部坐标系的局部坐标。局部坐标是准确且精确的。局部坐标可以以几厘米甚至几毫米的高准确度来指示位置。数据集包括与所述增强现实气泡的球体内的位置和/或对象相关的注释ANN以及被用来通过与被提取的标签进行比较以标识增强现实气泡的气泡标识标签。取决于技术，增强现实气泡ARB包括直径为例如大约10米大小的球体或区域或区间。ARB的大小可以取决于所实现的技术和/或还取决于用例而有所变化。它可能覆盖建筑物中的单个房间或整个制造楼层。增强现实气泡可以具有球形形状，但是也可以具有其他几何形状（例如，立方体）。增强现实气泡ARB可以包括由其地理位置坐标定义的固定或变化的地理位置。增强现实气泡ARB可以包括已经由创建了相应的增强现实气泡ARB的用户U输入的用户友好的名称。用于增强现实气泡ARB的典型名称可以是例如“机器房间33”。存储在数据库6中的增强现实气泡数据集还包括由客户端设备3生成的空间SLAM图，以允许精确跟踪。数据集还包括对附加信息的引用，该附加信息允许客户端设备3更容易地对其进行标识。例如，增强现实气泡数据集可以包括被用来通过与被提取的标签进行比较来标识增强现实气泡的气泡标识标签BIT。这些气泡标识标签BIT可以包括例如诸如房间号之类的文本信息，其可以通过对由客户端设备3的相机7捕获的照片进行文本识别而被检测。气泡标识标签BIT还可以包括例如条形码ID或者任何其他可以使用图像识别来检测的高级特征。增强现实气泡ARB还包括与所述增强现实气泡ARB的球体内的位置和/或对象相关的注释ANN。这些包括被分组在逻辑数字层L内的所创建的注释的所有数据，包括文本、音频、照片、视频、文档等。在可能的实施例中，服务器4包括搜索引擎5，该搜索引擎5经由云网络2从不同的客户端设备3接收查询Q。查询Q可以包括查询客户端设备3的大致地理位置。搜索引擎5可以在包含在接收到的查询Q中的接收到的信息的基础上来确定查询客户端设备3当前处于（或接近于）哪个增强现实气泡ARB中。在可能的实施例中，服务器4还可以包括图像识别功能性，该图像识别功能性允许处理由不同客户端设备3上载的图像。

图2示出了根据本发明的一个方面的用于提供在增强现实AR中的与位置相关以及与对象相关的注释的方法的可能示例性实施例的流程图。

在第一步骤S1中，基于客户端设备3的大致地理位置和/或基于拿着客户端设备3的用户的用户信息数据，响应于查询Q，由客户端设备3检索可用增强现实气泡ARB的候选列表CL。用户U的客户端设备3可以向包括搜索引擎5的系统1的服务器4提交或发送查询Q，如图1中所例示。查询Q可以包括相应的查询客户端设备3的确定或检测到的大致地理位置。搜索引擎5可以访问数据库6以找到与所指示的地理位置相关和/或与特定对象相关的可用增强现实气泡ARB。在查询Q中指定的特定对象可以包括位于固定位置处的移动对象或诸如包括可变方位的车辆之类的移动对象。可用增强现实气泡ARB的检索到的候选列表CL被返回给查询客户端设备3。

在另一步骤S2中，从可用增强现实气泡的检索到的候选列表CL中选择至少一个增强现实气泡ARB。可以自动地和/或响应于用户命令执行从可用增强现实气泡的返回的候选列表CL中选择增强现实气泡ARB。在可能的实施例中，通过捕获客户端设备的环境的图像和/或声音以及通过处理所捕获的图像或所捕获的声音以提取与预定义气泡标识标签相比较的标签来从检索到的候选列表CL中选择至少一个增强现实气泡ARB，该预定义气泡标识标签与检索到的候选列表CL的增强现实气泡相关联。最后，取决于比较结果来确定检索到的候选列表的相关增强现实气泡ARB。因此，在从所捕获的图像和/或所捕获的声音中提取的标签的基础上，缩小可用增强现实气泡的检索到的候选列表CL的范围。在可能的实施例中，可用增强现实气泡ARB的候选列表CL经由客户端设备3的用户界面11而被显示给用户，示出了相应的增强现实气泡ARB的名称。用户U可以选择若干被显示的增强现实气泡并输入对应的用户命令以选择所需或所期望的增强现实气泡。

在进一步的步骤S3中，查询客户端设备3可以从服务器4的数据库6中加载诸如SLAM图之类的精确局部图，以及用于每个被选择的增强现实气泡的一组注释。

在进一步的步骤S4中，使用相应的增强现实气泡的加载的精确局部图，在被选择的增强现实气泡ARB内执行对客户端设备3的准确跟踪，以在被跟踪的客户端设备3的精准位置处经由用户界面11提供在增强现实AR中的注释。

在可能的实现中，用户U可以在其客户端设备3上激活查找气泡功能性。然后，客户端设备3确定客户端设备的大致地理位置，并自动向服务器4供应对应的查询Q，以在相应的确定的地理位置（客户端设备3的大致位置）处找到增强现实气泡ARB。如果在地理位置的准确度范围内有一个以上的可能的增强现实气泡ARB，则客户端设备3可以提示用户U将客户端设备3的相机7指向容易标识的气泡标识标签，诸如文本片（例如带有房间号的标牌）、条形码（例如机器序列号标签）或环境的其他任何区分的视觉高级特征，诸如示出诸如切成片的橙子之类的特定图片的墙上海报。在可能的实施例中，客户端设备3然后可以将所捕获的图像发送到服务器4用于进行图像处理，以提供对基于原始地理位置的查询Q的细化。服务器4可以例如从接收到的图像中提取文本，例如提取作为房间号的房间33.464、针对条形码的123472345或“橙子”。在替代实施例中，图像识别也可以由客户端设备3的处理单元9执行。在可能的实施例中，客户端设备的环境的图像和/或声音可以由客户端设备3的传感器捕获，并通过标签识别算法或者通过经训练的神经网络来处理，以对它们进行分类并提取用于与存储在数据库6中的预定义气泡标识标签相比较的标签。从被提取的标签中，可以将潜在的或可用增强现实气泡的较短候选列表CL返回到查询客户端设备3。然后，客户端设备3可以经由其用户界面11向用户U预发送可能的增强现实气泡的候选列表CL以及相应的增强现实气泡的用户友好的名称，并且潜在地标识图片。然后，用户U可以经由用户界面11选择输入用户命令的增强现实气泡。可以通过使用被提取的标签进行自动选择来辅助选择过程。在从可用增强现实气泡的检索到的候选列表CL中选择了一个或多个增强现实气泡ARB之后，由客户端设备3从服务器4中自动加载针对每个被选择的增强现实气泡ARB的局部精确图以及用于每个被选择的增强现实气泡的一组注释。下载的精确局部图（诸如SLAM图）和关联的注释可以被存储在客户端设备3的本地存储器中。在下载了精确局部图之后，客户端设备3可以使用所加载的局部图在被选择的增强现实气泡内被自动且准确地跟踪，并在被跟踪的客户端设备的精准位置处提供在增强现实中的注释。

在可能的实施例中，如果在用户的客户端设备3的区域中没有找到增强现实气泡ARB，则用户有可能创建新的增强现实气泡。如果已经存在其他ARB，则用户U也有可能添加附加的ARB。例如，客户端设备3可以经由用户界面11提示用户U在当前位置处生成增强现实气泡。用户U可以经由增强现实客户端设备3的用户界面11激活新的气泡功能性。在第一步骤中，客户端设备3借助于其地理位置检测单元12确定其当前地理位置，即大致方位，以便在所确定的地理位置足够准确来创建增强的现实气泡的情况下向用户U提供反馈。然后，客户端设备3提示用户U在客户端设备的环境内拍摄视觉上有趣的元素或对象的照片或图像，诸如房间名称、标签或序列号、海报等，其可以被用来帮助以后消除不同增强现实气泡的歧义。客户端设备3还可以提示用户U拍摄要被呈现给平台的其他用户的增强现实气泡的一些概览照片。创建增强现实气泡的用户可以输入要被创建的增强现实气泡ARB的唯一的用户友好的名称。然后，用户U可以在增强现实气泡的区域中走来走去，给增强现实客户端设备3充足的机会来创建该区域的详细局部特征图或SLAM图。当客户端设备3创建了足够详细的局部特征图时，它通知用户U并且将增强现实气泡ARB的局部详细特征图（SLAM图）和所有其他相关数据上载到服务器4，该服务器4将数据存储在数据库6中。对于每个被创建的增强现实气泡，数据库6可以存储对应的数据集，包括增强现实气泡名称、包括全局坐标系的局部坐标在内的增强现实气泡的锚点、精确的局部空间图（SLAM图）、可以被用于自动标识被创建的增强现实气泡的气泡标识标签以及与被创建的增强现实气泡相关的注释。

增强现实客户端设备3可以通过选择“添加注释”功能性来让用户U从被创建的或已经存在的增强现实气泡中创建新内容。这可以很简单，如点击用户界面11的屏幕或简单向客户端设备3的麦克风8讲话。新的文本的、声学的或视觉的注释被存储在增强现实气泡ARB的数据集中。

用户U可以查看来自不同逻辑数字层L的内容。在可能的实施例中，一旦用户U已经从候选列表CL中选择了增强现实气泡ARB，则用户U可以查看在被选择的增强现实气泡ARB中可用的不同层L的内容。例如，手动或自动选择的名称为“机器房间33”的增强现实气泡可能具有“构建结构”、“机器调试”，“机器操作”和“机器维护”逻辑层L。例如，特定用户U可能仅被授权查看和编辑“机器调试”、“机器操作”和“机器维护”层，而未被授权查看和编辑“构建结构”层。然后，用户U可以选择他希望只查看“机器维护”和“机器调试”层L。在一种实现中，当对于不同的层L，注释不同时，可以在不同的层L中选择相同的增强现实气泡ARB（ARB-层L-注释）。在另一种实现中，提供了一种附加结构，其中用户首先要选择层L，然后获取该层L中具有注释的增强现实气泡ARB，以用于选择增强现实气泡（ARB）（层L-ARB-注释）。例如，如果用户U选择层“维护”，则他可以具有唯一一组的ARB和特定于层的注释对象（诸如特定3D对象）库。

一旦用户U已经选择了至少一个数字逻辑层L，用户U就可以查看由他或其他用户U在相应的层L中创建的内容，特别是注释。为此，用户U可以利用他的增强现实客户端设备3环顾四周。被选择的增强现实气泡ARB和被选择的数字层L中的所有注释借助于用户客户端设备3的用户界面11而被可视化地呈现给用户U。例如，通过轻扣、轻敲或注视所显示的注释，用户U可以查看或听到关于特定注释的附加信息，例如可以向用户U播放影片注释。

在可能的实施例中，客户端设备3可以包括用于确保新信息被添加到正确的数字层L的机制。该机制可以让用户U选择用户U当前正在编辑“机器调试”还是“机器维护”层L。或者，该机制可以首先将所有注释添加到“我的新注释”层L，然后提供将注释移动到其他不同的数字层L的可能性。

用户U还可以将实况注释添加到增强现实气泡中。例如，在可以由智能手机形成的增强现实客户端设备3上，用户U可以从附近机器或对象内的传感器创建信息图表（在已经由某个网络或云连接建立了与该机器的连接之后）。一旦用户U已经创建了该图表，用户U就可以在增强现实气泡ARB中将所创建的图表作为实况注释进行共享。以后，其他用户U可以在同一地点看到所创建的图表，但具有更多当前数据。因此，增强现实气泡ARB的注释既可以包括静态注释，也可以包括实况动态注释，其包括链接，即，到提供包括数据流（特别是传感器数据流）的动态实况注释的数据源的数据链接。

用户U也可以创建新的附加层L，为其给予唯一的名称，诸如“维护提示”。用户客户端设备3可以向服务器4查询可用于另一个增强现实气泡的现有数字层L的名称。如果所期望的层L还不存在，则用户U可以创建新的数字层L。

客户端设备3的用户U具有与平台或系统1的其他用户共享内容的可能性。客户端设备3提供用户界面11，该用户界面11可以向用户U提供选项以与平台的其他用户共享用户已经在特定增强现实气泡中创建的层L。取决于角色管理系统的详细信息（其可以基于用户群组），例如，所有维护员工都可以访问所有增强现实气泡中的维护层L。此外，用户U可以包括针对不同逻辑层L的不同访问权限。访问权限可以针对跨所有增强现实气泡的整个数字层L而被定义，或者访问权限可以特定于单个增强现实气泡。这个概念实现了具有为特定主题提供内容的特定兴趣群组的人群创建，这些特定主题向所有人开放或者针对修改具有有限访问。除了增强现实设备3之外，如图1中所例示的系统1还可以包括其他包括非AR设备的设备。这些非AR客户端设备可以包括例如计算机或个人计算机，它们让用户执行诸如权限管理或批量数据导入之类的管理任务。它还可以包括：诸如从BIM/GIS系统将数据放置在特定的地理位置或从CAD模型导入数据。

系统1允许基于诸如MindSphere和SCADA系统之类的IoT平台的其他自动内容创建和更新。例如利用显示例如来自SCADA系统或IoT平台（诸如Mind-Sphere）的数据的实况注释，增强现实气泡的内容可能会实时地改变。

图3示出了用于例示出由用户从诸如图1中所例示的平台检索包括注释的内容的信令图。正如可以看出的，用户可以借助于诸如用户界面11之类的用户界面UI来输入查询Q。客户端设备3可以将输入的查询Q转发到服务器4的搜索引擎（SE）5，以检索可用增强现实气泡ARB的候选列表CL，如图3中所示。可用增强现实气泡的候选列表CL经由云网络2而被返回到查询客户端设备3，如图3中所例示。可用增强现实气泡的候选列表CL可以经由用户界面11而被显示给用户U以进行手动选择。用户U可以通过输入对应的选择命令（SEL CMD）来选择一个或多个可用增强现实气泡。例如，用户U可以按下可用增强现实气泡的显示名称。可替代地，还可以基于被提取的标签与预定义气泡标识标签相比较，自动或半自动地执行候选列表CL的相关增强现实气泡的选择。至少一个被选择的增强现实气泡（sel ARB）被返回到搜索引擎（SE）5，搜索引擎5为被选择的增强现实气泡检索精确局部特征图（SLAM图），该精确局部特征图具有针对相应增强现实气泡的一组相关注释。该精确局部特征图（LMAP）和该组注释ANN被返回到查询客户端设备3，如图3中所示。然后，使用增强现实气泡ARB的所下载的精确局部特征图（LMAP）来执行在被选择的增强现实气泡内的客户端设备3的准确跟踪（TRA），以在被跟踪的客户端设备3的精准位置处提供在增强现实AR中的注释ANN。

图4示意性地示出了用于例示出根据本发明的方法和装置的操作的用例。在所例示的用例中，携带客户端设备3的用户U在房间R0处进入建筑物。客户端设备3包括诸如GPS接收机之类的地理位置确定单元，其允许在进入建筑物之前确定设备3的大致地理位置。基于客户端设备3的大致地理位置（大致GL），响应于查询Q，用户U的客户端设备3获取针对相应位置和/或针对任何对象的可用增强现实气泡ARB的候选列表CL。可用增强现实气泡的检索到的候选列表CL包括可以基于关于用户U的用户信息数据（尤其是访问权限和/或用户U要执行的任务）而预先选择或过滤的大致地理位置附近的增强现实气泡。当在房间R0处已经进入建筑物时，用户U在所例示的示例性用例中扫描房间R1前面的环境，其中可以附着预定义气泡标识标签BIT，示出了房间R1的房间号。从客户端设备3的用户界面11的显示中，用户U可以看到针对建筑物的不同房间R1、R2、R3的可用增强现实气泡的列表，诸如ARB-R1、ARB-R2和ARB-R3。不同的ARB可以重叠或也可以不重叠。一般来说，ARB球体的边界将不会精确对准（如图4中所示），而是将会重叠或将被分开放置。用户U可以在房间的入口处扫描气泡标识标签BIT以执行对最相关的增强现实气泡的自动选择。在给定的示例中，基于被提取的标签和预定义气泡标识标签来自动选择第一房间R1的增强现实气泡（ARB-R1）。只要增强现实气泡ARB已被自动选择或响应于用户命令而被选择，精确局部特征图（SLAM图）以及一组注释ANN便被下载到用户U的客户端设备3。用户U进入房间R1，并且使用所下载的精确局部特征图（SLAM图）来自动且精确地跟踪用户U及其客户端设备3在增强现实气泡ARB-R1内的移动，以在被跟踪的客户端设备3的精准的当前位置处提供在增强现实中的注释ANN。在图4所例示的示例中，用户U的客户端设备3首先被移动或携带到对象0BJ

图5例示出了其中可以实现根据本发明的方法和系统1的另外用例。在图5例示的示例中，第一增强现实气泡ARB与固定对象（诸如火车站）相关，而另一个增强现实气泡ARB与移动对象（诸如进入火车站TR-S的或停留得靠近火车站的火车）相关。具有客户端设备3的停留得靠近火车TR的用户U可以获取两个增强现实气泡的增强现实内容，即火车站TR-S的增强现实气泡ARB和停留在火车站的火车TR的增强现实气泡ARB。例如，可以通知用户U：哪个列车TR当前在哪个火车站TR-S中等待。

根据本发明的系统1的增强现实气泡ARB是围绕特定物理位置和/或物理对象具有预定尺寸（例如，大致10米宽）的空间区域（室内或室外）。该对象OBJ可以是诸如火车站TR-S之类的静态对象，也可以是诸如火车TR之类的移动对象。另一个示例可以包括用于使铁路电气化的变电站建筑物、沿着铁路轨道安装或将要安装的电线杆（在将来的位置）、天然气发电厂内的燃气轮机、用于石油和天然气运输的泵站。增强现实气泡ARB包含一组注释ANN，其通常指的是增强现实气泡球体内的真实世界对象。与增强现实气泡ARB的位置和/或对象相关的注释ANN可以由用户U借助于相应用户的客户端设备3的用户界面UI来创建和/或编辑和/或指派给特定的数字层L。对象OBJ可以包括物理对象，该物理对象包括位于真实世界环境中的固定位置处的不动对象或在真实世界环境中可移动且具有可变位置的移动对象。对在被选择的增强现实气泡ARB的球体内的客户端设备3（具有相应的增强现实气泡的所下载的精确局部特征图）的准确跟踪可以在优选实施例中基于从客户端设备3的传感器所捕获的图像和/或声音中提取的低级别特征。这些低级别特征可以例如是对象表面的特征和/或诸如对象的边缘或线之类的几何特征。注释ANN可以由用户U创建，并且可以包括例如三维模型、动画、说明文档、照片或视频。注释ANN还可以包括到实况数据源（诸如传感器，特别是工厂内的机器的传感器）的数据链接。根据本发明的系统1提供了从基于地理位置的粗略不准确跟踪到基于所下载的精确局部特征图（特别是SLAM图）的精确局部跟踪的转变。系统1提供可缩放数据存储以供多个用户U同时编辑。系统1允许通过执行地理参考的全息图到后端和/或基于浏览器的系统的图中的拖放操作来放置该全息图。系统1提供了将IoT平台数据集成到地理参考的增强现实内容中，从而实现了实时状态更新以及数据或数据流的可视化（实况注释）。根据本发明的系统1使用SLAM图来将粗略的全局跟踪（诸如在GPS坐标基础上的跟踪）与强大的精确跟踪客户端设备相结合。它进一步允许与地理参考的增强现实气泡ARB相关的注释ANN的现场创作，以及增强现实内容的调整。根据本发明的系统1提供精确和精准的注释并且可以采用层概念。根据本发明的方法和系统1可以被用于私人消费者目的以及用于工业应用。与当前的常规地理参考的平台选项相比，根据本发明的系统1提供了更精确的并且提供了更多的特征，如后端和现场创作、工业IoT集成、实时更新和修改。在根据本发明的系统1的可能变体中，增强现实气泡ARB不是基于地理位置，而是围绕特定的几何可识别对象，该对象可以在固定位置处，但是也可以在真实世界环境中是可移动的。具有固定位置的对象OBJ的示例是生产机器或工厂内的任何种类的机器。可移动对象的示例例如是火车的机车。在可能的实施例中，系统1包括支持（例如，如ARKit 2中可用的）某种形式的对象识别和跟踪的增强现实客户端设备3。就像用于地理参考的增强现实气泡的SLAM世界图被存储在服务器4的数据库6中一样，对象的视觉和几何描述（对象跟踪描述）也可以被存储在服务器4的数据库6中。

增强现实客户端设备3可以执行来自相机图像的基于图像的搜索，以标识哪些相关对象在相机7的视场FoV中，然后可以从系统1的服务器4加载跟踪描述，而不是基于GPS查询和地理位置来对潜在匹配的增强现实气泡执行初始搜索。

如果可以获得关于在何处可以找到哪些对象OBJ的附加信息，则可以使此方法更有效。例如，如果存在跟踪哪个机车在哪个GPS位置的系统，那么基于不准确地理位置（GPS位置）的对服务器4的初始查询Q不仅将返回针对地理增强现实气泡ARB的SLAM图，而且还返回对当前在指定区域中的移动对象的机车的对象跟踪描述。

在可能的实施例中，用户U然后可以能够同时查看和编辑属于不同增强现实气泡ARB的数字层L，就像针对单个增强现实气泡显示不同层一样。例如，用户U可以同时看到与火车轨道相关的注释ANN和与移动对象（机车）相关的注释ANN。

如果对象正在移动并且例如被GPS传感器跟踪，那么其基于对象的增强现实气泡ARB会与移动的对象一起移动。针对这种移动对象的应用示例包括工厂中的全部或部分自动驾驶汽车，其经由注释（AR全息图、符号、文本或图形）告知其当前的工作指令或工作活动。此外，他们可以指示：他们关于其目标目的地针对额外乘客还有余地，或者可以提供有关社会和/或工业问题的信息。

火车站TR-S中的入站火车TR可以向用户提供有关其路线、时间调度和连接选项的增强现实注释。

用户也可以向其他用户提供信息。例如，建筑工人可以将其团队成员和当前工作流程的状态告知另一用户U。例如，外部站点访问者可以在关于其社会地位和关注的社交背景中向用户U告知他们对工业工厂或站点的访问权限。

在根据本发明的系统1的另一可能的实施例中，对象类型气泡和对象实例气泡可以被提供。在该实施例中，存在基于对象类型（例如，所有Vectron机车）和基于特定对象实例（例如，机车号12345）的增强现实气泡ARB。来自这两种增强现实气泡的信息或注释可以同时被显示在不同的逻辑层L上。这对于在一般维修说明和特定维修历史之间进行区分尤其有用。

根据本发明的系统1还可以包括数字层L，其不被构造为增强现实气泡，而是仅处理来自地理系统的数据，而其他逻辑层L被构造为增强现实气泡。此外，增强现实气泡ARB可以根本不被构造为数字层L，而仅使所有的增强现实注释都在平坦结构中。

系统1的另一变体包括在虚拟现实VR中或在3D建模程序中远程创建内容并且将该内容虚拟地放置在三维空间中的可能性。其他变体可以包括集成VR和/或AR选项。例如，一种选项是去往VR设备中的任何GPS位置并在VR中完全显示增强现实气泡ARB内容，从而增加视图和可能的观看选项。当客户端设备3融合VR和AR并能够同时处理两者时，此应用可能最为相关。

根据本发明的系统1可以与其他创作系统集成。这允许通过在已建立的设计工具或数据库（诸如NX工具或Teamcenter）内创作内容来自动创建和更新地理参考的增强现实内容。

此外，利用根据本发明的系统1，可以包括创新的可视化，诸如例如对后端服务器中的CAD模型提供特定访问的全息图的X射线特征。可以提供用于现场选择层L的直观显示模式，诸如虚拟游戏卡堆栈。根据本发明的系统1可以与被用于数字服务和数字调试的其他系统组合。为了收集数据的可视化选项，它还可以与IoT平台上的诸如MindSphere之类的销售系统组合。根据本发明的增强现实平台可以被集成到人工智能和分析应用中。例如，可以通过考虑电气系统中的电压水平或给定储罐中的压力来定义安全区域。增强现实气泡ARB可以包括与房间或区域的大小大致对应的大小或直径，例如，大致10米的直径。增强现实气泡ARB的大小对应于所下载的准确局部特征图的大小（文件大小），从而覆盖了相应的区间或区域。在可能的实施例中，增强现实气泡ARB的球体还在增强现实AR中经由用户界面11的显示器被显示给用户U。因此，用户U有可能看到他何时从一个增强现实气泡移动到另一个增强现实气泡。在另一个实施例中，用户U可以无缝地从一个ARB到下一ARB，而无需注意他已经从第一ARB改变为第二ARB。

ARB的元数据也可以被显示（例如，创建时间、创建ARB的用户等）。

根据本发明的方法和系统1提供了广泛可能的用例。例如，可以在调试、服务和维护活动期间预先提供和/或永久地注释机器调试、服务和维护相关的信息，如材料的类型、参数等。

此外，通过将三维模型和信息与地理参考的数据相组合，可以在设计过程期间实时地在其后期位置上数字地构建施工工地。这能够改善现场设计和计划讨论、安装的验证、碰撞检测以及在施工和/或安装期间提高效率。

根据本发明的系统1提供了容易的操作。例如，来自机器的实况数据馈送可以被提供和集成。经由增强现实AR，可以随时随地以任何所需的形式使MindSphere数据的图表可获得。

此外，安全相关的特征和区域可以被提供。根据（例如 MindSphere和/或SCADA系统的）性能数据实时提供更新是可能的。