景观和地下基础设施的增强查看

摘要

景观和地下基础设施的增强查看。本发明涉及提供真实世界景观和被遮盖的地下基础设施(6)的增强视图(11)。由具有图像传感器的摄像头(2)拍摄图像(8)，并提供包括摄像头位置和摄像头方位的图像基准信息。根据地下基础设施(6)的三维信息(9)通过使用基准信息在图像传感器上二维投影。将地下基础设施(6)的锚元素(7)的在至少一个图像(8)上可见的投影位置(7b')与锚元素(7)的图像位置(7a')进行比较。补偿图像位置(7a')和投影位置(7b')之间的差异(10)，以对根据地下基础设施(6)的三维信息(9)得到的二维投影与至少一个图像(8)进行匹配和叠加，从而提供改进的增强视图(11)。

说明书

技术领域

本发明总体上涉及用于得到地下基础设施的增强视图的方法以及移动增强现实查看装置和计算机程序产品。

背景技术

本发明涉及至少部分隐藏在固体表面之下的结构的确定。特别地，本发明涉及在增强现实(AR)视图中将不透明表面下方的结构可视化。这种地下结构例如可以是管道、线缆、管子、通道、隧道、通风口、连接器、掩体或其他地下建筑工程。

在穿过不透明的表面工作时，经常会遇到以下问题：隐藏结构的哪一部分可能被击中。不仅在检查或维修地下公用设施(例如破裂的、腐蚀的、磨损的或泄漏的管道或电线)时，而且在规划和添加新的或附加的公用设施时。另外，当完成一般的建筑工作时，必须在要进行的操作之前检查并核实工作场所相对于地下设施的占用和/或许可。例如，必须得到在哪些地方在需要谨慎。另一个问题是地下设施是否带电，是否有孤立的结构可以被破坏而没有任何伤害，在工作前必须关闭哪些地下结构以及在何处以及如何关闭它们等。这些需要不仅来自于异地规划，也来自在工作之前和/或期间在工作现场。

虽然可以获取规划或地图数据，和/或可以通过诸如线缆探测器、线缆定位器、线缆示踪器、电缆回避工具(CAT)、穿透雷达、金属探测器、声纳等探测装置得到此类数据，这种现有数据往往难以在现场读取，并且经常需要使用测量设备将规划在空间上参照于真实世界。

近来，所谓的增强现实(AR)技术被用于这样做。其中，例如由2D或3D摄像头或透视型装置拍摄的真实世界的实际视图用由计算机生成的图形和渲染进行可视地叠加，以通过其他虚拟信息来增强真实世界的视图。计算框架和软件开发工具包(SDK)例如“ARKit”、“ARCore”、“Wikitude”、“Vuforia”、“ARToolKit”等提供了广泛的基本功能，使能够用于本发明的AR-views例如在智能手机、平板电脑、虚拟现实眼镜、头戴式显示器(HMD)、平视显示器(HUD)、眼镜摄录机(EyeTaps)等移动装置上实现。

移动装置包括用于得到空间中的位置和方位的一种或更多种运动跟踪技术，如全球导航卫星系统(GNSS)(例如卫星导航系统GPS)加速度计、陀螺仪或固态罗盘。

例如，静止图像，实况视频或图像流被摄像头拍摄，在其环境中被空间参照，并且被经虚拟渲染的对象叠加在视频或图像上面。例如，WO2018/160921提到了生成材料移动机器、虚拟沟槽和地下特征的实现的叠合图像。在挖掘机领域，对覆盖精度的要求远低于其他领域。因此，所公开的技术方案限于挖掘机领域。

US2014/210856A1公开了用例如管道或导管这样的内部元素的3D数字模型的图像叠加于墙壁或天花板的图像。必须将标记放置在墙壁或天花板的外部元素上的预定坐标处。图像上的标记允许图像和3D数字模型的精确叠加。在许多应用中，在墙壁或天花板上放置标记的需求是不可接受的，并且非常耗时。

发明内容

因此，本发明的目的是找到无需施加标记即可精确覆盖图像和3D数字模型的解决方案。

本发明的提供真实世界景观和被遮盖的地下基础设施的增强视图包括：

由具有图像传感器的摄像头拍摄真实世界景观的至少一个图像，

向至少一个图像提供图像基准信息，其中，图像基准信息包括当拍摄至少一个图像时在真实世界景观中的摄像头位置和摄像头方向，以及可选地还包括表征光学中心和焦距的摄像头内部参数(作为没有此类内部参数的另选，则选择迭代方案，例如，将图像偏移一些像素直到契合)，

提供地下基础设施的三维信息，

根据地下基础设施的三维信息得到图像传感器处的二维投影，其中，二维投影是通过使用至少一个图像的图像基准信息进行的，并且

将地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素的二维投影的投影位置与同一锚元素在至少一个图像上的图像位置进行比较，以及

使用同一锚元素的来自该比较的图像位置与投影位置之间的差异，以将根据地下基础设施的三维信息得到的二维投影与至少一个图像进行匹配和叠加，从而提供增强视图。

可以通过方法、移动装置或计算机程序产品的形式来实现本发明的解决方案。

真实世界景观和被遮盖的地下基础设施的叠加图像的增强查看适用于拍摄图像的摄像头的定位良好和较差的区域。例如，在GNSS信号接收受限的区域或室内环境中，相对于地下基础设施的地理基准3D模型而确定的位置可能不准确。这会导致叠加信息与摄像头拍摄的现场取景图像之间出现偏差。

可以根据诸如导航卫星系统(GPS)的导航系统和/或基站导航和/或加速度计和/或导航系统和/或陀螺仪和/或惯性测量单元(IMU)和/或固态罗盘和/或运动结构单元和/或束调整单元和/或同时定位和地图绘制(SLAM)和/或使用具有已定义的空间位置的现有基准点的空间基准识别单元的数据得出真实世界景观中的摄像头位置和/或摄像头方位。

根据本发明，通过得到地下基础设施的地理参考3D模型的可见锚元素的位置和/或方向信息，可以减少或防止由于不正确的摄像头位置和方位信息而导致的未对准。地下基础设施例如下水道或电气装置具有连接锚元素，例如如果是下水道则是窨井，如果是电气装置，则是电源插座和电灯开关，这些在真实世界的图像中可见。可以在摄像头拍摄的至少一个图像上以及在具有地理基准的3D模型中找到此类可见元素。这些可见元素称为锚元素。其中的锚元素还可以从图像中包含的其他可见结构中选择，并且在基础设施的具有地理基准的3D模型中可用，而不一定只是在AR视图中实际显示的结构元素。例如，当两者的具有地理基准的3D数据可用时，一个或更多个下水道窨井可以用作例如用于示出地下燃气管道的锚，虽然在AR视图中根本没有示出下水道系统，或者仅示出了下水道系统的锚元素。

地下基础设施的三维信息到摄像头的图像传感器的二维投影特别是虚拟投影是根据当前摄像头位置和方位信息以及摄像头的内部参数，例如，表征摄像头的光学中心、焦距、图像变形等来进行的。如果现有的摄像头位置和方位信息不准确，则地下基础设施在图像传感器上的二维投影中的锚元素将具有与摄像头拍摄的图像中锚元素的位置和/或方位不同的位置和/或方位。

根据本发明，通过将地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素的二维投影的投影位置和同一锚元素在至少一个图像上的图像位置进行比较，防止了增强视图与图像和叠加的地下基础设施错位。对同一锚元素的图像位置和投影位置之间的差异进行布行，以使根据地下基础设施的三维信息得到的二维投影与至少一个图像匹配并叠加，从而提供改进的增强视图。因此，增强视图被配置为为一个或更多个锚元素以及因此为混合现实视图中所有增强的地下基础结构提供图像和投影在空间上正确匹配的对准。优选地，其在增强视图被提供的同时基本上实时地进行，以使得匹配保持稳定，而且在AR查看装置移动时和/或当装置的位置和/或方位传感器漂移时也是如此。

本发明的解决方案允许在不花费时间将标记放置在真实世界景观中的选定位置处的情况下改善增强视图。

在优选实施方式中，地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素按照使得锚元素可以独立于其施工状态而被分配给锚元素类别的方式被分配给多个预先定义的锚元素类别中的具有对应位置和形状特征的锚元素类别。预先定义的锚元素类别允许进行在地下基础设施的图像和/或二维投影中发现锚元素的识别过程，无论实际上处于哪种施工进度或开发状态。换句话说，可以在早期增量(例如只是安装的插座)、处于最终完成状态(安装完成)或在其间某处，将锚对象鲁棒地或可靠地识别或检测为特定的锚对象类型。该识别和发现是由人工智能系统中的识别器和/或分类器自动建立的，其例如包括机器学习神经网络。其中用于发现和/或分类的起点可以根据地下基础设施的三维信息(分别其附近的二维投影)得到。在实施方式中，锚元素的位置、类别和/或形状可以直接根据地下基础设施的三维信息在投影过程中得到，但是在另一实施方式中，用于识别和/或发现锚元素的(优选地基本上相同的)例程可以应用于图像和二维投影两者。锚元素在图像或二维投影上的大小和形式依赖于摄像头的位置。利用包括不同比例和/或不同投影的形状信息在内的形状特征，可以改进识别锚元素并将锚元素分配给预先定义的锚元素类别中的一个锚元素类别。

预先定义的锚元素类别中的至少一个锚元素类别的位置和形状特征可以包括中心位置和形状信息，其中，形状信息可以例如包括位于锚元素的周线上的至少一个点。形状信息还可以包括周线的一段或闭合周线。可以将与在地下基础设施的图像和/或二维投影中找到的锚元素相对应的预先定义的锚元素类别的位置和形状特征调节为所发现的锚元素的大小，优选地调节为所发现的锚元素透视失真，使得可以为图像和二维投影得到所发现的锚元素的位置。

在优选实施方式中，预先定义的锚元素类别中的至少一个锚元素类别的位置和形状特征至少包括关于穿过中心位置并指示预先定义的锚元素的最大延伸量的轴线的信息。关于最大延伸方向的该信息允许确定相应的锚元素在图像和/或地下基础设施的投影上的方位。

优选实施方式使用分配给至少一个锚元素的位置和形状特征来分别确定至少一个锚元素在图像传感器的二维投影上的投影位置和/或投影定向以及至少一个图像上的图像位置和/或图像定向。如果图像位置和投影位置之间的差异和/或图像方位和投影方位之间的差异在预先定义的最大差异之下，则使用图像位置和投影位置之间的差异和/或图像方位和投影方位之间的差异来提供匹配的二维投影。仅针对低于预先定义的最大差异的差异应用匹配阻止了与不同锚元素的匹配，而其有可能会导致错误的匹配。

在简单的实施方式中，将根据地下基础设施的三维信息得到的二维投影与至少一个图像进行匹配和叠加从而提供改进的增强视图包括依照所得到的位置和/或方位差异对根据地下基础设施的三维信息得到的二维投影进行平移和/或旋转，可选地还缩放。

在另一实施方式中，将根据地下基础设施的三维信息得到的二维投影与至少一个图像匹配并叠加从而提供改进的增强视图包括通过基于同一锚元素的图像位置和/或方位与投影位置和/或方位之间的差异调节真实世界景观的图像基准信息中的位置摄像头位置和/或摄像头方位，并且根据地下基础设施的三维信息得到(具体地计算出或渲染出)从与摄像头的图像传感器相同的视点出发并且优选地具有相同视场和成像特性的二维投影，来改善至少一个图像的图像基准信息。其中，二维投影是通过使用至少一个图像的改进的图像基准信息或通过使用摄像头的改进位置和/或方位(分别由差异得到)来进行的。

移动增强现实查看装置和具有存储在机器可读介质上或实现为电磁波的程序代码的计算机程序产品可以被配置为执行根据本发明的方法的所描述的实施方式。

在提供图像基准信息时，例如对所显示的真实世界景观进行定位，可以包括得到针对图像的视场的空间基准信息，具体地分别得到图像或摄像头的六个自由度的空间基准信息。空间基准信息可以包括来自惯性测量单元(IMU)、来自诸如本地和/或全球导航卫星系统(GPS)这样的导航系统、来自基站导航和/或同时定位和地图绘制(SLAM)单元的数据。

如果没有导航系统可用，则空间基准信息将优选地通过视觉SLAM方法来得到。视觉SLAM允许构造或更新未知环境的地图，同时跟踪摄像头单元在其中的位置和方位。空间基准信息允许得到针对摄像头图像的视场的位置信息。视觉SLAM(VSLAM)正在评估来自摄像头的图像。

查看装置还可以包括深度摄像头，例如飞行时间摄像头、立体摄像头、距离图像摄像头、激光扫描单元、结构化光3D扫描器等。除上面提到的主视图摄像头外，还可以有其他辅助摄像头，其从观察装置向外指向以覆盖操作员周围的最大区域，例如在头戴式显示器(HMD)处。得到位置信息可以具体地包括多个这样的传感器的传感器融合，其可以被配置为得到位置或导航信息，例如还克服多个传感器中的一个或更多个传感器被阻挡或数据不充足的情况。可以例如通过增强现实工具箱的计算框架来提供空间基准、图像处理和/或IMU评估。

在提供三维信息时，例如地下基础设施的地理空间信息可以从存储器中获取，例如从地下基础设施数据库、BIM数据库或地理空间数据库中获取，例如经由开放地理空间联盟(OGC)、Web地图服务(WMS)、Web功能服务(WFS)、Web覆盖服务(WGS)或其他服务，优选地通过无线联网接口在线得到或从本地存储单元得到。然后，根据本发明的方法以与来自摄像头的图像的视场相同的虚拟视场和视角来计算地下基础设施的投影。

结合了来自摄像头的图像和地下基础设施的投影的增强视图可以由二维或三维或立体视觉单元来显示。

本发明优选地被配置为自适应AR视图，其是基于视频流的当前真实世界图像而在现场或实时渲染的。其中提供了摄像头环回功能，其中使用了来自真实世界摄像头图像的视频反馈。

视觉效果可以应用于地下基础设施的投影，以改善对增强现实视图的识别。例如，地下结构可以被显示成像在玻璃盖下面看到，使得地下结构对于用户是可见的，但是同时用户看到覆盖地下结构的表面。换句话说，覆盖地下结构的表面变成虚拟玻璃或磨砂玻璃盖。例如，地下结构的投影可以以渐隐和/或滤色、半透明的形式叠加于来自摄像头的图像的至少一部分。

实时的逐帧处理可以实际提供增强视图。太阳或光照条件可能会迅速变化，因此系统需要实时进行大量调整以保持逼真的效果，例如，当云在太阳前移动时、当树的叶子提供地面上的复杂且不断移动的阴影图案时等。

在图像中可见的地下基础设施的特征可以由计算单元根据地下基础设施的信息中自动检测、识别并与相应特征匹配。

本发明的实施方式被配置为将地下基础设施的锚元素与图像上的相应锚元素在空间上对准。例如，这样的图像处理还可以包括特定的对象检测算法，该特定的对象检测算法被配置为检测地下公共设施类的语义对象的实例，例如使用对真实世界和/或仿真的图像数据进行了训练的机器学习的算法，例如语义软分割(Semantic Soft Segmentaion)等。

例如，可以在真实世界图像中检测和识别地下基础设施的位于表面或表面前面的特征或部分，诸如沟渠盖、消防栓、灯柱、接线盒、导管盖等，并且在其在真实世界图像中的位置对其进行尺寸测绘。

指示位置(X，Y，Z)和方位(横滚，俯仰，偏航)的基准信息可以通过例如GNSS、惯性测量单元、磁力计等的传感器的融合来确定。由于这些传感器可能会遭受系统误差，例如GNSS多路径、大型施工机械引起的磁场变形等，所得的基准信息可能不够准确以至于无法对地下基础设施进行准确投影。

为了提高基准信息的准确性，可以将至少一个检测到的锚元素作为从摄影测量学已知的地面控制点引入到优化过程，这样可以使装置的位置和方位更加准确。换句话说，基准信息，即坐标X，Y，Z和方位角横滚、俯仰、偏航，与至少一个锚元素的图像坐标xA，yA和相应的世界坐标XA，YA，ZA融合，以计算X，Y，Z，横滚，俯仰和偏航的较准确值。在地下基础设施的投影中应用这些值可以使得在增强视图中相对于真实对象的偏差较小。

在将基准信息与锚元素相关的测量结果行融合时，可以基于相应测量结果的准确性来应用加权。

附图说明

下面仅以示例方式，参照附图中示意性示出的工作示例，更详细地描述或说明根据本发明的方法、装置和计算机程序。具体来说，

图1是戴着增强现实头盔的人站在有窨井的街道上的示意性侧视图。

图2是由增强现实头盔的摄像头拍摄的图像，在该图像中添加了地下基础设施的二维投影。

图3是图2的提取图。

图4是改进的增强视图。

图5a和图5b为AR装置和锚元素的位置的示例。

图6是对象表示和分割的示例。

图7是锚元素匹配的示例。

图8是对象分割的示例。并且

图9示出了偏移量补偿的示例。

附图的图示不应视为按比例绘制的。在适当的情况下，相同的附图标记用于相同的特征或具有相似功能的特征。附图标记的不同索引用于区分示例性示出的特征的不同实施方式。

具体实施方式

图1示出了分别具有增强现实头盔1或简称AR头盔1的人。AR头盔1包括摄像头2、显示器3和优选在摄像头处的控制单元。控制单元提供有关在真实世界景观中的摄像头位置和方位的信息。该信息来自于一种或更多种运动跟踪技术，例如全球导航卫星系统(GNSS)(例如GPS)和/或基站导航和/或加速度计和/或陀螺仪和/或惯性测量单元(IMU)和/或固态罗盘和/或动感结构单元和/或束调整单元和/或同时定位和地图绘制(SLAM)单元。

控制单元向摄像头的当前图像提供图像基准信息。图像基准信息包括在拍摄图像时在真实世界中的摄像头位置和摄像头方位以及摄像头的内部参数，例如表征光学中心、焦距和/或摄像头设置的其他成像相关参数。

摄像头2具有视场4。在所示情况下，视场4指向街道5，其中窨井是地下基础设施6的视觉部分。窨井用作地下基础设施6的锚元素7。

图2示出了由摄像头2拍摄的图像8，示出了街道5和锚元素图像7a。提供了地下基础设施6的三维信息8，例如来自离线或在线存储介质，来自GIS或BIM数据库等，例如以CAD数据的形式。在所提供的地下基础设施6的三维信息9中，向图像传感器的二维投影被添加或组合到图像8。地下基础设施6的该投影包括锚元素投影7b。将图像8和地下基础设施6的投影叠加将有可能在其中显示锚元素图像7a和锚元素投影7b的不匹配。

图3示出了图2的锚元素图像7a和锚元素投影7b。锚元素投影7b的中心是锚元素7的投影位置7b'。锚元素图像7a的中心是锚元素7的图像位置7a'。对同一锚元素7的投影位置7b'和图像位置7a'之间的位置差异10进行补偿，以将根据地下基础设施6的三维信息9得到的二维投影和图像8进行匹配和叠加。这可以包括对投影中使用的图像基准信息进行调整或校正，以补偿同一锚元素的图像位置和投影位置之间的差异，从而导致按照使锚元素在两者中均在视觉上匹配的方式对投影进行位移、旋转和/或按比例缩放。

图4示出了图像8的改进的增强视图11以及地下基础设施6的匹配的二维投影。该改进的视图11被提供在增强现实头盔1的显示器3上。在改进的增强视图上，锚元素图像7a和锚元素投影7b完美契合，因此显示了锚元素7。所示出的地下基础设施6的三维信息9的二维投影使地下基础设施6在真实世界景观中可视化。

在图5a中，示出了AR装置的位置和方位(X，Y，Z、偏航、俯仰、横滚)和第一锚元素的位置(XA1，YA1，ZA1)(在AR装置的用户的附近)以及第二锚元素(较远离用户)的位置(XA2，YA2，ZA2)，两个锚元素在该示例中均被实施为窨井盖。在图5b中，示出了具有第一锚元素的中心点的位置(xA1，yA1)和第二锚元素的中心点的位置(xA2，yA2)的对应图像视图。作为调整所有六个自由度(即X、Y、Z、横滚、俯仰和偏航)的另选，可以提高此参数的子集的精度。例如，锚元素的投影可以垂直和水平移动到图像中检测到的位置。基本上，这将对应于调整AR装置的俯仰(垂直旋转)和偏航(水平旋转)。

在图6中，上部示出了电灯开关/电源插座组合的依赖于施工进度的多种表示形式，即电灯开关/电源插座组合的依赖于施工进度的不同外观，以及在图6的下部中的相应的对象分割。可以关于所有这些变化进行训练，以独立于施工状态可靠地检测锚元素。此外，可以将检测模型与确定锚元素的准确形状的对象分割模型组合。

然后，如图7所示，可以将锚元素的形状与同一锚元素的二维锚元素投影进行匹配，在上部(从左到右)例示了步骤：7A：检测对象，步骤7B：分割对象(可选)，以及步骤7C：使用来自模型(7D)的对象形状的投影确定偏移量，以及7E：补偿偏移量(图7的左下部分)。另选地，如右下部分(7B1)所示，投影可以直接与目标检测所产生的边界框匹配，而不进行分割步骤。在两种情况下，匹配都可以基于使得投影与检测到的对象产生的多个轮廓之间的偏差最小化。

另选地，如图8所示，可以根据边界框或者根据对象分割产生的形状得到中心点，在上部(从左到右)例示了步骤8A：检测对象，步骤8B：确定中心点和步骤8C：使用基于基准信息对来自模型的对象的中心点的投影(8D)确定偏移量。因此，如图8的下部所指示，该中心点与表示三维信息的对象中心的二维锚元素投影匹配，并用于对偏移量进行补偿(8E)。

在图9中，示出了偏移量补偿的示例。在左侧图像中，显示了补偿前的增强视图，即锚对象(例如电灯开关/电源插座的组合)的偏离，并且可以观察到来自地下信息的相应锚元素的重新投影(检测到偏移箭头)。此外，隐藏的电缆也被可视化(虚线)。基于图像中检测到的电灯开关/电源插座组合与相应的二维锚元素投影的匹配，检测到偏移量，然后对其进行补偿。在右图中，示出了补偿偏移量后的增强视图：电灯开关/电源插座组合的视图与模型的中心点(黑点)匹配。