构建室内场景的光照自适应地图并用其估计未知光设置的方法和系统

摘要

本发明涉及构建室内场景的光照自适应地图并用其估计未知光设置的方法和系统。本发明涉及用于构建室内场景的光照自适应地图的计算机实现的方法，场景包括至少一个光源和至少一个表面，其中光照自适应地图基于给定的光设置调整其外观，其中光设置由每个光源的状态定义，该方法包括：获得场景的第一图像信息，其中所有光源都被导通，基于所述第一图像信息估计场景的地图，所述地图包括场景中的表面的光反射特性和辐射亮度信息，基于所估计的地图检测和分割场景中的各个光源，基于所估计的地图估计每个光源对场景的辐射亮度贡献，以及通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。

说明书

技术领域

本公开涉及图像处理领域，尤其涉及一种估计包括一个或数个可切换光源的室内场景的光设置的方法和系统。因此，光设置由场景中每个光源的状态——例如，是接通还是关断——定义。

背景技术

相机是用于各种应用中的自我运动估计的流行传感器，各种应用包括自动驾驶、虚拟现实和服务机器人。与后两者类似，这些应用中的许多应用都针对例如在灯被接通或关断时光照条件可以快速变化的室内环境。与使用其他模式或将光线主动投射到场景中(通常在红外光谱中操作)的方法相比，使用被动相机进行自我运动估计会直接受到可见光谱中光照变化的影响，因为它们可能对所得的观察结果产生重大影响。对于地图中的相机跟踪而言，这种影响的关键程度取决于光照引入的图像渐变(gradient)与反射率变化引起的渐变的比较。

在环境的高度纹理化部分，即，反射率频繁变化的区域中，大量的反射率渐变可能主导由光照引起的渐变。相比之下，投射到如地板或墙壁的无纹理区域上的阴影可能会引入唯一且因此极为有价值的渐变(特征)。这甚至对于可以附加地依赖于活动深度测量的RGB-D相机来说也是如此，因为所述区域通常不仅没有纹理，而且也不提供足够的几何特征，例如，地板和墙壁上有统一的地毯或绘画。特别是在这样的环境中，光照可以提供有价值的信息，希望将其用于视觉定位。

跟踪相机的姿态是机器人和许多其他应用中使用的视觉定位方法的核心。由于相机的观测本质上受光照影响，因此应对变化的光照条件一直是一项挑战。到目前为止，主要通过选择不随光照条件变化而变化的表示来增加鲁棒性以解决此问题，参见，例如：

M.Krawez，T.Caselitz，D.Büscher，M.Van Loock和W.Burgard，“Building densereflectance maps of indoor environments using an rgb-d camera(使用rgb-d相机构建室内环境的密集反射图)”，2018IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS，智能机器人和系统)国际会议，IEEE，2018年，第3210-3217页。

视觉定位的方法通常旨在通过依赖以光照条件不变性为目标的表示来实现鲁棒性。示例为如下的特征描述符：SIFT(参见D.G.Lowe，“Distinctive image features fromscale-invariant key-points(来自尺度不变关键点的独特图像特征)”，《Internationaljournal of computer vision(国际计算机视觉杂志)》，2004年，第60卷，第2期，第91-110页)或ORB(参见E.Rublee，V.Rabaud，K.Konolige和G.R.Bradski，“Orb:An efficientalternative to sift or surf.(Orb:sift或surf的有效替代)”ICCV，Citeseer，2011年，第11卷，第1期，第2页)。SIFT和ORB执行亮度标准化，不幸的是，这只能产生对适度照明变化的鲁棒性。在时间光照变化较大的场景中，大多数标准描述符的匹配质量会降低。

代替以照明不变性为目标，另一个想法是存储观察到的多个外观。Churchill和Newman提出了一种视觉定位方法，它为不同的场景外观维护同一位置的多个特征地图，参见：

W.Churchill和P.Newman，“Experience-based navigation for long-termlocalisation(用于长期定位的基于经验的导航)”，《The International Journal ofRobotics Research(国际机器人研究杂志)》，2013年，第32卷，第14期，第1645-1661页。

基于深度学习的方法已经证明，在训练数据中有足够的方差时，能够实现对光照变化的鲁棒性，并且该方法已用于重新定位目的，参见：

A.Kendall，M.Grimes和R.Cipolla，“Posenet:A convolutional network forreal-time 6-dof camera relocalization(Posenet:用于实时6-dof相机重新定位的卷积网络)”，《Proceedings of the IEEE international conference on computer vision(IEEE国际计算机视觉会议论文集)》，2015年，第2938-2946页。

Mashita等人将场景中的关键点与特征向量上的分布相关联，该分布表示在各种光照条件下的关键点外观，参见：

T.Mashita，A.Plopski，A.Kudo，

通过利用不同照明设置渲染场景的三维模型来计算分布参数。

对于直接法效果更好的低纹理区域的视觉定位(或里程计)而言，发现依赖于强渐变的特征也不适用。同时，它们对照明变化更敏感，因为它们直接作用于图像强度。为了解决这个问题，Clement和Kelly建议在根据关键帧映射跟踪输入图像之前，使用编码器-解码器网络将输入图像转换为规范表示，参见：

L.Clement和J.Kelly，“How to train a cat:learning canonical appearancetransformations for direct visual localization under illumination change(如何训练猫：学习照明变化下直接视觉定位的规范外观转换)”，《IEEE Robotics andAutomation Letters(IEEE机器人与自动化快报)》，2018年，第3卷，第3期，第2447-2454页。

网络会将图像重新照亮在地图构建期间出现的光照设置。

Zhang等人从RGB-D视频恢复室内环境的几何结构和漫反射率，并进一步将光源模型适配到场景中，然后用于重新照亮，参见：

E.Zhang，M.F.Cohen和B.Curless，“Emptying,refurnishing,and relightingindoor spaces(清空、重新装修和重新照亮室内空间)”，《ACM Transactions on Graphics(ACM图形学汇刊(TOG))》，2016年，第35卷，第6期。

在最近的一项研究中，

D.Azinovic，T.-M.Li，A.Kaplanyan，M.Nieβner，“Inverse path tracing forjoint material and lighting estimation(用于联合材料和光照估计的逆向路径跟踪)”，arXiv预印本，2019年，arXiv:1903.07145。

发明内容

目前，仍然需要克服上述问题，特别是提供一种对应方法和系统，用于构建室内场景的光照自适应地图(例如，虚拟模型)，该地图能够基于任何给定的光设置调整其(辐射亮度)外观。此外，仍然需要估计室内场景的光设置，该设置例如适用于变化光照条件下的相机定位。

因此，根据本公开的实施例，提供了一种用于构建室内场景的光照自适应地图(例如，室内场景的3D地图，例如网格)的计算机实现的方法。光照自适应地图基于给定的光设置适应其(辐射亮度：radiance)外观(即，光照自适应地图可以使其(辐射亮度)外观适应任何给定的光设置)，其中光设置由每个光源的状态定义。该方法包括以下步骤：

·获得场景的第一图像信息，其中所有光源都被导通，

·基于所述第一图像信息估计场景的地图，所述地图包括场景中的表面的光反射特性和辐射亮度信息，

·基于所估计的地图检测和分割场景中的各个光源，

·基于所估计的地图估计每个光源对场景的辐射亮度贡献，以及

通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。

通过提供这种方法，光照效果可以明确地用于例如相机跟踪。

此外，通过提供这种方法，可以通过对反射率地图应用光照来避免对输入图像的反射率估计的需要。此外，由于目标是明确利用光照的效果，因此没有必要抵消光照。

从第一图像信息获得的地图也可以称为辐射度(radiosity，即，辐射亮度)和/或反射率地图。如以上引用的M.Krawez等人所述，可以完成上述地图的估计。

基于反射率地图(如以上引用的M.Krawez等人所述)，提出了一种用于室内环境的光照自适应地图表示，其允许渲染由模型中包含的光源(例如，灯)的任意子集照明的场景。能够从当前观测自动检测光设置使得能够将其与相应调整的地图相匹配。结果，投射阴影不再作为干扰，而是作为可由本公开的方法直接利用的有益特征。特别地，所述方法的能力可以在直接密集相机跟踪方法中利用。

在本发明中，有利地使用术语视觉定位(visual localization)来描述使用图像针对先前构建的整个地图来估计相机姿态的任务。这与仅使用最近帧作为参考的视觉里程计形成对比。视觉定位包含寻找一个粗略的全局估计的子任务，通常称为全局定位或重定位，以及跟踪子任务，即，在给定初始估计的情况下随时间精确估计相机的姿态。然而，本公开的地图表示不仅可用于提高相机跟踪性能，而且也有利于例如重新定位的目的。

有利的是，本公开的地图表示可以构建在上述引用的M.Krawez等人所述的工作的基础上，其中提出了一种构建室内环境的反射率地图的方法。在本公开的方法中，该表示可扩展到所谓的光照自适应地图，除了表面反射率模型外，其还包含场景中存在的光发射器(灯)的全局贡献。模型参数允许接通和关断单个灯的贡献。虽然这些参数可以由外部系统(例如，家庭自动化)提供，但是在本公开的方法中，可以根据单个相机图像来估计它们。可以随后在与真实世界的观测值进行匹配时利用在地图中表示全局光照的效果。

从第一图像信息获得的所估计的地图可以包括表示场景的几何结构的三维表面模型。

估计辐射亮度贡献的步骤可以包括基于从第一图像信息获得的所估计的地图在场景中进行光线跟踪的步骤。

本公开还涉及一种估计未知光设置的计算机实现的方法，其中至少一个光源的状态未知。所述方法可以是例如上述方法的另一个步骤。所述方法(或方法步骤)可以包括以下步骤：

ο在未知光设置下，获得场景的第二图像信息，以及

ο通过将第二图像信息与光照自适应地图的至少一个适应外观进行比较来估计场景中的未知光设置。

因此，可以估计未知光设置，例如，通过光照自适应地图进行模拟，这对于进一步的应用可能是有用的，如下所述。

光源的状态可以用指示光源亮度和/或色度和/或色调的变量来表示。

例如，光源的状态可以简单地指示光源是接通还是关断。

估计未知光设置可包括以下步骤：

i.基于光照自适应地图模拟可能的光设置的辐射亮度图像信息，

ii.基于所述第二图像信息获得真实辐射亮度图像信息，

iii.通过将用于可能的光设置的真实辐射亮度图像信息和模拟辐射亮度图像信息进行比较来确定预定义度量，

iv.选择使步骤iii中确定的预定义度量最小化的光设置。

估计未知光设置可以基于经由传输所述状态信息的通信接口接收关于至少一个光源的状态的信息。

未知光设置和/或相机姿态跟踪可以被实时或准实时地估计。

由于估计的辐射度贡献是预先计算和存储的，因此，为了构建光照自适应地图(相应地，其也被预先计算和存储)，可以实时或准实时地执行估计未知光设置的步骤。

本公开还涉及一种用于相机姿态跟踪的计算机实现的方法，包括：

·上述任何一种方法的步骤，以及

·根据所估计的光设置跟踪室内场景中的相机姿态的步骤。

跟踪相机姿态的步骤可以包括：

·基于所估计的光设置模拟图像信息，

·基于第二图像信息获得真实图像信息，

·确定模拟图像信息和真实图像信息之间的预定义误差，

·通过最小化误差来估计相机姿态。

本发明还涉及一种用于增强现实的计算机实现的方法，包括：

·上述任何一种方法的步骤，以及

·根据预定义方法并且根据所估计的光设置，使用人工实体来增强室内场景的步骤。

本公开还涉及一种用于计算机实现的对象识别方法，包括：

·上述任何一种方法的步骤，以及

·根据预定义方法并且根据所估计的光设置来识别室内场景中的对象的步骤。

本公开还涉及一种系统(例如，用于构建室内场景的光照自适应地图)，包括控制单元，该控制单元被配置为执行上述任何一种方法。

本公开还涉及一种包括该系统的车辆或机器人系统。

本公开还涉及一种计算机程序，该计算机程序包括用于在所述程序由计算机执行时执行上述至少一种方法的步骤的指令。

最后，本公开还可涉及一种计算机可读记录介质，并且在该计算机可读介质上记录有计算机程序，该计算机程序包括用于在所述程序由计算机执行时执行上述至少一种方法的步骤的指令。

除非另有矛盾，否则可以意图将上述元素与说明书中的元素进行组合。

需要理解的是，上述一般描述和以下详细描述仅为示例性和解释性的，并不如权利要求那样对公开具有限制性。

包含在本说明书中并构成了本说明书的一部分的附图与描述一起说明本公开的实施例，并用于解释其原理。

附图说明

图1示出根据本发明实施例的系统的示意框图；

图2示出根据本发明实施例的构建室内场景的光照自适应地图的方法的示例；以及

图3示出根据本发明实施例的估计未知光设置的方法的示例。

具体实施方式

现在将详细参考本公开的示例性实施例，其示例如附图所示。在所有附图中，将尽可能使用相同的附图标记指代相同或相似的部件。

图1示出根据本发明实施例的系统10的框图。该系统被配置为执行根据本公开的方法。特别地，系统可以被配置成执行计算机指令。例如，系统可以包括用于执行所述指令的处理器11(例如，至少一个CPU和/或GPU)和存储器13。存储器13可以是非易失性存储器，并且可以包括所述指令(或计算机程序)，例如根据本公开的方法的指令(或计算机程序)，其可以由处理器11执行，以构建光照自适应地图和/或估计室内场景的光设置。

系统10还可以包括被配置成采集图像的采集模块12(例如，一个或多个相机，尤其是RGB-D相机)。

该系统可以是机器人系统或车辆的一部分30。换句话说，系统——特别是其采集模块12——可以被配置为自主移动。

总体而言，该系统被配置为构建光照自适应地图和/或估计室内场景的光设置，该场景包括一个或多个可切换光源L1、L2、…、LN和一个或多个表面。因此，光照自适应地图基于给定光设置调整其外观。光设置由场景中每个光源的状态来定义，例如其是接通还是关断，还是介于两者之间的任何状态(例如，在连续或离散可调暗光源的情况下)。特别地，本公开提出了一种利用光照效果的方法，例如用于在室内环境中的相机跟踪。另外，光源中的至少一个可以包括数据接口(例如，可以是物联网设备)，系统可以使用该接口来获得所述光源的当前光设置。

图2示出根据本发明实施例的用于构建光照自适应地图的方法的示例。由系统执行的方法可概括如下：

在步骤S1中，系统通过相机12获得场景的第一图像信息，其中所有光源的实际状态为导通。

随后，在步骤S2中，基于所述第一图像信息估计场景的(辐射度和反射率)地图，所述地图包括场景中的辐射亮度信息和表面的光反射特性，如上述引用的M.Krawez等人所述。

随后，在步骤S3中，系统基于所估计的辐射度地图检测并分割场景中的各个光源L1、L2、…、LN。

随后，在步骤S4中，系统基于所估计的地图估计每个光源对场景的辐射亮度贡献。

随后，在步骤S5中，系统通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。

图3示出根据本发明实施例的用于估计室内场景中的未知光设置的方法的示例。如以上在图2的上下文中所述，所述方法期望地使用为所述室内场景构建的光照自适应地图。由于至少一个光源的状态未知，所以当前给定的实际光设置是已知的。

在步骤S6中，系统在未知光设置期间，即，在至少一个或所有光源的状态未知的情况下，通过相机12获得场景的第二图像信息。这种状态是未知的，因为室内场景中的光源的相应光设置是未知的，并且要由系统进行估计。

随后，在步骤S7中，系统通过将第二图像信息与光照自适应地图的至少一个或全部适应外观进行比较来估计当前光设置。所述适应外观对应于不同的光设置，光照自适应地图已对其进行了虚拟建模。期望地，最接近第二图像信息的(虚拟建模的)外观被估计为表示真实未知光设置。

注意，“估计(estimating)”在本上下文中有利地意味着系统确定或计算相应的参数，然而，所确定或计算的结果可能并不总是正确的，即，仅是“估计”。

在下面更详细地描述了该方法的单个步骤的有利实施例。以下各小节描述了三个主要贡献。首先，基于如上引用的M.Krawez等人关于反射率地图的先前工作，描述了光照自适应地图表示(步骤S2至S5)。第二，描述根据当前相机观测估计场景中的当前光设置的方法(步骤S6-S7)。第三，描述如何利用这些组件来利用例如直接密集相机跟踪方法中的光照效果(可选的另一步骤)。

光照自适应地图(步骤S2至S5)

由于本方法可以构建在如上引用的M.Krawez等人的先前工作的基础上，因此这里仅简要地回顾主要思想和符号，以便给出步骤S2的可能实施例的示例。几何结构表示为三维网格，由一组顶点v

其中，F(v

对于在数据采集期间未直接观察到的光设置，提出使用反射率地图来预测场景外观，即，辐射度(参见步骤S3、S4)。假设场景包含L个光源，这些光源可以单独接通和关断。此外，期望静态几何结构，尤其是光源位置不会改变。

为了检测光发射器，使用与(如上引用的)M.Krawez等人相同的方法，其本质上对具有高辐射度值的顶点执行聚类。因此，必须在接通的状态下直接观察光发射器以进行检测。每个检测到的光源都被唯一地索引，其中所有索引的集合是

对于任何的光设置

其中，

其中，

对于k＝0，利用测量的辐射度初始化灯l上顶点的辐射度，对于所有其他顶点，将其设置为0：

例如，迭代次数可以是K＝10，并且可以设置为

为了指出地图表示的优点，针对照明可调地图考虑一种初级方法，它只需为每个新遇到的光设置创建新的辐射度地图。对于L个光源，每个顶点将需要存储2

光设置估计(步骤S6-S7)

如前所述，光照自适应地图是参数化模型，其表示由环境中包含的任意灯子集照明的场景的外观。为了将现实世界的观测值与自适应模型进行比较，需要对其参数进行对应地设置，即，需要确定现实中灯的接通或关断状态。在下文中，提出了一种仅使用例如单个相机图像来估计这些参数——其被称为光设置——的方法。

由于模型的所有参数都是二进制变量，因此光设置

为了找到最适合当前观察到的彩色图像I

特定x的误差可以写成

e

b＝stack(I

其中，stack()运算符将所有图像像素——在本例中，针对每个颜色通道——堆叠为一个向量。w的权重乘积是指按行，按除法分量的。例如，分量A

相机跟踪(可选步骤)

本公开的方法可以用于进行相机跟踪。其他应用也是可能的，例如重新定位应用。

相机跟踪是在相机每一时间t提供帧I

R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S.Hodges和A.Fitzgibbon，“KinectFusion:Real-time dense surfacemapping and tracking(KinectFusion:实时密集表面映射和跟踪)”，2011年，IEEEInternational Symposium on Mixed and Augmented Reality(IEEE混合增强现实国际研讨会(ISMAR))。

顾名思义，前者通过比较I

直接密集相机跟踪方法通过利用模型的深度来进行投影数据关联，仅在彩色(或灰度)图像上工作

其中，π是透视投影函数，K是相机矩阵，

在提供了测量的深度图像I

T.Whelan，R.F.Salas Moreno，B.Glocker，A.J.Davison和S.Leutenegger，“Elasticfusion:Real-time dense slam and light source estimation(Elasticfusion：实时密集slam和光源估计)”，The International Journal of RoboticsResearch(国际机器人研究杂志)，2016年，第35卷，第14期，第1697-1716页。

几何误差项

使用点到平面度量。为了简洁起见，这里省略其雅各比行列式，因为它们可以在例如(如上引用的)Newcombe等人中找到。颜色误差

使用图像扭曲，如由例如下述所述的：

F、Steinbrücker，J.Sturm和D.Cremers，“Real-time visual odometry fromdense rgb-d images(来自密集rgb-d图像的实时视觉里程计)”，2011年IEEEInternational Conference on Computer Vision Workshops(IEEE国际计算机视觉研讨会(ICCV研讨会))。IEEE，2011年，第719-722页，或

C、Audras，A.Comport，M.Meilland，和P.Rives，“Real-time dense appearance-based slam for rgb-d sensors(rgb-d传感器的基于实时密集外观的slam)”，Australasian Conf.on Robotics and Automation(澳大利亚机器人与自动化会议)，2011年，第2卷，2011年，第2-2页。

利用地图表示和光设置估计进行直接密集相机跟踪的核心思想是将渲染

适应场景中的光照条件。可基于先前的全局姿态估计使用单个帧到帧跟踪步骤，以获得用于光设置估计的更新姿态以及用于帧到模型跟踪的改进的初始估计。

在整个说明书中(包括权利要求)，除非另有说明，否则术语“包括a”应理解为“包括至少一个”的同义词。此外，除非另有说明，否则说明书中(包括权利要求)所述的任何范围应理解为包括其端点值。所述元素的具体值应理解为在本领域技术人员已知的可接受的制造或行业公差范围内，并且术语“基本上”和/或“近似”和/或“总体上”的任何使用应理解为意味着落入此类可接受公差范围内。

尽管已经参考特定实施例描述了本公开，但是应当理解，这些实施例仅仅说明本公开的原理和应用。

意图仅将本说明书和示例视为示例性的，本发明的真实范围由以下权利要求指示。