通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置

摘要

本发明涉及一种尤其是在黑暗中可视化汽车周围环境的方法，其中提供了包含周围环境数字化数据的可见光影像，其中该可见光影像显示了视觉上可见的物体。另外还提供了包含周围环境数字化数据的红外线影像，其中该红外线影像显示了由可见的物体和/或其它物体辐射的红外线。为了便于将辐射红外线的物体与所拍摄的周围环境相对应，采用了图像合成，将可见光图像与红外线图像合成为一个可在图像显示单元上显示的目标图像。根据周围环境参数禁止图像合成，以仅仅显示两个影像中的一个作为目标图像，或者这两个影像均不被显示为目标图像。

说明书

本发明涉及用于对汽车周围环境进行可视化的方法和装置，其将 包含周围环境数字化数据的可见光影像和包含周围环境数字化数据的 红外线影像合成为一个可通过图像显示单元来显示的目标图像，从而 便于将辐射红外线的物体与所拍摄的周围环境相匹配，其中所述可见 光影像显示了视觉上可见的物体，而所述红外线影像显示了由视觉上 可见的物体和/或其它物体所辐射的红外线。

用于图像合成的装置叠加了至少两个在不同光谱范围内拍摄当 前汽车周围环境的摄像机的图像。所述光谱范围例如可包括可见光以 及红外线。由图像合成得到的目标图像使得汽车驾驶员能够更方便、 更好地理解图像显示单元上所提供的关于汽车周围环境的信息。

为此，摄像装置包括至少两个具有延长的平行光轴的摄像机，它 们在空间上彼此错开。由于摄像机的错开安装，即使得光轴错开，由 摄像机获得的图像对于远处的其他区域不能完全忠实于对象地彼此对 准。这里忠实于对象的程度描述了目标图像中由汽车周围的一个物体 反射或发出的光线可以被驾驶员明确地对应到该物体上。

指向错误或忠实于对象的质量会根据摄像机的间距以及根据摄 像机和被拍摄物体之间的距离而出现。通过对摄像装置的校准可以使 近距离物体(这相当于视野从大约15米到75米的典型的城市行驶) 很好地被成像，而另一方面远距离物体的忠实于对象的程度较差。同 理，当摄像装置对于远距离物体(相当于例如视野从30米到150米或 者50米到250米的高原或高速公路行驶)被优化的话，则会在近距离 时出现指向错误。

用于图像合成的装置和方法在本申请人的德国专利DE 10227171 A1和DE 10304703 A1中已有描述。其中描述的装置分别具有一台提 供包含环境数字化数据的可见光影像的摄像机和一台提供包含环境数 字化数据的红外线影像的摄像机。所述可见光影像显示了可见的物体。 红外线影像显示了由视觉上可见的物体和/或其它物体辐射的红外线。 一个图像处理单元对可见光影像和红外线影像进行合成，其中合成后 的目标图像可以在一个图像显示单元中进行显示。图像合成包括对可 见光影像和红外线影像的全部或部分的例如像素或像素区域的叠加。 其中，尤其是时间和空间相同的图像对会被彼此叠加起来。同时，也 可以将像素或像素区域的亮度和/或颜色值进行叠加或平均。为了进一 步的优化，也可以通过加权系数来进行影像叠加。可选地，也可以考 虑描述汽车的亮度和/或可视条件。其中还建议对像素或像素区域进行 不同的加权。这些已知方法的缺点在于，为了显示远距离范围的忠实 于对象的目标图像，所需的计算量较大。

因此本发明的任务在于，提供一种可视化汽车周围环境的改进方 法和改进装置，能够可靠地理解由图像合成所生成的目标图像的内容。

这一任务可以通过根据权利要求1所述特征用于对汽车周围环境 进行可视化的方法以及根据权利要求11所述特征用于对汽车周围环 境进行可视化的装置来解决。由从属权利要求分别得到了具有优点的 实施方式。

在根据本发明的尤其在黑暗中用于对汽车周围环境进行可视化 的方法中，提供了包含周围环境数字化数据的可见光影像，其中该可 见光影像显示了视觉上可见的物体。另外，提供了包含周围环境数字 化数据的红外线影像，该影像显示了由可见的物体和/或其它物体辐射 的红外线。进行图像合成，将可见光影像与红外线影像合成为一个可 在图像显示单元上显示的目标图像，从而便于将辐射红外线的物体与 所拍摄的周围环境相对应。根据本发明，也可以根据周围环境参数禁 止对可见光影像和/或红外线影像进行图像合成，以仅仅将两个影像中 的一个显示为目标图像，或者这两个影像均不被显示为目标图像。

为了避免目标图像显示时的指向错误，本发明建议根据环境参数 来禁止图像合成。虽然在考虑了环境参数后通过禁止图像合成可以将 信息从要显示的目标图像中去除，但是对汽车使用者而言还是可以更 容易地理解图像显示单元中显示的目标图像，从而使他不会过多地转 移对汽车周围环境中交通状况的注意力。

根据一种符合目的的实施方式，为了避免图像模糊和/或双像， 在禁止对可见光影像和/或红外线影像进行图像合成的步骤中，相应影 像的所有周围环境数字化数据会被消隐。换句话说，可见光影像或红 外线影像或者甚至这两个影像完全而不只是部分地被消隐。最后一种 情况意味着，在图像显示单元中没有要显示的目标图像。

根据本发明所述方法的另一个符合目的的实施方式，环境参数由 至少一个通过传感器得到的行驶动态量和/或至少一个其它参数所确 定。

在一种实施方式中，汽车的速度、尤其是在低于或高于一个预定 速度值的情况下作为行驶动态量被处理。在另一种实施方式中，汽车 相对于摄像机视角内获取的某一物体的距离、尤其是在低于或高于一 个预先给定的距离值的情况下作为行驶动态量被处理。上述两个参数 最好是被组合起来考虑。

在另一种符合目的的实施方式中，汽车的当前位置作为行驶动态 量被处理。在另一个实施方式中，拓扑结构和/或当前的天气情况作为 其它参数被处理。根据拓扑结构或者可以例如由导航系统提供的GPS 数据得到汽车当前位置，例如当汽车正驶过隧道时，可以禁止图像合 成。在这类行驶情况下，红外线摄像机几乎不能有效地提供对于汽车 使用者相关的信息。因此，红外线影像和可见光影像的叠加反而不能 提高汽车使用者获取的信息量，从而有必要将例如红外线影像从目标 图像中消隐。类似地，在坏天气条件下也是如此，例如在雨中，红外 线摄像机也不能得到具有足够好的分辨率的周围环境影像。

在另一种实施方式中，可由汽车使用者选择的参数作为其它参数 通过图像处理单元被处理。在某些情况下，汽车使用者可能希望改变 由图像合成所产生的目标图像的显示，并且可选地只显示红外线影像 或者只显示可见光影像。这时，其它参数对应于由汽车使用者触发的 禁止和/或激活图像合成的指令。

此外，根据另一种实施方式，还可以求出可见光影像与红外线影 像的熵值，并将该熵值与一个预先给定的熵值进行比较，根据比较结 果来判断是否要消隐可见光影像和/或红外线影像或者这两个影像。周 围环境影像的熵包含了关于一个影像的有说服力的信息。例如当一幅 影像已经饱和，也就是说它已经被过度调节时，则无需再提供可供汽 车使用者以某种方式有效选取的信息了。当检测到这种情况时，例如 具有过低对比度的影像就可以被消隐，从而能够解释一种状况。

对于是否对可见光影像和/或红外线影像进行图像合成的判断， 可能取决于是否出现上面描述的环境参数之一或者多个。禁止图像合 成可能是尤其取决于同时出现多个参数。在时间上彼此非常靠近的环 境参数出现时，也要考虑禁止图像合成。

为了避免在图像显示单元中显示的目标图像在很短的间隔内交 替出现合成和未合成的图像，这在特定情况下可能会使汽车使用者产 生迷惑，在另一个具有优点的实施方式中，对图像合成的禁止是在考 虑了一定的时间滞后的情况下进行的。

采用根据本发明的装置，可以带来与前面描述的本发明所述方法 相关的同样优点。

根据本发明的尤其是在黑暗中用于对汽车周围环境进行可视化 的装置具有一个摄像装置，该摄像装置具有一台拍摄包含周围环境数 字化数据的可见光影像的可见光摄像机，以及一台拍摄包含周围环境 数字化数据的红外线影像的红外线摄像机，其中可见光影像显示了视 觉上可见的物体，而红外线影像显示了由可见的物体和/或其它物体辐 射的红外线。另外，设置了一个用于对可见光影像和红外线影像进行 处理的图像处理单元，其中所述图像处理单元被构造和/或设置为用于 对可见光影像和红外线影像进行图像合成。一个图像显示单元用于显 示由图像处理单元所生成的周围环境的影像。根据本发明，所述图像 处理单元还被设置为根据环境参数禁止图像合成。

在一种符合目的的实施方式中，设置了至少一个与图像处理单元 相耦合的传感器，用于确定行驶动态量。

根据另外一种符合目的的实施方式，可以向所述图像处理单元传 送其它参数，所述其它参数既可以通过传感器获得，也可以由外部装 置提供。所述其它参数例如可以通过使用移动无线技术或GPS传送给 图像处理单元。

符合目的的是，所述图像处理单元还被设置为根据行驶动态量和 /或所述其它参数确定环境参数。

在另外一种符合目的的实施方式中，摄像装置被校准到一个固定 的距离区域上。这个固定的距离区域可以选择在近处或远处。近处理 解为城市行驶情况下视野距离为15米到75米的情况。远处在本申请 中理解为乡村道路行驶时尤其是视野距离约为30米到150米范围内的 典型行驶状况，或者在高速公路行驶时尤其是视野距离约为50米到 250米的范围内的典型行驶状况。原则上，摄像装置可以被校准到任 意的距离。如果摄像装置被校准到远处，则会由于摄像机的光学轴错 位而在近处产生指向错误，这可能会导致误解。一个影响图像合成的 重要参数是汽车与前面行驶的、处于该汽车近处的物体的间距，和/ 或低于某一特定给定值的速度。与之相对应的是，如果摄像装置校准 备到近处，则会以相应方式在汽车的远处出现影像误差。因此，当超 过某一特定间距和/或某一特定速度时可以禁止图像合成。

本发明可以由后面的附图得到进一步的解释。如图所示：

图1根据本发明的用于可视化汽车周围环境的装置的模块图， 以及

图2具有互相平行的光轴的两台摄像机的摄像装置中，平行光 轴误差和距离之间的关系。

图1中作为框图描述的本发明所述装置具有一个摄像装置10，该 摄像装置具有一台记录可见光频谱范围的电子摄像机，这里表示为可 见光摄像机101(例如为CCD传感器)，以及一台对大约8到10毫 米的红外线频谱范围敏感的电子红外线摄像机102(例如为IR传感 器)。可见光摄像机101最好提供彩色的可视影像。摄像机101和102 的光轴最好相互平行，从而可以使视差误差最小。它们最好彼此靠得 很近，从而使平移误差最小。这两台摄像机或传感器的像平面最好彼 此平行，并垂直于光轴，且彼此靠得很近。这两台摄像机或传感器的 光敏传感器表面最好彼此既不旋转又不倾斜，而是进一步彼此平行设 置。另外，这两台摄像机或传感器最好有同样的张角，从而使所述摄 像机或传感器在不同光谱范围内提供的影响显示了周围环境中相同的 部分，并且在彼此之间保持一致，同时也不会与客观情况相背。这样 可以使得用于为提供所定义的图像而对影像进行处理的开销减小，并 且使硬件和软件开销大大降低。

与摄像装置10相连的图像处理单元20包括一个第一标准化装置 103，一个第二标准化装置104，一个定向装置105和一个叠加或合成 装置106。由合成装置106产生的目标图像可以在图像显示单元30中 显示。

图1中所示的装置通过一个校准装置被校准到一个特定的距离范 围上。为了进行校准，使用了一个校准装置(图中未示出)，它例如 具有多个白炽灯泡，这些灯泡最好布置成棋盘状。白炽灯泡的特点在 于，它既能发出热辐射，又能发出可见光。最好将一个设置有多个白 炽灯泡的板或类似物放置在两个摄像机101、102前面的一定间距范围 内，以此来校准摄像装置10。

位于摄像机101、102前面的校准装置最好用在黑暗环境中，并 且不能靠近热源，它在可见光摄像机101中产生一个所谓的可见光影 像，该影像显示了棋盘状排列的白炽灯泡，正如人的眼睛所看到的。 另外，所述校准装置在红外线摄像机102中产生一个热影像，它也同 样显示了白炽灯泡的排列。典型地，无论是可见光影像还是红外线影 像都会在各自的影像边缘部分出现尤其是由于光学成像误差等引起的 失真。采用已知的方法，可以通过第一标准化单元103进一步消除可 见光影像中的失真或成像误差。采用已知的方法，可以通过第二标准 化单元104进一步消除红外线影像中的失真或成像误差。所述标准化 或误差消除最好通过已知的、对影像的数字化数据的软件措施来实现， 其中利用了对于可见光影像的校准参数和对于红外线影像的校准参数 108。

标准化后或进一步消除了干扰后的影像由定向装置105通过一种 在数字图像处理中已知的记录过程、使用记录参数109来定向。在定 向过程中，最好保持其中一个影像不变，作为另一个影像的参考。第 二个影像的大小和位置被改变，以获得相对于第一个影像进一步与实 际物体一致的影像。

标准化后的影像被相对重叠定向，使得同一个物体在相同的位置 以同样的大小在合成后的图像上出现。如果不执行这个预处理步骤， 则会由于不同的摄像机几何形状以及摄像机错位而出现虚像、双像、 阴影以及重影。这意味着，同一物体在两个位置上以不同大小出现在 合成后的图像中。观察者会对这样的图像感到迷惑而不会对其有所帮 助。

标准化后的影像的定位可以分为三个步骤进行：移动、旋转和缩 放。彼此定位的影像会在叠加及合成单元106中通过对其数字化数据 的处理被叠加或合成。可见光影像和红外线影像中每个在时间和位置 上相同或者目标物体相同的“图像对”会产生一个合成的或叠加的图 像，该图像会通过汽车中的图像显示单元30显示给汽车驾驶员。

对可见光影像和红外线影像中的时间和位置上相同的“图像对” 的合成最好基于来自这两幅影像的各个彼此相应的像素对，或者使用 来自这两幅影像的多个像素。这尤其是可以面向于需要什么样的分辨 率和/或数字图像处理的计算能力有多强。上面描述的预处理后的影像 通过对其图像数据的数字化处理而互相叠加并被显示。结果，这一过 程可以近似于地与幻灯片或相同场景或行驶环境的叠加进行比较。从 计算技术的角度或者从数字图像处理的方面而言，这是通过对像素信 息求均值，尤其是考虑到各个影像的亮度以及包含在可见光影像和/ 或红外线影像中的颜色信息而实现的。这并不一定要逐个像素地来实 现，而是可以通过对两幅影像中位置和时间相同的像素区域求均值来 实现。

另外，有意义的是，红外线影像中的像素信息在被求均值时可以 采用与可见光影像中时间和位置相同的像素信息不同的加权。这种不 同的加权例如可根据日光和/或天气情况和/或汽车前照灯和/或可见光 影像中的颜色来实现。由此例如可以使得合成图像中的红色交通指示 灯被尤其明显地辨认出来。

由于在汽车中主要感兴趣的是探测远处、即50米到250米距离 处的物体，可能由于校准固定设置在近距离、以及由于摄像机101， 102的错开的光轴而产生双像，这种双像可能会迷惑汽车使用者。为 了避免这种迷惑，例如根据相对于前方物体的距离和/或根据汽车的行 驶速度限制在图像显示单元30中所显示的目标图像只再现可见光影 像或者只再现红外线影像。

图2中描述了视差误差与摄像装置相对于被拍摄物体的距离之间 的关系。其中描述了这样一种情况，即该装置在远处优化为无视差的 显示。如果视差误差超过了一个特定的阈值，该阈值可能取决于不同 的环境参数，如速度和/或距离和/或天气条件和/或拓扑结构和/或汽车 周围环境，则禁止图像合成，并选择可见光摄像机或红外线摄像机的 更适合该情况的影像用来显示。在该实施例中，这一阈值设置在小于 通过校准得到的“最优距离”的距离处被设置。该阈值并不一定需要固 定设置，而是可以根据不同的参数动态地定义或者通过某一区域来定 义。

例如可以想象如下的场景：

在交通指示灯附近，一辆汽车逐渐靠近前面行驶的另一辆汽车， 此时可见光摄像机和红外线摄像机的彼此合成的图像的指向错误会逐 渐增加。根据由与图像处理单元相耦合的传感器40所确定的距离，可 以得出当物体和摄像装置10处于什么样的距离时会超过一个特定的 指向错误。在超过这一指向错误后，图像合成被禁止，只显示红外线 摄像机的影像。作为替代，当然也可以在另一个实施例中只显示可见 光摄像机的影像。

如果在另一个实施例中汽车速度低于一个预先给定的速度值，则 其前照灯的张角足以使汽车使用者能够了解附近环境中的信息。因此， 在车速低于预先给定的速度值时可以禁止图像合成，在目标图像中不 显示可见光摄像机的影像，而只显示红外线摄像机的影像。这样可以 确保人、动物等在照明较差的环境情况下，如居住区、森林公园等时， 也可以被显示出来。车速通过一个与图像处理单元20相耦合的速度传 感器41来确定。

这两个实施例描述了在近距离和/或低车速时禁用图像合成的情 况。总体而言，当装置被校准到近距离时，也可以使用本发明。此时， 图像合成将在超过预先给定的距离和/或特定的速度时被禁用。

本发明所述方法的优点在于，通过在目标图像中禁用图像合成可 以不出现令人迷惑的影像误差。因此，根据本发明的装置允许使用只 校准在远处的图像合成装置。这样，也就可以省去复杂的控制算法， 而它必须在所有的距离情况下避免影像误差并通过开销很大的计算算 法来得到。

附图标记列表

10摄像装置

20图像处理单元

30图像显示单元

40传感器

41传感器

101摄像机

102摄像机

103标准化装置

104标准化装置

105定向装置

106合成装置

107校准参数

108校准参数

109记录参数