用于执行投影图像到检测到的红外线(IR)辐射信息的对准的方法和系统

摘要

一种利用热成像布置(10)基于从观察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所述观察的现实世界场景上的方法，其中热成像布置(10)包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统(22)。

说明书

技术领域

本发明一般而言涉及，依赖于检测到的来自对象场景的红外线 (IR)辐射信息，图像到观察的场景上的投影。更具体而言，本发 明涉及投影图像到检测到的红外线(IR)辐射信息的对准。

背景技术

在红外线(IR)成像或热成像的场中，常见的是利用IR成像系 统，也称为热成像布置，例如以IR相机的形式，捕捉从观察的场景 发射的IR辐射，并且把IR辐射信息处理成通常在系统的显示器上 向用户示出的可见光图像。

与此相关的问题是成像系统的用户难以区分并分析什么在显示器 上示出，因为代表IR辐射信息的图像常常具有低分辨率并且显示单 元通常相当小。

IR成像系统的用户可以选择保存一个或多个图像并且把它们传 送到另一单元，诸如计算机，用于随后显示。以这种方式，这一个或 多个图像可以在更大的显示器上呈现。但是，这导致从IR辐射被检 测到的时刻到检测到的信息向用户呈现的时刻的延迟，换句话说，检 测到的信息的分析不能在现场执行。此外，用户难以回顾性地把显示 在计算机上的信息关联到IR辐射检测已经执行的现实世界场景。

在IR相机和典型用例中，操作人员会想通过检测对象的不同点 或部分的温度来分析观察的场景中一个或多个对象或表面的特点。操 作人员捕捉IR图像，然后比较场景的IR图像与现实世界场景。在 这个过程中，操作人员必须通过比较在通常小的IR相机显示器上显 示的内容与现实世界场景来把图像信息翻译或解释成现实，以便理解 显示器上的图像信息如何关联到现实世界场景，其中会存在必然的努 力、错误源和延迟。

有些相关技术通过提供IR检测器或IR相机和可见光投影机的 组合来解决这些问题，使得更大的可见图像能够在现场显示，例如， 该可见图像投影到观察的场景的平表面上。这种相关技术设计成依赖 于IR辐射生成可见光图像并且把IR辐射的可见解释直接投影到观 察的场景上。由此使得有可能与观察的场景更紧密关联地使用IR辐 射信息。

随着技术发展以及更小构造部件可以获得，小尺寸投影设备的生 产变得日益普通。因此，这种“小型化”投影仪可以例如结合手持式 设备，诸如具有成像能力或成像系统的移动通信设备，使用。这种发 展也使得生产具有投影仪的手持式IR相机更可行。但是，在相关技 术中，仍然需要开发用于集成IR相机和投影机的方法。

由于IR图像形式的IR信息的捕捉以及作为IR图像可见表示的 可见图像的投影是由不同且物理上分离的部件执行的，因此部件的光 轴通常彼此有一定距离并且称为视差的光学现象将发生。为了补偿视 差误差，图像必须对准。按照惯例，对准是通过成像系统中的光学元 件，例如对焦透镜或分束器，的调节来实现的。利用成像系统中光学 或其它物理元件的对准需要成像系统中的空间并且会难以适合。此 外，成像系统中附加或经过特别改装的元件的包括造成更高的生产成 本。

相关技术的例子

公开IR检测器和可见光投影仪的结合的相关技术的例子在以下 文档中找到。

授予Cannamela的专利公开US 2008/0224041 A1公开了用于现 实世界场景上的表面下异常检测和图像投影的方法和装置。根据该公 开内容的各方面，该方法包括利用检测器确定在观察的场景中表面之 后一个位置的表面下异常的存在并且生成代表该异常的信号表示。该 信号被发送到投影仪、转换成该异常的可见表示并且投影到该表面上 的其中该表面下异常在其后面存在的该表面上的位置处。

授予Qinetiq的专利公开US 7,579,592 B2公开了照明和成像系 统及方法。根据该公开内容的各方面，热手电筒包括IR相机和可见 光发射器，布置成利用可见光照亮热对象。IR信息转换成可见光并 且可见光投影到场景上。这个文档公开了利用分束器进行对准的解决 方案。

公开视差补偿和/或图像对准的相关技术的例子在以下文档中找 到。

在相机显示器登记可见光相机模块和红外线相机模块的独立视场 的方法和装置在授予Johnson等人的文档US 2006/0289772 Al中找 到。US 2006/0289772 Al的登记需要诸如霍尔效应传感器的传感器。 该文档只公开了显示在数字显示器上的图像之间的对准，并且没有公 开投影设备的使用。

文档EP 2107799 A1 FLIR Systems AB公开了具有分别用于记录 IR图像和可见图像的两个光学系统以及激光指示器的IR相机。与可 见图像和IR图像之间的位移相关的一个或多个参数用来确定IR图 像中激光点相对于可见图像中检测到的位置的位移。该公开内容的目 的是通过在数字显示器上显示的图像的对准来确定激光点在红外线图 像中的位置，并且没有公开投影设备的使用。

因此，存在对IR辐射信息的可见表示到检测到的IR信息的改 进对准的需求。

发明目的

本发明的目标是提供组合的IR成像设备和可见光投影仪，其具 有IR辐射信息的可见表示到检测到的红外线(IR)辐射信息的改进 对准。

本发明的更多目标是解决以下部分问题：

-如何提供包括检测到的从现实世界场景发射的IR辐射的可见 表示的投影图像到所述检测到的IR辐射的改进对准。

-如何以低成本提供用于执行上述改进对准的成像系统。

-如何在投影到与可见光投影仪的光轴不正交的表面上时使能改 进的对准。

-如何在投影到不平的表面上时使能改进的对准。

-如何在可见光投影仪的光学系统和IR成像系统之间的相对距 离未知时使能改进的对准。

-如何在与IR成像系统结合提供可见光投影仪的灵活使用时， 例如在可见光投影仪和IR成像系统是独立部件时，使能改进的对 准。

本发明的一种或多种实施例解决或至少最小化以上提到的问题。

发明内容

根据示例性实施例，本发明便于让用户向观察的现实世界场景登 记IR辐射信息。

根据更多的示例性实施例，本发明提供IR辐射的可见光投影， 该辐射是从具有一个或多个对象的观察的现实世界场景发射并利用 IR检测器捕捉的，其中可见光投影被投影到观察的现实世界场景、 一个或多个对象上。

根据另一种示例性实施例，本发明提供与在其上投影的观察的现 实世界场景、一个或多个对象正确对准的可见光投影。

根据本发明的一方面，提供了利用热成像布置基于从观察的现实 世界发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示 呈现到所述现实世界场景上的方法，其中热成像布置包括红外线 (IR)成像系统、可见光成像系统(14)和可见光投影系统，其中 红外线(IR)辐射信息的可见表示与从所述观察的现实世界发射的 红外线(IR)辐射对准呈现，该方法包括步骤：根据第一视场检测 从所述观察的现实世界发射的红外线(IR)辐射，或者更具体地说 是基于检测到的从所述观察的现实世界场景发射的红外线(IR)辐 射来捕捉红外线(IR)辐射信息；以红外线(IR)图像的形式创建 所述检测到的红外线(IR)辐射的可见表示；根据第二视场把可见 光图案投影到所述观察的现实世界场景上，其中第二视场至少部分地 重叠第一视场；根据第三视场捕捉所述观察的现实世界场景的可见光 图像，包括所述投影的可见光，该第三视场至少部分地重叠第一和/ 或第二视场；在所述捕捉到的可见光图像中检测所述投影的可见光图 案；确定可见光图像中投影的可见光图案像素坐标和可见光图像中的 像素坐标之间以像素为单位的像素位移d_(pix vis)，其中，如果可见光成 像系统和可见光投影系统对准，则投影的可见光图案将出现；基于检 测到的投影的可见光图案和可见光图像之间的像素位移d_(pix vis)，确定 IR图像和可见光图像之间的像素位移d_(pix IR)；基于所述确定的像素 位移d_(pix IR)，把所述检测到的红外线(IR)辐射的所述可见光表示， 换句话说是所述IR图像，对准到检测到的从所述观察的现实世界场 景发射的红外线(IR)辐射；以及通过根据第二视场与检测到的从 观察的现实世界场景发射的IR辐射对准地把它投影到所述现实世界 场景上来呈现所述对准的IR图像。

根据本发明的另一方面，提供了基于从所述观察的现实世界场景 发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现 到观察的现实世界场景上的热成像布置，其中红外线(IR)辐射信 息的可见表示与从所述观察的现实世界场景发射的所述红外线 (IR)辐射对准呈现，该布置包括：红外线(IR)成像系统 (18)，用于根据第一视场检测从所述观察的现实世界场景发射的红 外线(IR)辐射；处理器，适于把由红外线(IR)成像系统检测到 的红外线(IR)辐射数据变换成图像数据，由此创建红外线(IR) 图像；该布置还包括可见光投影系统，适于根据第二视场把可见光图 案投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠 第一视场；以及可见光成像系统，适于根据第三视场捕捉所述观察的 现实世界场景的可见光图像，包括所述投影的可见光图案，其中第三 视场至少部分地重叠第一和/或第二视场；所述处理器还适于在所述 捕捉到的可见光图像中检测所述可见光图案；确定可见光图像中投影 的可见光图案像素坐标和可见光图像中的像素坐标之间以像素为单位 的像素位移d_(pix vis)，其中，如果可见光成像系统和可见光投影系统对 准，则投影的可见光图案将出现；基于检测到的投影的可见光图案和 可见光图像之间的像素位移d_(pix vis)，确定红外线(IR)图像和可见光 图像之间的像素位移d_(pix IR)；基于所述像素位移d_(pix IR)，把所述红外 线(IR)图像对准到检测到的从所述观察的现实世界场景发射的红 外线(IR)辐射；并且通过根据第二视场与检测到的从观察的现实 世界场景发射的红外线(IR)辐射对准地把它投影到所述现实世界 场景上来呈现所述对准的红外线(IR)图像。

根据本发明的不同方面，还提供了计算机系统，该计算机系统具 有处理器，适于执行发明性方法实施例的任何步骤或功能；计算机可 读介质，在其上存储适于控制处理器执行发明性方法实施例的任何步 骤或功能的非暂时性信息；包括代码部分的计算机程序产品，其中代 码部分适于控制处理器执行发明性方法实施例的任何步骤或功能；和 /或包括配置数据的计算机程序产品，其中配置数据适于配置现场可 编程门阵列(FPGA)执行发明性方法实施例的任何步骤或功能。

以下进一步描述的本发明的不同实施例提供了IR辐射信息的可 见表示到检测到的红外线(IR)辐射信息的改进对准的优点。

本发明的一种或多种实施例包括利用热成像布置(10)基于从观 察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信 息的可见表示呈现到所述观察的现实世界场景上的方法，其中热成像 布置(10)包括红外线(IR)成像系统(18)、可见光成像系统 (14)和可见光投影系统(22)，该方法包括步骤：

根据所述红外线(IR)成像系统(18)的第一视场，基于检测 到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红 外线(IR)辐射信息；

以红外线(IR)图像的形式创建所述检测到的红外线(IR)辐 射的可见表示；

根据所述可见光投影系统(22)的第二视场，把可见光图案投影 到所述观察的现实世界场景上，所述第二视场至少部分地重叠所述第 一视场；

根据所述可见光成像系统(14)的第三视场，捕捉所述观察的现 实世界场景的可见光图像，所述场景包括所述投影的可见光图案，所 述第三视场至少部分地重叠第一和/或第二视场；

检测所述捕捉到的可见光图像中所述投影的可见光图案；

依赖于所述可见光成像系统(14)和所述可见光投影系统(22) 之间的预定关系，检测可见光图像中的像素坐标中所述检测到的可见 光图案的像素坐标和所述投影的可见光图案的计算出的像素坐标之间 的像素位移(d_(pix vis))，其中，如果可见光成像系统和可见光投影系 统对准，则投影的可见光图案将出现；

依赖于所述红外线(IR)成像系统(18)和所述可见光投影系 统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光 图像之间的像素位移d_(pix vis)，确定定红外线(IR)图像中的像素坐标 中红外线(IR)图像和可见光图像之间的像素位移d_(pix IR)；

基于所述像素位移d_(pix IR)，把所述红外线(IR)图像对准到检测 到的从所述观察的现实世界场景发射的红外线(IR)辐射；及

通过根据第二视场，与检测到的从观察的现实世界场景发射的 IR辐射对准地把它投影到所述现实世界场景上来呈现所述对准的红 外线(IR)图像。

本发明的一种或多种实施例包括基于从观察的现实世界场景发射 的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所 述观察的现实世界场景上的热成像布置(10)，该布置(10)包括：

红外线(IR)成像系统(18)，用于根据第一视场检测从所述 观察的现实世界场景发射的红外线(IR)辐射；

处理器(13)，适于根据所述红外线(IR)成像系统(18)的 第一视场基于检测到的从所述观察的现实世界场景发射的红外线 (IR)辐射来捕捉红外线(IR)辐射信息，由此以红外线(IR)图 像的形式创建所述检测到的红外线(IR)辐射的可见表示；

可见光投影系统(22)，适于根据第二视场把可见光图案和/或 图像投影到所述观察的现实世界场景上，其中第二视场至少部分地重 叠第一视场；

可见光成像系统(14)，适于根据第三视场捕捉所述观察的现实 世界场景的可见光图像，其中第三视场至少部分地重叠第一和/或第 二视场；

所述处理器(13)还适于：

根据所述可见光投影系统(22)的第二视场把可见光图案投影到 所述观察的现实世界场景上，其中所述第二视场至少部分地重叠所述 第一视场；

根据所述可见光成像系统(14)的第三视场捕捉所述观察的现实 世界场景的可见光图像，所述场景包括所述投影的可见光图案，其中 所述第三视场至少部分地重叠第一和/或第二视场；

在所述捕捉到的可见光图像中检测所述可见光图案；

依赖于所述可见光成像系统(14)和所述可见光投影系统(22) 之间的预定关系，确定在可见光图像中的像素坐标中所述检测到的可 见光图案的像素坐标和所述投影的可见光图案的计算出的像素坐标之 间的像素位移(d_(pix vis))，其中，如果可见光成像系统和可见光投影 系统对准，则投影的可见光图案将出现；

依赖于所述红外线(IR)成像系统(18)和所述可见光投影系 统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光 图像之间的所述像素位移d_(pix vis)，确定红外线(IR)图像中像素坐标 中的红外线(IR)图像和可见光图像之间的像素位移d_(pix IR)；

基于所述像素位移d_(pix IR)，把所述IR图像对准到检测到的从所 述观察的现实世界场景发射的红外线(IR)辐射；并且

通过根据第二视场与检测到的从观察的现实世界场景发射的IR 辐射对准地把它投影到所述现实世界场景上来呈现所述对准的红外线 (IR)图像。

此外，以下优点是通过本发明的实施例实现的：

-实现了投影图像到所述检测到的IR辐射的改进对准，其中投 影图像包括检测到的从现实世界场景发射的所述IR辐射的可见表 示。

-用于执行上述改进对准的成像系统以低成本提供。

-在投影到与可见光投影仪的光轴不正交的表面上时实现了改进 的对准。

-在投影到不平的表面上时实现了改进的对准。

-甚至在可见光投影仪的光学系统和IR成像系统之间的相对距 离未知时都获得了改进的对准。

-在结合IR成像系统提供可见光投影仪的灵活使用时，例如在 可见光投影仪和IR成像系统是独立部件时，实现了改进的对准。

附图说明

以下参考附图通过示例实施例进一步描述本发明，其中：

图1A-1C示出了根据本发明不同示例性实施例的热成像布置的 示意图。

图2示出了根据本发明实施例、与观察的场景相关的热成像布置 的三个光学系统的布置的示意图。

图3A根据由本发明实施例使其成为可能的示例性用例示出了用 在与可见光投影仪的光轴不正交的表面上的IR成像系统的光学系统 的示意图。

图3B根据由本发明实施例使其成为可能的另一个示例性用例示 出了用在不平表面上的热成像布置的光学系统的示意图。

图3C示出了一个示例性实施例，其中热成像布置的投影仪的光 轴OA斜着落到场景中的表面上。

图4A是根据实施例示出生产期间校准/对准的框图。

图4B是根据实施例示出自校准/对准的框图。

图5是根据本发明的实施例、执行投影图像到检测到的IR辐射 信息的对准的方法的流程图。

图6是根据实施例示出操作期间调节/对准的框图。

图7是根据实施例的不同模式的示意性概述。

图8是根据实施例示出校准的/对准的热成像布置的操作的框 图。

具体实施方式

介绍

因此，本发明的实施例涉及用于IR(红外线)成像，也称为热 成像，的解决方案，其中，代替或者除就像具有IR成像布置，或热 成像布置，的常见情况那样的显示器布置上的间接视图之外，红外线 图像也利用可见光的投影实时地或者近乎实时地叠加到现实世界场景 上。这意味着用户可以使用他或她自己的正常视觉来观察现实世界场 景，其中投影到场景上的可见光使得用户更容易解释和/或分析所观 察的场景。例如，投影的可见光可以突出观察的场景中感兴趣的对象 或区域。

根据本发明的实施例，提供了利用热成像布置10基于从观察的 现实世界场景发射的IR辐射把IR辐射信息的可见表示呈现到观察 的现实世界场景上的方法和布置，其中热成像布置10包括IR成像 系统18、可见光成像系统14和可见光投影系统22。

根据本发明的实施例，提供了利用热成像布置(10)基于从观察 的现实世界场景发射的IR辐射来呈现红外线(IR)辐射信息的可见 表示的方法和热成像布置(10)，其中热成像布置10包括IR成像 系统18、可见光成像系统14和可见光投影系统22。

根据本发明的实施例，红外线(IR)辐射信息的可见表示与从 所述观察的现实世界场景发射的所述红外线(IR)辐射对准呈现。

根据实施例，IR成像系统18适于根据第一视场检测从观察的现 实世界场景发射的红外线(IR)辐射。

根据实施例，提供了根据本领域中本身已知的方法，例如，以本 领域技术人员将理解的一种或多种常规方式，检测从观察的现实世界 场景发射的红外线(IR)辐射的方法。

根据实施例，处理器(13)适于把由红外线(IR)成像系统18 检测到的红外线(IR)辐射数据变换成可见表示，由此创建红外线 (IR)图像。以这种方式，检测到的红外线(IR)信息的可见表示 被创建。

根据一种或多种实施例，热成像布置包括可见光成像系统14， 并且其中对准包括例如如下使用所述可见光成像系统。

根据实施例，提供了用于根据本领域中本身已知的方法，例如， 以本领域技术人员将理解的一种或多种常规方式，把由红外线 (IR)成像系统(18)检测到的红外线(IR)辐射数据变换成图像 数据的方法。

根据实施例，可见光投影系统(22)适于根据第二视场把可见光 图案投影到观察的现实世界场景上，其中第二视场至少部分地重叠第 一视场。

根据实施例，可见光成像系统(14)适于根据第三视场捕捉观察 的现实世界场景的可见光图像，包括所述投影的可见光图案，其中第 三视场至少部分地重叠第一和/或第二视场。

根据实施例，处理器13还适于在所述捕捉到的可见光图像中检 测所述投影的可见光图案；确定可见光图像中在投影的可见光图案的 像素坐标与可见光图像中的像素坐标之间以像素为单位的像素位移 d_(pix vis)，其中如果可见光成像系统和可见光投影系统对准，则投影的 可见光将出现；基于投影的可见光图案和可见光图像之间的像素位移 d_(pix vis)，确定IR图像和可见光图像之间的像素位移d_(pix IR)；并且基于 所述像素位移d_(pix IR)，把所述检测到的红外线(IR)辐射的所述可见 光表示，也称为红外线(IR)图像，对准到检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射；通过根据第二视场把它与 检测到的从观察的现实世界场景发射的IR辐射对准地投影到所述现 实世界场景上来呈现它。

根据实施例，处理器13还适于：

-基于捕捉到的可见光图像中预定点之间的像素距离来计算第二 视场；

-确定所述红外线(IR)成像系统(18)的光轴OA3和可见光 成像系统(14)的光轴OA1的视差距离校准参数Co-3-1和定点误差 校准参数C1-3-1；

-确定所述可见光投影系统(22)的光轴OA2和可见光成像系 统(14)的光轴OA1的视差距离校准参数Co-2-1和定点误差校准参 数C1-2-1；及

-确定所述可见光投影系统(22)的光轴OA2和所述红外线 (IR)成像系统(18)的光轴OA3的视差距离校准参数Co-2-3和定 点误差校准参数C1-2-3。

在一种实施例中，用于第一光学系统的第一光轴和第二光学系统 的第二光轴的视差距离校准参数依赖于第二光学系统的视场以及第一 光学系统和第二光学系统之间的视差距离；其中，用于第一光学系统 的第一光轴和第二光学系统的第二光轴的定点误差校准参数依赖于像 素位移、用于第一光学系统的第一光轴和第二光学系统的第二光轴的 所述视差距离校准参数以及所获得的从第一光学系统到观察的现实世 界场景的距离值z。

在一种实施例中，在所述捕捉到的可见光图像中检测所述投影的 可见光图案的步骤是基于该距离值执行的。

在一种实施例中，执行检测包括在捕捉到的可见光图像中由距离 值z和捕捉到的可见光图像中一个位置之间的预定关系给出的位置开 始检测。

在一种实施例中，距离值z是作为预定值获得的。

在一种实施例中，所述距离值z是通过传感器获得的(470)。

在一种实施例中，确定红外线(IR)图像和可见光图像之间的 像素位移d_(pix IR)是依赖于像素位移d_(pix IR)、检测到的投影的可见光图 案和可见光图像之间的像素位移(d_(pix vis))以及距离值z之间的预定 关系而执行的。

在一种实施例中，该预定关系是形式为查找表的映射函数。

在一种实施例中，该方法的步骤是投影可见光图案、捕捉可见光 图像、在所述捕捉到的可见光图像中进行检测、确定像素位移d_(pix IR)，以及在热成像布置(10)的操作过程中对准并持续地呈现所述对 准的红外线(IR)图像。

在一种实施例中，从热成像布置(10)到观察的场景中多于一个 点的多于一个距离可以被获得并转变成距离图。

在一种实施例中，呈现所述对准的红外线(IR)图像包括依赖 于距离图的距离来适配所述对准的红外线(IR)图像的像素的投 影。

在一种实施例中，适配像素的投影包括依赖于距离图的距离而以 变化的密度投影像素。

在一种实施例中，密度变化，使得，如果到所述对准的红外线 (IR)图像的像素要投影到其上的点i的距离zi超过预设阈值，则 像素更稀疏地投影。

在一种实施例中，该方法还包括：

-在检测到的从所述观察的现实世界场景发射的红外线(IR)辐 射中检测热点，-通过把所述对准的红外线(IR)图像投影到所述 现实世界场景上来呈现它，其中对准的红外线(IR)图像中包括检 测到的热点的部分利用与对准的红外线(IR)图像中不包括检测到 的热点的部分不同的颜色或光强度投影。

根据实施例，处理器13还适于从IR热成像布置10取得到观察 的场景的距离z。根据更多实施例，处理器13适于基于取得的距离z 来确定检测到的投影的可见光和可见光图像之间的像素位移d_(pix vis)； 和/或基于检测到的投影的可见光和可见光图像之间的像素位移d_(pix vis)以及取得的距离z来确定IR图像和可见光图像之间的像素位移d_(pix IR)。

根据实施例，可见光投影系统(22)还适于通过与检测到的从场 景发射的IR辐射对准地把检测到的红外线(IR)辐射的对准的可见 表示，换句话说是IR图像，投影到所述现实世界场景上来呈现它。

根据实施例，IR辐射信息的可见表示与从观察的现实世界场景 发射的IR辐射对准地呈现。呈现方法的实施例在以下联系图5进一 步描述。

适用于这个目的的布置包括三个光学系统，即，IR成像系统、 可见光成像系统和可见光投影系统。在不同的实施例中，这三个光学 系统或者组装成一个集成的热成像布置，或者设计成具有作为独立部 件的投影仪。在投影仪是独立部件的情况下，它可以适于可分离地附 连到包括其它光学系统的组件或外罩或者适于与其它光学系统物理地 分开操作。

热成像布置的所有部件/单元都，例如，通过直接连接、有线连 接、无线连接通信耦合。

热成像布置的光学系统具有不同的视场(FOV)。为了实现根 据本发明的对准，热成像布置的光学系统必须放置成使得每个光学系 统的FOV至少部分地与另两个光学系统的FOV重叠。

由于热成像布置的光学系统不具有相同的光轴，因此视差误差将 发生。为了补偿视差误差，图像必须对准。

在执行根据本发明的对准所需的计算中使用的有些信息可以在相 机的校准过程中确定，如以下更详细地描述的。

集成设备实施例

图1A示出了根据本发明第一种实施例的系统的示例图，其中集 成的热成像布置10包括三个光学系统14、18和22。根据实施例， 光学系统14、18、22包括在组件12中。前两个光学系统是包括用于 光的可见频谱的可见光传感器阵列16的可见光成像系统14，和包括 用于光的红外线频谱的IR传感器阵列20的IR成像系统18。组件 12中包括的第三个光学系统是可见光投影系统22或者有可能是适于 投影诸如紫外线的(UV)通常不可见波长区域的光的光投影系统。 根据这种实施例，三个光学系统14、18和22具有固定的安装，在各 自的光轴OA1、OA3、OA2之间具有已知的相对距离和角度，如通 过作为一种对准的校准确定的，例如在热成像布置的生产过程中执行 的。热成像布置10的光学系统安装成使得每个光学系统的FOV至 少部分地分别与另两个光学系统的FOV重叠，如在图2所示的实施 例中说明的。

可分离附连部件实施例

图1B示出了根据本发明第二种实施例的系统的示意图，其中热 成像布置10包括三个光学系统14、18和22。两个成像系统14、18 具有固定的安装，在各自的光轴OA1、OA3(Cf图2)之间具有已 知的相对距离和角度，如通过校准/对准确定的，例如在热成像布置 的生产过程中执行的。根据实施例，可见光成像系统14和IR成像 系统18包括在组件12中。根据这种实施例，投影系统22是适于通 过附连特征25A和25B可分离附连到热成像布置10的独立部件。附 连特征25A在投影系统22上提供并且适于安装(fit)到在热成像布 置10上提供的对应附连特征25B。根据实施例，在附连时，投影系 统22经以下进一步解释的通信接口21和对应的通信接口27通信耦 合到热成像布置10的处理器13。根据不同的实施例，通信接口21 可以集成在投影系统22或附连特征25A任何一个当中、在其中实现 或者耦合到其，而通信接口27可以集成在成像系统14或18、组件 12、处理器13或附连特征25B任何一个当中、在其中实现或者耦合 到其。

根据实施例，当附连特征25A、25B彼此附连时，可见光投影系 统22将定位成关于IR成像系统18和可见光成像系统14分别具有 某个距离和角度。根据实施例，附连特征25A、25B可以包括锥形工 具插入其中的插座、插孔，和/或通过以下的选择彼此附连：通过螺 纹，其中特征25A、25B之一拧到另一个当中，通过把特征25A、 25B之一安装(fit)、扣或按到另一个当中，通过使用磁力，或者通 过使用任何其它合适类型的紧固或附连机制。附连特征放置并设计成 使得在每次附连特征彼此附连时一边的可见光头像系统22与另一边 的IR成像系统18和可见光成像系统14之间的所述距离和角度将基 本上相同，具有最小的错误边际。通过确保在热成像布置的生产期间 组合光学系统的放置基本上在每次IR成像被使用时都相同，可见光 投影系统22与可见光成像系统14和IR成像系统18之间的视差误 差，诸如视差距离和定点误差，分别可以从生产得知、在生产过程中 校准/对准，或者在使用过程中近似。

当部件附连时，热成像布置10的光学系统14、18、22定位成使 得每个光学系统的FOV都至少部分地与另两个光学系统的FOV重 叠，如图2中示例的。

独立部件实施例

图1C示出了根据本发明第三种实施例的系统的示意图，其中热 成像布置10包括三个光学系统14、18、22。两个成像系统14、18 具有固定的安装，在各自的光轴之间具有已知的相对距离和角度，如 从生产得知或者在生产过程中校准的。根据实施例，可见光成像系统 14和IR成像系统18包括在组件12中。根据这种实施例，投影系统 22是适于在操作期间与热成像布置10的其它部件物理地分开放置并 且有可能处于远处的独立部件。投影系统22经以下进一步解释的通 信接口21通信耦合到处理器13。

在根据这第三种实施例的操作中，投影系统22应当放置成使得 其FOV至少部分地与IR成像系统和可见光成像系统的FOV重叠。 为了实现或帮助实现至少部分重叠的FOV，投影仪可以适于投影可 见光的预定指导投影，例如，以诸如图案的可识别特征的形式，以便 引导用户把投影系统22放在把其投影FOV投到用户要观察的场景 或对象上的这种位置。

更多的系统体系架构细节

参考图1A-1C中所示的全部实施例，根据实施例，成像系统 14、18包括一个或多个透镜、用于调节透镜的控制设备、适于捕捉 来自观察的场景的进入辐射并耦合到一个或多个处理器13的传感器 16、20，其中处理器13具有适于处理从传感器16、20接收到的图像 数据并且控制系统不同部件的功能的处理特征。可选地，热成像布置 10包括耦合到处理器13并适于显示图像数据的显示器23。可选地， 热成像布置10包括配置为向用户显示信息并获得用户输入信息的图 形用户接口(GUI)。

根据不同的实施例，包括或不包括可见光投影系统22的热成像 布置10可以是手持式的，适于固定安装，例如为了监督目的或维护 调查，或者适于在使用期间安装在架子上。

根据实施例，热成像布置10还包括用于存储由热成像布置10登 记或处理的数据的存储器15，以及用于输入命令和/或控制信号的一 个或多个控制设备19的选择，例如，交互式显示器、操纵杆和/或记 录/下压按钮，以及至少一个图形接口21，例如，有线或无线连接、 IRDA、蓝牙、USB、FireWire等。响应于输入命令和/或控制信号， 处理器13控制热成像布置10的不同部分的功能。

根据不同的实施例，投影系统22可以包括投影仪29，例如，以 激光投影仪、液晶显示器(LCD)投影仪、数字光处理(DLP)投 影仪或本领域已知的任何其它合适类型的投影仪的形式。

激光投影仪在许多应用中都会是合适的，因为激光投影仪通常具 有高景深，由此图像或数据到任何种类投影表面上的投影都可以进 行。通常，其锐度、颜色空间和对比度高于其它投影技术例如LCD 或DLP投影仪的锐度、颜色空间和对比度。

热成像布置10还可以包括本领域中本身已知的激光指示器，在 图中没有示出。这种激光指示器可以在本发明性概念中用来例如投影 可见光。根据实施例，可见光可以作为形式为受限图案(limited  pattern)的可识别特征来投影，该受限图案包括投影系统的视场， 下文中也表示为FOV_proj，中所包括的全部或部分像素。

联系图2-8，以下描述视差补偿、校准和对准的实施例。

用例实施例

在操作中，根据实施例，操作人员把手持式热成像布置10指向 观察的现实世界场景，该场景可以例如包括管道、墙壁、地板、天花 板或者对调查感兴趣的任何其它一个或多个目标表面或对象，并且， 直接看到投影到观察的现实世界场景上的被发射或检测的IR辐射的 可见表示，其中以该可见表示在与对应检测到的IR辐射的发射方向 相同的方向上被投影的方式，该可见表示与观察的现实世界场景对 准。例如，如果场景包括热点，例如过热的电气元件，则用户将看到 投影到该检测到的热点上的光，例如光是指示该检测到的热点温度高 的颜色或光强度的。根据实施例，投影到热点上的光可以是红色，通 常用于代表色阶上的热温度，或者，如果灰度级值用于投影，则光可 以是高强度光。如对本领域技术人员很显然的，对于在观察的现实世 界场景中检测到的热、IR或温度信息的范围，任何合适的可见表示 都可以使用。

根据以下进一步描述的不同实施例，用户可以使用热成像布置来 在观察的场景中照亮或突出或指明兴趣，或者在检测到异常时接收形 式为投影到场景上的可见警报的告警。

根据另一种实施例，用户可以使用热成像布置来取得到观察的场 景的距离。从热成像布置到观察的场景的距离在下文中将被称为z， 其中z是指示从热成像布置到观察的场景的距离的参数。

根据实施例，距离参数z的值可以例如通过利用与已知参数和/ 或使热成像布置能够进行取得的参数的关系进行计算来取得，例如以 下给出的等式2的关系。根据备选实施例，以本身已知的方式，距离 参数值z可以通过使用两个可见光传感器、通过IR图像中激光点的 检测、通过对焦透镜的位置或者通过集成在热成像布置中或耦合到其 的距离传感器的使用来取得。

为了让热成像布置作为距测仪工作，通过利用与已知参数和/或 使热成像布置能够进行取得的参数的关系进行计算来取得，热成像布 置必须首先被校准/对准。以下描述备选的校准/对准实施例。

根据实施例，操作人员可以选择利用包括在一个或多个控制设备 19中的输入特征激活对准功能。根据另一种实施例，对准功能是在 热成像布置10启动的时候被自动激活的。

根据其中可见光投影系统22是如在图1B中示例的可分离附连 部件并且目前没有附连到手持式热成像布置10的实施例，操作人员 在使用之前把可见光投影系统22附连到手持式热成像布置10。

根据备选实施例，其中可见光投影系统22和手持式热成像布置 10要用作物理上分离的部件，操作人员把可见光投影系统22放到相 对于手持式热成像布置10的合适位置，确信投影系统22指向要调查 的感兴趣的目标表面或对象，即，观察的现实世界场景。通过适于投 影例如作为图案或符号的可识别特征的形式的可见光的预定指导投影 的可见光投影系统22，操作人员有可能被指引着把可见光投影仪指 向要调查的感兴趣的目标表面或对象。根据实施例，可见光可以作为 形式为受限图案的可识别特征来投影，其中该受限图案包括投影系统 的视场(FOV_proj)中所包括的全部或部分像素。这种投影可以例如在 可见光投影系统22被开启时自动激活，或者被控制成通过来自操作 人员的输入而激活。操作人员可以利用例如集成在可见光投影系统 22中或耦合到其的输入设备(图中未示出)或者热成像布置10的控 制设备19来提供输入，由此处理器13把来自控制设备19的输入信 号翻译成经接口21传送到可见光投影系统22的控制信号，以便控制 所述指导投影的激活。可见光投影系统22通过有线或无线连接通信 耦合到热成像布置的处理器，例如经通信接口21和27通信。

根据实施例，热成像布置10的IR成像系统18检测从观察的场 景发射的IR辐射并且利用包括在IR成像系统18中的IR传感器阵 列20捕捉所述IR辐射。在IR传感器阵列20中，进入的IR辐射被 转换成包括IR辐射数据的IR辐射信号。捕捉到的IR辐射数据从 IR传感器阵列20发送到处理器13，其中检测到的IR辐射数据被变 换成形式为IR图像的图像数据的可见表示。根据实施例，IR图像传 送到热成像系统10的显示器23并且呈现给设备的操作人员。但是， 根据本发明的方法实施例，IR图像在相机显示器上的显示是可选 的。

根据实施例，可见光投影系统22被处理器13控制成把可见光投 影到观察的现实世界场景上。根据实施例，可见光可以作为形式为受 限图案或符号的可识别特征来投影，其中该受限图案或符号包括可见 光投影系统22视场(FOV_proj)中所包括的全部或部分像素。根据实 施例，投影是与IR辐射信息的捕捉和处理并行执行的，但不必在相 同的时刻。

根据实施例，本发明语境下的图案或符号是由至少一个像素并且 优选地多于一个像素，通常是多个像素，组成的形状或分布，这种形 状或分布可以很容易地与在观察的场景的图像中可能出现的任何东西 区分。例如，在优选实施例中，符号不是单个像素或组合到一起的几 个像素的形式，因为单个像素或小的像素组会与在图像中出现的噪声 混淆。本发明的符号可以具有可以被人眼识别的对象的形状，诸如 花、星星或者人知道的任何其它对象。或者，它可以具有不能被人解 释为某个对象但是很容易被人眼和/或数据处理器识别的形状或分 布。类似地，本发明语境下的图案也是由很容易地与在观察的场景的 图像中可能出现的任何东西以及与噪声区分的多于一个像素(通常是 多个像素)组成的。根据实施例，符号或图案可以具有人已知的对象 的形状或者使其很容易被人眼和/或数据处理器识别的任何其它合适 的形状或分布。根据实施例，被可见光投影设备22投影的图案仅仅 就是FOV_proj中所包括的像素的全部或选定部分。在这种情况下，基 于投影的可见光的强度，图案可以在包括该图案的可见光图像中被识 别或认出。其中可见光被投影的像素有可能具有比可见光图像剩余像 素更高的强度。

根据实施例，在预定符号或图案投影期间，可见光成像系统14 被处理器13控制成利用可见光成像系统14中所包括的可见光传感器 阵列16捕捉进入的可见光。在可见光传感器阵列16中，进入的可见 光被转换成包括可见光数据的可见光信号。捕捉到的可见光数据从可 见光传感器阵列16发送到处理器13，其中可见光数据被变换成可见 光图像。由于可见光传感器阵列16的传感器元件对可见光的波长敏 感，因此可见光投影系统22的反射光可以在可见图像中通过其画面 元素，即，像素，检测到。画面元素可以是例如CCD(电荷耦合设 备)。由此，捕捉到的可见光图像包括被投影到其上的预定符号或图 案叠加的现实世界场景的可见表示。

根据实施例，在捕捉到包括被预定符号或图案叠加的现实世界场 景的可见表示的图像之后，该图像被发送到处理器13，其中处理器 13执行图像中预定符号或图案的检测。图像中符号或图案的检测可 以利用本领域中本身已知的任何合适的检测方法来执行，例如特征提 取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、过滤或 者通过使用差异图像。

根据其中符号或图案检测要利用差异图像执行的实施例，可见光 成像系统14还被处理器13控制成，在与包括观察的现实世界场景和 预定符号或图案的图像被捕捉的时刻接近的一个时刻，捕捉没有投影 到其上的预定符号或图案的同一个观察的现实世界场景的图像。哪个 图像先捕捉和哪个图像后捕捉没有关系。优选地，这两个图像是图像 帧序列中两个相继的图像帧。彼此紧密相继地捕捉图像的原因是观察 的现实世界场景通常从第一个图像帧到第二个图像帧不会改变太多， 这意味着图像的现实世界图像部分将基本相同。此外，在其中热成像 布置10是手持式的实施例中，如果图像是紧密相继捕捉的，例如作 为图像帧序列中两个连续的图像帧，则由用户造成的布置的任何摇晃 或移动将很小。由此，当处理器13从还包括投影的符号或图案的图 像减去只包括观察的现实世界场景的表示的图像时，将获得只包括投 影的符号或图案的差异图像。以这种方式，观察的现实世界场景中存 在的任何符号或图案，例如墙上的壁纸上的图案，不会被热成像布置 10错误地检测为符号或图案。

IR信息的可见表示，也称为IR图像，从处理器13发送到可见 光投影系统22。可见光投影系统22还被处理器13控制成把IR信息 的可见表示投影到现实世界场景上，使得检测到的IR辐射的可见光 表示与进入的，或者捕捉到的，IR辐射对准，并且在与对应捕捉到 的IR辐射发射的方向相同的方向投影到现实世界场景上。为了实现 这种对准，传感器13使用检测到的符号或图案上的信息连同生产过 程中取得的信息、生产中的校准，和/或热成像布置10操作期间的校 准或调整。对准实施例以下进一步详细描述。

表示检测到的红外线(IR)辐射并识别区域，例如，对象

根据本发明的实施例，热成像布置10的操作人员将经历上述事 件被实时地立刻执行，这意味着操作人员把热成像布置10指向观察 的包括例如感兴趣表面或对象的现实世界场景，并且直接看到被发射 并检测的投影到观察的现实世界场景上的IR辐射的可见表示，其中 以该可见表示在与对应检测到的IR辐射从其发射的方向相同的方向 上被投影的方式，该可见表示与场景对准。IR信息的可见表示通常 是颜色或者灰度级，其代表IR信息的可见表示被投影到的观察的现 实世界场景，诸如表面或对象，的不同热属性。利用本发明的对准方 法，投影到现实世界场景上的可见表示将在对应检测到的IR辐射从 其发射的方向被投影。例如，形式为红外线(IR)图像的所述检测 到的红外线(IR)辐射的可见表示的投影被执行，使得检测到的从 所述观察的现实世界场景发射的红外线(IR)辐射的不同热属性得 以表示。关于此的例子是，如果代表低热值或温度的IR辐射在观察 的现实世界场景的某个部分中被检测到，则根据例如选定的色阶或灰 度级值范围，可见光投影系统22将把具有代表所述低热或温度值的 颜色或灰度级值的光投影到观察的现实世界场景的这个部分之上。

在一种实施例中，观察的现实世界场景中检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射偏离周围区域的区域可以被 检测到，其例如有关于观察的现实世界场景中的对象。在一种实施例 中，这种偏离是通过比较以下来检测的：该区域中检测到的红外线 (IR)辐射和与周围区域有关的检测到的红外线(IR)辐射(例 如，检测到的红外线(IR)辐射的紧挨着在周围的部分或者检测到 的红外线(IR)辐射的全部)的均值。例如，以其热值或温度的形 式，检测到具有比周围区域的平均的检测到的红外线(IR)辐射低 的检测到的红外线(IR)辐射的区域有时候被称为检测到“冷 点”，这可以指示该区域例如绝缘不良，或者暴露给水泄漏或者凝结 的形成，并且由此具有增加的被水损坏的风险。例如，以其热值或温 度的形式，检测到具有比周围区域的平均的检测到的红外线(IR) 辐射高的检测到的红外线(IR)辐射的区域有时候被称为检测到 “热点”，这可以指示例如该区域包括过热的部件并且具有增加的着 火的风险。如果使用从用于低温的蓝色到用于高温的红色变化的、代 表观察的现实世界场景的检测到的红外线(IR)辐射的色阶，则现 实世界场景中的冷点通常有被可见光投影系统22投影到其上的蓝色 光，而现实世界场景中的热点通常有被可见光投影系统22投影到其 上的红色光。由此，即使是在操作人员把IR成像系统10指向的表 面的另一侧上引起低的或高的热或温度值，也使得操作人员能够与场 景对准地直接在现实世界场景中看到他或她正在调查的热点和冷点。

上述红区域和蓝区域仅仅是作为例子。任何色阶、灰度级或者其 它合适的可见表示都可以被可见光投影系统22用来表示检测到的不 同IR辐射水平。例如，不同的IR辐射水平可以由不同的图案或光 强度表示。

IR图像与投影的IR图像的对准

如果可见光投影系统22的FOV完全包括在IR成像系统18的 FOV中，则可见光投影系统22可以将依据检测到的UR辐射水平的 选定的可见表示的可见光投影到现实世界场景的在可见光投影系统 22的整个FOV内的那些部分上。或者，如果可见光投影系统22的 FOV只部分地与IR成像系统18的FOV重叠，则可见光投影仪可以 把可见光投影到位于两个系统的FOV的重叠部分内的场景部分上。 或者，可见光投影系统22只把可见光投影到从其检测到高于、低于 或者在某个选定的温度值或区间之间的IR辐射并且位于两个系统的 FOV的重叠部分中的现实世界场景的部分上。可见光投影系统22应 当把光投影到重叠FOV的哪些部分上的其它选择也可以被考虑。例 如，利用IR成像系统10的输入特征，可见光可以投影到由操作人 员指示的感兴趣的区域上，或者通过在处理器13中实现的对象检测 特征投影到在图像中检测到的对象上。根据图2中说明的实施例，可 见光成像系统14具有最大FOV，IR成像系统18具有第二大FOV 并且投影系统22具有最小FOV。但是，依赖于诸如价格、性能和终 端客户需求之类的条件，FOV尺寸的任何其它关系都是可以想到 的。

由于投影的可见光与检测到的从现实世界场景发射的IR辐射对 准并且在检测到的IR辐射从其发射的方向投影，因此将没有可见光 投影到现实世界场景中不在IR成像系统18和可见光投影系统22这 两个系统的FOV中的部分上。

根据实施例，本文所述本发明的不同方面可以在满足警报条件时 提供警报，由此通知或提醒用户，例如，指示检测到某种可能的异 常。警报可以是用户可见的或者可听的。

根据实施例，如果满足一个或多个以下标准，则投影系统22可 以被例如处理器13控制成把对准的可见光投影到场景上：检测到的 从所述观察的现实世界场景发射的红外线(IR)辐射的一个或多个 部分具有高于预设阈值限制的检测值；检测到的从所述观察的现实世 界场景发射的红外线(IR)辐射的一个或多个部分具有低于预设阈 值限制的检测值；检测到的从所述观察的现实世界场景发射的红外线 (IR)辐射的一个或多个部分具有在预设区间内的检测值；或者观 察的场景的一个或多个部分具有在预设区间之外的测量值。

根据实施例，测量值可以关于检测到的从所述观察的现实世界场 景发射的红外线(IR)辐射、温度或热信息、效率或功率(W， W/m²)、湿度或水分，例如作为百分比来指示的。

根据实施例，以上提到的标准是警报标准，要提醒用户已经检测 到可能的偏离或异常。作为例子，标准可以是检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射的全部或部分高于预定义的 阈值。

根据实施例，用于控制投影的一个或多个标准可以由用户通过例 如利用一个或多个控制设备19的输入来预设或选择。

根据实施例，投影系统22被控制成通过以下提供警报：

-如果投影仪已经在投影：闪烁、增加亮度、调节投影颜色和/ 或只把可见光投影到图像中满足所述一个或多个标准的一个或多个部 分上，

-如果投影仪不在投影：开始把可见光投影到图像中满足所述一 个或多个标准的一个或多个部分上或者投影到整个观察的场景上，由 此提醒用户已经检测到可能的偏离或异常。

根据不同的实施例，警报可以通过可见光投影仪系统22的使用 来提供，例如，当满足以上的一个或多个报警条件时，如果可见光投 影系统22还没有投影，则通过控制可见光投影系统22开始投影，或 者，如果它已经投影到观察的现实世界场景上，则开始闪光或闪烁。

换句话说，根据实施例，可见光投影仪系统22可以被控制成通 过以下提供警报：

-如果投影系统22已经在投影：闪烁、增加亮度、调节投影颜 色和/或只把可见光投影到图像中满足所述一个或多个标准的一个或 多个部分上，

-如果投影系统22不在投影：开始把可见光投影到图像中满足 所述一个或多个标准的一个或多个部分上或者投影到整个观察的场景 上，由此提醒用户已经检测到可能的偏离或异常。

根据其它实施例，通过开始把光投影或闪烁到与报警条件有关的 被识别区域或者与该被识别区域非常近的与该被识别区域有关的区域 上，可见光投影系统22可以适于突出那个被识别区域。根据不同的 实施例，被投影的可见光可以包括任何合适颜色、颜色范围、灰度级 范围和/或强度的光并且以任何合适的尺寸、形状和/或图案呈现。

根据另一种实施例，热成像系统10可以包括一个或多个扬声器 单元并且适于提供形式为可听信号的警报。

视场(FOV)和视差误差

图2说明了表示为角度α的图1热成像布置10的可见光成像系 统14的视场(FOV)，表示为角度β的红外线成像系统18的 FOV，以及表示为角度γ的可见光投影系统22的FOV。这三个光学 系统14、18和22的光轴分别示为虚线OA1、OA3和OA2。

有两个因素对不同成像系统产生的图像和/或投影的相对位移起 作用。首先，成像系统14、18和22之间的相应距离造成图像的位 移，也称为视差距离，这个位移在仪表中是恒定的，例如P_(p-vis)，但 是随着到对象的距离增加而像素个数减少，例如d_pix vis。其次，不同 成像系统14、18、22的光轴OA1、OA3、OA2通常不是完美平行。 它们之间的相应角度造成位移，也称为定点误差或方向性误差，这在 仪表中随着到对象的距离而变但是像素个数是恒定的。定点误差，或 者说方向性误差，是由两个光学系统之间的角度与期望的角度相比的 差造成的，并且由于构造不准确而发生。例如，当可见光成像系统 14和IR成像系统18在生产过程中被组装时，对于每个热成像布置 10，它们将不以完全相同的方式组装。细小的差异将发生，并由此发 生方向性误差。

根据实施例，如在本文中所使用的，术语“视差误差”包括由成 像子系统之间的距离和光轴之间的角度造成的组合的像素位移。

如在图2中可以看到的，在投影系统22的光轴OA2和可见光成 像系统14的光轴OA1之间存在视差距离P_(p-vis)，并且在投影系统22 的光轴OA2和IR成像系统18的光轴OA3之间存在另一个视差距离 P_(p-IR)。

视差距离P_(p-vis)造成由可见光投影系统22投影的可见图像和由可 见光成像系统14捕捉的图像之间的像素位移。这个像素位移在下文 中表示为d_(pix vis)。

视差距离P_(p-IR)造成由可见光投影系统22投影的可见图像和由IR 成像系统18捕捉的IR图像之间的像素位移。这个像素位移在下文 中表示为d_(pix IR)。

如对本领域技术人员来说很显然的，在可见光成像系统14的光 轴OA1和IR成像系统18的OA3之间还存在另一个视差距离 P_(vis-IR)，从而造成由可见光成像系统14捕捉的图像和由IR成像系统 18捕捉的IR图像之间的像素位移。根据本发明的所有实施例，可见 光成像系统14和IR成像系统18集成在组件12中，由此视差距离 P_(vis-IR)从生产得知并且可以在热成像布置10的校准/对准或操作期间 进行补偿。

在一种实施例中，图2中所示的像素位移d_(pix vis)和d_(pix IR)可以作为 距离z_(x，y)的函数凭经验来确定，其中这个距离代表从热成像布置10到 观察的一个或多个现实世界对象或场景上的点选择的每一个的距离， 例如，在热成像布置10的生产或校准期间。根据实施例，结合可见 光投影系统22和可见光成像系统14之间的视差距离P_(p-vis)，距离z可 以描述为到场景中代表被捕捉可见图像中检测到投影图案的具体坐标 的部分的距离。

由此，在一种实施例中，作为从热成像布置10到观察的场景的 距离z的函数的像素位移的确定可以利用本身已知的方法分别对可见 光成像系统14和IR成像系统18执行。

根据实施例，作为距离z的函数确定的像素位移存储在热成像布 置10的存储器中，例如，存储器存储15中，并且可以用来在操作期 间补偿视差误差。

根据实施例，距离z是相对于图像中代表观察的现实世界场景的 预定坐标，诸如图像的中心、图像的角落或者图像中任何其它合适的 坐标，确定的。

热成像布置10的光学系统之间相应的视差距离P_(p-vis)、P_(p-IR)和定 点误差，或者说方向性误差，可以用来估计用于作为到观察的现实世 界场景的距离的函数的位移的关系，例如等式或曲线。这种等式或曲 线可以存储在热成像布置10中的存储器中，例如存储器存储15中， 并且可以用来在操作期间通过把确定的距离映射到相关视差距离等式 或曲线来补偿视差误差。

如前面所提到的，投影的预定可见光符号或图案通常由多于一个 像素，通常是多个像素，组成。由此，该符号或图案比如果只一个像 素/一个点用于确定距离的话更可靠地确定。此外，由于该符号或图 案具有很容易与观察的场景的图像中可能出现的任何东西区分的形状 或分布并且可以具有人已知的对象的形状或者使其很容易被数据处理 器识别的任何其它合适形状或分布，而单个像素会与图像中存在的其 它对象或噪声混淆。

对准

如以上所解释的，仪表中的视差距离P_(p-vis)造成由可见光投影系 统22投影的可见图像和由可见光成像系统14捕捉的图像之间的像素 位移d_(pix vis)，并且，视差距离P_(p-IR)造成由可见光投影系统22投影的可 见图像和由IR成像系统18捕捉的IR图像之间的像素位移d_(pix IR)。如 对本领域技术人员很显然的，通常在可见光成像系统14和IR成像 系统18之间也有视差距离，从而造成由不同光学系统捕捉的图像之 间的第三个像素位移。这个视差距离和像素位移在图2中未示出。

根据实施例，处理器13布置成对由光学系统14、18、22中任何 一个或全部捕捉的图像和/或由光学系统14、18、22中任何一个或全 部投影的光执行对准。

为了能够将利用可见光投影系统22投影到观察的场景上的可见 光与从观察的场景发射、被IR成像系统18检测并变换成IR图像的 IR辐射对准，投影的可见光和检测到的IR辐射之间的位移必须计算 或近似，并且进行补偿。根据以下给出的不同实施例，这个位移的计 算或近似是在热成像布置10的生产期间的校准/对准、其操作期间的 自校准/对准或自调节/对准当中执行的。

生产期间的校准/对准

根据图1A中所说明的实施例，可见光成像系统14、IR成像系 统18和可见光投影系统22全都组装在集成的热成像布置10中，例 如集成在组件12中，在不同的光学设备14、18、22，光轴OA1、 OA3、OA2之间分别具有已知的视差距离。

根据这种实施例，热成像布置可以在热成像布置(10)的生产或 制造中被校准/对准。在这种校准/对准期间，所有视差距离都是已知 的，因为光轴OA1、OA3、OA2之间的距离是已知的。在生产期间 执行校准时已知的其它参数是：可见光成像系统14的视场 (FOV_vis)；IR成像系统18的视场(FOV_IR)；到观察的场景的距 离z；以及利用可见光成像系统14捕捉的图像和利用IR成像系统18 捕捉的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是z 的函数。

根据实施例，距离z是相对于图像中的预定坐标确定的，诸如图 像的中心、图像的角落或者图像中任何其它合适的坐标。

生产校准方法的实施例包括以下在图4A中说明的步骤：

步骤410：利用可见光投影系统22，根据第二视场，把可见光图 案投影到观察的现实世界场景上，其中第二视场至少部分地重叠IR 成像系统的第一视场。

根据实施例，投影的可见光可以是诸如图案或符号的可识别特征 的形式。

步骤420：利用可见光成像系统14，根据第三视场捕捉观察的现 实世界场景的可见光图像，包括投影的可见光图案，其中第三视场至 少部分地重叠第一和/或第二视场。

根据实施例，捕捉到两个可见光图像，其中一个包括场景和投影 的可见光，而另一个包括场景但不包括投影的可见光。换句话说，在 捕捉到其中一个图像时，投影设备把可见光投影到场景上，但在捕捉 到另一个图像时不投影。通过减去捕捉到的图像，获得包括投影的可 见光但不包括观察的场景的差异图像。

步骤430：在可见光图像中，或者如果在步骤420中已经获得差 异图像的情况下在差异图像中，检测投影的可见光图案。

根据实施例，在到观察的场景的距离z和捕捉到的可见光图像中 投影的可见光将出现的位置之间存在已知的预定关系。因此，距离z 可以在可选步骤485中用作对于投影的可见光检测的输入。由此，由 于检测在可见光图像最有可能的位置，或坐标，开始，因此获得更高 效的检测。

步骤440：基于捕捉到的可见光图像，计算由可见光投影系统22 投影的光和由可见光成像系统14捕捉的图像之间的像素位移d_(pix vis)。换句话说，如果可见光成像系统14和可见光投影系统22对准， 例如从生产校准/对准或自校准/对准得知，则确定可见光图像中投影 的可见光图案像素坐标和可见光图像中该投影的可见光将出现的像素 坐标之间以像素为单位的位移d_(pix vis)。像素位移d_(pix vis)的例子在图2中 示出。

如对本领域技术人员很显然的，依赖于条件，像素位移可以例如 表示为分成x方向分量和y方向分量(dx_(pix vis)，dy_(pix vis))或者表示为极坐 标。

步骤450：如果还未知，则计算投影仪的FOV，FOV_proj。

由于可见光成像系统的FOV，FOV_vis，是已知的，因此FOV_proj可以基于包括投影的可见光的捕捉到的可见光图像，或差异图像，以 下列方式来计算，其中投影的可见光可以表示为区域、可识别特征、 图案或符号：

根据实施例，已知FOV_proj的百分之多少由，例如x或y方向 中，投影区域、特征、图案或符号中两个或更多个预定点之间的距离 表示。在包括投影的可见光区域、特征、图案或符号的捕捉到的可见 光图像中，确定投影的可见光区域、特征、图案或符号的预定点之间 的像素距离。由于可见光图像的以像素为单位的分辨率是已知的，因 此可见光图像的百分比，并且由此由投影的可见光区域、特征、图案 或符号的两个点之间的距离表示的FOV_vis的百分比，可以基于所述 像素距离来确定。通过知道FOV_vis并进一步知道分别代表投影的可 见光区域、特征、图案或符号的预定点之间距离的FOV_vis和FOV_proj的百分比之间的关系，可以确定FOV_proj。

步骤460：确定形式为校准参数c₀和c₁的校准参数。

校准参数c₀是关于所比较的两个光学系统的光轴，例如光轴 OA1、OA2，之间视差距离的理论常量。根据实施例，c₀表示为(长 度单位×像素个数)。

校准参数c₁关于定点，或方向性，误差。换句话说，c₁关于所比 较的两个光学系统的光轴，例如光轴OA1、OA2，之间的角度。根 据实施例，c₁以像素为单位来表示。

根据实施例，校准参数以下列方式确定：

$\left(\begin{array}{c}{c}_0=f({\mathrm{FOV}}_{\mathrm{vis}},P_{(p-\mathrm{vis})})\\ c_1=d_{(\mathrm{pix><mo>)</mo>}}-\frac{c_0}{x}\end{array}\right)$        (等式1)

其中表示为长度单位的、到观察的现实世界场景的距离z是已知 的，并且d_(pix vis)是以像素为单位表示的像素位移，如在步骤440计算 的。

如对本领域技术人员很显然的，依赖于条件，校准参数可以例如 表示为分成x方向分量和y方向分量(c_0x,c_0y),(c_0x,c_0y)，或者表示为 极坐标。

步骤490：校准热成像布置的光学系统，或者换句话说，补偿在 步骤460确定的视差误差，或像素位移和定点误差。

在步骤490的计算之后，由投影系统22产生的投影将和由IR 成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热 成像布置准备好操作，并且根据实施例，可以进一步在操作期间用作 距离传感器。

根据实施例，上述校准过程被执行多次，例如两次或三次，以便 确保适当的校准。

校准的或对准的热成像布置的操作的实施例在图8中说明。

自校准

根据另一种实施例，热成像布置适于自校准/对准，一边的可见 光投影系统22与另一边的可见光成像系统14和IR成像系统18之 间的视差距离可以分别近似。

根据在图1B中示出并在部分“可分离附连的部件实施例”中进 一步描述的这种实施例，附连特征25A在投影系统22上提供并适于 安装到在IR成像系统10上提供的对应附连特征25B，使得投影系统 22可以附连到IR成像系统18并从其分离。这种附连特征可以例如 形成为与固定到投影系统的第一耦合部分25A和固定到IR成像系统 的第二耦合部分25B的附连耦合。当附连时，根据实施例，可见光 投影系统22定位成关于IR成像系统18和可见光成像系统14分别 有视差距离和定点误差，基本上在每次附连特征彼此附连时都相同， 具有最小的误差边际。

根据实施例，热成像布置是自校准/对准的。在这种自校准期 间，以下参数从热成像布置生产中的校准期间的校准/对准得知：可 见光成像系统14和IR成像系统18之间的视差距离和定点误差；可 见光成像系统14的视场(FOV_vis)；IR成像系统18的视场 (FOV_IR)；以及利用可见光成像系统14捕捉到的图像和利用IR成 像系统18捕捉到的图像的图像坐标之间的变换，或映射函数，f(z)， 该函数是到观察的场景的距离z的函数。根据实施例，自校准的目的 是估计视差距离校准参数、定点误差校准参数以及，如果还未知的 话，还有投影系统22的视场(FOV_proj)。

用于自校准的方法实施例包括以下步骤，在图4B中说明：

步骤410、420、440、450和490对应于以上关于图4A给出的 相同步骤。

除输入距离z的可选步骤485之外，步骤430对应于上述步骤 430，因为距离z不是早先知道或预定的。相反，距离z是通过在步 骤470中测量来确定的，例如，通过距离传感器或飞行时间传感器。 根据实施例，距离z在步骤480中输入或反馈到步骤430的投影的可 见光区域、特征、图案或符号的检测，由此提供更智能或高效的区 域、特征、图案或符号检测，如以上对步骤430所描述的。

根据实施例，上述校准过程被执行多于一次，例如两次或三次， 以便确保适当的校准。

校准的或对准的热成像布置的操作的实施例在图8中说明。

校准的热成像布置的操作

一旦热成像布置已经根据以上关于图4A和4B给出的任何实施 例校准/对准，该布置就准备好操作。在操作中，热成像布置将以相 同的方式工作，而不管校准是在生产中还是使用期间执行，如图7所 说明的。

根据以上给出的方法实施例的实施例，已经在生产中校准/对准 的热成像布置，以及自校准/对准的热成像布置，都在步骤490之后 校准或对准。在步骤490中的校准/对准之后，由投影系统22产生的 投影将与由IR成像系统18捕捉的IR辐射对准。换句话说，在步骤 490之后，热成像布置准备好操作，并且，根据实施例，在操作期间 进一步用来确定到观察的场景的距离，即，执行距离传感器的功能。 根据实施例，热成像布置可以用来利用以下关系确定到观察的场景的 距离：

$z=\frac{c_0}{d(\mathrm{pix><mo>)</mo>}-c_1}$        (等式2)

其中参数对应于以上等式1的参数。

如对本领域技术人员很显然的，依赖于条件，等式2的所有参数 都可以例如表示为分成x方向分量和y方向分量，或者表示为极坐 标。

如对本领域技术人员很显然的，如果等式的剩余参数已知，则等 式2的关系可以代替地用来确定参数c₀、c₁、z或d_(pix vis)中任何一 个。

在操作中，根据图8中所示的实施例，通过获得或取得到观察的 一个或多个对象或场景的距离z，校准的/对准的热成像布置产生到观 察的场景上的可见光投影，其与从观察的场景发射并被热成像布置的 IR成像系统的IR传感器接收的IR辐射对准；如上所述，基于距离 z和在生产中或自校准期间确定的校准参数c₀和c₁确定像素位移d_pix vis，并且该方法实施例包括以下步骤：

步骤810：利用IR成像系统18，根据第一视场检测从观察的现 实世界场景发射的IR辐射，并且创建形式为IR图像的检测到的IR 辐射的可见表示。通常，检测到的IR辐射到达IR成像系统18的 IR传感器阵列20，具有确定的第一视场。

步骤820：取得从热成像布置10到观察的现实世界场景或对象 的距离z。

根据实施例，距离z可以例如通过利用与已知参数和/或使热成 像布置能够进行取得的参数的关系的计算来取得，例如以上给出的等 式2的关系。根据备选实施例，距离z可以通过使用集成到热成像布 置中或耦合到其的距离传感器来取得。在一个例子中，距离是通过使 用两个可见光传感器、IR图像中激光点的检测、对焦透镜的位置或 者通过使用集成到热成像布置中或耦合到其的距离传感器以本身已知 的方式取得的。

根据实施例，取得的距离z用作对步骤830的输入。

步骤830：计算由可见光投影系统22根据第一视场投影的可见 图像与作为根据第一视场检测到的从所述观察的现实世界场景发射的 红外线(IR)辐射的可见表示的、由IR成像系统18捕捉的IR图像 之间的像素位移d_pix IR。

根据实施例，作为到观察的一个或多个对象或场景的距离的函 数，像素位移d_pix IR和像素位移d_pix vis之间的关系从生产或校准得知， 其中像素位移d_pix vis是由可见光投影系统22投影的可见图像与由可见 光成像系统14捕捉的可见光图像之间的像素位移。描述这种关系的 一种方式是：

d_pix IR＝f(d_pix vis,z)      (等式3)

根据实施例，该关系是映射函数，例如表示为查找表，其中，基 于取得的距离z的值，用于d_pix vis的每个值具有用于d_pix IR的对应值。 为了简化，每个位移在这里都公式化为一个值d_pix vis或d_pix IR。但是， 位移可以包括多于一个分量。通常，对于图像，位移是关于x分量和 y分量来描述的，例如以矢量(例如，dx_pix vis,dy_pix vis)的形式，或者 作为极坐标。

根据上述实施例，距离是从步骤820得知的。因此，为了确定 d_pix IR，我们首先需要知道d_pix vis。如果位移d_pix vis还不知道，则，如上 所述，它可以利用已知的参数C₀和C₁以及等式2中给出的关系来确 定。

当d_pix vis已知或被确定时，根据以上给出的任何实施例，像素位 移d_pix IR通过使用等式3的关系来确定。

步骤840：把IR图像呈现到观察的场景上，与观察的场景对 准。换句话说，把IR图像呈现到观察的场景上，与从观察的图像发 射的IR辐射对准。

对准IR图像

根据实施例，通过补偿在步骤830确定的像素位移d_pixIR，IR图 像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR 辐射。可以在热成像布置10的处理器13中或者在集成在热成像布置 10的任何部件中或与其耦合的另一处理器中执行这种对准或补偿。

根据实施例，把对准的IR图像呈现到观察的场景上包括把对准 的IR图像传送到可见光投影系统22并且利用可见光投影系统22把 对准的IR图像投影到观察的场景上。

根据备选实施例，把对准的IR图像呈现到观察的场景上包括把 IR图像传送到可见光投影系统22、利用集成在可见光投影系统22 中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22 把对准的IR图像投影到观察的场景上。

根据实施例，FOV_proj小于FOV_IR。根据这种实施例，可见光投影 系统22将不适于显示整个IR图像。因此，获得IR图像中对应于 FOV_proj的部分，例如，通过从IR图像选择、裁剪或切割所述部分， 然后投影到观察的现实世界场景上。

根据实施例，通过补偿在步骤830确定的像素位移d_pix IR，IR图 像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR 辐射。这种对准，或补偿，可以在热成像布置10的处理器13中，或 者在集成在热成像布置10的任何部件中或与其耦合的另一处理器 中，执行。

根据实施例，把对准的IR图像呈现到观察的场景上包括把对准 的IR图像传送到可见光投影系统22并且利用可见光投影系统22把 对准的IR图像投影到观察的场景上。

根据备选实施例，把对准的IR图像呈现到观察的场景上包括把 IR图像传送到可见光投影系统22、利用集成在可见光投影系统22 中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22 把对准的IR图像投影到观察的场景上。

在一种实施例中，可见光投影系统22的FOV完全包括在IR成 像系统18的FOV中。根据这种实施例，把IR图像对准到检测到的 从所述观察的现实世界场景发射的红外线(IR)辐射包括基于像素 位移d_pix IR和FOV_proj获得IR图像中对应于FOV_proj的部分，例如，通 过从IR图像选择、裁剪或切割所述部分。

根据一种实施例，可见光投影系统22的FOV只部分重叠IR成 像系统18的FOV。根据这种实施例，把IR图像对准到检测到的从 所述观察的现实世界场景发射的红外线(IR)辐射包括获得IR图像 中位于两个系统的FOV的重叠部分之内的部分。

根据一种实施例，把IR图像对准到检测到的从所述观察的现实 世界场景发射的红外线(IR)辐射还包括获得对应检测到的从所述 观察的现实世界场景发射的红外线(IR)辐射满足条件的IR图像的 部分，其中的条件是例如高于阈值、低于阈值或者在区间内。

根据一种实施例，把IR图像对准到检测到的从所述观察的现实 世界场景发射的红外线(IR)辐射还包括基于由热成像布置(10) 的操作人员利用IR成像系统的输入特征指示的区域，或者基于在处 理器13中实现的对象检测特征，获得IR图像的部分，从而把IR图 像的部分检测为对象。

根据图2中说明的实施例，可见光成像系统14具有最大FOV， IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。 但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺 寸的任何其它关系都是可以想到的。

自调节

根据另一种实施例，热成像布置是自调节或自对准的，或者换句 话说在操作中自我调节或对准。

在操作中，根据实施例，热成像布置通过以下与从观察的场景发 射的IR辐射对准地产生到观察的场景上的可见光投影：利用热成像 布置的IR成像系统的IR传感器接收从观察的场景发射的IR辐射； 把接收到的IR辐射转换成形式为IR图像的可见表示；获得或取得 从热成像布置到观察的一个或多个对象或场景的距离z；确定像素位 移d_pix vis；把像素位移d_pix vis转换成像素位移d_pix IR；通过补偿像素位 移d_pix IR来对准IR图像；并且把对准的IR图像投影到观察的场景 上，由此与从场景发射的IR辐射对准地获得IR图像到场景上的呈 现。

根据实施例，一边的可见光投影系统22分别与另一边的可见光 成像系统14和IR成像系统18之间的视差距离和定点误差都是未知 的，因为可见光投影系统22是与其它光学系统14、18物理地分开的 部件，离光学系统14、18有未知且不恒定的距离。这种实施例在图 1C中示出并且以上在部分“独立部件实施例”中进一步描述。

在操作过程中的这种自调节、自对准或对准期间，以下参数从生 产得知：可见光成像系统14和IR成像系统18之间的视差距离和定 点误差；可见光成像系统14的视场(FOV_vis)；IR成像系统18的 视场(FOV_IR)；以及利用可见光成像系统14捕捉的图像和利用IR 成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)， 该函数是到观察的场景的距离z的函数。根据实施例，自对准的目的 是估计视差距离、定点误差和投影系统22的视场(FOV_proj)，以便 能够进行热成像布置的不同光学系统的对准。

参考图4B，说明了方法的实施例。步骤410、420、430、440、 450、470和480对应于以上关于图4B给出的相同步骤。自调节的实 施例还包括在图6中说明的以下步骤：

步骤610：利用以上在等式3中示出的、从生产得知的可见光成 像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标 之间的变换或映射函数，把由可见光投影系统22投影的光和由可见 光成像系统14捕捉的图像之间x和y方向计算出的像素位移 (dx_(pix vis)，dy_(pix vis))，转换成由可见光投影系统22投影的光和由IR成像系 统18捕捉的图像之间x和y方向的像素位移(dx_(pix IR)，dy_(pix IR))，。

步骤620：与从观察的场景接收到的IR辐射对准地呈现，或投 影，可见光。

根据实施例，步骤620包括把形式为IR图像信号的IR图像从 处理器13传送到可见光投影系统22，由此可见光投影系统22的投 影仪29把重新采样的IR图像数据投影到现实世界场景上。由此， IR图像数据与现实世界场景对准地投影，换句话说，IR图像数据在 对应检测到的IR辐射信号从其发射的方向中投影。

与已经在生产中校准/对准或者在操作期间自校准的热成像布置 形成对比，上述自对准不导致热成像布置的校准。相反，自对准，或 自调节，是在操作期间通过步骤610的转换或映射持续执行的。

根据实施例，上述校准被执行多于一次，例如两次或三次，以便 确保适当的调节。

呈现/投影实施例

在图5中，示出了利用红外线(IR)热成像布置10基于从现实 世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见 表示呈现到观察的现实世界场景上的方法实施例，其中红外线 (IR)热成像布置10包括红外线(IR)成像系统18、可见光成像系 统14和可见光投影系统22，其中红外线(IR)辐射信息的可见表示 与从所述观察的现实世界场景发射的所述红外线(IR)辐射对准呈 现。

根据图5，呈现，或投影，方法实施例包括以下步骤：

步骤502：根据第一视场，利用IR成像系统18检测从观察的现 实世界场景发射的IR辐射。通常，检测到的IR辐射到达IR成像系 统18的IR传感器阵列20，具有确定的第一视场。

步骤504：以IR图像的形式，产生检测到的IR辐射的可见表 示。

步骤506：根据第二视场，利用可见光投影系统22把可见光图 案投影到观察的现实世界场景上，其中第二视场至少部分地重叠IR 成像系统的第一视场。

通常，可见光经具有确定的第二视场的可见光投影系统22投影 到现实世界场景上。两个光学系统18、22关于彼此对准，使得第一 和第二视场至少部分地重叠。换句话说，光学系统18、22定位成具 有相互视差或相对距离。

当投影的可见光图案可以包括至少一个并且优选地少量像素，例 如2-15个像素，或者它可以包括更大量像素时，投影的可见光图案 可以构成符号或任何其它可识别的特征。根据实施例，投影的可见光 可以是区域、可识别特征、图案或符号的形式。

步骤508：根据第三视场，利用可见光成像系统14捕捉观察的 现实世界场景的可见光图像，包括投影的可见光，其中第三视场至少 部分地重叠第一和/或第二视场。

步骤510：在捕捉到的可见光图像中检测投影的可见光图案。

根据实施例，投影的可见光可以是区域、可识别特征、图案或符 号的形式。

在可选的步骤512中，取得从热成像布置10到观察的场景的距 离z。

根据实施例，距离z依赖于可见光成像系统和可见光投影仪之间 的预定位移。根据实施例，取得到观察的现实世界场景上被检测到的 可见光符号或图案照亮的每个点的距离。根据实施例，取得到的距离 用来形成距离图。

根据不同的实施例，这一个或多个距离可以早就知道、通过使用 集成在热成像布置中或耦合到其的距离传感器来确定、通过使用热成 像布置作为距离传感器来确定、通过利用与已知参数和/或使得热成 像布置能够进行取得的参数的关系，例如等式2的关系，来计算。根 据备选实施例，距离z可以通过以本身已知的方式使用两个可见光传 感器、IR图像中激光点的检测、对焦透镜的位置或者通过使用集成 在热成像布置中或耦合到其的距离传感器来取得。

步骤514：确定检测到的可见光图案和可见光图像之间的像素位 移d_(pix vis)。

根据实施例，这可以描述为确定捕捉到的可见光图像中检测到的 可见光图案，例如由可见光投影系统22投影并由可见光成像系统 (14)捕捉的图像中的区域、特征或符号，的一个或多个选定坐标与 可见光图像中如果可见光成像系统和可见光投影系统对准则投影的可 见光将出现的坐标之间的距离。

在一种非限制性例子中，如果可见光成像系统和可见光投影系统 对准则投影的可见光将出现的坐标是图像中预定的坐标，诸如图像的 中心、图像的角落或者可见光图像中任何其它合适的坐标。

根据其中距离z已经在可选步骤512中取得的实施例，检测到的 投影的可见光和可见光图像之间的像素位移d_(pix vis)是基于取得的距离 z确定的。

步骤514还包括基于检测到的投影的可见光和可见光图像之间的 像素位移d_(pix vis)确定IR图像和可见光图像之间的像素位移d_(pix IR)。

根据其中距离z已经在可选步骤512中取得的实施例，IR图像 和可见光图像之间的像素位移d_(pix IR)是基于像素位移d_(pix vis)和取得的 距离z确定的。

根据实施例，像素位移d_(pix IR)是利用联系以上等式3给出的关系 确定的。

步骤516：基于所述像素位移d_(pix IR)，把检测到的IR辐射信息的 可见光表示，换句话说是IR图像，对准到检测到的从观察的现实世 界场景发射的IR辐射信息。

根据实施例，检测到的IR信息的可见表示以IR图像的形式表 示，并且对准是通过根据在步骤514中确定的像素位移信息调节IR 图像信息来执行的。

步骤518：利用可见光投影系统22，与检测到的从场景发射的 IR辐射对准，通过把对准的可见表示，例如以IR图像的形式，投影 到观察的现实世界场景上来呈现对准的检测到的IR辐射信息的可见 表示。

根据实施例，步骤518包括把形式为IR图像信号的IR图像从 处理器13传送到可见光投影系统22，由此可见光投影系统22的投 影仪29把重新采样的IR图像数据投影到现实世界场景上。由此， IR图像数据与现实世界场景对准地投影，换句话说，IR图像数据在 对应检测到的IR辐射信息从其发射的方向中投影。

根据实施例，根据本文所述任何实施例的步骤502至518都可以 执行多于一次，根据实施例，步骤502至518可以执行适当多次，以 确保没有与测量相关的误差的适当对准。根据实施例，步骤502至 518可以在投影期间重复执行，例如根据预定的速率，其中该速率可 以依赖于光学系统14、18或22之一的帧速率。

投影到不平的表面上

在图2，现实世界场景被说明为平的表面200。但是，IR成像系 统10的用户分析的一个或多个对象或者场景很少是由与可见光投影 仪22的光轴完美正交的平表面组成的。

在图3A中，示出了在不与可见光投影仪22的光轴正交的表面 上使用的IR成像系统的光学系统。图3A的表面关于可见光投影系 统22的光轴在一个维度中倾斜。但是，该表面也可以关于可见光投 影系统22的光轴在两个维度中倾斜。在IR成像系统10的使用过程 中，这将例如涉及操作人员使用设备10把检测到的IR辐射信息的 可见表示投影到被调查的发热地板上。由于操作人员站在地板上，因 此这使得他或她难以把设备10保持成使投影系统22的光轴与地板正 交。

这种示例性实施例在图3C中进一步说明，其中，以在两个维度 中倾斜的方向，作为例子是坐标系统330的x和z方向，投影系统 22的光轴OA(图中未示出)斜着落在被调查的表面中，在这个例子 中是地板310。

根据以下进一步描述的方法，不平表面310的例子在图3B中示 出，对其也可以有利地使用本发明的不同实施例，尤其是对于其中从 热成像布置(10)到观察的场景中多于一个点的几个距离如下所述被 取得的本发明实施例。图3B的不平表面310是这种表面可能看起来 像什么样子的一个例子。由于表面是现实世界对象的表面，因此任何 3D形状都是可能的，包括平表面部分、弯曲部分和/或浮雕部分的任 意组合。

在图3A和3B中，示出了具有光轴OA和有角度v的FOV的光 学系统300。在图3A和3B中只示出了一个光学系统，而不是如图2 中所示的全部三个光学系统。这仅仅是为了绘图的简化。在以下的解 释中，光学系统300可以交替地代表可见光成像系统光学系统14、 IR成像系统18或者可见光投影仪22。

距离映射

如以上在步骤512中描述的，联系图5，多于一个距离值，即， 从热成像布置(10)到观察的场景中多于一个点的多个距离可以被取 得或计算并转变成距离图，其中距离图中每个值对应于取得的从热成 像布置10到观察的场景中的一个点的距离值。该距离图也可以被称 为距离图像。

根据实施例，距离图使IR图像能够投影到观察的现实世界场景 上，以便与包括在观察的现实世界场景中离热成像布置(10)处于不 同距离或深度的一个或多个对象对准，因为，依赖于距离图，对准的 IR图像的每个投影像素可以适于被投影。

根据示例性实施例，依赖于距离图和预设的条件，通过利用变化 的密度适配对准的IR图像的每个投影像素，IR图像作为可见光图案 投影到观察的现实世界场景上，与包括在观察的现实世界场景中离热 成像布置(10)处于不同距离或深度的一个或多个对象对准。例如， 如果距离图中取得的从热成像布置(10)到像素要投影到其上的一个 或多个对象或场景的点i的距离z_i超过预设的阈值，则热成像布置可 以适于更稀疏地投影像素。以这种方式，为场景中靠近热成像布置 10的投影部分提供更详细的投影。或者，如果距离z_i超过预设的阈 值，则热成像布置10可以代替地适于更密集地投影像素，由此对场 景中远离热成像布置10的投影部分提供更详细的投影。根据第三种 示例性实施例，当距离z_i在某个区间之内时，热成像布置10可以适 于更稀疏或密集地投影像素。可以有一个或多个区间和/或阈值。区 间和/或阈值可以预定义并存储在热成像布置10的存储器15中或者 由热成像布置10的操作人员利用包括在与热成像布置10的接口介质 21通信耦合的一个或多个控制设备19中的输入特征选择并输入。

为了实现上述投影适配，根据实施例，依赖于描述要投影的像素 分布的预定义或操作人员输入的一个或多个区间间隔、一个或多个阈 值或其它值，处理器13的图像处理特征可以重新采样IR图像数 据。在IR图像数据的对准，例如重新采样，之后，重新采样的IR 图像以IR图像信号的形式从处理器传送到可见光投影系统22。可见 光投影系统22的投影仪29把重新采样的IR图像数据投影到现实世 界场景上。由此，IR图像数据与现实世界场景对准投影，换句话 说，IR图像数据在对应检测出的IR辐射信息从其发射的方向中投 影。

根据示例性实施例，依赖于距离图，通过适配具有变化尺寸的对 准IR图像的每个投影像素，IR图像作为可见光图案与观察的现实 世界场景中所包括的离热成像布置10处于不同距离的一个或多个对 象对准地投影到观察的现实世界场景上。使得投影仪29能够把更大 的像素投影到现实世界场景中被发现处于由距离图表示的离热成像布 置(10)更大取得距离，即，离操作人员更大距离，的点上，并且当 取得的由距离图表示的距离更小时，是更小的或正常尺寸的像素。根 据另一种实施例，投影仪还适于，作为检测到的到现实世界场景的距 离的函数，增加/减小投影的像素的尺寸，例如，具有线性依赖性。

以这种方式，当在观察的现实世界场景中位于离热成像布置 (10)不同距离的对象处投影时，对热成像布置(10)的操作人员来 说，像素看起来尺寸将更相似。特别地，通过要投影的像素的适配后 的频率(稀疏或密集)和/或振幅(小或大)，使得到不平和/或与可 见光投影仪的光轴不正交的表面上能够有对准的投影。例如，如果操 作人员把IR成像系统10指向操作人员站在其上的发热地板或者指 向操作人员前面建筑物的墙壁，则有可能该表面将不与可见光投影系 统22的光轴正交。

如上所述，根据不同的示例性实施例，投影仪22可以包括激光 投影仪、液晶显示器(LCD)、数字光处理器(DLP)投影仪或者 本领域中已知的任何其它合适类型的投影仪。

根据有些实施例，激光投影仪的使用会是有利的选择，因为激光 投影仪具有高景深，这在不平的表面上给出好的投影结果。

本文中所使用的用于投影仪的不同等效术语包括可见光投影仪、 可见光图案投影仪、可见图像/成像投影仪，从这些术语，投影仪的 目的和功能应当很容易理解。

投影的可见光图案的检测/捕捉

如以上提到的，可见光投影仪22投影可见光图案，其中可见光 图案可以是在由可见光成像系统14捕捉的图像中检测到的区域或预 定可识别特征的形式，例如符号或图案的形式。投影可以包括 FOV_proj中所包括的全部或部分像素，并且可以具有或者不具有人或 计算机可识别的形式。为了简化，要检测的投影的可见光在下面被描 述为图案或符号。

图像中符号或图案的检测可以利用本领域中本身已知的任何合适 的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄 化、相似性测量、遮蔽、强度阈值化或过滤。

根据非计算昂贵的示例性实施例，现实世界场景的第一和第二图 像是利用可见光成像系统14紧密相继捕捉的，同时可见光投影系统 22在短时间内“闪烁”预定的可识别特征，例如以符号或图案的形 式。例如，在第二图像被捕捉之前，预定的符号或图案利用可见光投 影仪22投影到现实世界场景上，其中可见光成像系统14的FOV至 少部分地与可见光投影仪22的FOV重叠。由此，第二图像包括基 本上与第一图像相同的场景，但是增加了投影的图案。根据这种实施 例，控制投影系统22激活的处理器13把投影和可见光成像系统14 执行的图像捕捉同步。这使得可见光成像系统14能够捕捉两个连续 的帧，其中一帧包括叠加到观察的现实世界场景上的投影符号或图案 的至少部分，而另一帧包括现实世界场景的相同视图，但没有投影。 通过从第二图像减去第一图像，获得包括检测到的符号或图案的差异 图像。如果场景本身当中包含更多信息，或“噪声”，则这种示例性 图案提取方法可以例如有利地使用。

更多实施例

在一种实施例中，如果可见光投影仪22把可见光图案投影到应 当焦点对准的某个对象上，则取得的距离参数z对应于焦距。因此， 这个信息可以用于热成像布置10的精确聚焦。

根据示例性实施例，可见光图像投影仪22是激光投影设备。激 光投影设备是没有焦点的，这意味着对焦透镜具有固定在其超焦距的 焦点。不是用确定正确焦距并把透镜设置到那个焦点的方法，无焦点 的透镜依赖于景深产生可接受清晰度的图像。因此，激光投影设备不 需要聚焦。根据其它示例性实施例，根据条件，任何其它适当类型的 投影设备都可以使用。

根据实施例，提供了具有处理器的计算机系统，该处理器适于执 行以上给出的实施例的任何步骤或功能。

根据本发明的实施例，提供了计算机可读介质，其上存储用于执 行上述任何实施例的方法的非暂时性信息。

根据更多实施例，提供了计算机可读介质，其上存储用于执行上 述任何方法实施例的非暂时性信息。

根据实施例，用户可以捕捉观察的场景的可见光图像，同时把可 见光投影到场景上，与从观察的场景发射的IR辐射对准，并且保存 捕捉到的图像用于以后观看或用于传送到另一处理单元，诸如计算 机，供将来分析和存储。

在备选实施例中，所公开的对准方法可以由诸如通信耦合到热成 像布置的PC和/或专门适于执行本发明方法步骤的FPGA-单元和/或 包含根据联系图2描述的通用处理单元2的计算设备来实现。计算设 备还可以包括存储器15和/或显示单元3。

更多优点

根据本文所述本发明的实施例，可见光到观察的现实世界场景上 的投影是在现场实时地或者近乎实时地(实况)，或者换句话说是实 况，执行的，由此使用户更容易解释和分析观察的现实世界场景，因 为在观察的现实世界场景上向用户直接呈现了相关信息。由于可见光 信息，包括从观察的现实世界场景接收到的IR辐射的可见表示，实 时地或者近乎实时地(实况)投影到所述观察的现实世界场景上，因 此用户不需要为了关联接收到的IR辐射信息与他或她在观察的现实 世界场景中看到的内容而把目光从观察的现实世界场景转向别处。此 外，根据本发明的实施例，可见光投影到观察的现实世界场景上，与 观察的现实世界场景对准，或者换句话说与从观察的现实世界场景发 射的IR辐射对准，由此进一步帮助用户把投影的可见光信息和观察 的现实世界场景关联并且还方便观察的/被调查的观察的现实世界场 景的解释和分析。