用于投影红外线辐射的可见表示的方法和系统

摘要

一种通过利用包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统(22)的热成像布置(10)，将基于从观察的现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的可见表示呈现在所述观察的现实世界场景上，使得能够对所述观察的现实世界场景进行更容易的解释和分析的方法。

说明书

技术领域

本发明一般而言涉及使得能够对观察的现实世界场景进行更容易 的解释和分析的方法和系统。

更具体而言，本发明涉及通过把可见光投影到观察的现实世界场 景上来使得能够对观察的现实世界进行更容易的解释和分析，其中可 见光包括从观察的现实世界场景发射的红外线(IR)辐射的可见表 示以及附加信息的可见表示。

此外，本发明涉及把所述可见光投影到观察的现实世界场景上的 方法和系统，其中投影的可见光与从现实世界场景发射的IR辐射对 准并且其中投影的可见光包括基于来自观察的现实世界场景的红外线 (IR)辐射的红外线(IR)辐射信息的表示。

背景技术

在红外线(IR)成像或热成像的场中，常见的是利用IR成像系 统，也称为热成像布置，例如以IR相机的形式，捕捉从观察的现实 世界场景发射的IR辐射，并且把IR辐射信息处理成通常在系统的 显示器上向用户示出的可见光图像。

与此相关的问题是成像系统的用户难以区分并分析什么在显示器 上示出，因为代表IR辐射信息的图像常常具有低分辨率并且显示单 元通常相当小。

IR成像系统的用户可以选择保存一个或多个图像并且把它们传 送到另一单元，诸如计算机，用于随后显示。以这种方式，这一个或 多个图像可以在更大的显示器上呈现。但是，这导致从IR辐射被检 测到的时刻到检测到的信息向用户呈现的时刻的延迟，。换句话说， 检测到的信息的分析不能在现场执行。此外，用户难以回顾性地把显 示在计算机上的信息关联到IR辐射检测已经执行的观察的现实世界 场景。

在IR相机的典型用例中，操作人员会想通过检测对象的不同点 或部分的温度来分析观察的现实世界场景中一个或多个对象或表面的 特点。操作人员捕捉IR图像，然后比较观察的现实世界场景的IR 图像与人眼察觉到的观察的现实世界场景。在这个过程中，操作人员 必须通过比较在通常小的IR相机显示器上显示的内容与观察的现实 世界场景来把图像信息翻译或解释成现实，以便理解显示器上的图像 信息如何关联到观察的现实世界场景，其中会存在必然的努力、错误 源和延迟。

有些相关技术通过提供IR检测器或IR相机和可见光投影仪的 组合来解决这些问题，使得更大的可见图像能够在现场显示，例如， 该可见图像投影到观察的现实世界场景的平表面上。这种相关技术设 计成依赖于IR辐射生成可见光图像并且把IR辐射的可见解释直接 投影到观察的场景上。由此使得有可能与观察的现实世界场景更紧密 关联地使用IR辐射信息。

随着技术发展以及更小构造部件可以获得，小尺寸投影设备的生 产变得日益普通。因此，这种“小型化”投影仪可以例如结合手持式 设备，诸如具有成像能力或成像系统的移动通信设备，使用。这种发 展也使得生产具有投影仪的手持式IR相机更可行。但是，在相关技 术中，仍然需要开发用于集成IR相机和投影机的方法。

由于IR图像形式的IR信息的捕捉以及作为IR图像可见表示的 可见图像的投影是由不同且物理上分离的部件执行的，因此部件的光 轴通常彼此有一定距离并且称为视差误差的光学现象将发生。为了补 偿视差误差，图像必须对准。按照惯例，对准是通过成像系统中的光 学元件，例如对焦透镜或分束器，的调节来实现的。利用成像系统中 光学或其它物理元件的对准需要成像系统中的空间并且会难以适合。 此外，成像系统中附加或经过特别改装的元件的包括造成更高的生产 成本。

相关技术的例子

公开IR检测器和可见光投影仪的结合的相关技术的例子在以下 文档中找到。

授予Cannamela的专利公开US 2008/0224041 A1公开了用于观 察的现实世界场景上的表面下异常检测和图像投影的方法和装置。根 据该公开内容的各方面，该方法包括利用检测器确定在观察的现实世 界场景中表面之后一个位置的表面下异常的存在并且生成代表该异常 的信号表示。该信号被发送到投影仪、转换成该异常的可见表示并且 投影到该表面上的其中该表面下异常在其后面存在的该表面上的位置 处。

授予Qinetiq的专利公开US 7,579,592 B2公开了照明和成像系 统及方法。根据该公开内容的各方面，热手电筒包括IR相机和可见 光发射器，布置成利用可见光照亮热对象。IR信息转换成可见光并 且可见光投影到观察的现实世界场景上。这个文档公开了利用分束器 进行对准的解决方案。

公开视差补偿和/或图像对准的相关技术的例子在以下文档中找 到。

在相机显示器登记可见光相机模块和红外线相机模块的独立视场 的方法和装置在授予Johnson等人的文档US 2006/0289772 Al中找 到。US 2006/0289772 Al的登记需要诸如霍尔效应传感器的传感器。 该文档只公开了显示在数字显示器上的图像之间的对准，并且没有公 开投影设备的使用。

文档EP 2107799 A1 FLIR Systems AB公开了具有分别用于记录 IR图像和可见图像的两个光学系统以及激光指示器的IR相机。与可 见图像和IR图像之间的位移相关的一个或多个参数用来确定IR图 像中激光点相对于可见图像中检测到的位置的位移。该公开内容的目 的是通过在数字显示器上显示的图像的对准来确定激光点在红外线图 像中的位置，并且没有公开投影设备的使用。

仍然需要使得能够在热成像布置使用期间，优选地在现场或者实 况地，对观察的现实世界场景进行更容易的解释和分析并且把附加信 息关联到观察的现实世界场景。

发明目的

本发明的目标是使得热成像布置的用户能够对观察的现实世界场 景进行更容易的解释和分析。

本发明的更多目标是解决以下部分问题：

-如何在热成像布置的使用期间优选地在现场或者实况地提供对 观察的现实世界场景的更容易的解释和分析。

-如何帮助用户把附加信息关联到观察的现实世界场景。

本发明的一种或多种实施例解决或至少最小化以上提到的问题。

发明内容

根据实施例，本发明增强了用户使用组合的IR成像设备和投影 仪的体验。

根据一种或多种实施例，本发明利用组合的IR成像设备和投影 仪方便用户对投影信息的更容易的分析的解释。

根据一种或多种实施例，本发明通过利用包括红外线(IR)成 像系统(18)、可见光成像系统(14)和可见光投影系统的热成像布 置(10)，将基于从现实世界场景发射的红外线(IR)辐射的红外 线(IR)辐射信息以及附加信息的可见表示呈现到所述观察的现实 世界场景上，来方便对所述观察的现实世界场景的更容易的解释和分 析。

此外，根据本文所述实施例的本发明提供了在热成像布置使用期 间优选地在现场或者实况地对观察的现实世界场景进行更容易的解释 和分析。

此外，根据本文所述实施例的本发明将帮助用户把附加信息关联 到观察的现实世界场景。

本公开内容的一种或多种实施例解决或至少最小化以上提到的问 题。

根据本发明的一方面，提供了把可见表示投影到观察的现实世界 场景上的方法和热成像布置，其中投影的可见表示包括基于从观察的 现实世界场景发射红外线(IR)辐射的IR信息的可见表示，并且其 被与检测到的从观察的现实世界场景发射的IR辐射对准地投影到观 察的现实世界场景上，由此例如增强或突出在观察的现实世界场景中 存在的信息，和/或帮助用户把投影的信息关联到观察的现实世界场 景。根据本发明的实施例，投影的可见表示还包括附加信息的可见表 示，作为更多信息，其通过使得能够对观察的现实世界场景进行更容 易的解释和分析来进一步增强用户体验。附加信息可以关联到观察的 现实世界场景或者其周围，或者它可以示出例如帮助用户就面积、尺 寸、距离等解释观察的现实世界场景的与测量相关的信息或其它信 息。

根据另一种实施例，本发明提供了可见表示的投影，其被与检测 到的从该可见表示借助可见光被投影到的一个或多个观察的现实世界 对象或观察的现实世界场景发射的IR辐射正确地对准。

根据实施例，本发明提供了可见表示的投影，可见表示包括投影 到观察的现实世界场景中一个或多个对象上的附加信息。根据实施 例，附加信息按比例投影到观察的现实世界场景上，由此进一步帮助 用户把附加信息关联到观察的现实世界场景。

根据本发明的一方面，提供了一种通过利用包括红外线(IR) 成像系统、可见光成像系统和可见光投影系统的热成像布置，将基于 从现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息 以及附加信息的可见表示与检测到的从所述观察的现实世界场景发射 的红外线(IR)辐射对准地呈现在在所述观察的现实世界场景上而 使得能够对所述观察的现实世界场景进行更容易的解释和分析的方 法，该方法包括：检测从所述观察的现实世界场景发射的红外线 (IR)辐射作为红外线(IR)辐射信息或者更具体而言是基于检测 到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红 外线(IR)辐射信息；创建所述检测到的红外线(IR)辐射信息的 可见表示；把所述检测到的红外线(IR)辐射信息的所述可见表示 对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐 射；依赖于从预定源接收的信号，创建附加信息的可见表示；创建组 合的红外线(IR)图像，该组合的红外线(IR)图像包括所述检测 到的红外线(IR)信息的所述对准的可见表示和附加信息的所述可 见表示；并且通过把所述组合的红外线(IR)图像投影到所述观察 的现实世界场景上来呈现它，其中包括在所述红外线(IR)图像中 的检测到的红外线(IR)信息的所述可见表示被与检测到的从观察 的现实世界场景发射的IR辐射对准地投影。

根据本发明的另一方面，提供了一种通过将基于从现实世界场景 发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的 可见表示与检测到的从所述观察的现实世界场景发射的IR辐射对准 地呈现在观察的现实世界场景上来使能能够对所述观察的现实世界场 景进行更容易的解释和分析的热成像布置，其中包括在所述红外线组 合(IR)图像中的红外线(IR)辐射信息的可见表示与从观察的现 实世界场景发射的红外线(IR)辐射对准地投影，该布置包括：红 外线(IR)成像系统，用于根据第一视场检测从所述观察的现实世 界场景发射的红外线(IR)辐射；可见光投影系统，适于根据第二 视场把可见光投影到所述观察的现实世界场景上，其中第二视场至少 部分地重叠第一视场；可见光成像系统，适于根据第三视场捕捉所述 观察的现实世界场景的可见光图像，其中第三视场至少部分地重叠第 一和/或第二视场；处理器，适于：

-创建所述检测到的红外线(IR)辐射信息的可见表示；

-把所述检测到的红外线(IR)辐射信息的所述可见表示对准到 检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；

-依赖于从预定源接收的信号，创建附加信息的可见表示；及

-创建组合的红外线(IR)图像，包括所述检测到的红外线 (IR)辐射信息的所述对准的可见表示和附加信息的所述可见表 示；

其中所述可见光投影系统22还适于：

-通过把所述组合的红外线(IR)图像投影到所述观察的现实世 界场景上来呈现它，其中包括在该红外线(IR)图像中的检测到的 红外线(IR)辐射信息的可见表示与检测到的从观察到的现实世界 场景发射的IR辐射对准地投影。

根据本发明的其它方面，提供了其上存储适于控制处理器执行本 文所述任何方法步骤或功能的非暂时性信息的计算机可读介质；或者 包括适于控制处理器执行本文所述任何方法步骤或功能的代码部分和 /或适于配置现场可编程门阵列(FPGA)执行本文所述任何方法步骤 或功能的配置数据的计算机程序产品。

本发明的范围是由通过参考结合到该概述当中的权利要求定义 的。通过考虑以下一种或多种实施例的详细描述，对本发明实施例的 更完整理解及其附加优点的实现将提供给本领域技术人员。将参考首 先简要描述的附图。

附图说明

以下参考附图通过示例实施例进一步描述本发明，其中：

图1A-1C示出了根据本发明不同示例性实施例的热成像布置的 示意图。

图2示出了根据本发明实施例、与观察的现实世界场景相关的热 成像布置的三个光学系统的布置的示意图。

图3A根据由本发明实施例使其成为可能的示例性用例示出了用 在与可见光投影仪的光轴不正交的表面上的IR成像系统的光学系统 的示意图。

图3B根据由本发明实施例使其成为可能的另一个示例性用例示 出了用在不平表面上的热成像布置的光学系统的示意图。

图3C示出了一个示例性实施例，其中热成像布置的投影仪的光 轴OA斜着落到观察的现实世界场景中的表面上。

图4A是根据实施例示出生产期间校准的框图。

图4B是根据实施例示出自校准的框图。

图5是根据本发明的实施例、执行投影图像到检测到的IR辐射 信息的对准的方法的流程图。

图6是根据实施例示出操作期间调节的框图。

图7是根据实施例的不同模式的示意性概述。

图8是根据实施例示出校准的热成像布置的操作的框图。

图9是示出方法实施例的流程图。

图10a示出了根据本发明第一种实施例的IR信息和附加信息的 投影。

图10b示出了根据本发明第二种实施例的IR信息和附加信息的 投影。

具体实施方式

介绍

因此，本发明的实施例涉及用于IR(红外线)成像，也称为热 成像，的解决方案，其中，代替或者除就像具有IR成像布置，或热 成像布置，的常见情况那样的显示器布置上的间接视图之外，基于从 场景发射的红外线(IR)辐射的红外线(IR)辐射信息的可见表示 以及附加信息的可见表示，利用可见表示的投影叠加到观察的现实世 界场景上，该叠加是实时地或者实况地(近乎实时地)，即，从红外 线(IR)辐射信息的检测到红外线(IR)辐射信息的可见表示到所 述观察的现实世界场景上的投影有很短延迟。这意味着用户可以使用 他或她自己的正常视觉来观察现实世界场景，其中投影到观察的现实 世界场景上的可见表示使得用户更容易解释和/或分析所观察的现实 世界场景。例如，投影的可见表示可以突出观察的现实世界场景中感 兴趣的对象或区域。根据实施例，附加信息按比例投影到观察的现实 世界场景上，由此进一步帮助用户把附加信息关联到观察的现实世界 场景。

根据实施例，关联到观察的现实世界场景的附加信息是作为预定 信息接收的、从集成在热成像布置中或耦合到其的传感器接收的、从 热成像布置10中或耦合到其的测量设备接收的、从热成像布置中的 存储器接收的、从集成在热成像布置10中或耦合到其的图形用户接 口(GUI)接收或者从热成像布置中的处理器接收的。

根据实施例，取得从热成像布置10到观察的现实世界场景的距 离值z。根据实施例，把附加信息按比例投影到观察的现实世界场景 上涉及基于取得的从热成像布置到观察的现实世界场景的距离值z把 适配后的附加信息投影到观察的现实世界场景上。根据实施例，取得 从热成像布置10到观察的现实世界场景的距离值z。根据实施例， 取得的距离值z是预定的、从存储器取得、通过利用与已知参数和/ 或使热成像布置能够进行取得的参数的关系，诸如联系图2-8中给出 的等式2的关系，进行计算取得或者通过使用集成在热成像布置中或 耦合到其的距离传感器取得。

在实施例中，从热成像布置10到观察的现实世界场景的多个距 离值z是以联系图2-8所述的方式取得的。

在实施例中，投影到观察的现实世界场景上的附加信息的一部分 的长度或面积是基于取得的距离值z来计算的。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及依赖于取得的距离z或者计算出的至少一个距离和/或面积把附加 信息的可见表示按比例投影到观察的现实世界场景上。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的相对长度/面积信息，以帮助用户把场景的不 同部分或其中存在的对象的尺寸/面积/距离彼此关联。在一个非限制 性例子中，相对长度信息是标尺的形式。在一个非限制性例子中，相 对面积信息是帮助网格或网格线的形式。在一个非限制性例子中，相 对长度/面积信息是基于取得的从热成像布置到观察的现实世界场景 的距离来确定的。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的朝向信息，以帮助用户把场景的不同部分或其 中存在的对象的朝向彼此关联。在一个非限制性例子中，朝向信息指 示水平和/或垂直朝向，例如是从集成在热成像布置中或耦合到其的 陀螺仪获得的。在一个非限制性例子中，朝向信息是以挂线水平仪、 酒精水平仪或气泡水平仪或者在本领域中用来指示观察的现实世界场 景中对象的朝向是水平(level)还是垂直的任何其它指示器的形式。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的文本信息。在一个非限制性例子中，文本信息 是以本领域中已知的方式从传感器获得的温度值、从传感器获得的湿 度值或者从检测到的IR辐射信息获得的等级(level)。文本信息可 以作为数值或区间或者作为将帮助用户解释或分析观察的场景的任何 其它合适的可见表示包括在投影到观察的场景上的IR图像中。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的图形信息。在一个非限制性例子中，图形信息 包括略图、绘图或者关于观察的现实世界场景的任何图形信息。

根据本发明的实施例，提供了通过把组合的红外线(IR)图像 投影到所述观察的现实世界场景上来呈现其的方法和布置，其中组合 的红外线(IR)图像包括所述检测到的红外线(IR)辐射信息的所 述对准的可见表示和附加信息的所述可见表示，其中，利用如图 1A、1B和1C中所示的包括IR成像系统18、可见光成像系统14和 可见光投影系统22的热成像布置10，包括在所述红外线组合(IR) 图像中的检测到的红外线(IR)辐射信息的所述可见表示与所述检 测到的从所述观察的现实世界场景发射的IR辐射对准地投影。

根据实施例，IR成像系统18适于根据第一视场检测从观察的现 实世界场景发射的红外线(IR)辐射。

根据实施例，处理器13适于把由红外线(IR)成像系统18检 测到的红外线(IR)辐射信息变换成可见表示，由此创建红外线 (IR)图像。以这种方式，检测到的红外线(IR)信息的可见表示 被创建。

对准

根据一种或多种实施例，热成像布置包括可见光成像系统14， 并且其中对准包括例如如下使用所述可见光成像系统。

根据实施例，可见光投影系统22适于根据第二视场把可见光图 案投影到观察的现实世界场景上，其中第二视场至少部分地重叠第一 视场。

根据实施例，可见光成像系统14适于根据第三视场捕捉观察的 现实世界场景的可见光图像，包括所述投影的可见光图案，其中第三 视场至少部分地重叠第一和/或第二视场。

根据实施例，处理器13还适于在所述捕捉到的可见光图像中检 测所述投影的可见光图案；确定可见光图像中在投影的可见光图案像 素坐标和与可见光图像中的像素坐标之间以像素为单位的像素位移 d_(pix vis)，其中如果可见光成像系统和可见光投影系统对准，则投影的 可见光将出现；基于投影的可见光图案和可见光图像之间的像素位移 d_(pix vis)，确定IR图像和可见光图像之间的像素位移d_(pix IR)；并且基于 所述像素位移d_(pix IR)，把所述检测到的红外线(IR)辐射的所述可见 光表示，也称为红外线(IR)图像，对准到检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射；通过根据第二视场把所述 对准的红外线(IR)图像与检测到的从观察的现实世界场景发射的 IR辐射对准地投影到所述现实世界场景上来呈现它。

根据实施例，处理器13还适于取得从IR热成像布置10到观察 的现实世界场景的距离z。根据更多实施例，处理器13适于基于取 得的距离z来确定检测到的投影的可见光图案和可见光图像之间的像 素位移d_(pix vis)；和/或基于检测到的投影的可见光和可见光图像之间的 像素位移d_(pix vis)以及取得的距离z来确定IR图像和可见光图像之间 的像素位移d_(pix IR)。

根据实施例，可见光投影系统(22)还适于通过与检测到的从观 察的现实世界场景发射的IR辐射对准地把检测到的红外线(IR)辐 射的对准的可见表示，换句话说是IR图像，投影到所述观察的现实 世界场景上来呈现它。

根据实施例，IR辐射信息的可见表示与从观察的现实世界场景 发射的IR辐射对准地呈现。

呈现方法的实施例在以下联系图5进一步描述。

适用于这个目的的布置包括三个光学系统，即，IR成像系统、 可见光成像系统和可见光投影系统。在不同的实施例中，这三个光学 系统或者组装成一个集成的热成像布置，或者设计成具有作为独立部 件的投影仪。在投影仪是独立部件的情况下，它可以适于可分离地附 连到包括其它光学系统的组件或外罩或者适于与其它光学系统物理地 分开操作。

热成像布置的所有部件/单元都，例如，通过直接连接、有线连 接和/或无线连接通信耦合。

热成像布置的光学系统通常具有不同的视场(FOV)。为了实 现根据本发明的对准，热成像布置的光学系统必须放置成使得每个光 学系统的FOV至少部分地与另两个光学系统的FOV重叠。

由于热成像布置的光学系统不具有相同的光轴，因此视差误差将 发生。为了补偿视差误差，图像必须对准。

在执行根据本发明的对准所需的计算中使用的有些信息可以在相 机的校准过程中确定，如以下更详细地描述的。

集成设备实施例

图1A示出了根据本发明第一种实施例的系统的示例图，其中集 成的热成像布置10包括三个光学系统14、18和22。根据实施例， 光学系统14、18、22包括在组件12中。前两个光学系统是包括用于 光的可见频谱的可见光传感器阵列16的可见光成像系统14，和包括 用于光的红外线频谱的IR传感器阵列20的IR成像系统18。组件 12中包括的第三个光学系统是可见光投影系统22或者有可能是适于 投影诸如紫外线的(UV)通常不可见波长区域的光的光投影系统。 根据这种实施例，三个光学系统14、18和22具有固定的安装，在各 自的光轴OA1、OA3、OA2之间具有已知的相对距离和角度，如通 过作为一种对准的校准确定的，例如在热成像布置的生产过程中执行 的。热成像布置10的光学系统安装成使得每个光学系统的FOV至 少部分地分别与另两个光学系统的FOV重叠，如在图2所示的实施 例中说明的。

可分离附连部件实施例

图1B示出了根据本发明第二种实施例的系统的示意图，其中热 成像布置10包括三个光学系统14、18和22。两个成像系统14、18 具有固定的安装，在各自的光轴OA1、OA3(Cf图2)之间具有已 知的相对距离和角度，如通过校准/对准确定的，例如在热成像布置 的生产过程中执行的。根据实施例，可见光成像系统14和IR成像 系统18包括在组件12中。根据这种实施例，投影系统22是适于通 过附连特征25A和25B可分离附连到热成像布置10的独立部件。附 连特征25A在投影系统22上提供并且适于安装(fit)到在热成像布 置10上提供的对应附连特征25B。根据实施例，在附连时，投影系 统22经以下进一步解释的通信接口21和对应的通信接口27通信耦 合到热成像布置10的处理器13。根据不同的实施例，通信接口21 可以集成在投影系统22或附连特征25A任何一个当中、在其中实现 或者耦合到其，而通信接口27可以集成在成像系统14或18、组件 12、处理器13或附连特征25B任何一个当中、在其中实现或者耦合 到其。

根据实施例，当附连特征25A、25B彼此附连时，可见光投影系 统22将定位成关于IR成像系统18和可见光成像系统14分别具有 某个距离和角度。根据实施例，附连特征25A、25B可以包括锥形工 具插入其中的插座、插孔，和/或通过以下的选择彼此附连：通过螺 纹，其中特征25A、25B之一拧到另一个当中，通过把特征25A、 25B之一安装(fit)、扣或按到另一个当中，通过使用磁力，或者通 过使用任何其它合适类型的紧固或附连机制。附连特征放置并设计成 使得在每次附连特征彼此附连时一边的可见光头像系统22与另一边 的IR成像系统18和可见光成像系统14之间的所述距离和角度将基 本上相同，具有最小的错误边际。通过确保在热成像布置的生产期间 组合光学系统的放置基本上在每次IR成像被使用时都相同，可见光 投影系统22与可见光成像系统14和IR成像系统18之间的视差误 差，诸如视差距离和定点误差，分别可以从生产得知、在生产过程中 校准/对准，或者在使用过程中近似。

当部件附连时，热成像布置10的光学系统，这里是系统14、 18、22，定位成使得每个光学系统的FOV都至少部分地与另两个光 学系统的FOV重叠，如图2中示例的。

独立部件实施例

图1C示出了根据本发明第三种实施例的系统的示意图，其中热 成像布置10包括三个光学系统14、18、22。两个成像系统14、18 具有固定的安装，在各自的光轴之间具有已知的相对距离和角度，如 从生产得知或者在生产过程中校准的。根据实施例，可见光成像系统 14和IR成像系统18包括在组件12中。根据这种实施例，投影系统 22是适于在操作期间与热成像布置10的其它部件物理地分开放置并 且有可能处于远处的独立部件。投影系统22经以下进一步解释的通 信接口21通信耦合到处理器13。

在根据这第三种实施例的操作中，投影系统22应当放置成使得 其FOV至少部分地与IR成像系统和可见光成像系统的FOV重叠。 为了实现或帮助实现至少部分重叠的FOV，投影仪可以适于投影可 见光的预定指导投影，例如，以诸如图案的可识别特征的形式，以便 引导用户把投影系统22放在把其投影FOV投到用户要观察的现实 世界场景或对象上的这种位置。

更多的系统体系架构细节

参考图1A-1C中所示的全部实施例，根据实施例，成像系统 14、18包括一个或多个透镜、用于调节透镜的控制设备、适于捕捉 来自观察的现实世界场景的进入辐射并耦合到一个或多个处理器13 的传感器16、20，其中处理器13具有适于处理从传感器16、20接 收到的图像数据并且控制系统不同部件的功能的处理特征。可选地， 热成像布置10包括耦合到处理器13并适于显示图像数据的显示器 23。可选地，热成像布置10包括配置为向用户显示信息并获得用户 输入信息的图形用户接口(GUI)。

根据不同的实施例，包括或不包括可见光投影系统22的热成像 布置10可以是手持式的，适于固定安装，例如为了监督目的或维护 调查，或者适于在使用期间安装在架子上。

根据实施例，热成像布置10还包括用于存储由热成像布置10登 记或处理的数据的存储器15，以及用于输入命令和/或控制信号的一 个或多个控制设备19的选择，例如，交互式显示器、操纵杆和/或记 录/下压按钮，以及至少一个图形接口21，例如，有线或无线连接、 IRDA、蓝牙、USB、FireWire等。响应于输入命令和/或控制信号， 处理器13控制热成像布置10的不同部分的功能。

根据不同的实施例，投影系统22可以包括投影仪29，例如，以 激光投影仪、液晶显示器(LCD)投影仪、数字光处理(DLP)投 影仪或本领域已知的任何其它合适类型的投影仪的形式。

激光投影仪在许多应用中都会是合适的，因为激光投影仪通常具 有高景深，由此图像或数据到任何种类投影表面上的投影都可以进 行。通常，其锐度、颜色空间和对比度高于其它投影技术例如LCD 或DLP投影仪的锐度、颜色空间和对比度。

热成像布置10还可以包括本领域中本身已知的激光指示器，在 图中没有示出。这种激光指示器可以在本发明性概念中用来例如投影 可见光。根据实施例，可见光可以作为形式为受限图案(limited  pattern)的可识别特征来投影，该受限图案包括投影系统的视场， 下文中也表示为FOV_proj，中所包括的全部或部分像素。

联系图2-8，以下描述视差补偿、校准和对准的实施例。

使得能够对观察的现实世界场景进行更容易的解释和分析的方法 实施例

根据本发明的实施例，

通过利用包括红外线(IR)成像系统18、可见光成像系统14和 可见光投影系统22的热成像布置10，基于从所述观察的现实世界场 景发射的红外线(IR)辐射在所述观察的现实世界场景上呈现红外 线(IR)辐射信息的可见表示来提供使得能够对观察的现实世界场 景进行更容易的解释和分析的方法。

根据图9中所示的实施例，该方法可以包括：

步骤900：检测从观察的现实世界场景发射的红外线(IR)辐射 作为红外线(IR)辐射信息或者更具体而言是基于检测到的从所述 观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR) 辐射信息。

根据实施例，从观察的现实世界场景发射的红外线(IR)辐射 是根据红外线(IR)成像系统18的视场，FOV_IR，利用红外线 (IR)成像系统18来检测的。

步骤910：创建检测到的红外线(IR)辐射信息的可见表示。

根据实施例，检测到的红外线(IR)辐射的可见表示是以检测 到的IR图像的形式。

根据实施例，处理器13适于把由红外线(IR)成像系统18检 测到的检测到的红外线(IR)辐射信息变换成所述检测红外线 (IR)辐射信息的可见表示，由此创建检测到的红外线(IR)辐射 信息的可见表示。

步骤920：把检测到的红外线(IR)辐射信息的可见表示对准到 检测到的从观察的现实世界场景发射的红外线(IR)辐射。

根据实施例，处理器13适于把所述检测到的红外线(IR)辐射 的可见表示对准到检测到的从观察的现实世界场景发射的红外线 (IR)辐射.

根据不同的实施例，对准可以利用上述任何方法实现。

步骤930：依赖于从预定源接收的信号，创建附加信息的可见表 示。

根据实施例，处理器13适于，依赖于从预定源接收的信号，创 建附加信息的可见表示。

预定源可以包括以下的选择：

-用户输入；

-处理器；

-存储器；

-传感器；和/或

-测量设备。

步骤940：创建组合的红外线(IR)图像，包括检测到的红外线 (IR)辐射信息的对准的可见表示以及附加信息的可见表示。

根据实施例，处理器13适于创建组合的红外线(IR)图像，包 括检测到的红外线(IR)辐射的对准的可见表示以及附加信息的可 见表示。

根据实施例，取得从热成像布置10到观察的现实世界场景的距 离值z。根据实施例，把附加信息按比例投影到观察的现实世界场景 上涉及基于取得的从热成像布置10到观察的现实世界场景的距离值 z把适配后的附加信息投影到观察的现实世界场景上。根据实施例， 取得从热成像布置10到观察的现实世界场景的距离值z。根据实施 例，取得的距离值z是预定的、从存储器15取得、通过利用与已知 参数和/或使热成像布置能够进行取得的参数的关系，诸如联系图2-8 中给出的等式2的关系，进行计算取得或者通过使用集成在热成像布 置中或耦合到其的距离传感器取得。

在实施例中，从热成像布置10到观察的现实世界场景的多个距 离值z是以联系图2-8所述的方式取得的。

在实施例中，投影到观察的现实世界场景上的附加信息的一部分 的长度或面积是基于取得的距离值z或多个距离值z来计算的。

根据实施例中，以上在步骤940中创建组合的红外线(IR)图 像还包括，依赖于取得的距离值z或者计算出的至少一个距离和/或 面积，确保附加信息的可见表示将按比例投影到所述观察的现实世界 场景上，其中所述确保包括对准投影的光和观察的场景。

在图10b中，投影表面是基本上平的墙壁，这是对于投影来说最 容易的可能的情况。但是，在观察的现实世界场景中，可见光投影到 其上的观察的现实世界场景的对象或部分通常离IR成像系统18有 不同的距离，如图3的实施例中所示，这意味着投影的可见表示必须 与观察的现实世界场景对准，例如根据联系图2-8在本文给出的方法 实施例。

步骤950：通过把组合的红外线(IR)图像投影到观察的现实世 界场景上来呈现它，其中包括在该红外线(IR)图像中的检测到的 红外线(IR)辐射信息的可见表示与检测到的从观察的现实世界场 景发射的IR辐射对准地投影。

根据实施例中，可见光投影系统22适于通过把组合的红外线 (IR)图像投影到观察的现实世界场景上来呈现它，其中包括在该 红外线(IR)图像中的检测到的红外线(IR)辐射信息的可见表示 与检测到的从观察的现实世界场景发射的IR辐射对准地投影。

用例实施例

在操作中，根据实施例，操作人员把手持式热成像布置10指向 观察的现实世界场景，该场景可以例如包括管道、墙壁、地板、天花 板或者对调查而言感兴趣的任何其它一个或多个目标表面或对象，并 且，直接看到投影到观察的现实世界场景上的被发射并被检测的IR 辐射的可见表示，其中以该可见表示在与对应检测到的IR辐射的发 射方向相同的方向上被投影的方式，该可见表示与观察的现实世界场 景对准。例如，如果观察的现实世界场景包括热点，例如过热的电气 元件，则用户将看到投影到该检测到的热点上的光，例如光是指示该 检测到的热点温度高的颜色或光强度的。根据实施例，投影到热点上 的光可以是红色，通常用于代表色阶上的热温度，或者，如果灰度级 值用于投影，则光可以是高强度光。如对本领域技术人员很显然的， 对于在观察的现实世界场景中检测到的热、IR或温度信息的范围， 任何合适的可见表示都可以使用。

根据以下进一步描述的不同实施例，用户可以使用热成像布置来 在观察的现实世界场景中照亮或突出感兴趣的区域，或者在检测到异 常时接收形式为投影到观察的现实世界场景上的可见或可听警报的告 警。

根据另一种实施例，用户可以使用热成像布置来取得到观察的现 实世界场景的距离。从热成像布置到观察的现实世界场景的距离在下 文中将被称为z，其中z是指示从热成像布置到观察的现实世界场景 的距离的参数。

根据实施例，距离z的值可以例如通过利用与已知参数和/或使 热成像布置能够进行取得的参数的关系进行计算来取得，例如以下给 出的等式2的关系。根据备选实施例，以本身已知的方式，距离z可 以通过使用两个可见光传感器、通过IR图像中激光点的检测、通过 对焦透镜的位置或者通过集成在热成像布置中或耦合到其的距离传感 器的使用来取得。

为了让热成像布置作为距测仪工作，热成像布置必须首先被校 准。以下描述备选的校准实施例。

根据实施例，操作人员可以选择利用包括在一个或多个控制设备 19中的输入特征激活对准功能。根据另一种实施例，对准功能是在 热成像布置10启动的时候被自动激活的。

根据其中可见光投影系统22是如在图1B中示例的可分离附连 部件并且目前没有附连到手持式热成像布置10的实施例，操作人员 在使用之前把可见光投影系统22附连到手持式热成像布置10。

根据备选实施例，其中可见光投影系统22和手持式热成像布置 10要用作物理上分离的部件，操作人员把可见光投影系统22放到相 对于手持式热成像布置10的合适位置，确信投影系统22指向要调查 的感兴趣的目标表面或对象。通过适于投影例如作为图案或符号的形 式的可识别特征的、可见光的预定指导投影的可见光投影系统22， 操作人员有可能被指引着把可见光投影仪指向要调查的感兴趣的目标 表面或对象。根据实施例，可见光可以作为形式为受限图案的可识别 特征来投影，其中该受限图案包括投影系统的视场(FOV_proj)中所包 括的全部或部分像素。这种投影可以例如在可见光投影系统22被开 启时自动激活，或者被控制成通过来自操作人员的输入而激活。操作 人员可以利用例如集成在可见光投影系统22中或耦合到其的输入设 备(图中未示出)或者热成像布置10的控制设备19来提供输入，由 此处理器13把来自控制设备19的输入信号翻译成经接口21传送到 可见光投影系统22的控制信号，以便控制所述指导投影的激活。可 见光投影系统22通过有线或无线连接通信耦合到热成像布置的处理 器，例如经通信接口21和27通信。

根据实施例，热成像布置10的IR成像系统18检测从观察的现 实世界场景发射的IR辐射并且利用包括在IR成像系统18中的IR 传感器阵列20捕捉所述IR辐射。在IR传感器阵列20中，进入的 IR辐射被转换成包括IR辐射数据的IR辐射信号。捕捉到的IR辐 射数据从IR传感器阵列20发送到处理器13，其中检测到的IR辐射 数据被变换成形式为IR图像的图像数据的可见表示。根据实施例， IR图像传送到热成像系统10的显示器23并且呈现给设备的操作人 员。但是，根据本发明的方法实施例，IR图像在相机显示器上的显 示是可选的。

根据实施例，可见光投影系统22被处理器13控制成把可见光投 影到观察的现实世界场景上。根据实施例，可见光可以作为形式为受 限图案或符号的可识别特征来投影，其中该受限图案或符号包括可见 光投影系统22视场(FOV_proj)中所包括的全部或部分像素。根据实 施例，投影是与IR辐射信息的捕捉和处理并行执行的，但不必在相 同的时刻。

根据实施例，本发明语境下的图案或符号是由至少一个像素并且 优选地多于一个像素，通常是多个像素，组成的形状或分布，这种形 状或分布可以很容易地与在观察的现实世界场景的图像中可能出现的 任何东西区分。例如，在优选实施例中，符号不是单个像素或组合到 一起的几个像素的形式，因为单个像素或小的像素组会与在图像中出 现的噪声混淆。本发明的符号可以具有可以被人眼识别的对象的形 状，诸如花、星星或者人知道的任何其它对象。或者，它可以具有不 能被人解释为某个对象但是很容易被人眼和/或数据处理器识别的形 状或分布。类似地，本发明语境下的图案也是由很容易地与在观察的 现实世界场景的图像中可能出现的任何东西以及与噪声区分的多于一 个像素(通常是多个像素)组成的。根据实施例，符号或图案可以具 有人已知的对象的形状或者使其很容易被人眼和/或数据处理器识别 的任何其它合适的形状或分布。根据实施例，被可见光投影设备22 投影的图案仅仅就是FOV_proj中所包括的像素的全部或选定部分。在 这种情况下，基于投影的可见光的强度，图案可以在包括该图案的可 见光图像中被识别或认出。其中可见光被投影的像素有可能具有比可 见光图像剩余像素更高的强度。

根据实施例，在预定符号或图案投影期间，可见光成像系统14 被处理器13控制成利用可见光成像系统14中所包括的可见光传感器 阵列16捕捉进入的可见光。在可见光传感器阵列16中，进入的可见 光被转换成包括可见光数据的可见光信号。捕捉到的可见光数据从可 见光传感器阵列16发送到处理器13，其中可见光数据被变换成可见 光图像。由于可见光传感器阵列16的传感器元件对可见光的波长敏 感，因此可见光投影系统22的反射光可以在可见图像中通过其画面 元素，即，像素，检测到。画面元素可以是例如CCD(电荷耦合设 备)。由此，捕捉到的可见光图像包括被投影到其上的预定符号或图 案叠加的观察的现实世界场景的可见表示。

根据实施例，在捕捉到包括被预定符号或图案叠加的观察的现实 世界场景的可见表示的图像之后，该图像被发送到处理器13，其中 处理器13执行图像中预定符号或图案的检测。图像中符号或图案的 检测可以利用本领域中本身已知的任何合适的检测方法来执行，例如 特征提取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、 过滤或者通过使用差异图像。

根据其中符号或图案检测要利用差异图像执行的实施例，可见光 成像系统14还被处理器13控制成，在与包括观察的现实世界场景和 预定符号或图案的图像被捕捉的时刻接近的一个时刻，捕捉没有投影 到其上的预定符号或图案的同一个观察的现实世界场景的图像。哪个 图像先捕捉和哪个图像后捕捉没有关系。优选地，这两个图像是图像 帧序列中两个相继的图像帧。彼此紧密相继地捕捉图像的原因是观察 的现实世界场景通常从第一个图像帧到第二个图像帧不会改变太多， 这意味着图像的现实世界图像部分将基本相同。此外，在其中热成像 布置10是手持式的实施例中，如果图像是紧密相继捕捉的，例如作 为图像帧序列中两个连续的图像帧，则由用户造成的布置的任何摇晃 或移动将很小。由此，当处理器13从还包括投影的符号或图案的图 像减去只包括观察的现实世界场景的表示的图像时，将获得只包括投 影的符号或图案的差异图像。以这种方式，观察的现实世界场景中存 在的任何符号或图案，例如墙上的壁纸上的图案，不会被热成像布置 10错误地检测为符号或图案。

IR信息的可见表示，也称为IR图像，从处理器13发送到可见 光投影系统22。可见光投影系统22还被处理器13控制成把IR信息 的可见表示投影到观察的现实世界场景上，使得检测到的IR辐射的 可见光表示与进入的，或者捕捉到的，IR辐射对准，并且在与对应 捕捉到的IR辐射发射的方向相同的方向投影到观察的现实世界场景 上。为了实现这种对准，传感器13使用检测到的符号或图案上的信 息连同生产过程中取得的信息、生产中的校准，和/或热成像布置10 操作期间的校准或调整。对准实施例以下进一步详细描述。

根据本发明的实施例，热成像布置10的操作人员将经历上述事 件被实时地立刻执行，这意味着操作人员把热成像布置10指向观察 的包括例如感兴趣表面或对象的现实世界场景，并且直接看到被发射 并检测的投影到观察的现实世界场景上的IR辐射的可见表示，其中 以该可见表示在与对应检测到的IR辐射从其发射的方向相同的方向 上被投影的方式，该可见表示与观察的现实世界场景对准。IR信息 的可见表示通常是颜色或者灰度级，其代表IR信息的可见表示被投 影到其上的观察的现实世界场景，诸如表面或对象，的不同热属性。 利用本发明的对准方法，投影到观察的现实世界场景上的可见表示将 在对应检测到的IR辐射从其发射的方向被投影。例如，形式为红外 线(IR)图像的所述检测到的红外线(IR)辐射的可见表示的投影 被执行，使得检测到的从所述观察的现实世界场景发射的红外线 (IR)辐射的不同热属性得以表示。关于此的例子是，如果代表低 热值或温度的IR辐射在观察的现实世界场景的某个部分中被检测 到，则根据例如选定的色阶或灰度级值范围，可见光投影系统22将 把具有代表所述低热或温度值的颜色或灰度级值的光投影到观察的现 实世界场景的这个部分之上。

在一种实施例中，观察的现实世界场景中检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射偏离周围区域的区域可以被 检测到，其例如有关观察的现实世界场景中的对象。在一种实施例 中，这种偏离是通过比较以下来检测的：该区域中检测到的红外线 (IR)辐射和与周围区域有关的检测到的红外线(IR)辐射(例 如，检测到的红外线(IR)辐射的紧挨着在周围的部分或者检测到 的红外线(IR)辐射的全部)的均值。例如，以其热值或温度的形 式，检测到具有比周围区域的平均的检测到的红外线(IR)辐射低 的检测到的红外线(IR)辐射的区域有时候被称为检测到“冷 点”，这可以指示该区域例如绝缘不良，或者暴露给水泄漏或者凝结 的形成，并且由此具有增加的被水损坏的风险。例如，以其热值或温 度的形式，检测到具有比周围区域的平均的检测到的红外线(IR) 辐射高的检测到的红外线(IR)辐射的区域有时候被称为检测到 “热点”，这可以指示例如该区域包括过热的部件并且具有增加的着 火的风险。如果使用从用于低温的蓝色到用于高温的红色变化的、代 表观察的现实世界场景的检测到的红外线(IR)辐射的色阶，则观 察的现实世界场景中的冷点通常有被可见光投影系统22投影到其上 的蓝色光，而观察的现实世界场景中的热点通常有被可见光投影系统 22投影到其上的红色光。由此，即使是在操作人员把IR成像系统 10指向的表面的另一侧上引起低的或高的热或温度值，也使得操作 人员能够与观察的现实世界场景对准地直接在观察的现实世界场景中 看到他或她正在调查的热点和冷点。

上述红区域和蓝区域仅仅是作为例子。任何色阶、灰度级或者其 它合适的可见表示都可以被可见光投影系统22用来表示检测到的不 同IR辐射水平。例如，不同的IR辐射水平可以由不同的图案或光 强度表示。

如果可见光投影系统22的FOV完全包括在IR成像系统18的 FOV中，则可见光投影系统22可以将依据检测到的UR辐射水平的 选定的可见表示的可见光投影到观察的现实世界场景的在可见光投影 系统22的整个FOV内的那些部分上。或者，如果可见光投影系统 22的FOV只部分地与IR成像系统18的FOV重叠，则可见光投影 仪可以把可见光投影到位于两个系统的FOV的重叠部分内的观察的 现实世界场景部分上。或者，可见光投影系统22只把可见光投影到 从其检测到高于、低于或者在某个选定的温度值或区间之间的IR辐 射并且位于两个系统的FOV的重叠部分中的观察的现实世界场景的 部分上。可见光投影系统22应当把光投影到重叠FOV的哪些部分 上的其它选择也可以被考虑。例如，利用IR成像系统10的输入特 征，可见光可以投影到由操作人员指示的感兴趣的区域上，或者通过 在处理器13中实现的对象检测特征投影到在图像中检测到的对象 上。根据图2中说明的实施例，可见光成像系统14具有最大FOV， IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。 但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺 寸的任何其它关系都是可以想到的。

由于投影的可见光与检测到的从观察的现实世界场景发射的IR 辐射对准并且在检测到的IR辐射从其发射的方向投影，因此将没有 可见光投影到观察的现实世界场景中不在IR成像系统18和可见光 投影系统22这两个系统的FOV中的部分上。

投影实施例的例子在图10A和10B中示出。

图10a示出了包括有地板、墙壁和门的房间的观察的现实世界场 景1000。

图10b示出了同一个观察的现实世界场景1000，其中作为组合 的红外线(IR)图像的可见表示通过把它投影到所述观察的现实世 界场景上来呈现，其中该红外线(IR)图像包括所述检测到的红外 线(IR)辐射信息的对准的可见表示以及附加信息的可见表示，其 中包括在所述红外线组合(IR)图像中的检测到的红外线(IR)辐 射信息的所述可见表示与所述检测到的从所述观察的现实世界场景发 射的IR辐射对准地投影，例如以代表测出的不同IR辐射等级的不 同颜色或光强度的形式。例如，可以使用其中不同温度区间由不同强 度等级或颜色表示的强度等级或色阶，如本领域中众所周知的。

根据图10a和10b的实施例，可见光通过可见光投影系统，诸如 像液晶显示器(LCD)、数字光处理(DLP)投影仪或激光投影 仪，呈现到观察的现实世界场景1000上。在图10b中，可见光投影 被说明为代表观察的现实世界场景中检测到的不同温度值或温度区间 的不同半色调级。当然，观察的现实世界场景1000的所有部分都将 发射可以被上述系统的IR传感器20检测的IR辐射。根据图10b中 的实施例，例如根据感兴趣区域的用户选择，或者预先设置或用户选 择的感兴趣区间的IR辐射信息，投影仪只把可见表示投影到观察的 现实世界场景的部分上。在图10b所说明的实施例中，管道1002、 后墙上的区域1004以及门1006是投影的可见光的目标。如上所述， 目标区域1002、1004、1006的不同半色调图案可以是不同的颜色或 光强度，代表不同的IR辐射等级或区间。例如，管道1002的半色 调图案(颜色，光强度)可以指示对应于高温度值或区间的IR辐射 等级或区间，从而向用户指示这个区域是“热点”。区域1004的半 色调图案(颜色，光强度)又可以对应于低温，从而向用户指示这是 “冷点”，而门1006的半色调图案(颜色，光强度)可以关于有可 能在1002和1004的温度值或区间之间的第三个温度值或区间。

根据实施例，组合的红外线(IR)图像投影到所述观察的现实 世界场景上，其中包括在该红外线组合(IR)图像中的检测到的红 外线(IR)辐射信息的所述可见表示与所述检测到的从所述观察的 现实世界场景发射的IR辐射以及按比例投影的附加信息的可见表示 对准地投影。

根据实施例，按比例把附加信息投影到观察的现实世界场景上涉 及基于取得的距离值z把对准的附加信息投影到观察的现实世界场景 上。

在一个非限制性例子中，直线将被对准，使得，当其投影到观察 的现实世界场景上时，它对用户来说看起来就像是直线，尽管观察的 现实世界场景中对象的表面离热成像布置处于变化的距离并且对象表 面与投影方向不正交。

在一个非限制性例子中，网格线将被适配，使得，当其投影到观 察的现实世界场景上时，它对用户来说看起来就像是在网格线之间具 有相等的距离，尽管观察的现实世界场景中对象的表面离热成像布置 处于变化的距离并且对象表面与投影方向不正交。

在一种实施例中，附加信息是基于距离图来对准的，其中距离图 中的每个值对应于取得的从热成像布置(10)到观察的现实世界场景 中一个点的距离。对观察的现实世界场景中对象表面的可见表示的适 配可以根据本领域中已知的任何方法进行。

根据实施例，附加信息1008可以进一步被投影。在图10B中， 附加信息1008以标尺的形式示例为相对长度单位或长度测量信息， 从而使得能够把长度测量信息按比例投影到观察的场景上，按比例投 影到观察的现实世界场景上，由此帮助用户解释例如观察的现实世界 场景中对象的尺寸和分布和/或投影的可见光的区域。以下给出根据 不同实施例的附加信息。

根据实施例，附加信息包括指导帮助网格或者网格线。根据实施 例，指导网格或网格线提供按比例投影到观察的现实世界场景上的长 度/面积测量信息，由此帮助用户解释观察的现实世界场景的不同部 分或者其中存在的对象的尺寸/面积/距离。根据另一种实施例，网格 或网格线提供相对长度/面积信息，从而帮助用户把观察的现实世界 场景的不同部分或者其中存在的对象的尺寸/面积/距离彼此关联。

根据实施例，附加信息包括使用户能够解释所观察场景部分的朝 向的朝向信息，从而帮助用户把场景的不同部分或者其中存在的对象 的朝向彼此关联。在一个非限制性例子中，朝向信息指示水平和/或 垂直朝向，其例如是从集成在热成像布置中或耦合到其的陀螺仪获得 的。在一个非限制性例子中，朝向信息是以挂线水平仪、酒精水平仪 或气泡水平仪或者在本领域中用来指示观察的现实世界场景中对象的 朝向是水平(level)还是垂直的任何其它指示器的形式。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的文本信息。在一个非限制性例子中，文本信息 是以本领域中已知的方式从传感器获得的温度值、从传感器获得的湿 度值或者从检测到的IR辐射信息获得的等级(level)。文本信息可 以作为数值或区间(interval)或者作为将帮助用户解释或分析观察 的场景的任何其它合适的可见表示包括在投影到观察的场景上的IR 图像中。

根据实施例，附加信息可以包括与温度相关的信息，诸如以本领 域中已知的方式从捕捉到的IR辐射信息获得的温度值或等级或者湿 度值或等级。与温度相关的信息可以作为数值或区间或者作为将帮助 用户解释或分析观察的场景的任何其它合适的可见表示包括在投影到 观察的场景上的IR图像中。

根据实施例，把附加信息按比例投影到观察的现实世界场景上涉 及投影作为附加信息的图形信息。在一个非限制性例子中，图形信息 包括略图、绘图或者关于观察的现实世界场景的任何图形信息。

根据实施例，附加信息包括文字(writing)/文本、略图和/或绘 图。在一个非限制性例子中，附加信息由用户利用一个或多个控制设 备19输入。根据实施例，附加信息是通过触摸功能输入的。

根据其中从热成像布置10到观察的现实世界场景的至少一个距 离z已知或者被取得的实施例，观察的现实世界场景的一部分的长度 和/或面积可以按本领域中已知的方式计算。

根据实施例，以上在步骤S940中创建组合的红外线(IR)图像 还包括，依赖于取得的距离z或者计算出的至少一个距离和/或面 积，确保附加信息的可见表示将按比例投影到所述观察的现实世界场 景上。

在图10b中，投影表面是基本上平的墙壁，这是对于投影来说最 容易的可能的情况。但是，在观察的现实世界场景中，可见光投影到 其上的观察的现实世界场景的对象或部分通常离IR成像系统18有 不同的距离，如图3的实施例中所示，这意味着投影的光必须与观察 的现实世界场景对准，例如根据联系图2-8在本文给出的方法实施 例。

根据实施例，本文所述本发明的不同方面可以用来调查观察的现 实世界场景并且识别相关信息。

相关信息可以是例如被调查的观察的现实世界场景中的热或冷的 点或区域，从而指示由例如差的绝缘或者误动或过热的电气元件造成 的能量偷窃(thieves)或功率偷窃。

根据实施例，如上给出的本发明的不同方面可以用来增强或突出 例如检测到的对于某些预定义等级更高/更低/在其之间的水分，其中 水分等级可以按其本身已知的方式从测出的IR或温度信息来计算。

根据另一种实施例，如上给出的本发明的不同方面可以用来通知 用户地板、电气布线、水管等当中发热的位置，这对于例如在建筑或 电气行业中的用户会是有利的。当这种相关信息投影到观察的现实世 界场景上时，借助于投影，用户可以把关于投影的信息或用户得出的 结论的信息绘制、标记、书写或勾画到观察的现实世界场景上，由此 使得即使在投影被关闭之后也能更容易地进行分析。

根据实施例，附加信息可以包括在热成像布置的显示器上的图形 用户接口(GUI)中给出的图形元素，其中所述图形元素表示以下的 选择：

-作为温度、湿度、发射率或效率给出的测量值。在这里，如果 一个或多个距离z已经取得并且与面积相关的信息已经基于这一个或 多个距离计算出来，则效率可以表示为W/m²或表示为W；

-用于选择感兴趣的一个或多个点和/或区域的一个或多个点和/ 或区域标记；

-用于用户输入的一个或多个输入域；及

-一个或多个可选择的菜单项。

根据实施例，使用户能够控制在所述热成像布置的显示器上的 GUI中呈现什么或者呈现什么的外观。例如，可以使用户能够利用 一个或多个控制设备19通过与热成像布置10的交互来控制GUI。 根据实施例，用户与一个或多个控制设备19的交互生成适于被处理 器13或者集成在热成像布置中或耦合到其的另一处理设备解释的输 入和/或控制信号。在接收到这种输入或控制信号后，处理单元适于 改变在热成像布置10的显示器上示出的GUI的外观和/或作为附加 信息投影到观察的现实世界场景上的内容。例如通过与一个或多个控 制设备19的交互，在热成像布置的显示器上示出的GUI中所包括的 部分或全部信息是否也将投影到观察的现实世界场景上可以预先设置 或者由用户选择。

呈现/投影模式

根据实施例，提供了多于一种投影模式。根据实施例，使用户能 够例如利用一个或多个控制设备19在不同的投影模式之间进行选 择。

根据实施例，可能的投影模式包括以下的选择：

-投影由可见光投影系统22的FOV_proj限定的整个观察的现实世 界场景的可见光表示。根据这种实施例，可见光投影可以是利用IR 成像系统18捕捉到的IR辐射的可见表示，包括观察的现实世界场 景中同时包括在IR成像系统18的FOV_IR和FOV_proj当中的部分。

-投影包括在观察的现实世界场景中的一个或多个对象的可见光 表示。根据这些实施例，一个或多个对象可以由用户利用一个或多个 控制设备19来选择。或者，处理器13可以适于例如基于温度或水分 模式或阈值来自动地识别对象。利用其本身已知的任何合适的对象识 别方法，自动的或基于用户选择的识别可以由包括在处理器13中的 对象识别功能来执行。

-投影包括在观察的现实世界场景中的一个或多个对象的选定部 分的可见光表示；

-把可见光标记投影到观察的现实世界场景上；

-在热点或对象上投影可见光标记；或者

-在冷点或对象上投影可见光标记。

根据实施例，投影的可见光的亮度等级和/或颜色值可以基于该 可见光投影到其上的观察的现实世界场景的部分的亮度等级和/或颜 色值来调节。投影的可见光的亮度等级和/或颜色值通常调节成使得 投影的可见光与它投影到其上的观察的现实世界场景的部分可以尽可 能清楚地被人眼区分。例如，如果观察的现实世界场景是黑色，则高 亮度的可见光可以被投影，如果观察的现实世界场景的相关部分是绿 色，则通常是对比色的不同颜色可以被投影，使得投影在观察的现实 世界场景可以被清楚地看到。

根据不同的实施例，投影的可见光的调节可以通过在操作期间控 制可见光投影系统22投影某些亮度等级和/或颜色的光或者通过在把 IR图像发送到投影仪之前调节其亮度等级和/或颜色来进行。根据实 施例，亮度等级和/或颜色可以预先设定、基于可见光要投影到其上 的观察到现实世界场景的颜色计算或者可以由用户例如利用一个或多 个控制设备19选择。

根据实施例，处理器13可以适于检测观察的现实世界场景的 (由可见光成像系统捕捉到的)可见光图像中的亮度等级和/或颜色 值；基于检测到的亮度等级和/或色阶来计算亮度等级和/或色阶。

根据备选实施例，处理器13可以适于在IR图像被传送到可见 光投影系统22之前调节其亮度等级和/或色阶，或者控制可见光投影 系统22基于预先设定、计算出的或者用户选择的亮度等级和/或色阶 来调节投影的可见光的亮度等级和/或色阶。

视场(FOV)和视差

图2说明了表示为角度α的图1热成像布置10的可见光成像系 统14的视场(FOV)，表示为角度β的红外线成像系统18的 FOV，以及表示为角度γ的可见光投影系统22的FOV。这三个光学 系统14、18和22的光轴分别示为虚线OA1、OA3和OA2。

有两个因素对不同成像系统产生的图像和/或投影的相对位移起 作用。首先，成像系统14、18和22之间的相应距离造成图像的位 移，也称为视差距离，这个位移在仪表中是恒定的，但是随着到对象 的距离增加而像素个数减少，例如d_pix vis。其次，不同成像系统14、 18、22的光轴OA1、OA3、OA2通常不是完美平行。它们之间的相 应角度造成位移，也称为定点误差或方向性误差，这在仪表中随着到 对象的距离而变但是像素个数是恒定的。定点误差，或者说方向性误 差，是由两个光学系统之间的角度与期望的角度相比的差造成的，并 且由于构造不准确而发生。例如，当可见光成像系统14和IR成像 系统18在生产过程中被组装时，对于每个热成像布置10，它们将不 以完全相同的方式组装。细小的差异将发生，并由此发生方向性误 差。

根据实施例，如在本文中所使用的，术语“视差”包括由成像子 系统之间的距离和光轴之间的角度造成的组合的像素位移。

如在图2中可以看到的，在投影系统22的光轴OA2和可见光成 像系统14的光轴OA1之间存在视差距离P_(p-vis)，并且在投影系统22 的光轴OA2和IR成像系统18的光轴OA3之间存在另一个视差距离 P_(p-IR)。

视差距离P_(p-vis)造成由可见光投影系统22投影的可见图像和由可 见光成像系统14捕捉的图像之间的像素位移。这个像素位移在下文 中表示为d_(pix vis)。

视差距离P_(p-IR)造成由可见光投影系统22投影的可见图像和由IR 成像系统18捕捉的IR图像之间的像素位移。这个像素位移在下文 中表示为d_(pix IR)。

如对本领域技术人员来说很显然的，在可见光成像系统14的光 轴OA1和IR成像系统18的OA3之间还存在另一个视差距离 P_(vis-IR)，从而造成由可见光成像系统14捕捉的图像和由IR成像系统 18捕捉的IR图像之间的像素位移。根据本发明的所有实施例，可见 光成像系统14和IR成像系统18集成在组件12中，由此视差距离 P_（vis-IR)从生产得知并且可以在热成像布置10的校准或操作期间进行补 偿。

图2中所示的像素位移d_(pix vis)和d_(pix IR)可以作为距离z_(x，y)的函数凭经 验来确定，其中这个距离代表从热成像布置10到观察的一个或多个 现实世界对象或观察到现实世界场景上的点选择的每一个的距离，例 如在热成像布置10的生产或校准期间。根据实施例，结合可见光投 影系统22和可见光成像系统14之间的视差距离P_(p-vis)，距离z可以描 述为到观察的现实世界场景中代表被捕捉可见图像中检测到投影图案 的具体坐标的部分的距离。

由此，在一种实施例中，作为从热成像布置到观察的现实世界场 景的距离z的函数的像素位移的确定可以利用本身已知的方法分别对 可见光成像系统14和IR成像系统18执行。

根据实施例，作为距离z的函数确定的像素位移存储在热成像布 置10的存储器中，例如，存储器存储15中，并且可以用来在操作期 间补偿视差误差。

根据实施例，距离z是相对于图像中代表观察的现实世界场景的 预定坐标，诸如图像的中心、图像的角落或者图像中任何其它合适的 坐标，确定的。

热成像布置10的光学系统之间相应的视差距离P_(p-vis)、P_(p-IR)和定 点误差，或者说方向性误差，可以用来估计用于作为到对象的距离的 函数的位移的等式或曲线。这种等式或曲线可以存储在热成像布置 10中的存储器中，例如存储器存储15中，并且可以用来在操作期间 通过把确定的距离映射到相关视差距离等式或曲线来补偿视差误差。

如前面所提到的，投影的预定可见光符号或图案通常由多于一个 像素，通常是多个像素，组成。由此，该符号或图案比如果只一个像 素/一个点用于确定距离的话更可靠地确定。此外，由于该符号或图 案具有很容易与观察的现实世界场景的图像中可能出现的任何东西区 分的形状或分布并且可以具有人已知的对象的形状或者使其很容易被 数据处理器识别的任何其它合适形状或分布，而单个像素会与图像中 存在的其它对象或噪声混淆。

对准

如以上所解释的，例如在仪表中以长度单位表示的视差距离 P_(p-vis)造成由可见光投影系统22投影的可见图像和由可见光成像系统 14捕捉的图像之间的像素位移d_(pix vis)，并且，视差距离P_（p-IR)造成由可 见光投影系统22投影的可见图像和由IR成像系统18捕捉的IR图 像之间的像素位移d_(pix IR)。如对本领域技术人员很显然的，通常在可 见光成像系统14和IR成像系统18之间也有视差距离，从而造成由 不同光学系统捕捉的图像之间的第三个像素位移。这个视差距离和像 素位移在图2中未示出。

根据实施例，处理器13布置成对由光学系统14、18、22中任何 一个或全部捕捉的图像和/或由光学系统14、18、22中任何一个或全 部投影的光执行对准。

为了能够将利用可见光投影系统22投影到观察的现实世界场景 上的可见光与从观察的现实世界场景发射、被IR成像系统18检测 并变换成IR图像的IR辐射对准，投影的可见光和检测到的IR辐射 之间的位移必须计算或近似，并且进行补偿。根据以下给出的不同实 施例，这个位移的计算或近似是在热成像布置10的生产期间的校 准、其操作期间的自校准或自调节当中执行的。

生产期间的校准

根据图1A中所说明的实施例，可见光成像系统14、IR成像系 统18和可见光投影系统22全都组装在集成的热成像布置10中，例 如集成在组件12中，在不同的光学设备14、18、22和光轴OA1、 OA3、OA2之间分别具有已知的视差距离。

根据这种实施例，热成像布置可以在热成像布置10的生产或制 造中被校准。在这种校准期间，所有视差距离都是已知的，因为光轴 OA1、OA3、OA2之间的距离是已知的。在生产期间执行校准时已 知的其它参数是：可见光成像系统14的视场(FOV_vis)；IR成像系 统18的视场(FOV_IR)；到观察的现实世界场景的距离z；以及利用 可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的 图像坐标之间的变换，或映射函数，f(z)，该函数是z的函数。

根据实施例，距离z是相对于图像中的预定坐标确定的，诸如图 像的中心、图像的角落或者图像中任何其它合适的坐标。

生产校准方法的实施例包括以下在图4A中说明的步骤：

步骤410：利用可见光投影系统22，根据第二视场，把可见光投 影到观察的现实世界场景上，其中第二视场至少部分地重叠IR成像 系统的第一视场。

根据实施例，投影的可见光可以是诸如图案或符号的可识别特征 的形式。

步骤420：利用可见光成像系统14，根据第三视场捕捉观察的现 实世界场景的可见光图像，包括投影的可见光图案，其中第三视场至 少部分地重叠第一和/或第二视场。

根据实施例，捕捉到两个可见光图像，其中一个包括观察的现实 世界场景和投影的可见光，而另一个包括观察的现实世界场景但不包 括投影的可见光。换句话说，在捕捉到其中一个图像时，投影设备把 可见光投影到观察的现实世界场景上，但在捕捉到另一个图像时不投 影。通过减去捕捉到的图像，获得包括投影的可见光但不包括观察的 现实世界场景的差异图像。

步骤430：在可见光图像中，或者如果在步骤420中已经获得差 异图像的情况下在差异图像中，检测投影的可见光图案。

根据实施例，在到观察的现实世界场景的距离z和捕捉到的可见 光图像中投影的可见光将出现的位置之间存在已知的预定关系。因 此，距离z可以在可选步骤485中用作对于投影的可见光检测的输 入。由此，由于检测在可见光图像最有可能的位置，或坐标，开始， 因此获得更高效的检测。

步骤440：基于捕捉到的可见光图像，计算由可见光投影系统22 投影的光和由可见光成像系统14捕捉的图像之间的像素位移d_(pix vis)。换句话说，如果可见光成像系统14和可见光投影系统22对准， 例如从生产或校准得知，则确定可见光图像中投影的可见光图案像素 坐标和可见光图像中该投影的可见光将出现的像素坐标之间以像素为 单位的位移d_(pix vis)。像素位移d_(pix vis)的例子在图2中示出。

如对本领域技术人员很显然的，依赖于条件，像素位移可以例如 表示为分成x方向分量和y方向分量(dx_(pix vis)，dy_(pix vis))或者表示为极坐 标。

步骤450：如果还未知，则计算投影仪的FOV，FOV_proj。

由于可见光成像系统的FOV，FOV_vis，是已知的，因此FOV_proj可以基于包括投影的可见光的捕捉到的可见光图像，或差异图像，以 下列方式来计算，其中投影的可见光可以表示为区域、可识别特征、 图案或符号：

根据实施例，已知FOV_proj的百分之多少由，例如x或y方向 中，投影区域、特征、图案或符号中两个或更多个预定点之间的距离 表示。在包括投影的可见光区域、特征、图案或符号的捕捉到的可见 光图像中，确定投影的可见光区域、特征、图案或符号的预定点之间 的像素距离。由于可见光图像的以像素为单位的分辨率是已知的，因 此可见光图像的百分比，并且由此由投影的可见光区域、特征、图案 或符号的两个点之间的距离表示的FOV_vis的百分比，可以基于所述 像素距离来确定。通过知道FOV_vis并进一步知道分别代表投影的可 见光区域、特征、图案或符号的预定点之间距离的FOV_vis和FOV_proj的百分比之间的关系，可以确定FOV_proj。

步骤460：确定形式为校准参数c₀和c₁的校准参数。

校准参数c₀是关于所比较的两个光学系统的光轴，例如光轴 OA1、OA2，之间视差距离的理论常量。根据实施例，c₀表示为(长 度单位×像素个数)。

校准参数c₁关于定点，或方向性，误差。换句话说，c₁关于所比 较的两个光学系统的光轴，例如光轴OA1、OA2，之间的角度。根 据实施例，c₁以像素为单位来表示。

根据实施例，校准参数以下列方式确定：

$\left(\begin{array}{c}{c}_0=f({\mathrm{FOV}}_{\mathrm{vis}},P_{(p-\mathrm{vis})})\\ c_1=d_{(\mathrm{pix><mo>)</mo>}}-\frac{c_0}{z}\end{array}\right)$   (等式1)

其中表示为长度单位的、到观察的现实世界场景的距离z是已知 的，并且d_(pix vis)是以像素为单位表示的像素位移，如在步骤440计算 的。

如对本领域技术人员很显然的，依赖于条件，校准参数可以例如 表示为分成x方向分量和y方向分量(c_0x,c_0y),(c_0x,c_0y)，或者表示为 极坐标。

步骤490：校准热成像布置的光学系统，或者换句话说，补偿在 步骤460确定的视差误差，或像素位移和定点误差。

在步骤490的计算之后，由投影系统22产生的投影将和由IR 成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热 成像布置准备好操作，并且根据实施例，可以进一步在操作期间用作 距离传感器。

根据实施例，上述校准过程被执行多次，例如两次或三次，以便 确保适当的校准。

校准的或对准的热成像布置的操作的实施例在图8中说明。

自校准

根据另一种实施例，热成像布置适于自校准并且一边的可见光投 影系统22与另一边的可见光成像系统14和IR成像系统18之间的 视差距离可以分别近似。

根据在图1B中示出并在部分“可分离附连的部件实施例”中进 一步描述的这种实施例，附连特征25A在投影系统22上提供并适于 安装到在IR成像系统10上提供的对应附连特征25B，使得投影系统 22可以附连到IR成像系统18并从其分离。这种附连特征可以例如 形成为与固定到投影系统的第一耦合部分25A和固定到IR成像系统 的第二耦合部分25B的附连耦合。当附连时，根据实施例，可见光 投影系统22定位成关于IR成像系统18和可见光成像系统14分别 有视差距离和定点误差，基本上在每次附连特征彼此附连时都相同， 具有最小的误差边际。

根据实施例，热成像布置自校准。在这种自校准期间，以下参数 从热成像布置生产中的校准得知：可见光成像系统14和IR成像系 统18之间的视差距离和定点误差；可见光成像系统14的视场 (FOV_vis)；IR成像系统18的视场(FOV_IR)；以及利用可见光成 像系统14捕捉到的图像和利用IR成像系统18捕捉到的图像的图像 坐标之间的变换，或映射函数，f(z)，该函数是到观察的现实世界场 景的距离z的函数。根据实施例，自校准的目的是估计视差距离校准 参数、定点误差以及，如果还未知的话，还有投影系统22的视场 (FOV_proj)。

用于自校准的方法实施例包括以下步骤，在图4B中说明：

步骤410、420、440、450和490对应于以上关于图4A给出的 相同步骤。

除输入距离z的可选步骤485之外，步骤430对应于上述步骤 430，因为距离z不是早先知道的。相反，距离z是通过在步骤470 中测量来确定的，例如，通过距离传感器或飞行时间传感器。根据实 施例，距离z在步骤480中输入或反馈到步骤430的投影的可见光区 域、特征、图案或符号的检测，由此提供更智能或高效的区域、特 征、图案或符号检测，如以上对步骤430所描述的。

根据实施例，上述校准过程被执行多于一次，例如两次或三次， 以便确保适当的校准。

校准的或对准的热成像布置的操作的实施例在图8中说明。

校准的热成像布置的操作

一旦热成像布置已经根据以上关于图4A和4B给出的任何实施 例校准，该布置就准备好操作。在操作中，热成像布置将以相同的方 式工作，而不管校准是在生产中还是使用期间执行，如图7所说明 的。

根据以上给出的方法实施例的实施例，已经在生产中校准的热成 像布置，以及自校准热成像布置，都在步骤490之后校准或对准。在 步骤490中的校准之后，由投影系统22产生的投影将与由IR成像 系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热成像 布置准备好操作，并且，根据实施例，在操作期间进一步用来确定到 观察的场景的距离，即，执行距离传感器的功能。根据实施例，热成 像布置可以用来利用以下关系确定到观察的现实世界场景的距离：

$z=\frac{c_0}{d_{(\mathrm{pix><mo>)</mo>}}-c_1}$   (等式2)

其中参数对应于以上等式1的参数。

如对本领域技术人员很显然的，依赖于条件，等式2的所有参数 都可以例如表示为分成x方向分量和y方向分量，或者表示为极坐 标。

如对本领域技术人员很显然的，如果等式的剩余参数已知，则等 式2的关系可以代替地用来确定参数c₀、c₁、z或d_(pix vis)中任何一 个。

在操作中，根据图8中所示的实施例，通过获得或取得到观察的 一个或多个对象或观察的现实世界场景的距离z，校准的热成像布置 产生到观察的现实世界场景上的可见光投影，其与从观察的现实世界 场景发射并被热成像布置的IR成像系统的IR传感器接收的IR辐射 对准；如上所述，基于距离z和在生产中或自校准期间确定的校准参 数c₀和c₁确定像素位移d_pix vis，并且该方法实施例包括以下步骤：

步骤810：利用IR成像系统18，根据第一视场检测从观察的现 实世界场景发射的IR辐射，并且创建形式为IR图像的检测到的IR 辐射的可见表示。通常，检测到的IR辐射到达IR成像系统18的 IR传感器阵列20，具有确定的第一视场。

步骤820：取得从热成像布置10到观察的现实世界场景或对象 的距离z。

根据实施例，距离z可以例如通过利用与已知参数和/或使热成 像布置能够进行取得的参数的关系的计算来取得，例如以上给出的等 式2的关系。根据备选实施例，距离z可以通过使用集成到热成像布 置中或耦合到其的距离传感器来取得。在一个例子中，距离是通过使 用两个可见光传感器、IR图像中激光点的检测、对焦透镜的位置或 者通过使用集成到热成像布置中或耦合到其的距离传感器以本身已知 的方式取得的。

根据实施例，取得的距离z用作对步骤830的输入。

步骤830：计算由可见光投影系统22根据第一视场投影的可见 图像与作为根据第一视场检测到的从所述观察的现实世界场景发射的 红外线(IR)辐射的可见表示的、由IR成像系统18捕捉的IR图像 之间的像素位移d_pix IR。

根据实施例，作为到观察的一个或多个对象或观察的现实世界场 景的距离的函数，像素位移d_pix IR和像素位移d_pix vis之间的关系从生产 或校准得知，其中像素位移d_pix vis是由可见光投影系统22投影的可见 图像与由可见光成像系统14捕捉的可见光图像之间的像素位移。描 述这种关系的一种方式是：

d_pix IR＝f(d_pix vis,z)   (等式3)

根据实施例，该关系是映射函数，例如表示为查找表，其中，基 于距离z的值，用于d_pix vis的每个值具有用于d_pix IR的对应值。为了简 化，每个位移在这里都公式化为一个值d_pix vis或d_pix IR。但是，位移可 以包括多于一个分量。通常，对于图像，位移是关于x分量和y分量 来描述的，例如以矢量(例如，dx_pix vis,dy_pix vis)的形式，或者作为极 坐标。

根据上述实施例，距离是从步骤820得知的。因此，为了确定 d_pix IR，我们首先需要知道d_pix vis。如果位移d_pix vis还不知道，则，如上 所述，它可以利用已知的参数C₀和C₁以及等式2中给出的关系来确 定。

当d_pix vis已知或被确定时，根据以上给出的任何实施例，像素位 移d_pix IR通过使用等式3的关系来确定。

步骤840：把IR图像呈现到观察的现实世界场景上，与观察的 现实世界场景对准。换句话说，把IR图像呈现到观察的现实世界场 景上，与从观察的现实世界场景发射的IR辐射对准。

根据实施例，通过补偿在步骤830确定的像素位移d_pixIR，IR图 像对准到观察的现实世界场景，或者换句话说对准到从观察的现实世 界场景发射的IR辐射。可以在热成像布置10的处理器13中或者在 集成在热成像布置10的任何部件中或与其耦合的另一处理器中执行 这种对准或补偿。

根据实施例，把对准的IR图像呈现到观察的现实世界场景上包 括把对准的IR图像传送到可见光投影系统22并且利用可见光投影 系统22把对准的IR图像投影到观察的现实世界场景上。

根据备选实施例，把对准的IR图像呈现到观察的现实世界场景 上包括把IR图像传送到可见光投影系统22、利用集成在可见光投影 系统22中或与其耦合的处理器对准IR图像，并且利用可见光投影 系统22把对准的IR图像投影到观察的现实世界场景上。

根据实施例，FOV_proj小于FOV_IR。根据这种实施例，可见光投影 系统22将不适于显示整个IR图像。因此，获得IR图像中对应于 FOV_proj的部分，例如，通过从IR图像选择、裁剪或切割所述部分， 然后投影到观察的现实世界场景上。

根据实施例，通过补偿在步骤830确定的像素位移d_pix IR，IR图 像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR 辐射。这种对准，或补偿，可以在热成像布置10的处理器13中，或 者在集成在热成像布置10的任何部件中或与其耦合的另一处理器 中，执行。

根据实施例，把对准的IR图像呈现到观察的场景上包括把对准 的IR图像传送到可见光投影系统22并且利用可见光投影系统22把 对准的IR图像投影到观察的场景上。

根据备选实施例，把对准的IR图像呈现到观察的场景上包括把 IR图像传送到可见光投影系统22、利用集成在可见光投影系统22 中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22 把对准的IR图像投影到观察的场景上。

在一种实施例中，可见光投影系统22的FOV完全包括在IR成 像系统18的FOV中。根据这种实施例，把IR图像对准到检测到的 从所述观察的现实世界场景发射的红外线(IR)辐射包括基于像素 位移d_pix IR和FOV_proj获得IR图像中对应于FOV_proj的部分，例如，通 过从IR图像选择、裁剪或切割所述部分。

根据一种实施例，可见光投影系统22的FOV只部分重叠IR成 像系统18的FOV。根据这种实施例，把IR图像对准到检测到的从 所述观察的现实世界场景发射的红外线(IR)辐射包括获得IR图像 中位于两个系统的FOV的重叠部分之内的部分。

根据一种实施例，把IR图像对准到检测到的从所述观察的现实 世界场景发射的红外线(IR)辐射还包括获得对应检测到的从所述 观察的现实世界场景发射的红外线(IR)辐射满足条件的IR图像的 部分，其中的条件是例如高于阈值、低于阈值或者在区间内。

根据一种实施例，把IR图像对准到检测到的从所述观察的现实 世界场景发射的红外线(IR)辐射还包括基于由热成像布置(10) 的操作人员利用IR成像系统的输入特征指示的区域，或者基于在处 理器13中实现的对象检测特征，获得IR图像的部分，从而把IR图 像的部分检测为对象。

根据图2中说明的实施例，可见光成像系统14具有最大FOV， IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。 但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺 寸的任何其它关系都是可以想到的。

自调节

根据另一种实施例，热成像布置是自调节或自对准的，或者换句 话说在操作中自我调节或对准。

在操作中，根据实施例，热成像布置通过以下与从观察的现实世 界场景发射的IR辐射对准地产生到观察的现实世界场景上的可见光 投影：利用热成像布置的IR成像系统的IR传感器接收从观察的现 实世界场景发射的IR辐射；把接收到的IR辐射转换成形式为IR图 像的可见表示；获得或取得从热成像布置到观察的一个或多个对象或 观察的现实世界场景的距离z；确定像素位移d_pix vis；把像素位移d_pix vis转换成像素位移d_pix IR；通过补偿像素位移d_pix IR来对准IR图像； 并且把对准的IR图像投影到观察的现实世界场景上，由此与从观察 到现实世界场景发射的IR辐射对准地获得IR图像到观察的现实世 界场景上的呈现。

根据实施例，一边的可见光投影系统22分别与另一边的可见光 成像系统14和IR成像系统18之间的视差距离和定点误差都是未知 的，因为可见光投影系统22是与其它光学系统14、18物理地分开的 部件，离光学系统14、18有未知且不恒定的距离。这种实施例在图 1C中示出并且以上在部分“独立部件实施例”中进一步描述。

在操作过程中的这种自调节、自对准或对准期间，以下参数从生 产得知：可见光成像系统14和IR成像系统18之间的视差距离和定 点误差；可见光成像系统14的视场(FOV_vis)；IR成像系统18的 视场(FOV_IR)；以及利用可见光成像系统14捕捉的图像和利用IR 成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)， 该函数是到观察的现实世界场景的距离z的函数。根据实施例，自对 准的目的是估计视差距离、定点误差和投影系统22的视场 (FOV_proj)，以便能够进行热成像布置的不同光学系统的对准。

参考图4B，说明了方法的实施例。步骤410、420、430、440、 450、470和480对应于以上关于图4B给出的相同步骤。自调节的实 施例还包括在图6中说明的以下步骤：

步骤610：利用以上在等式3中示出的、从生产得知的可见光成 像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标 之间的变换或映射函数，把由可见光投影系统22投影的光和由可见 光成像系统14捕捉的图像之间x和y方向计算出的像素位移 (dx_(pix vis)，dy_(pix vis))，转换成由可见光投影系统22投影的光和由IR成像系 统18捕捉的图像之间x和y方向的像素位移(dx_(pix IR)，dy_(pix IR))，。

步骤620：与从观察的现实世界场景接收到的IR辐射对准地呈 现，或投影，可见光。

根据实施例，步骤620包括把形式为IR图像信号的IR图像从 处理器13传送到可见光投影系统22，由此可见光投影系统22的投 影仪29把重新采样的IR图像数据投影到观察的现实世界场景上。 由此，IR图像数据与观察的现实世界场景对准地投影，换句话说， IR图像数据在对应检测到的IR辐射信号从其发射的方向中投影。

与已经在生产中校准或者在操作期间自校准的热成像布置形成对 比，上述自对准不导致热成像布置的校准。相反，自对准，或自调 节，是在操作期间通过步骤610的转换或映射持续执行的。

根据实施例，上述校准被执行多于一次，例如两次或三次，以便 确保适当的调节。

投影到不平的表面上

在图2，观察的现实世界场景被说明为平的表面200。但是，IR 成像系统10的用户分析的一个或多个对象或者观察的现实世界场景 很少是由与可见光投影仪22的光轴完美正交的平表面组成的。

在图3A中，示出了在不与可见光投影仪22的光轴正交的表面 上使用的IR成像系统的光学系统。图3A的表面关于可见光投影系 统22的光轴在一个维度中倾斜。但是，该表面也可以关于可见光投 影系统22的光轴在两个维度中倾斜。在IR成像系统10的使用过程 中，这将例如涉及操作人员使用设备10把检测到的IR辐射信息的 可见表示投影到被调查的发热地板上。由于操作人员站在地板上，因 此这使得他或她难以把设备10保持成使投影系统22的光轴与地板正 交。

这种示例性实施例在图3C中进一步说明，其中，以在两个维度 中倾斜的方向，作为例子是坐标系统330的x和z方向，投影系统 22的光轴OA(图中未示出)斜着落在被调查的表面中，在这个例子 中是地板310。

根据以下进一步描述的方法，不平表面310的例子在图3B中示 出，对其也可以有利地使用本发明的不同实施例，尤其是对于其中到 观察的现实世界场景的几个距离如下所述被取得的本发明实施例。图 3B的不平表面310是这种表面可能看起来像什么样子的一个例子。 由于表面是现实世界对象的表面，因此任何3D形状都是可能的，包 括平表面部分、弯曲部分和/或浮雕部分的任意组合。

在图3A和3B中，示出了具有光轴OA和有角度v的FOV的光 学系统300。在图3A和3B中只示出了一个光学系统，而不是如图2 中所示的全部三个光学系统。这仅仅是为了绘图的简化。在以下的解 释中，光学系统300可以交替地代表可见光成像系统光学系统14、 IR成像系统18或者可见光投影仪22。

距离映射

如以上在步骤512中描述的，联系图5，多于一个距离值，即， 从热成像布置10到观察的现实世界场景中多于一个点的多个距离可 以被取得或计算并转变成距离图，其中距离图中每个值对应于取得的 从热成像布置10到观察的场景中的一个点的距离值。该距离图也可 以被称为距离图像。

根据实施例，距离图使IR图像的可见表示能够投影到观察的现 实世界场景上，以便与包括在观察的现实世界场景中离热成像布置 (10)处于不同距离或深度的一个或多个对象对准，因为，依赖于距 离图，对准的IR图像的每个投影像素可以适于在正确的距离被投 影。

根据示例性实施例，依赖于距离图和预设的条件，通过利用变化 的密度适配对准的IR图像的每个投影像素，IR图像作为可见光图案 投影到观察的现实世界场景上，与包括在观察的现实世界场景中离热 成像布置(10)处于不同距离的一个或多个对象对准。例如，如果距 离图中取得的到像素要投影到其上的一个或多个对象或观察的现实世 界场景的点i的距离z_i超过预设的阈值，则热成像布置可以适于更稀 疏地投影像素。以这种方式，为观察的现实世界场景中靠近热成像布 置10的投影部分提供更详细的投影。或者，如果距离z_i超过预设的 阈值，则热成像布置10可以代替地适于更密集地投影像素，由此对 观察的现实世界场景中远离热成像布置10的投影部分提供更详细的 投影。根据第三种示例性实施例，当距离z_i在某个区间之内时，热成 像布置10可以适于更稀疏或密集地投影像素。可以有一个或多个区 间和/或阈值。区间和/或阈值可以预定义并存储在热成像布置10的 存储器15中或者由热成像布置10的操作人员利用包括在与热成像布 置10的接口介质21通信耦合的一个或多个控制设备19中的输入特 征选择并输入。

为了实现上述投影适配，根据实施例，依赖于描述要投影的像素 分布的预定义或操作人员输入的一个或多个区间间隔、一个或多个阈 值或其它值，处理器13的图像处理特征可以重新采样IR图像数 据。在执行IR图像数据的重新采样之后，重新采样的IR图像以IR 图像信号的形式从处理器传送到可见光投影系统22。可见光投影系 统22的投影仪29把重新采样的IR图像数据投影到观察的现实世界 场景上。由此，IR图像数据与观察的现实世界场景对准地投影，换 句话说，IR图像数据在对应检测出的IR辐射信息从其发射的方向中 投影。

根据示例性实施例，依赖于距离图，通过适配具有变化尺寸的对 准IR图像的每个投影像素，IR图像作为可见光图案与观察的现实 世界场景中所包括的离热成像布置10处于不同距离的一个或多个对 象对准地投影到观察的现实世界场景上。使得投影仪29能够把更大 的像素投影到观察的现实世界场景中被发现处于由距离图表示的离 IR成像系统10更大距离，即，离操作人员更大距离，的点上，并且 当检测到的距离更小时，是更小的或正常尺寸的像素。根据另一种实 施例，投影仪还适于，作为检测到的到观察的现实世界场景的距离的 函数，增加/减小投影的像素的尺寸，例如，具有线性依赖性。

以这种方式，当在观察的现实世界场景中位于离热成像布置10 不同距离的对象处投影时，对热成像布置10的操作人员来说，像素 看起来尺寸将更相似。特别地，通过要投影的像素的适配后的频率 (稀疏或密集)和/或振幅(小或大)，使得到不平和/或与可见光投 影仪的光轴不正交的表面上能够有对准的投影。例如，如果操作人员 把IR成像系统10指向操作人员站在其上的发热地板或者指向操作 人员前面建筑物的墙壁，则有可能该表面将不与可见光投影系统22 的光轴正交。

如上所述，根据不同的示例性实施例，投影仪22可以包括激光 投影仪、液晶显示器(LCD)、数字光处理器(DLP)投影仪或者 本领域中已知的任何其它合适类型的投影仪。

根据有些实施例，激光投影仪的使用会是有利的选择，因为激光 投影仪具有高景深，这在不平的表面上给出好的投影结果。

本文中所使用的用于投影仪的不同等效术语包括可见光投影仪、 可见光图案投影仪、可见图像/成像投影仪，从这些术语，投影仪的 目的和功能应当很容易理解。

投影的可见光图案的检测

如以上提到的，可见光投影仪22投影可见光，其中可见光可以 是在由可见光成像系统14捕捉的图像中检测到的区域或预定可识别 特征的形式，例如符号或图案的形式。投影可以包括FOV_proj中所包 括的全部或部分像素，并且可以具有或者不具有人或计算机可识别的 形式。为了简化，要检测的投影的可见光在下面被描述为图案或符 号。

图像中符号或图案的检测可以利用本领域中本身已知的任何合适 的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄 化、相似性测量、遮蔽、强度阈值化或过滤。

根据非计算昂贵的示例性实施例，观察的现实世界场景的第一和 第二图像是利用可见光成像系统14紧密相继捕捉的，同时可见光投 影系统22在短时间内“闪烁”预定的可识别特征，例如以符号或图 案的形式。例如，在第二图像被捕捉之前，预定的符号或图案利用可 见光投影仪22投影到观察的现实世界场景上，其中可见光成像系统 14的FOV至少部分地与可见光投影仪22的FOV重叠。由此，第二 图像包括基本上与第一图像相同的观察的现实世界场景，但是增加了 投影的图案。根据这种实施例，控制投影系统22激活的处理器13把 投影和可见光成像系统14执行的图像捕捉同步。这使得可见光成像 系统14能够捕捉两个连续的帧，其中一帧包括叠加到观察的现实世 界场景上的投影符号或图案的至少部分，而另一帧包括观察的现实世 界场景的相同视图，但没有投影。通过从第二图像减去第一图像，获 得包括检测到的符号或图案的差异图像。如果观察的现实世界场景本 身当中包含更多信息，或“噪声”，则这种示例性图案提取方法可以 例如有利地使用。

警报功能

根据实施例，本文所述的本发明的不同方面可以提供警报，由此 在满足警报条件时通知用户或向用户警报，例如，指示检测到某种可 能的异常。警报可以是用户可见的或者可听的。

根据其中警报可见的实施例，如果满足一个或多个以下标准，则 投影系统22可以被例如处理器13控制成把对准的可见光投影到观察 的现实世界场景上：观察的现实世界场景的一个或多个部分具有高于 预设阈值限制的测量值；观察的现实世界场景的一个或多个部分具有 低于预设阈值限制的测量值；观察的现实世界场景的一个或多个部分 具有在预设区间内的测量值；或者观察的现实世界场景的一个或多个 部分具有在预设区间之外的测量值。

根据实施例，测量值可以关于温度或热信息、效率或功率(W， W/m²)、湿度或水分，例如作为百分比来指示的。

根据实施例，以上提到的标准是警报标准，要提醒用户已经检测 到可能的偏离或异常。作为例子，标准可以是检测到的从所述观察的 现实世界场景发射的红外线(IR)辐射的全部或部分高于预定义的 阈值。

根据实施例，用于控制投影的一个或多个标准可以由用户通过例 如利用一个或多个控制设备19的输入来预设或选择。

根据实施例，投影系统22被控制成通过以下提供警报：

-如果投影仪已经在投影：闪烁、增加亮度、调节投影的可见光 的投影颜色；和/或只把可见光投影到观察的现实世界场景中满足所 述一个或多个标准的一个或多个部分上；或者

-如果投影仪不在投影：开始把可见光投影到观察的现实世界场 景中满足所述一个或多个标准的一个或多个部分上或者投影到整个观 察的现实世界场景上，

由此提醒用户已经检测到可能的偏离或异常。

根据不同的实施例，警报可以通过可见光投影仪系统22的使用 来提供，例如，当满足以上的一个或多个报警条件时，如果可见光投 影系统22还没有投影，则通过控制可见光投影系统22开始投影，或 者，如果它已经投影到观察的现实世界场景上，则开始闪光或闪烁。

换句话说，根据实施例，可见光投影仪系统22可以被控制成通 过以下提供警报：

-如果投影系统22已经在投影：闪烁、增加亮度、调节投影颜 色和/或只把可见光投影到图像中满足所述一个或多个标准的一个或 多个部分上；或者

-如果投影系统22不在投影：开始把可见光投影到图像中满足 所述一个或多个标准的一个或多个部分上或者投影到整个观察的场景 上，由此提醒用户已经检测到可能的偏离或异常。

根据其它实施例，通过开始把光投影或闪烁到与报警条件有关的 被识别区域或者与该被识别区域非常近的与该被识别区域有关的区域 上，可见光投影系统22可以适于突出那个被识别区域。根据不同的 实施例，被投影的可见光可以包括任何合适颜色、颜色范围、灰度级 范围和/或强度的光并且以任何合适的尺寸、形状和/或图案呈现。

根据另一种实施例，热成像系统10可以包括一个或多个扬声器 单元并且适于提供形式为可听信号的警报。

更多实施例

在一种实施例中，如果可见光投影仪22把可见光图案投影到应 当焦点对准的某个对象上，则取得的距离参数z对应于焦距。因此， 这个信息可以用于热成像布置10的精确聚焦。

根据示例性实施例，可见光图像投影仪(可见光图案投影仪)22 是激光投影设备。激光投影设备是没有焦点的，这意味着对焦透镜具 有固定在其超焦距的焦点。不是用确定正确焦距并把透镜设置到那个 焦点的方法，无焦点的透镜依赖于景深产生可接受清晰度的图像。因 此，激光投影设备不需要聚焦。根据其它示例性实施例，根据条件， 任何其它适当类型的投影设备都可以使用。

根据实施例，提供了具有处理器的计算机系统，该处理器适于执 行以上给出的实施例的任何步骤或功能。

根据本发明的实施例，提供了计算机可读介质，其上存储用于执 行上述任何实施例的方法的非暂时性信息。

根据更多实施例，提供了计算机可读介质，其上存储用于执行上 述任何方法实施例的非暂时性信息。

根据实施例，用户可以捕捉观察的现实世界场景的可见光图像， 同时把可见光投影到观察的现实世界场景上，与从观察的现实世界场 景发射的IR辐射对准，并且保存捕捉到的图像用于以后观看或用于 传送到另一处理单元，诸如计算机，供将来分析和存储。

在备选实施例中，所公开的对准方法可以由诸如通信耦合到热成 像布置的PC和/或专门适于执行本发明方法步骤的FPGA-单元和/或 包含根据联系图2描述的通用处理单元2的计算设备来实现。计算设 备还可以包括存储器15和/或显示单元3。

更多优点

根据本文所述本发明的实施例，可见光到观察的现实世界场景上 的投影是在现场实时地或者近乎实时地(实况)，或者换句话说是实 况，执行的，由此使用户更容易解释和分析观察的现实世界场景，因 为在观察的现实世界场景上向用户直接呈现了相关信息。由于可见光 信息，包括从观察的现实世界场景接收到的IR辐射的可见表示，实 时地或者近乎实时地(实况)投影到所述观察的现实世界场景上，因 此用户不需要为了关联接收到的IR辐射信息与他或她在观察的现实 世界场景中看到的内容而把目光从观察的现实世界场景转向别处。此 外，根据本发明的实施例，可见光投影到观察的现实世界场景上，与 观察的现实世界场景对准，或者换句话说与从观察的现实世界场景发 射的IR辐射对准，由此进一步帮助用户把投影的可见光信息和观察 的现实世界场景关联并且还方便观察的/被调查的观察的现实世界场 景的解释和分析。

根据其中附加信息投影到观察的现实世界场景上的实施例，附加 信息还方便对观察的或被调查的观察的现实世界场景的解释和分析。 此外，本发明的实施例使得投影的附加信息与观察的现实世界场景对 准地和/或按比例投影到观察的现实世界场景上。如上给出的附加信 息可以帮助用户把从观察的现实世界场景接收到的IR辐射的投影的 可见光表示关联到他/她前面的观察的现实世界场景，其中附加信息 有可能是由用户利用集成在热成像布置10当中或耦合到其的一个或 多个交互设备选择的。例如，附加信息可以包括在相关位置投影到观 察的现实世界场景上的附加的实测或计算数据，诸如一个或多个温 度、一个或多个水分等级、发射率和/或效率/功率(W或W/m²)。