用于红外成像装置的非均匀性校正技术

摘要

本发明公开了用于对红外成像装置执行非均匀性校正（NUC）的各种技术。可获得并处理有意模糊的图像帧，以对与所述红外成像装置的红外传感器相关的FPN进行校正（例如，在一个实施例中，为随机空间不相关的FPN）。有意模糊的图像可用于区分与所述红外传感器相关的FPN和期望的场景信息。有利的是，这种技术的实施无需使用快门来执行所述红外成像装置的平场校正。

说明书

相关申请的交叉引用

本申请要求申请号为61/545,056、2011年10月7日提交的、题为“用于红 外成像装置的非均匀性校正技术”的美国临时专利申请的权益，通过引用的方 式将其整体合并于此。

本申请还要求申请号为61/495,873、2011年6月10日提交的、题为“红外 摄像机封装系统和方法（INFRARED CAMERA PACKAGING SYSTEMS AND METHODS）” 的美国临时专利申请的权益，通过引用的方式将其整体合并于此。

本申请还要求申请号为61/495,879、2011年6月10日提交的、题为“红 外摄像机系统架构（INFRARED CAMERA SYSTEM ARCHITECTURES）”的美国临时专 利申请的权益，通过引用的方式将其整体合并于此。

本申请还要求申请号为61/495,888、2011年6月10日提交的、题为“红外 摄像机校准技术（INFRARED CAMERA CALIBRATION TECHNIQUES）”的美国临时专 利申请的权益，通过引用的方式将其整体合并于此。

技术领域

本发明的一个或者多个实施例总体上涉及成像装置，更具体的，例如，涉及 红外成像装置的噪声消除。

背景技术

红外成像装置（例如，热成像仪）通常会受到各种类型的噪声的影响，例如， 高空间频率固定模式噪声（FPN）。某些FPN可能与红外传感器的行和/或列有关。 例如，以列噪声形式出现的FPN噪声可能由列放大器中的变化所导致，并且该FPN 噪声可能包括1/f分量。这种列噪声能够抑制区分垂直FPN和场景所期望的垂直 特性的能力。其他FPN可能在空间上不相关，例如，由像素到像素的信号漂移引 起的噪声，该噪声可能也包括1/f分量。

一种常规的移除FPN的方法依赖于内部或者外部的快门，将快门选择性的放 置在红外成像装置的红外传感器的前面，以提供基本上均匀的场景。当将快门放 置在红外传感器的前面时，可基于捕获的基本上均匀的场景图像对红外传感器进 行校正。不幸的是，这种快门易于发生机械故障，并且具有潜在的非均匀性（例 如，由温度变化或者其他因素引起的），这使得它难以实现。此外，在期望具有 小的形状因数的红外成像装置的应用中，快门会增加该装置的尺寸和成本。

发明内容

公开了各种用于对红外成像装置进行非均匀性校正（NUC）的技术。可获得 并处理有意模糊的图像帧，以对与红外成像装置的红外传感器相关的FPN进行校 正（例如，在一个实施例中，为随机空间不相关的FPN）。有意模糊的图像可用于 区分与红外传感器相关的FPN和期望的场景信息。有利的是，这种技术的实施无 需使用快门来执行红外成像装置的平场校正（flat field correction）。

在一个实施例中，可通过对移动场景的多个图像帧（例如，当所述场景和/ 或红外成像装置运动时捕获的图像帧）进行累加来获得模糊的图像帧。在另一个 实施例中，可通过有意地使红外成像装置的光学元件或者其他部件散焦来获得模 糊的图像帧。在各种实施例中，可以以迭代的方式来处理模糊的图像帧，以确定 要应用于捕获的图像帧的合适的NUC项（例如，其可以是用于校正空间不相关的 FPN的值，以及进一步用于校正空间相关的FPN的值）以及行和列的FPN项（例 如，其可以是用于校正空间相关的FPN的值），从而减少由所述红外成像装置提 供的图像帧中的噪声。

在一个实施例中，一种用于从由红外成像装置捕获的图像帧中消除噪声的方 法，包括：接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的 模糊的热图像数据和由所述红外成像装置引入的噪声；对所述模糊的图像帧进行 处理，以确定多个非均匀性校正（NUC）项以减少包括空间不相关的固定模式噪 声（FPN）的噪声的一部分；以及将所述NUC项应用到所述捕获的图像帧。

在一个实施例中，一种装置，包括：红外成像装置，其包括多个适于捕获图 像帧的红外传感器；以及处理器，其适于处理有意模糊的图像帧，其中，所述模 糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的 噪声，其中，所述处理器适于：使用所述模糊的图像帧来确定多个非均匀性校正 （NUC）项以消除包括空间不相关的固定模式噪声（FPN）的噪声的一部分，以及 将所述NUC项应用到所述捕获的图像帧。

在一个实施例中，一种用于从由红外成像装置捕获的图像帧中消除噪声的方 法，包括：接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的 模糊的热图像数据和由所述红外成像装置引入的噪声；对所述模糊的图像帧进行 处理，以确定多个空间相关的固定模式噪声（FPN）项以消除包括与所述红外成 像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分；以及将 所述空间相关的FPN项应用到所述捕获的图像帧。

在一个实施例中，一种装置，包括：红外成像装置，其包括多个适于捕获图 像帧的红外传感器；以及处理器，其适于处理有意模糊的图像帧，其中，所述模 糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的 噪声，其中，所述处理器适于：使用所述模糊的图像帧来确定多个空间相关的固 定模式噪声（FPN）项以消除包括与所述红外成像装置的红外传感器的行或者列 相关的空间相关的FPN的噪声的一部分，以及将所述空间相关的FPN项应用到所 述捕获的图像帧。

本发明的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过 考虑下面对一个或者多个实施例的详细描述，将会向本领域技术人员提供对本发 明实施例以及其中附加的优点的实现的更加完整的理解。下面将参考首先会简要 描述的附图。

附图说明

图1示出了根据本公开实施例的、被配置为在主机装置中实现的红外成像模 块。

图2示出了根据本公开实施例的、装配后的红外成像模块。

图3示出了根据本公开的实施例的、并列地置于插座之上的红外成像模块的 分解图。

图4示出了根据本公开的实施例的、包括红外传感器阵列的红外传感器组件 的结构图。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。

图6示出了根据本公开实施例的相邻像素之间的差值。

图7示出了根据本公开实施例的平场校正技术。

图8示出了根据本公开实施例的、应用在图像处理途径（pipeline）中 的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施例的时域噪声消除过程。

图10示出了根据本公开实施例的、图6的图像处理途径的几个过程 的具体的实施细节。

图11示出了根据本公开实施例的、在像素的邻近区域（neighborhood） 中的空间相关的FPN。

通过参考下面的详细说明，将会更好的理解本发明的实施例及其优点。应当 理解的是，相同的参考数字用于表示一副或者多副附图中的相同元件。

具体实施方式

图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成 像模块100（例如，红外照相机或者红外成像装置）。在一个或者多个实施例中， 可根据晶片级封装技术或者其他封装技术，实现具有小的形状因数的红外成像模 块100。

在一个实施例中，红外成像模块100可被配置为在小型的便携式主机装置102 中实现，例如，移动电话、平板计算装置、便携式计算装置、个人数字助理、可 见光照相机、音乐播放器或者任何其他合适的移动装置。就这方面而言，红外成 像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100 可被配置为捕获、处理和/或以其它方式管理红外图像，并将该红外图像提供给 主机装置102，以便以任何期望的方式来使用该红外图像（例如，为了进行进一 步的处理，存储到存储器中、显示、由运行在主机装置102中的各种应用程序使 用、输出到其他装置、或者其他应用）。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围 内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、 2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作 （例如，在约80℃的环境温度范围中提供合适的动态范围和性能）。在一个实施 例中，通过使红外成像模块100工作在低电压水平下，与其他类型的红外成像装 置相比，红外成像模块100可以经历减少的自身发热的量。因此，可使用减小的 测量标准（measure）来操作红外成像模块100，以补偿这种自身发热。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处 理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如 箭头101所示的那样接收红外成像模块100。就这方面而言，图2示出了根据本 公开实施例的、装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的 其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动 传感器194进行监测，并且运动传感器194向处理模块160或者处理器195提供 信息以检测运动。在各种实施例中，运动传感器194可被实现为主机装置102的 一部分（如图1所示），也可被实现为红外成像模块100、或者连接到主机装置 102或与主机装置102连接（interface）的其他装置的一部分。

处理器195可实现为任何合适的处理装置（例如，逻辑装置、微控制器、处 理器、专用集成电路（ASIC）或者其他装置），主机装置102可使用上述处理装 置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用 于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198 可用于实现主机装置102的任何功能，如可能期望的各种应用（例如，时钟、温 度传感器、可见光照相机或者其他部件）。另外，机器可读介质193可用于存储 加载到存储器196中并由处理器195执行的非临时性指令。

在各种实施例中，红外成像模块100和插座104可被实现用于大规模生产， 以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置（例如，需要 小的形状因数的装置）中。在一个实施例中，当将红外成像模块100安装到插座 104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为 8.5mm*8.5mm*5.9mm。

图3示出了根据本公开的实施例的、并列地置于插座104之上的红外成像模 块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感 器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分地装入光学元件180（例如，透镜），通过透镜镜筒 110中的孔112，所述光学元件180在图3中部分地可见。透镜镜筒110可包括 实质上呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122 连接。

例如，可由安装在基板140上的帽130（例如，盖子）来实现红外传感器组 件128。红外传感器组件128可包括在基板140上按列或者其他方式实现并由帽 130覆盖的多个红外传感器132（例如，红外探测器）。例如，在一个实施例中， 红外传感器组件128可实现为焦平面阵列（FPA）。这种焦平面阵列可实现为例如 真空封装的组件（例如，由帽130和基板140密封）。在一个实施例中，红外传 感器组件128可实现为晶片级封装（例如，红外传感器组件128可以是从设置在 晶片上一组真空包装组件中分离出来（singulate））。在一个实施例中，红外传 感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来 工作。

红外传感器132可被配置为检测目标场景的红外辐射（例如，红外能 量），所述目标场景包括：例如中波红外波段（MWIR）、长波红外波段 （LWIR）和/或如在特定应用中所期望的其他热成像波段。在一个实施例 中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微辐射热探测器，或者以任意期望的阵列模式 排列以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传 感器132可实现为具有17微米像素间距（pixel pitch）的氧化钒（VOx）探测 器。在各种实施例中，可使用约32*32个红外传感器132的阵列、约64*64个红 外传感器132的阵列、约80*64个红外传感器132的阵列或者其他大小的阵列。

基板140可包括各种电路，其中包括例如读出集成电路（ROIC），在一个实 施例中，该读出集成电路（ROIC）的尺寸小于约5.5mm*5.5mm。基板140还可包 括结合盘（bond pad）142，其可用于当如图5A，5B和5C所示的那样装配红外 成像模块100时与放置在外壳120的内表面上的互补的连接部件相接触。在一个 实施例中，可实现具有低压降（low dropout）调节器（LDO）的ROIC来执行电 压调节，以降低引入到红外传感器组件128中的电源噪声，从而提供改进的电源 抑制比（rejection ratio）（PSRR）。另外，通过实现具有ROIC的LDO（例如， 在晶片级封装内），可消耗更少的模（die）面积并且需要较少的离散的模（或者 芯片）。

图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器 组件128的结构图。在示出的实施例中，红外传感器132被设置为ROIC402的 单位单元阵列（unit cell array）的一部分。ROIC402包括偏压产生和定时控 制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器 410。可通过输出放大器410将红外传感器132捕获的图像帧提供给处理模块160、 处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽 管图4示出的是8*8的阵列，但是任何期望的阵列配置均可用于其他实施例中。 ROIC和红外传感器（例如微辐射热探测器电路）的进一步描述可在2000年2月 22日授权的美国专利6,028,309中找到，通过引用的方式将其整体合并于此。

红外传感器阵列128可捕获图像（例如，图像帧），并以各种速率从它的ROIC 提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可 以根据任何适当的架构来实现该处理模块160。在一个实施例中，处理模块160 可实现为ASIC。就这方面而言，这种ASIC可被配置为以高性能和/或高效率执行 图像处理。在另一个实施例中，可利用通用中央处理单元（CPU）来实现处理模 块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、协调并通 过各种图像处理块进行图像处理、协调处理模块160和主机装置102之间的连接 （interfacing），和/或其他操作。在另一个实施例中，可利用现场可编程门阵 列（FPGA）来实现处理模块160。在其他实施例中，如本领域技术人员所理解的， 可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，适当时，处理模块160还可与其他合适的部件一起 实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口（例如， 红外检测器接口、内部集成电路（I2C）接口、移动行业处理器接口（MIPI）、联 合测试行动组（JTAG）接口（例如，IEEE1149.1标准测试访问端口和边界扫描结 构）、和/或其他接口）。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199， 其可用于调整由红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199 可用于相对于彼此移动光学元件180、红外传感器132和/或其他部件，以根据本 文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的促使运动 的设备或者机构来实现致动器199，并且可将致动器199放置在红外成像模块100 内部或者外部的任何位置，如果对于不同的应用合适的话。

当将红外成像模块100装配起来后，外壳120可实质上将红外传感器组件 128、底座150以及处理模块160密封起来。外壳120可便利于红外成像模块100 的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件 的电连接部件126，如下面将进一步描述的那样。

当将红外成像模块100装配起来时，电连接部件126（例如，导电的路径、 轨迹或者其他类型的连接）可与结合盘142电气连接。在各种实施例中，可将电 连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或以其它方式 由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突 出于外壳120的底表面的连接部件124中。当将红外成像模块100装配起来时， 连接部件124可与电路板170连接（例如，在各种实施例中，外壳120可置于电 路板170的顶部）。处理模块160可通过合适的电连接部件与电路板170电连接。 因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导 电路径可由结合盘142、外壳120内部表面上的互补的连接件、外壳120的电连 接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无 需在红外传感器组件128和处理模块160之间设置引线。

在各种实施例中，可使用任何期望的材料（例如，铜或者任何其他合适的导 电材料）来制造外壳120中的电连接部件126。在一个实施例中，电连接部件126 可有助于对红外成像模块100产生的热量进行散热。

在其他实施例中可使用其他连接。例如，在一个实施例中，传感器组件128 可通过陶瓷板连接到处理模块160，所述陶瓷板通过引线连接到传感器组件128 并通过球栅阵列（ball grid array）（BGA）连接到处理模块160。在另一个实施 例中，传感器组件128可直接安装到刚柔性板（rigid flexible board）上并与 引线电连接，并且可利用引线或者BGA将处理模块160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例， 而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任 何红外照相机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基 座150（例如，底座）可例如由通过金属注射成形（MIM）形成的铜制造，并且提 供有黑色氧化的（black oxide）或者涂镍的抛光（finish）。在各种实施例中， 基座150可由任何期望的材料制造，例如，根据特定应用所期望的，由例如锌、 铝或者镁制造，并且，基座150可通过任何期望的可适用的方法形成，例如，根 据特定应用所期望的，例如通过铝铸造、MIM或者锌快速铸造来形成。在各种实 施例中，在合适的时候，基座150可被实现用于提供结构支撑、各种电路路径、 热散热器性能以及其他功能。在一个实施例中，基座150可以是至少部分使用陶 瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成 像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板（例 如，FR4电路板或者其他类型的电路板）、刚性或者柔性的互连设备（例如，带型 或者其他类型的互连设备）、柔性电路基板、柔性塑料基板或者其他合适的结构。 在各种实施例中，基座150可实现为具有针对电路板170所描述的的各种功能和 属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100（例如，如图2的装配后的 视图所示）的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、 销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、 粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外 成像模块100固定到插座104内部。插座104可包括接合部件107，当红外成像 模块100插入到插座104的腔体106中时，接合部件接合外壳120的表面109。 在其他实施例中可使用其他类型的接合部件。

红外成像模块100可通过适当的电连接部件（例如，触点、销、电线或者任 何其他合适的连接部件）与插座104电连接。例如，插座104可包括电连接部件 108，其可与红外成像模块100的相应的电连接部件（例如，互连盘（interconnect  pad）、触点、或者在电路板170侧面或者底表面上的其他电连接部件、结合盘142 或者基座150上的其他电连接部件、或者其他连接部件）接触。电连接部件108 可由任何期望的材料（例如，铜或者任何其他合适的导电材料）制造。在一个实 施例中，电连接部件108可被机械的偏置，以当红外成像模块100插入到插座 104的腔体106中时紧压着（press against）红外成像模块100的电连接部件。 在一个实施例中，电连接部件108可至少部分的将红外成像模块100固定到插座 104中。在其他的实施例中可以使用其他类型的电连接部件。

插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实 施例中，主机102可包括穿过孔190与电连接部件108连接的电连接部件（例如， 焊接连接、搭扣式（snap-in）连接或者其他连接）。在各种实施例中，这种电连 接部件可置于插座104的侧面和/或底部。

可通过倒装技术来实现红外成像模块100的各种部件，所述倒装技术可用于 将部件直接安装到电路板上，而无需通常用于引线连接的额外的间隙。作为例子， 倒装连接可减少红外成像模块100的整体尺寸，以便用在紧凑的小形状因数的应 用中。例如，在一个实施例中，可使用倒装连接将处理部件160安装到电路板170。 例如，可使用这种倒装配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124、2010年7月27日提交的 美国专利申请和申请号为61/469,6512011年3月30日提交的美国临时专利申请 所提出的各种技术（例如，晶片级封装技术），来实现红外成像模块100和/或相 关的部件，通过引用的方式将其整体合并于此。另外，根据一个或者多个实施例， 可根据如下所述文献提出的各种技术来实现、校正、测试和/或使用红外成像模 块100和/或相关的部件，所述文献例如为：如专利号为7,470,902、授权日为 2008年12月30日的美国专利，专利号为6,028,309、授权日为2000年2月22 日的美国专利，专利号为6,812,465、授权日为2004年11月2日的美国专利， 专利号为7,034,301、授权日为2005年4月25日的美国专利，专利号为 7,679,048、授权日为2010年3月16日的美国专利，专利号为7,470,904、授权 日为2008年12月30日的美国专利，申请号为12/202,880、2008年9月2日提 交的美国专利申请以及申请号为12/202,896、2008年9月2日提交的美国专利 申请，通过引用的方式将上述文献整体合并于此。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面 而言，在红外成像模块100安装在插座中时，可将快门105选择性地放置在插座 104上（例如，如箭头103所确定的那样）。就这方面而言，快门105例如可用于 在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本 领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程（例 如，非均匀性校正（NUC）过程或者其他校正过程）的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝（例 如，涂覆的或者经过阳极氧化后的）或者其他材料。在各种实施例中，快门105 可包括一个或者多个涂层（例如，均匀的黑体涂层或者反射性的镀金涂层），其 用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像 模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤 掉期望的红外线波长的合适的材料（例如，聚合物，或者诸如硅、锗、硒化锌或 硫属化物玻璃的红外透射材料）制造。如本领域技术人员所应当理解的，在另一 个实施例中，快门可实现为红外成像模块100的一部分（例如，在透镜镜筒或者 红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其 他部件的一部分）。

作为选择，在另一个实施例中，无需提供快门（例如，快门105或者其他类 型的外部或者内部快门），而是可使用无快门的技术进行NUC过程或者其他类型 的校正。在另一个实施例中，使用无快门技术的NUC过程或者其他类型的校正可 与基于快门的技术结合进行。

可根据下述文件提出的各种技术中的任意一种来实现红外成像模块100和主 机装置102，所述文献为：申请号为61/495,873、2011年6月10日提交的美国 临时专利申请；申请号为61/495,879、2011年6月10日提交的美国临时专利申 请；以及申请号为61/495,888、2011年6月10日提交的美国临时专利申请，通 过引用的方式将上述文献整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本 地系统，或者实现为部件之间通过有线和/或无线网络彼此进行通信的分布式系 统。因此，正如特定的应用所期望的那样，可以通过本地和/或远程部件来执行 本公开所确定的各种操作。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。 在一些实施例中，可由在由红外传感器132捕获的图像帧上进行操作的处 理模块160或者处理器195（二者通称为处理器）来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景是主 机装置102当前处于的真实环境。就这方面而言，快门105（如果可选地 提供）可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所 有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续 地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中， 在捕获的图像帧被用于图5所示的操作之前，可对所述图像帧进行时域滤 波（例如，根据本文将根据图8对进一步描述的块826的过程）并且通过 其他项（例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、 列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述）对 它们进行处理。

在块510，检测NUC过程启动事件。在一个实施例中，NUC过程可 响应于主机装置102的物理移动而启动。例如，可由被处理器轮询（poll） 的运动传感器194来检测这种移动。在一个例子中，用户可能会以特定的 方式来移动主机装置102，例如，通过以“擦除”或“重击”运动的方式 有意地来回摇晃主机装置102。就这方面而言，用户可根据预定的速率和 方向（速度），例如，通过上下、左右或者其他类型的运动来启动NUC过 程。在这个例子中，这种运动的使用可允许用户直观地操作主机装置102， 以模拟对捕获的图像帧的噪声“擦除”。

在另一个例子中，如果运动超过阈值（例如，超过了正常使用所期望 的运动），则可由主机装置102来启动NUC过程。可以预期的是，主机装 置102的任何期望的类型的空间移位（translation）均可用于启动NUC过 程。

在另一个例子中，如果自从先前执行的NUC过程以来，已经过去了 最小时间，则可由主机装置102启动NUC过程。在另一个例子中，如果 自从先前执行的NUC过程以来，红外成像模块100已经经历了最小的温 度改变，则可由主机装置102启动NUC过程。在另外的例子中，可连续 地并重复地启动NUC过程。

在块515，检测到NUC过程启动事件之后，确定是否应该真正地执行 NUC过程。就这方面而言，可基于一个或者多个附加条件是否满足，来选 择性地启动NUC过程。例如，在一个实施例中，除非自从先前执行的NUC 过程以来，已经过去了最小时间，不会执行NUC过程。在另一个实施例 中，除非自从先前执行的NUC过程以来，红外成像模块100已经经历了 最小的温度变化，不会执行NUC过程。在其他的实施例中可使用其他标 准或者条件。如果已经满足合适的标准或者条件，流程图就会继续到块 520。否则，流程图返回到块505。

在NUC过程中，模糊图像帧可用于确定NUC项，所述NUC项可应 用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累 加运动场景的多个图像帧（例如，当场景和/或热成像仪处于运动的状态时 捕获的图像帧）来获得模糊图像帧。在另一个实施例中，可通过使热成像 仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，在块520中，提供了两种方法中任意一种的选择。如果使用基 于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流 程图继续到块530。

现在参考基于运动的方法，在块525中，检测运动。例如，在一个实 施例中，可基于红外传感器132捕获的图像帧来检测运动。就这方面而言， 合适的运动检测方法（例如，图像配准法、帧到帧的差值计算或者其他合 适的方法）可应用于捕获的图像帧，以确定是否存在运动（例如，已经捕 获到静态的还是运动的图像帧）。例如，在一个实施例中，能够确定连续 图像帧的像素的周围的像素或者区域已经改变超过了用户定义的数量（例 如，百分比和/或阈值）。如果至少给定百分比的像素已经改变了至少用户 定义的数量，则可以非常肯定检测到了运动，从而进行到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累 加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像 素设置计数器，所述计数器用于保证对每个像素累加相同数量的像素值， 或者用于根据对每个像素实际上累加的像素值的数量来对像素值取平均。 可执行其他类型的基于图像的运动检测，例如，执行拉东（Radon）变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。 在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿 着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹 移动，那么下述情况是可能的：出现在被成像的场景中的某些对象可能不 够模糊（例如，场景中的对象与笔直轨迹对准或者基本上平行于所述笔直 轨迹移动）。因此，在该实施例中，运动传感器194检测的运动是以主机 装置102显示出运动或者没有显示出特定的轨迹运动为条件的。

在另一个实施例中，可使用运动检测方法和运动传感器194二者。因 此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主 机装置102相对于彼此之间运动的同时是否捕获到每个图像帧（例如，这 可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102 移动或者上述两种情况引起）。

可以预期的是，对其检测运动的图像帧可显示出捕获的场景的某些次 级模糊（例如，与场景相关的模糊的热图像数据），所述次级模糊是由于 红外传感器132的热时间常数（例如，微辐射热探测器的时间常数）与场 景移动的相互作用而引起的。

在块535，对其检测运动的图像帧被累加。例如，如果对连续的一系 列图像帧检测到运动，则可对系列图像帧进行累加。作为另外一个例子， 如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并且不在 累加中包括这些没有运动的图像帧。因此，可基于检测到的运动，选择连 续的或者不连续的一组图像帧进行累加。

在块540中，对累加的图像帧取平均以提供模糊图像帧。因为累加的 图像帧是在运动期间捕获到的，所以期望图像帧之间实际的场景信息将会 改变，从而导致作为结果的模糊的图像帧中的场景信息被进一步模糊（块 545）。

与此相反，在运动期间，在至少短时间内以及场景发光的至少有限变 化中，FPN（例如，由红外成像模块100的一个或者多个部件引起的）保 持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭 受相同的或者至少非常类似的FPN。因此，尽管连续图像帧中的场景信息 可能会改变，但是FPN将实质上保持不变。通过对运动期间捕获到的多个 图像帧取平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。 结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持被定 义得更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行 累加和取平均。然而，在其他实施例中，可以使用任何期望数量的图像帧， 只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530中，进行散焦操作以有意地使红 外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个 致动器199可用于调整、移动或者以其他方式平移光学元件180、红外传 感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132 捕获场景的模糊的（例如，没有聚焦）图像帧。也可预期其他不基于致动 器的技术来有意地使红外图像帧散焦，例如，如人工（例如，用户启动的） 散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN（例 如，由红外成像模块100的一个或者多个部件引起）将会保持不受影响。 结果是，将会提供场景的模糊图像帧（块545），并且与场景信息相比，FPN 将在所述模糊图像中保持被定义得更加清楚。

在上面的讨论中，已经针对单个捕获的图像帧描述了基于散焦的方 法。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经 被散焦时对多个图像帧进行累加，并且对散焦的图像帧取平均以消除时域 噪声的影响并在块545中提供模糊图像帧。

因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的 方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使 很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的图像 帧关于场景信息的低通滤波版本。

在块505中，对模糊图像帧进行处理以确定更新的行和列的FPN项（例 如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可 以是块550的第一次迭代中的新的行和列的FPN项）。如本公开所使用的， 根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和 列可互换的使用。

在一个实施例中，块550包括为模糊图像帧的每行确定空间FPN校正 项（例如，每行可具有其自身的空间FPN校正项），以及还为模糊图像帧 的每列确定空间FPN校正项（例如，每列可具有其自身的空间FPN校正 项）。这种处理可用于减少热成像仪固有的、空间的并且缓慢变化（1/f） 的行和列FPN，这种FPN例如是由ROIC402中的放大器的1/f噪声特征 引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条纹。

有利的是，通过利用模糊图像帧确定空间行和列的FPN项，会降低将 实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险（例如， 真实场景内容被模糊，而FPN保持不被模糊）。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确 定行和列FPN项。例如，图6示出了根据本公开实施例的相邻像素之间的 差值。具体地，在图6中，将像素610与它最接近的8个水平相邻像素进 行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值取平均， 以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的 偏移误差均进行累加，并且平均的结果可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值 （thPix和-thPix）。落到入这些阈值之外的像素值（在该例子中，是像素 d1和d4）不用于获得偏移误差。另外，这些阈值可限制行和列FPN的最 大校正量。

申请号为12/396,340、2009年3月2日提交的美国专利申请提出了进 行空间行和列FPN校正的另外的技术，通过引用的方式将其整体合并于 此。

再次参考图5，将在块550中确定的更新的行和列FPN项进行存储（在 块552中）并将其应用于（在块555中）块545提供的模糊图像帧。在应 用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因 为这些项通常应用于行和列，所以附加的FPN可保持不变，例如，与像素 到像素的漂移或者其他原因相关的空间不相关的FPN。与单个行和列可能 不直接相关的、空间相关的FPN的邻近区域也可保持不变。因此，可进行 进一步的处理以确定NUC项，下面将对其进行描述。

在块560中，模糊图像帧中的局部反差值（例如，相邻像素或者小组 像素之间的梯度边缘值或者绝对值）得以确定。如果模糊图像帧中的场景 信息包括还没有被明显模糊的反差区域（例如，原始场景数据中的高反差 边缘），那么可由块560中的反差确定过程来确定该特征。

例如，可计算模糊图像中的局部反差值，或者任何其他期望类型的边 缘检测过程可应用于以便识别作为局部反差区域的一部分的、模糊图像中 的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信 息，可将该很高空间频率的场景信息解释为FPN（例如，这种区域可对应 于还没有被充分模糊的场景的部分）。因此，可不将这些像素用于对NUC 项的进一步确定。在一个实施例中，这种反差检测处理可依赖于高于与FPN 相关的期望反差值的阈值（例如，可以认为表现出的反差值高于阈值的像 素是场景信息，而认为那些低于阈值的像素表现的是FPN）。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对 模糊图像帧执行块560的反差确定（例如，如图5所示）。在另一个实施 例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差 （例如，以防止基于场景的反差对于确定该项有影响）。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频 率分量可一般地归因于空间不相关的FPN。就这方面而言，在块560之后， 已经将很多其他噪声或者真正期望的基于场景的信息去除或者排除在模 糊图像帧之外，这是因为：对图像帧的有意地模糊（例如，通过从块520 到545的运动或者散焦）、行和列FPN项的应用（块555）以及反差的确 定（块560）。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量（例 如，表现为模糊图像帧中的反差或者差别区域）均可归因于空间不相关的 FPN。因此，在块565中，对模糊图像帧进行高通滤波。在一个实施例中， 这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一 个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后 的图像帧和没有滤波的模糊图像帧之间的差值以获得高空间频率分量。根 据本公开的各种实施例，可通过计算传感器信号（例如，像素值）和其相 邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更 新的NUC项（例如，如果先前没有进行NUC过程，那么更新的NUC项 可以是块570的第一次迭代中的新的NUC项）。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中， 可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个 像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值 之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值： 像素712和714之间（从左到右的对角梯度）、像素716和718之间（从 上到下的垂直梯度）、像素720和722之间（从右到左的对角梯度）以及 像素724和726之间（从左到右的水平梯度）。

可对这些绝对差值进行求和，以提供每个像素710的总梯度。可确定 每个像素710的权重值，所述权重值与总梯度成反比。可对模糊图像帧的 全部像素710执行该过程，直到为每个像素710提供加权值。对于具有低 梯度的区域（例如，模糊的区域或者具有低对比度的区域）来说，权重值 将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接 近零。如通过高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定过程， 能够进一步地降低将场景信息引入到NUC项中的风险。例如，可选择位 于0和1之间的时间衰减因子λ，这样存储的新的NUC项（NUC_NEW）为 旧的NUC项（NUC_OLD）和估计的更新的NUC项（NUC_UPDATE）的加权平 均值。在一个实施例中，这可表示为：NUC_NEW=λ·NUC_OLD+ (1-λ)·(NUC_OLD+NUC_UPDATE)。

尽管已经针对梯度描述了对NUC项的确定，但是适当的时候也可使 用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可 执行其他类型的平场校正步骤以确定NUC项，包括：例如专利号为 6,028,309、授权日为2000年2月22日的美国专利；专利号为6,812,465、 授权日为2004年11月2日的美国专利；以及申请号为12/114,865、2008 年5月5日提交的美国专利申请所记载的各种方法，通过引用的方式将上 述文献整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实 施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC 项的平均值来将全部NUC项的和归一化到零。同样的在块570中，为了 避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的 平均值。结果是，使用在块550中确定的行和列FPN项的行和列FPN滤 波器可以在进一步的迭代中（例如，如图8所进一步示出的）更好地过滤 掉将NUC项应用到捕获的图像之后（例如，本文将进一步在块580中讨 论）的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的 数据来计算每行和每列的偏移系数（例如，行和列的FPN项），并且与基 于高通滤波来捕获空间上不相关的噪声相比，可从而提供更加可靠的、用 于减少空间相关的FPN的可选项。

在块571-573中，可以可选地对更新的NUC项执行附加的高通滤波和 进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先 前通过行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红 外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相 关的FPN噪声，不能容易地将该空间相关的FPN噪声建模为行或者列噪 声。这种空间相关的FPN可包括例如传感器封装或者红外传感器132组上 的窗样缺损（window defect），所述红外传感器132组与相邻的红外传感器 132相比，对发光的响应不同。在一个实施例中，可使用偏移校正来减少 这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模 糊图像帧中检测到噪声。由于这种类型的噪声可影响像素的邻近区域，具 有很小内核的高通滤波器可能不能检测到邻近区域中的FPN（例如，高通 滤波器使用的全部值可从受到影响的像素的邻近区域中提取，因此可被同 样的偏移误差影响）。例如，如果使用小的内核执行块565的高通滤波（例 如，只考虑落入受到空间相关的FPN影响的像素的邻近区域中的直接相邻 的像素），则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的在像素的邻近区域中的空间相 关的FPN。如采样的图像帧1100所示，像素1100的邻近区域可表现出空 间相关的FPN，所述空间相关的FPN不准确地与单个行和列相关，并且分 布于几个像素构成的邻近区域（例如，在该例子中，约为4*4个像素的邻 近区域）。采样的图像帧1100还包括一组像素1120和一组像素1130，所 述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素 1130用于估计像素1110的邻近区域的低通值。在一个实施例中，像素1130 可以是可分为两部分的多个像素，以便于促进有效的硬件或者软件计算。

再次参考图5，在块571-573中，可以可选地对更新的NUC项执行附 加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110 表现出的空间相关的FPN。在块571中，将在块570中确定的更新的NUC 项应用到模糊图像帧。因此，此时，模糊图像帧将会已经针对空间相关的 FPN进行了初步校正（例如，通过在块555中应用更新的行和列FPN项）， 并且也针对空间不相关的FPN进行了初步校正（例如，通过应用在块571 中应用的更新的NUC项）。

在块572中，进一步的高通滤波器得以应用，该高通滤波器的内核比 在块565中使用的高通滤波器的内核大，并且可在块573中确定进一步更 新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块 572中应用的高通滤波器可包括来自像素的足够大的邻近区域的数据，从 而能够确定没有受到影响的像素（例如，像素1120）和受到影响的像素（例 如，像素1110）之间的差值。例如，可使用具有大内核的低通滤波器（例 如，远大于3*3个像素的N*N内核），并且可减去得到的结果以进行适当 的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用 N*N的邻近区域内的较少数量的像素。对于任何给定的使用较远的相邻像 素的高通滤波器（例如，具有大内核的高通滤波器）来说，存在将实际的 （潜在模糊的）场景信息建模为空间相关的FPN的风险。因此，在一个实 施例中，对于在块573中确定的更新的NUC项，可将时间衰减因子λ设 置为接近1。

在各种实施例中，可重复（例如，串联（cascade））块571-573，以利 用递增的内核尺寸来迭代地执行高通滤波，从而提供进一步更新的NUC 项，所述进一步更新的NUC项对于期望的邻近区域尺寸的空间相关的FPN 更加正确。在一个实施例中，可根据通过先前执行的块571-573所得到的 更新的NUC项是否已经将空间相关的FPN真正的消除，来作出是否执行 这种迭代的决定。

在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像 帧的决定（块574）。例如，如果整个图像帧的NUC项的绝对值的平均值 小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者 不可能提供有意义的校正。可选的，可将阈值标准应用到各个个别的像素， 以确定哪些像素接收到更新的NUC项。在一个实施例中，阈值可对应于 新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中， 阈值可独立于先前计算的NUC项。可应用其他测试（例如，空间相关性 测试）以确定是否应用NUC项。

如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返 回到块505。否则，存储（块575）新确定的NUC项以替代先前的NUC 项（例如，由图5中先前执行的迭代确定），并将所述新确定的NUC项应 用到（块580）捕获的图像帧。

图8示出了根据本公开实施例的、应用在图像处理途径800中的图5 的各种图像处理技术和其他操作。就这方面而言，途径800确定了在用于 校正红外成像模块100提供的图像帧的整个迭代图像处理方案的背景下图 5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像 帧进行操作的处理模块160或者处理器195（二者通称为处理器）来提供 途径800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均 器804求多个图像帧的积分（integrate）以为图像帧802提供改进的信噪 比。可通过红外传感器132、ROIC402以及红外传感器组件128的实现为 支持高图像捕获速率的其他组件来有效地提供帧平均器804。例如，在一 个实施例中，红外传感器组件128可以以240Hz的帧速率（例如，每秒240 个图像）来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组 件128工作在相对较低的电压下（例如，与移动电话的电压相兼容），以 及通过使用相对较小的红外传感器132阵列（例如，在一个实施例中，为 64*64的红外传感器阵列），来实现这样高的帧速率。

在一个实施例中，可以以高的帧速率（例如，240Hz或者其他帧速率） 将这种红外图像帧从红外传感器阵列128提供给处理模块160。在另一个 实施例中，红外传感器组件128可以在较长的时间段或者多个时间段上进 行积分，从而以较低的帧速率（例如，30Hz、9Hz或者其他帧速率）将积 分后的（例如，取平均后的）红外图像帧提供给处理模块160。有关可用 于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的 申请号为61/495,879的美国临时专利申请中找到。

图像帧802通过途径800继续进行，在途径800中图像帧802被各种 项所调整、被时域滤波、被用来确定各种调整项以及进行增益补偿。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧 802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红 外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述地校正FPN。 在一个实施例中，如果还没有确定NUC项817（例如，在已经启动NUC 过程之前），则可以不执行块580，或者可将初始值用于NUC项817，这 不会导致图像数据的改变（例如，每个像素的偏移值将等于0）。

在块818到822中，分别将列FPN项820和行FPN项824应用到图 像帧802。可如上所述的那样根据块550来确定列FPN项820和行FPN项 824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824（例 如，在已经启动NUC过程之前），则可以不执行块818到822，或者可将 初始值用于列FPN项820和行FPN项824，这不会导致图像数据的改变（例 如，每个像素的偏移值将等于0）。

在块826中，根据时域噪声消除（TNR）过程对图像帧802执行时域 滤波。图9示出了根据本公开实施例的TNR过程。在图9中，对当前接 收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的 时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和 805b为中心的局部像素邻近区域803a和803b。邻近区域803a和803b对 应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b中的 全部像素的子集。在示出的实施例中，邻近区域803a和803b包括5*5个 像素的区域。在其他的实施例中可使用其他的相邻区域尺寸。

确定邻近区域803a和803b中对应的像素的差值并对其求平均，以为 对应于像素805a和805b的位置提供平均增量值805c。增量值805c可用 于在块807中确定将要应用到图像帧802a和802b的像素805a和805b的 权重值。

在一个实施例中，如图809所示，在块807中确定的权重值可与平均 的增量值805c成反比，以使得当邻近区域803a和803b之间差别较大时， 权重值迅速的降低到零。就这方面而言，邻近区域803a和803b之间较大 差别可表示场景内已经发生了变化（例如，由于运动），并且在一个实施 例中，可对像素802a和802b进行适当的加权，以避免引入跨越帧到帧场 景变化的模糊。在其他实施例中可使用权重值和平均增量值805c之间的其 他关联。

在块807中确定的权重值可用于像素805a和805b，以确定用于图像 帧802e的相应像素805e的值（块811）。就这方面而言，根据在块807中 确定的平均增量值805c和权重值，像素805e可具有对像素805a和805b 加权平均（或者其他组合）后的值。

例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和 802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差 别是由于噪声引起的，那么可以预期的是，邻近区域805a和805b之间的 平均变化将会接近于零（例如，对应于不相关的变化的平均值）。在这种 情况下，可以预期的是，邻近区域805a和805b之间的差值的和将会接近 于零。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以 有助于生成像素805e的值。

然而，如果这种差值的和不为零（例如，在一个实施例中，甚至与零 只相差很小的量），那么可将变化解释为是由运动引起的，而不是由噪声 引起的。因此，可基于邻近区域805a和805b所表现出的平均的变化来检 测运动。在这种情况下，可对图像帧802a的像素805a施加较重的权重， 而对图像帧802b的像素805b施加较轻的权重。

其他实施例也是可以预期的。例如，尽管描述的是根据邻近区域805a 和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望 的标准（例如，根据个别的像素或者各批像素中其他类型组）来确定平均 增量值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧， 并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个 实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有 经过时域滤波的第一和第二图像帧。

图10示出了与块826的TNR过程有关的进一步的实施细节。如图10 所示，分别将图像帧802a和802b读入到线缓冲器1010a和1010b中，并 且在将图像帧802b（例如，先前图像帧）读入到线缓冲器1010b中之前， 可将其存储到帧缓冲器1020中。在一个实施例中，可通过由红外成像模 块100和/或主机装置102的任何合适的部件提供的随机存储器（RAM） 块来实现线缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，用以进 行进一步地处理，以提供主机装置102可根据期望使用的结果图像帧830。

图8进一步地示出了被执行以如所讨论的那样确定行和列FPN项以及 NUC项的各种操作。在一个实施例中，这些操作可使用如图8所示的图像 帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些 时域噪声，从而不会不经意地影响对行和列FPN项824和820以及NUC 项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。

在图8中，图5中的块510、515和520被集中地表示在一起。如所 讨论的，可响应于各种NUC过程启动事件以及基于各种标准或者条件来 选择性地启动或者执行NUC过程。同样如所讨论的，可根据基于运动的 方法（块525、535和540）或者基于散焦的方法（块530）来执行NUC 过程，以提供模糊的图像帧（块545）。图8进一步地示出了先前关于图5 所讨论的各种附加块550、552、555、560、565、570、571、572、573和 575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并 且以迭代的方式应用上述项，以使得使用已经应用了先前的项的图像帧 802来确定更新的项。结果是，图8的整个过程可重复地更新，并应用这 些项以连续地减少主机装置102将要使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与途径800有关的各种块的详 细的实施细节。例如，将块525、535和540显示为以通过途径800接收 的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525 中所做的决定表示为决定菱形，其用于确定给定图像帧802是否已经充分 的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会 增强模糊，因此得到累加（在该实施例中，通过箭头来表示块535）和平 均（块540）。

同样的在图10中，将对列FPN项820的确定（块550）显示为以更 新速率操作，在该例子中，由于在块540中执行的平均处理，该更新速率 为传感器帧速率（例如，正常帧速率）的1/32。在其他的实施例中可使用 其他的更新速率。尽管图10仅标识出了列FPN项820，但是可以以相同 的方式以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定过程有关的进一步的实施细节。 就这方面而言，可将模糊图像帧读入到线缓冲器1030（例如，由红外成像 模块100和/或主机装置102的任何合适的部件提供的RAM块来实现）。 可对模糊图像帧执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的方法可用于消除各种 类型的FPN（例如，包括很高幅度的FPN），例如，空间相关的行和列FPN 以及空间不相关的FPN。

其他实施例也是可以预期的。例如，在一个实施例中，行和列FPN项 和/或NUC项的更新的速率可与模糊图像帧中的模糊的估计的数量成反 比，和/或与局部反差值（例如，在块560中确定的局部反差值）的大小成 反比。

在各种实施例中，描述的技术提供了优于传统的基于快门的噪声校正 技术的优点。例如，通过使用无快门的方法，不需要设置快门（例如，如 快门105），从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机 械地操作快门，还可降低提供给红外成像模块100或者由红外成像模块100 产生的功率和最大电压。通过将作为潜在的故障点的快门去除，将会提高 可靠性。无快门的方法还消除了由通过快门成像的场景的暂时性堵塞所引 起的潜在的图像中断。

同样的，通过使用从真实场景（不是快门提供的均匀场景）捕获的有 意地模糊的图像帧来校正噪声，可对发光水平与期望成像的那些真实场景 类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪 声校正项的精度和效率。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本 公开所提供的各种实施例。同样地在合适的情况下，在不脱离本公开的精 神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软 件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神 的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软 件、硬件和/或二者的子部件。另外，在合适的情况下，可以预期的是，软 件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储 在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个 或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实 现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可 以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

以上所描述的实施例仅为了举例说明，而不是限制本发明。还应当理 解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的 范围仅由下面的权利要求书限定。