法律状态公告日
法律状态信息
法律状态
2019-11-05
授权
授权
2015-12-02
实质审查的生效 IPC(主分类):H04N5/33 申请日:20131230
实质审查的生效
2015-11-04
公开
公开
相关申请的交叉引用
本申请要求2012年12月31日提交的并且名称为“TECHNIQUES TOCOMPENSATE FOR CALIBRATION DRIFTS IN INFRARED IMAGINGDEVICES”的美国临时专利申请No.61/747,947的权益，其通过援引整体合并在本文中。
本申请是2013年12月9日提交的并且名称为“LOW POWER ANDSMALL FORM FACTOR INFRARED IMAGING”的美国专利申请No.14/101,245的部分继续申请，其通过援引整体合并在本文中。
本申请是2013年12月6日提交的并且名称为“NON-UNIFORMITYCORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国专利申请No.14/099,818的部分继续申请，其通过援引整体合并在本文中。
本申请是2013年12月9日提交的并且名称为“INFRARED CAMERASYSTEM ARCHITECTURES”的美国专利申请No.14/101,258的部分继续申请，其通过援引整体合并在本文中。
本申请是2013年12月21日提交的并且名称为“COMPACTMULTI-SPECTRUM IMAGING WITH FUSION”的美国专利申请No.14/138,058的部分继续申请，其通过援引整体合并在本文中。
美国专利申请No.14/138,058要求2012年12月31日提交的并且名称为“COMPACT MULTI-SPECTRUM IMAGING WITH FUSION”的美国临时专利申请No.61/748,018的权益，其通过援引整体合并在本文中。
本申请是2013年12月21日提交的并且名称为“TIME SPACEDINFRARED IMAGE ENHANCEMENT”的美国专利申请No.14/138,040的部分继续申请，其通过援引整体合并在本文中。
美国专利申请No.14/138,040要求2013年3月15日提交的并且名称为“TIME SPACED INFRARED IMAGE ENHANCEMENT”的美国临时专利申请No.61/792,582的权益，其通过援引整体合并在本文中。
本申请是2013年12月21日提交的并且名称为“INFRARED IMAGINGENHANCEMENT WITH FUSION”的美国专利申请No.14/138,052的部分继续申请，其通过援引整体合并在本文中。
美国专利申请No.14/138,052要求2013年3月15日提交的并且名称为“INFRARED IMAGING ENHANCEMENT WITH FUSION”的美国临时专利申请No.61/793,952的权益，其通过援引整体合并在本文中。
技术领域
本发明的一个或者多个实施方式总体上涉及红外成像装置，更具体地，例如涉及补偿与这样的装置相关的校准漂移的技术。
背景技术
对于很多红外成像装置，可以在制造、测试和/或操作期间执行各种校准程序以校正不均匀性或者以其他方式降低与红外成像装置相关的噪声。在这样的校准程序期间产生的校准数据(也称为校准项)典型地存储在非易失性存储器中并应用于红外成像装置和/或捕获的图像以矫正非均匀性或以其他方式降低可能出现在捕获的图像中的噪声。然而，由于红外成像装置的各种部件的各种特性随着时间流逝和/或随着使用而改变，因此校准项逐步变得失效(例如，不太有效)，导致校准漂移。
为了校正校准漂移，典型地需要在校准台和/或使用嵌入在红外成像装置中的内部校准快门机构重新校准红外成像装置。然而，校准台可能难以获得，或者使用起来可能是麻烦的。内部校准快门机构也可能对于很多红外成像装置而言难以获得，尤其对于小形状因子和/或低成本的装置而言。
一些红外成像装置可能能够使用在装置操作期间捕获的图像来执行无快门非均匀校正(NUC)方法，从而除了应用校准项之外，还进一步校正不均匀性或者以其他方式降低噪声。然而，这样的方法可能不足以快速补偿校准漂移，原因在于由于校准漂移变得更坏，在红外成像装置开始捕获图像之后，要让无快门NUC方法产生合理的结果可能要花费不可接受的过长时间。
发明内容
提供了各种技术来补偿和/或更新由于红外成像装置中的校准漂移而无效的(例如，失效的)校准项。例如，在检测到可能表明充当快门(例如，虚拟快门)的物体或场景存在的适当的触发事件和/或状况时，可以启动虚拟快门非均匀校正(NUC)程序以产生NUC项，从而校正不均匀性。基于场景的非均匀校正(SBNUC)可以在红外成像装置的图像捕获操作期间执行，例如，在虚拟快门场景不可用时。进一步地，可以获得在虚拟快门NUC程序、SBNUC过程和/或其他NUC过程期间产生的校准数据(例如，NUC项)的快照。这样的快照可以用来在红外成像装置启动或以其他方式重激活时提供有用的NUC数据，从而使得SBNUC或其他NUC方法可以在启动不久之后产生有效的结果。这样的快照还可以用于更新无效的校准项。
在一个实施方式中，方法包括接收红外成像装置的焦平面阵列(FPA)捕获的场景的图像帧；获得非均匀校正(NUC)项以降低红外成像装置引入的噪声中的至少一些，其中，NUC项通过处理场景的图像帧中的至少一个而获得；以及将获得的NUC项存储成NUC项的一个或多个快照。
在另一个实施方式中，装置包括：红外成像装置，其包括适于捕获场景的图像帧的焦平面阵列(FPA)；存储器，其适于存储信息；以及处理器，其适于与红外成像装置和存储器通信，处理器还适于：获得非均匀校正(NUC)项以降低红外成像装置引入的噪声中的至少一些，其中NUC项通过处理场景的图像帧中的至少一个而获得，以及将获得的NUC项作为NUC项的一个或多个快照存储在存储器中。
本发明的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施方式的详细描述，将会向本领域技术人员提供对本发明实施方式的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。
附图说明
图1示出了根据本公开实施方式的、被配置为在主机装置中实现的红外成像模块。
图2示出了根据本公开实施方式的、装配后的红外成像模块。
图3示出了根据本公开的实施方式的、并列地置于插座之上的红外成像模块的分解图。
图4示出了根据本公开的实施方式的、包括红外传感器阵列的红外传感器组件的框图。
图5示出了根据本公开实施方式的、确定非均匀校正(NUC)项的各种操作的流程图。
图6示出了根据本公开实施方式的、相邻像素之间的差值。
图7示出了根据本公开实施方式的平场校正技术。
图8示出了根据本公开实施方式的、图5的各种图像处理技术和应用在图像处理流水线中的其他操作。
图9示出了根据本公开实施方式的时域噪声削减步骤。
图10示出了根据本公开实施方式的、图8的图像处理流水线的几个步骤的具体的实施细节。
图11示出了根据本公开实施方式的、像素的领域中的空间相关的固定图形噪声(FPN)。
图12示出了根据本公开实施方式的、包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。
图13示出了根据本公开实施方式的、图12的红外传感器组件的一部分的电路图。
图14示出了根据本公开实施方式的、捕获和/或处理红外图像的装置的框图。
图15示出了根据本公开实施方式的、获得非均匀校正(NUC)项、存储获得的NUC项的快照和/或使用获得的NUC项更新校准项的过程的流程图。
图16示出了根据本公开各个实施方式的、确定是否启动虚拟快门NUC程序作为图15的过程的一部分的子过程的流程图。
图17示出了根据本公开的实施方式的、利用图15的过程中存储的快照的过程的流程图。
图18示出了根据本公开另一实施方式的、利用图15的过程中存储的快照的另一过程的流程图。
通过参考下面的详细说明，将会更好的理解本发明的实施方式及其优点。应当理解的是，相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。
具体实施方式
图1示出了根据本公开实施方式的、被配置为在主机装置102中实现的红外成像模块100(例如，红外摄像机或者红外成像装置)。在一个或者多个实施方式中，可根据晶圆级封装技术或者其他封装技术，实现小形状因子的红外成像模块100。
在一个实施方式中，红外成像模块100可被配置为在小型的便携式主机装置102中实现，例如，移动电话、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放器或者任何其他合适的移动装置。就这方面而言，红外成像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100可被配置为捕获、处理、和/或管理红外图像，并将该红外图像提供给主机装置102，主机装置102能够以任何期望的方式来使用该红外图像(例如，对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。
在各种实施方式中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施方式中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施方式中，通过使红外成像模块100在低电压电平下工作，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量较少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。
如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施方式的、装配在插座104中的红外成像模块100。
可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息，以检测运动。在各种实施方式中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。
处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光摄像机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。
在各种实施方式中，可大量生产红外成像模块100和插座104，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小形状因子的装置)中。在一个实施方式中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。
图3示出了根据本公开的实施方式的、并列地置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
透镜镜筒110可至少部分的装入光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。
例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施方式中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施方式中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施方式中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。
红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施方式中，可根据晶片级封装技术来提供红外传感器组件128。
红外传感器132可实现为例如微辐射热计，或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施方式中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施方式中，可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。
基板140可包括各种电路，其中包括例如读出集成电路(ROIC)，在一个实施方式中，该读出集成电路(ROIC)的尺寸比约5.5mm×5.5mm小。基板140还可包括接合焊盘142，其可用于当如图3所示的那样装配好红外成像模块100时，与放置在外壳120的内表面上的相辅相成的连接点相接触。在一个实施方式中，可利用执行电压调节的低压差稳压器(LDO)来实现ROIC，以降低引入到红外传感器组件128中的噪声，从而提供改进的电源抑制比(PSRR)。另外，通过实现具有ROIC的LDO(例如，在晶圆级封装内)，可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。
图4示出了根据本公开的实施方式的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施方式中，红外传感器132作为ROIC 402的单位晶格阵列的一部分。ROIC 402包括偏置产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即，热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列，但是任何期望的阵列配置均可用于其他实施方式中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到，通过引用的方式将其作为整体合并于此。
红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施方式中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施方式中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施方式中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施方式中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。
在这些和其他实施方式中，处理模块160还可与其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。
在一些实施方式中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。
当将红外成像模块100装配好后，外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施方式中，外壳120可提供用于连接各种部件的电连接部件126，下面将对其进行详细描述。
当将红外成像模块100装配好时，电连接部件126(例如，导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施方式中，可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时，连接部件124可与电路板170连接(例如，在各种实施方式中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。
在各种实施方式中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施方式中，电连接部件126可有助于对红外成像模块100产生的热量进行散热。
其他连接可用于其他实施方式中。例如，在一个实施方式中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施方式中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。
本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。
红外传感器组件128的基板140可安装到基座150上。在各种实施方式中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施方式中，基座150可由任何期望的材料制造，例如，可根据特定应用，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施方式中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施方式中，基座150可以是至少部分使用陶瓷材料实现的多层结构。
在各种实施方式中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施方式中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施方式中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。
插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施方式中。
红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接部件108，其可与红外成像模块100的相应的电连接部件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施方式中，电连接部件108可被机械的压扁，以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施方式中，电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施方式中。
插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施方式中，主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如，焊接连接、搭扣式连接或者其他连接)。在各种实施方式中，这种电连接部件可置于插座104的侧面和/或底部。
可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因子应用中减少红外成像模块100的整体尺寸。例如，在一个实施方式中，可使用倒装芯片连接部件将处理模块160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。
在各种实施方式中，可根据如申请号为12/844,124，申请日为2010年7月27日的美国专利申请和申请号为61/469,651，申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施方式，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如授权号为7,470,902、授权日为2008年12月30日的美国专利，授权号为6,028,309、授权日为2000年2月22日的美国专利，授权号为6,812,465、授权日为2004年11月2日的美国专利，授权号为7,034,301、授权日为2006年4月25日的美国专利，授权号为7,679,048、授权日为2010年3月16日的美国专利，授权号为7,470,904、授权日为2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。
在一些实施方式中，主机装置102可以包括其他部件198，例如非热摄像机(例如，可见光摄像机或其他类型的非热成像仪)。非热摄像机可以是小形状因子成像模块或者成像装置，并且在一些实施方式中，非热摄像机可以与本文公开的红外成像模块100的各个实施方式相似的方式实施，其中一个或多个传感器和/或传感器阵列响应非热频谱中的辐射(例如，可见光波长、紫外线波长和/或其他非热波长中的辐射)。例如，在一些实施方式中，非热摄像机可以利用电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器或其他滤波器和/或传感器来实施。
在一些实施方式中，非热摄像机可以与红外成像模块100共驻并且定向成使得非热摄像机的视场(FOV)至少部分重叠红外成像模块100的FOV。在一个实例中，根据在2012年12月31日提交的美国临时专利申请No.61/748,018中描述的各种技术，红外成像模块100和非热摄像机可以实施成公用公共基板的双传感器模块，其将上述美国临时专利申请通过援引并入本文。
对于具有非热光摄像机的实施方式，各种部件(例如，处理器195、处理模块160和/或其他处理部件)可以被配置成使红外成像模块100捕获的红外图像(例如，包括热图像)和非热摄像机捕获的非热图像(例如，包括可见光图像)叠加、融合、混合或者以其他方式组合，无论基本上同时捕获或者不同时捕获(例如，时间上相隔数小时、数天、白天对于晚上和/或其他)。
在一些实施方式中，可以处理热和非热图像以产生组合图像(例如，在一些实施方式中，在这样的图像上进行一个或多个过程)。例如，可以执行基于场景的NUC处理(下文进一步描述)，可以执行真彩色处理，和/或可以执行高对比处理。
关于真彩色处理，可以通过例如根据混合参数将热图像的辐射测定分量和非热图像的对应分量混合而将热图像与非热图像混合，在一些实施方式中，混合参数可以由用户和/或机器调节。例如，可以根据混合参数组合热图像和非热图像的亮度或色度分量。在一个实施方式中，这样的混合技术可以被称为真彩色红外成像。例如，在白天成像时，混合图像可以包括非热彩色图像，其包括亮度分量和色度分量，其中其亮度值由来自热图像的亮度值替代和/或与来自热图像的亮度值混合。对来自热图像的亮度数据的使用使得真非热彩色图像的强度基于物体的温度而变亮或变暗。因此，这些混合技术提供了用于白天或可见光图像的热成像。
关于高对比处理，高空间频率内容可以由热和非热图像中的一个或多个获得(例如，通过执行高通滤波、差分成像和/或其他技术)。组合图像可以包括热图像的辐射测定分量和混合分量，混合分量包括根据混合参数混合有高空间频率内容的场景的红外(例如，热)特性，在一些实施方式中，混合参数可以由用户和/或机器调节。在一些实施方式中，来自非热图像的高空间频率内容可以通过将高空间频率内容叠加到热图像上而与热图像混合，其中高空间频率内容替代或覆盖热图像的与高空间频率内容存在位置对应的那些部分。例如，高空间频率内容可以包括描绘在场景图像中的物体边缘，但是可以不存在于这些物体的内部。在这样的实施方式中，混合图像数据可以只包括高空间频率内容，其随后可以被编码成组合图像的一个或多个分量。
例如，热图像的辐射测定分量可以是热图像的色度分量，并且高空间频率内容可以来源于非热图像的亮度和/或色度分量。在这种实施方式中，组合图像可以包括编码成组合图像的色度分量的辐射测定分量(例如，热图像的色度分量)和直接编码成(例如，混合图像但是没有热图像贡献)组合图像的亮度分量的高空间频率内容。如此，可以保持热图像的辐射测定分量的辐射测定校准。在类似实施方式中，混合图像数据可以包括加到热图像的亮度分量的高空间频率成分，和编码成由此产生的组合图像的亮度分量的由此产生的混合数据。
例如，以下申请中公开的任何技术都可以用于各种实施方式：2009年6月3日提交的美国专利申请No.12/477,828；2010年4月23日提交的美国专利申请No.12/766,739；2011年5月11日提交的美国专利申请No.13/105,765；2012年4月2日提交的美国专利申请No.13/437,645；2011年4月8日提交的美国临时专利申请No.61/473,207；2012年12月26日提交的美国临时专利申请No.61/746,069；2012年12月26日提交的美国临时专利申请No.61/746,074；2012年12月31日提交的美国临时专利申请No.61/748,018；2013年3月15日提交的美国临时专利申请No.61/792,582；2013年3月15日提交的美国临时专利申请No.61/793,952以及2011年4月21日提交的国际专利申请No.PCT/EP2011/056432，所有这些申请整体通过援引并入本文。本文描述的、或者在本文参考的其他申请或母案中描述的任何技术都可以应用于任何本文描述各种热装置、非热装置和用途。
再次参考图1，在各种实施方式中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校准过程(例如，非均匀性校正(NUC)过程或者其他校准过程)的一部分。
在各种实施方式中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施方式中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。
在另一个实施方式中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施方式中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。
可选的，在另一个实施方式中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校准。在另一个实施方式中，使用无快门技术的NUC步骤或者其他类型的校准可与基于快门的技术结合进行。
可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873，申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879，申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888，申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。
在各种实施方式中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此，可根据特定实施的需要，通过本地和/或远程部件来执行本公开所提及的各种操作。
图5示出了根据本公开实施方式的、确定NUC项的各种操作的流程图。在一些实施方式中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。
在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施方式中，可对捕获的图像帧进行时域滤波(例如，根据块826的步骤对捕获的图像帧进行时域滤波，本文将根据图8对其进一步描述)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。
在块510，检测到NUC步骤的启动事件。在一个实施方式中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用于可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“消除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观的操作主机装置102，以模拟对捕获的图像帧的噪声“消除”。
在另一个例子中，如果检测到运动超过阈值(例如，运动超过了期望的正常使用)，则可由主机装置102来启动NUC步骤。可以预期的是，主机装置102的任何期望的类型的空间移位均可用于启动NUC步骤。
在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。
在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施方式中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施方式中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施方式中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。
在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施方式中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施方式中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。
因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。
现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施方式中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，合适的运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施方式中，能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量，则可以非常肯定的检测到运动，从而流程图转到块535。
在另一个实施方式中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。
在另一个实施方式中，可基于运动传感器194提供的数据来检测运动。在一个实施方式中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些对象可能不够模糊(例如，场景中的对象与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施方式中，只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时，运动传感器194才能检测到运动。
在另一个实施方式中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施方式中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。
可以预期的是，检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热时间常数)与场景移动交互而引起的。
在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对系列图像帧进行累加。做为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续的或者不连续的一系列图像帧进行累加。
在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以我们期望图像帧之间实际的场景信息将会不同，从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。
与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。
在一个实施方式中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施方式中，只是随着帧的数量的减少，校正精度通常会降低。
现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施方式中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。
尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。
在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施方式中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。
因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。
在块550，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。
在一个实施方式中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC 402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。
有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。
在一个实施方式中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施方式的、相邻像素之间的差值。具体地，在图6中，将像素610与它附近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算，并且得到的平均值可用于校正整个行或者列。
为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。
申请号为12/396,340，申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术，通过引用的方式将其作为整体合并于此。
再次参考图5，将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。
在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别这些特征。
例如，可计算模糊图像帧中的局部反差值，或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施方式中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素是显示FPN)。
在一个实施方式中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所示)。在另一个实施方式中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。
在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。
因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施方式中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施方式中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施方式，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。
在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。
例如，图7示出了根据本公开实施方式的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。
可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。
在一个实施方式中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的平均加权值。在一个实施方式中，这可表示为：NUCNEW＝λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如颁布号为6,028,309，颁布日为2000年2月22日的美国专利；颁布号为6,812,465，颁布日为2004年11月2日的美国专利；以及申请号为12/114,865，申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。
再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施方式中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所详细示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。
在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，其响应不同的辐射度。在一个实施方式中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而所述全部值可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。
例如，图11示出了根据本公开实施方式的、附近像素中的空间相关的FPN。如采样的图像帧1100所示，像素1110附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确的与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110附近的像素的低通值。在一个实施方式中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。
再次参考图5，在块571-573，可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN项)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。
在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573进一步地确定更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3×3像素的N×N内核)，并且可减去得到的结果以进行适当的高通滤波。
在一个实施方式中，为了提高计算效率，可使用稀疏内核，从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如，具有大核的高通滤波器)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施方式中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。
在各种实施方式中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施方式中，可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来确定执行这种迭代的决定。
在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施方式中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施方式中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用该NUC项。
如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。
图8示出了根据本公开实施方式的、图5的各种图像处理技术和应用在图像处理流水线800中的其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施方式中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。
可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC 402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如，在一个实施方式中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240幅图像)来捕获红外图像帧。在该实施方式中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施方式中，为64×64的红外传感器阵列)，来实现这样高的帧速率。
在一个实施方式中，可以以较高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施方式中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在2011年6月10日提交的美国临时专利申请No.61/495,879中找到，其通过援引将其整体并入本文。
通过流水线800处理的图像帧802用于确定各种调整项和增益补偿，其中，由各种项、时域滤波来对所述图像帧802进行调整。
在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。
在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施方式中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。
在块818到822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施方式中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。
在块826，根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施方式的TNR步骤。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施方式中，相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施方式中。
确定相邻像素803a和803b对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。
在一个实施方式中，如曲线图809所示，在块807确定的权重值可与平均增量值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动而发生的变化)，并且在一个实施方式中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施方式中。
在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。
例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均值的变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。
然而，如果该差值的和不为0(例如，在一个实施方式中，甚至很接近于0)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较大的权重，而对图像帧802b的像素805b施加较小的权重。
其他实施方式也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均增量值805c，但是在其他实施方式中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。
在上面的实施方式中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施方式中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。
图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施方式中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。
再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供主机装置102可根据需要使用的结果图像帧830。
图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施方式中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施方式中，可使用没有经过时域滤波的图像帧802。
在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。
如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。
再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施方式中，将在块525所做的决定表示为决定菱形(decision diamond)，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施方式中，通过箭头来表示块535)和平均(块540)。
同样的在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施方式中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式，以降低的帧速率来实现行FPN项824。
图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。
鉴于本公开的内容，应当理解的是，本文描述的技术可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。
其他实施方式也是可以考虑的。例如，在一个实施方式中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比，和/或与局部反差值(例如，在块560确定的局部反差值)的大小成反比。
在各种实施方式中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。
同样的，通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声，可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。
如所讨论的，在各种实施方式中，红外成像模块100可被配置为在低电压下工作。特别的，可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100，所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如，移动装置及其他装置)中实现。
例如，图12示出了根据本公开实施方式的、包括红外传感器132和低压差稳压器(LDO)1220的红外传感器组件128的另一个实现方式的框图。如图所示，图12还示出了各种部件1202、1204、1205、1206、1208和1210，可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图12还示出了偏置校正电路1212，其可用于对提供给红外传感器132的一个或者多个偏置电压进行调整(例如，以补偿温度改变、自热和/或其他因素)。
在一些实施方式中，可将LDO 1220设置为红外传感器组件128的一部分(例如，位于相同的芯片上和/或晶片级封装为ROIC)。例如，可将LDO 1220设置为具有红外传感器组件128的FPA的一部分。如所讨论的，这种实现可减少引入到红外传感器组件128中的电源噪声，从而提供改进的PSRR。另外，通过利用ROIC来实现LDO，可消耗较少的模片面积，并且需要较少的分离模片(或者芯片)。
LDO 1220通过馈电线1232接收电源1230提供的输入电压。LDO 1220通过馈电线1222向红外传感器组件128的各种部件提供输出电压。就这方面而言，根据例如2013年12月9日提交的美国专利申请No.14/101,245(其通过援引整体并入本文)中描述的各种技术，LDO 1220可响应于从电源1230接收到的单输入电压，向红外传感器组件128的各个部件提供基本上相同的调节输出电压。
例如，在一些实施方式中，电源1230可提供从大约2.8v到大约11v范围的输入电压(例如，在一个实施方式中为大约2.8v)，并且LDO 1220可提供从大约1.5v到大约2.8v范围的输出电压(例如，在各个实施方式中大约为2.8、2.5、2.4v和/或更低的电压)。就这方面而言，无论电源1230是提供大约9v到大约11v的传统电压范围，还是提供低电压(例如，大约2.8v)，LDO 1220都可用于提供恒定的调节输出电压。因此，尽管为输入和输出电压提供了多种电压范围，但是可以预期的是，不管输入电压如何变化，LDO 1220的输出电压将会保持不变。
与用于FPA的传统电源相比，将LDO 1220实现为红外传感器组件128的一部分具有很多优点。例如，传统的FPA通常依赖于多个电源，所述多个电源中的每一个可分开的向FPA供电，并且分开的分布于FPA的各个部件。通过由LDO 1220对单电源1230进行调节，合适的电压可分别的提供给(例如，以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源1230的输入电压发生改变(例如，如果由于电池或者用于电源1230的其他类型的装置的充电或者放电而使输入电压增加或者降低)，LDO 1220的使用还使得红外传感器组件128仍能以恒定的方式工作。
图12中示出的红外传感器组件128的各种部件也可实现为在比传统装置使用的电压更低的电压下工作。例如，如所讨论的，LDO 1220可实现为提供低电压(例如，大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比，所述多个较高电压例如为：用于为数字电路供电的大约3.3v到大约5v的电压；用于为模拟电路供电的大约3.3v的电压；以及用于为负载供电的大约9v到大约11v的电压。同样的，在一些实施方式中，LDO 1220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。
参考图13，可进一步地理解红外传感器组件128的低电压操作的其他方面。图13示出了根据本公开实施方式的、图12的红外传感器组件128的一部分的电路图。特别的，图13示出了连接到LDO 1220和红外传感器132的偏置校正电路1212的其他部件(例如，部件1326、1330、1332、1334、1336、1338和1341)。例如，根据本公开的实施方式，偏置校正电路1212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件，可进一步地理解这些其他附件的操作，通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128，通过引用的方式将其作为整体合并于此。
在各种实施方式中，全部或者部分偏置校正电路1212可实现在如图13所示的整体阵列基础上(例如，用于集中在阵列中的所有红外传感器132)。在其他实施方式中，可在单个传感器基础上实现全部或者部分偏置校正电路1212(例如，对每个传感器132都全部或者部分地复制)。在一些实施方式中，图13的偏置校正电路1212和其他部件可实现为ROIC 1202的一部分。
如图13所示，LDO 1220向沿着馈电线1222中的一个的偏置校正电路1212提供负载电压Vload。如所讨论的，在一些实施方式中，Vload可以大约为2.5v，与此形成对比的是，可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。
基于Vload，偏置校正电路1212在节点1360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路1370(例如，由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中，可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路1370。
每个红外传感器132均包括通过开关电路1370接收Vbolo的节点1350以及可接地的另一个节点1352、基底和/或负参考电压。在一些实施方式中，节点1360处的电压与节点1350处的Vbolo基本相同。在其他实施方式中，可调整在节点1360处的电压，以补偿与开关电路1370和/或其他因素有关的可能的压降。
可利用通常比传统红外传感器偏置所使用的电压较低的电压来实现Vbolo。在一个实施方式中，Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施方式中，Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施方式中，Vbolo大约为0.5v。相比之下，传统红外传感器通常使用的偏置电压大约为1v。
与传统的红外成像装置相比，对根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的，每个红外传感器132的功耗以偏置电压的平方减少。因此，电压的降低(例如，从1.0v降到0.5v)提供了显著的功耗的降低，特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。
根据本公开的其他实施方式，提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。就这方面而言，当红外传感器组件128以所描述的低电压工作时，如果不对噪声、自热和/或其他现象进行校正，所述噪声、自热和/或其他现象会在红外传感器组件128所提供的图像帧中变得更加明显。
例如，参考图13，当LDO 1220以本文所述的方式保持在低电压Vload时，Vbolo也将保持在它的相应的低电压，并且可降低它的输出信号的相对尺寸。因此，噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响，从而导致输出信号的变化(例如，错误)。如果不进行校正，这些变化可能表现为图像帧中的噪声。此外，尽管低电压工作可以降低某些现象(例如，自热)的总体数量，但是较小的输出信号可使得残留的误差源(例如，残留的自热)在低电压工作期间对输出信号产生不成比例的影响。
为了补偿这种现象，可利用各种阵列尺寸、帧速率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如，如所讨论的，各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施方式中，可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。
有利的是，当利用这种相对小的阵列尺寸实现红外传感器组件128时，所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下，以相对高的帧速率来提供图像帧。例如，在一些实施方式中，帧速率的范围可以从大约120Hz到大约480Hz。
在一些实施方式中，阵列尺寸和帧速率可以相对于彼此之间增减(例如，以成反比例的方式或者其他方式)，以使得较大的阵列实现为具有较低的帧速率，而较小的阵列实现为具有较高的帧速率。例如，在一个例子中，160×120的阵列可提供大约为120Hz的帧速率。在另一个实施方式中，80×60的阵列可提供相应的大约为240Hz的较高的帧速率。其他帧速率也是可以考虑的。
通过阵列尺寸和帧速率相对于彼此之间的增减，无论实际的FPA尺寸或者帧速率为多少，FPA的行和/或列的特定读出定时都可以保持不变。在一个实施方式中，读出定时可以为大约每行或列63微秒。
如之前关于图8的讨论，红外传感器132捕获的图像帧可提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有低帧速率(例如，大约30Hz、大约60Hz或者其他帧速率)和改进的信噪比的图像帧802(例如，处理后的图像帧)。特别地，通过对由相对小的FPA提供的高帧速率图像帧进行平均，可将图像帧802中由于低电压工作而产生的图像噪声有效的平均掉和/或显著的减少。因此，红外传感器组件128可以工作在由如所讨论的LDO 1220提供的相对低的电压，并且在帧平均器804对产生的图像帧802进行处理之后，红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。
其他实施方式也是可以考虑的。例如，尽管示出了红外传感器132的单个阵列，但是可以预期的是，可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如，一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的，每个这样的阵列均可工作在低电压，并且也可为每个这样的阵列配置相关的ROIC电路，以使得每个阵列仍然可以相对高的帧速率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧速率图像帧进行平均，以减少和/或消除与低电压工作相关的噪声。因此，当工作在低电压时仍然可获得高分辨率红外图像。
在各种实施方式中，可将红外传感器组件128实现为合适的尺寸，以使得红外成像模块100能够与小形状因子的插座104(例如，用于移动装置的插座)一起使用。例如，在一些实施方式中，可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如，在一个实施方式中，大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸，以使得能够与实现为各种尺寸的插座104一起使用，所述插座104的尺寸例如为：8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸，例如，如通过援引整体并入本文的2011年6月10日提交的申请号为61/495,873的美国临时专利申请表1所示的那些尺寸。
图14示出了根据本公开实施方式的、捕获和/或处理红外图像(例如，数字静态图像或视频)的装置1400的框图。例如，装置1400可以与包括红外成像模块100的主机装置102(例如，红外摄像机、配备有红外成像装置的移动电话或者具有红外成像装置或模块的其他装置)相似的方式实施。在各种实施方式中，装置1400可以被配置成存储和应用各种校准项至捕获的图像帧802和/或红外成像模块100的FPA(例如，红外传感器组件128)，以便补偿增益的不均匀性和抵消或者以其他方式降低红外成像模块100引入的噪声。通常，这种校准项可以通过执行校准程序而获得，并且然后在红外成像模块100的制造和/或检测期间存储在非易失性存储器中，并因而还经常被称为“工厂项”(例如，工厂增益项812、工厂偏移项816和/或其他项)或者“非易失性项”。
在各个实施方式中，装置1400可以被配置成执行各种无快门NUC过程，其包括以上所述的那些过程，以进一步降低红外成像模块100引入的噪声。如上所述，各种无快门NUC过程可以在捕获场景的图像帧期间或之后执行，以便利用捕获的场景的图像帧获得NUC项(例如，通过基于场景的技术获得NUC项)。这样，通过这样的过程获得的NUC项也经常被称为基于场景的NUC(SBNUC)项。
在各种实施方式中，装置1400还可以配置成通过各种其他的NUC技术获得NUC项。例如，在各个实施方式中，装置1400可以配置成使用由用于装置1400的机套、用于装置1400的壳、透镜盖或者其他适合的物体(例如，在本文中也称为“虚拟快门”)提供的基本上均匀的场景的捕获的图像帧获得NUC项。有利地，这样的虚拟快门NUC过程可以用比典型的SBNUC过程少的图像帧和/或少的重复来执行，以获得有效的NUC项，同时还不需要嵌入式的校准快门机构。
通常，在将校准项(工厂/非易失性项)应用至捕获的图像帧和/或FPA之后，可以将在图像捕获操作期间或之后通过NUC技术获得的NUC项应用至捕获的图像帧。因此，校准项可以用于在红外成像模块100启动(例如,上电或激活)时校正不均匀性，或者以其他方式降低噪声，同时可以在启动之后在红外成像模块100的图像采集操作期间使用实际的场景获得、更新和/或改善NUC项，从而进一步校正不均匀性或者以其他方式降低噪声。然而，如上所述，在获得校准项之后，由于校准漂移和/或其他因素，校准项可能会随着时间流逝而变失效(例如，在降低噪声方面不再有效)。
因此，在各个实施方式中，装置1400可以适于补偿和/或更新失效的校准项以有益地提供更好的噪声降低，例如，恰好从红外成像装置100的启动开始和/或使得NUC过程有效地降低噪声用的时间较短(例如，较少重复)。有利地，在各个实施方式中，装置1400可以适于在不使用嵌入式校准快门机构的情况下补偿和/或更新失效的校准项。例如，装置1400的各种部件可以适于执行本文中进一步描述的所有或部分过程，以补偿和/或更新失效的校准项。
在各个实施方式中，装置1400可以包括红外传感器组件128(例如，FPA)、帧缓冲器1020、校准项存储器1404、处理器160/196、存储器196、NUC快照存储器1410、运动传感器194、机套内模式检测器1422、接近传感器1424、显示器197、输入部件1426和/或温度传感器1428。在各个实施方式中，装置1400的部件可以与图1的主机装置102的对应部件相同或相似的方式实施。
红外传感器组件128在一些实施方式中可以包括在装置1400中作为红外成像模块100的一部分，该红外传感器组件128如上所述可以适于捕获场景的红外图像帧802，并且提供捕获的图像帧802至帧缓冲器1020。帧缓冲器1020可以使用任何适于存储图像帧802的合适的存储装置或缓冲器电路实施，并且在一些实施方式中，可以实施作为红外传感器组件128、帧平均器804、处理器160/195、存储器196和/或装置1400的任何其他合适的部件的一部分。在其他实施方式中，帧缓冲器1020可以实施在分离的存储装置或缓冲器处。例如，如以上针对图8所述，各种NUC项1407(例如，包括NUC项817、列FPN项820和/或行FPN项824)可以利用合适的操作(例如，块580、818和/或822的操作)应用至存储在帧缓冲器1020中的图像帧802。虽然以上作为实例已经给出了图8的NUC项817、列FPN项820和/或行FPN项824，但是用于各个实施方式的NUC项1407可以代表通过任何适当的NUC技术(例如，包括本文中公开的虚拟快门NUC技术)获得的合适的NUC项。
在各个实施方式中，可以将待应用至图像帧802的NUC项1407存储和更新在起效NUC项存储器1408中。在图14示出的实施方式中，起效NUC存储器1408可以由存储器196提供的RAM块实施。然而，在其他实施方式中，起效NUC存储器1408可以使用由装置1400的任何其他适当的部件或者分离的部件提供的任何适当的存储器块实施，该存储器块可以适于根据用于装置1400的特定NUC技术存取、更新、存储和/或以其他方式利用NUC项1407。因此，例如，可以根据本文公开的无快门NUC技术的各个实施方式而将存储在起效NUC存储器1408中的NUC项1407应用至图像帧802，对其存取、更新、改善和/或以其他方式利用。
在各个实施方式中，在起效NUC存储器1408中存储、更新、改善和/或以其他方式利用的NUC项1407可以被复制和存储为NUC快照存储器1410中的NUC项的一个或多个快照1412。在一些实施方式中，装置1400可以利用多个快照1412。在这点上，根据一些实施方式，最近使用(MRU)计数器1414可以存储在NUC快照存储器1410中或者在装置1400的其他适当的部件中，以表明哪个快照1412是最近使用的和/或表明哪个快照1412可以接着被用来存储来自起效NUC存储器1408的NUC项。任何适当的数据结构可以用于实施NUC快照存储器1410中的快照1412。例如，在各个实施方式中，快照1412可以使用环形缓冲器、循环队列、表、链表、树和/或其他合适的结构来以一定的顺序存储和维护多个版本的数据。在一些实施方式中，替代MRU计数器1414，或者除了MRU计数器1414之外，可以视情况使用其他计数器或者时间戳用于实施快照1412的特定数据结构。在一些实施方式中，装置1400可以利用一个快照1412，并且因而可以不需要MRU计数器1414。
在各个实施方式中，快照1412每个都可以包括温度读书1416、校验和1418和/或与存储的NUC项相关的其他信息。例如，温度读数1416可以表明当NUC项存储在快照1412中时红外传感器组件128的近似温度(例如，使用嵌入在红外传感器组件128中的温度传感器1429来检测与基板140相关的温度)。如本文进一步所述，温度读数1416可以用于例如选择快照1412中的适当的一个以用作起效NUC项。校验和1418可以根据常规方法视情况在所有或部分NUC项上产生，并且可以被用来例如验证快照1412是否破损。在一些实施方式中，温度读数1416和/或校验和1418可以存储在分离的数据结构中。
在一些实施方式中，NUC快照存储器1410可以利用适于在没有外部电源的情况下保持存储在其中的信息的一个或多个非易失性存储器来实施，以使得当装置1400运行时，快照1412可以只要需要就经常地被写入，并且当装置1400在电源断开之后再次被导通电源时，装置1400依然能够获取快照1412。例如，在一个实施方式中，NUC快照存储器1410可以使用闪存或者其他合适的固态储存存储器实施。在另一个实例中，NUC快照存储器1410可以使用诸如硬盘驱动器的储存介质驱动器实施。在一些实施方式中，这样的装置的任何适当的组合可以用来实施NUC快照存储器1410。在一些实施方式中，NUC快照存储器1410可以实施为以下进一步描述的校准项存储器1404的一部分或者作为装置1410的任何其他适当部件的一部分。例如，在一个实施方式中，NUC快照存储器1410可以实施为由装置1410的任何适当部件提供的RAM块。在这种实施方式中，实施NUC快照存储器1410的RAM块可以适于保持快照1412和/或其他相关的数据结构，即使在红外成像装置100和/或红外传感器组件128未激活时(例如，掉电、暂停或者以其他方式未能动地执行图像捕获操作)。在其他实施方式中，NUC快照存储器1410可以实施为分离的部件。
在一些实施方式中，工厂增益项812和/或工厂偏移项816可以使用适当的操作(例如，块810和/或814的操作)应用至存储在帧缓冲器1020中的图像帧802。如上所述，工厂增益项812和/或工厂偏移项816通常可以总称为校准项，并且可以使用根据美国专利No.6,028,309和No.6,812,465、本文之前提及的美国临时专利申请No.61/495,888中描述的各种过程或其他合适的校准过程执行的校准程序而获得。
在各个实施方式中，工厂增益项812和/或工厂偏移项816可以存储在校准项存储器1404中，其可以使用一个或多个非易失性存储器实施，该非易失性存储器适于在没有外部电源的情况下保持存储在其中的信息。例如，在一个实施方式中，校准项存储器1404可以使用闪存或者其他合适的固态储存存储器实施。在另一实例中，校准项存储器1404可以使用可擦可编程只读存储器(EPROM)或其他相似的装置实施，可擦可编程只读存储器或其他相似的装置可以被进行有限次数(例如，在一些装置中，几次到几十次)的编程(例如，写有数据)。在另一实例中，校准项存储器1404可以使用诸如硬盘驱动器的磁或光储存介质实施，其中在一些实施方式中存储器在其中的校准项可以在应用之前临时转移到其他类型的存储器(例如，RAM)。
在一些实施方式中，这样的装置的任何合适的组合可以用来实施校准项存储器1404。在一些实施方式中，校准项存储器1404可以实施在红外传感器组件128处(例如，作为ROIC的一部分)。在其他实施方式中，校准项存储器1404可以与红外传感器组件128分开实施。在一些实施方式中，校准项存储器1404和红外传感器组件128都可以实施为包括在装置1400中的红外成像模块100的一部分。
在各个实施方式中，工厂芯片上项1406也可以存储在校准项存储器1404中。工厂芯片上项1406可以应用至红外传感器组件128而不是图像帧802，以调节红外传感器组件128的各个可变部件(例如，与红外传感器132相关的电路)以校正不均匀性或者以其他方式降低噪声。因此，根据红外传感器组件128的特定实现方式，可以应用工厂芯片上项1406以调节或者以其他方式控制可变电阻器、数字-模拟转换器(DAC)、偏置电路和/或其他部件。工厂芯片上项1406还可以根据各种合适的校准程序获得和存储，举例来说，例如美国专利No.6,028,309和No.6,812,465和本文之前涉及的美国临时专利申请No.61/495,888中描述的那些校准程序。
如上所述，处理器160/195可以代表处理模块160、处理器195或者两者。在各个实施方式中，处理器160/195可以包括各种硬件和/或软件模块，其适于如本文中进一步所述那样执行各种操作来补偿和/或更新校准项(例如，工厂芯片上项1406、工厂增益项812、工厂偏移项816和/或其他校准项)。在一些实施方式中，所有或部分软件模块可以是机器可执行的软件指令，其存储在分离的机器可读介质193中并且从这样的机器可读介质193下载或者以其他方式转移到装置1400(例如，存储器196中的软件例程1420)，以便由处理器160/195执行。例如，机器可执行软件指令可以由处理器160/195执行以进行如下所述的各种过程。在一些实施方式中，处理器160/195可以包括配置成执行以下所述的各种过程的硬件逻辑(例如，实施有电路、可重配置的逻辑和/或其他电子部件)。在一些实施方式中，以下所述的各种过程的一些操作可以由处理器160/195的硬件逻辑执行，而所述过程的其他操作可以通过执行软件指令执行。
在一些实施方式中，装置1400可以包括机套内模式检测器1422(还称为停驻模式检测器)，其适于检测装置1400是否被装入套内、停驻在底座或者以其他方式附接到外部装置(例如，机套、底座、承载壳、连接器或者其他装置)或者放置在外部装置中以待运送、给电池充电、转移数据，和/或以其他方式不能动地捕获图像但是依然上电以便在依然通电的情况下，、和/或要不然非激活地。例如，装置1400可以实施具有红外成像模块100的移动电话，其可以在未活跃使用时置于常规移动电话机套中，停驻至移动电话插接底座(docking station)和/或放置在移动电话壳中。因此，移动电话或者装置1400的其他应用中的机套内模式检测器1422可以使用具有电加载传感电路、接近传感器、机电开关和/或适于检测装置1400(例如，移动电话)何时被置于机套中、停驻在底座或者如上所述那样以其他方式放置的其他部件的常规和/或现有的连接器实施。在一些实施方式中，机套内模式检测器1422可以用来确定是否根据以下进一步描述的过程的一个或多个实施方式对所获的NUC项启动虚拟快门NUC程序。
在一些实施方式中，装置1400可以包括接近传感器1424，其适于检测紧挨装置1400的物体的存在(例如，在红外成像模块100的透镜的前方)。根据一些实施方式的接近传感器1424可以利用各种变换器型的传感器实施，其可以适于在没有物理接触的情况下检测附近的物体。这种传感器可以包括例如红外接近传感器、超声接近传感器、多普勒效应传感器、感应传感器、电容传感器和/或其他合适的传感器。在其他实施方式中，接近传感器1424可以使用压力传感器或者其他基于接触的机电传感器实施。根据一些实施方式，如本文进一步所述，接近传感器1424可以用来确定红外传感器组件128的红外传感器132的视场(FOV)(例如，光学元件180提供的FOV)是否基本上被阻挡。在这点上，根据一些实施方式的接近传感器1424可以被定位以适当地检测可能阻挡光学元件180(例如，透镜)提供的FOV的物体的存在。例如，接近传感器1424可以被定位并且用来检测透镜盖是否覆盖光学元件180。
在一些实施方式中，装置1400可以包括以上针对图1所述的运动传感器194。如上所述，运动传感器194可以用在无快门NUC技术的各种操作中。在一些实施方式中，根据以下进一步所述，运动传感器194还可以用于例如确定装置1400(因此捕获图像帧802的红外传感器组件128)对于执行装置上校准程序以更新校准项1406/812/816是否足够稳定。
在一些实施方式中，装置1400可以包括以上针对图1所述的显示器197。在一些实施方式中，如本文进一步所述，显示器197可以实施为图像显示装置(例如，液晶显示器(LCD))或者各种其他类型的公知的视频显示器或监视器，并且可以用来将红外图像呈现给用户，例如以使得用户可以比较用存储的校准项1406/812/816处理的图像和用新获得的校准项处理的图像。
在各个实施方式中，装置1400可以包括输入部件1426，其可以包括一个或多个按钮、键盘、滑动器、旋钮和/或适于与用户交互和接收用户输入或命令(例如，以控制、调整和/或操作装置1400)的其他用户激活的机构。在一些实施方式中，输入部件1426中的全部或部分可以实施为适于充当用户输入装置和显示装置的显示器197的一部分。例如，输入部件1426可以实施为呈现在显示器197(例如，使用触摸屏实施)上的图形用户界面(GUI)。
在一些实施方式中，装置1400可以包括适于检测与附近物体相关的温度的温度传感器1428。例如，温度传感器1428可以利用被定位成可以检测温度的非接触或者接触温度计实施，该温度可以与放置在红外成像模块100的FOV中的物体相关。如本文进一步所述，使用温度传感器1428获得的温度读数可以是用作虚拟快门的物体的温度，并且可以用来执行辐射测定校准以维持红外传感器组件128的输出和测量的温度或者通量之间的相关性。
现在转到图15-18，根据本公开的各个实施方式示出了用于补偿校准漂移的各种过程。例如，可以使用图14的装置1400的一个或多个实施方式来执行过程1500/1600/1700/1800中的全部或部分以存储和使用NUC项的快照1412，以补偿校准漂移、使用虚拟快照获得NUC项1407、使用NUC项的快照1412更新校准项1406/812/816和/或执行其他操作以补偿校准漂移。虽然过程1500/1600/1700/1800可以作为例子在以下针对装置1400进行描述，但是应该理解，其他装置(例如，摄像机、移动电话、平板电脑装置或者其他便携式电子装置)也可以经合适配置并用来执行过程1500/1600/1700/1800全部或部分。
图15示意了根据本公开实施方式的过程1500的流程图，该过程1500获得NUC项1407、存储获得的NUC项1407的快照1412和/或使用获得的NUC项1407更新校准项1406/812/816。在块1502，红外传感器组件128可以开始捕获场景的图像帧。例如，红外传感器组件128可以捕获并提供图像帧802至帧缓冲器1020以用于以下进一步描述的各种操作。在这点上，红外传感器组件128可以在图15和18所示的所有操作期间继续捕获和提供图像帧802。如上所述，在一些实施方式中，工厂芯片上项1406可以在捕获图像帧802开始之前或者同时地应用至红外传感器组件128，以通过调整各个可变部件而校正不均匀性或者以其他方式降低噪声。在一些实施方式中，红外传感器组件128可能不需要开始捕获图像帧802，直到过程1500的一些操作时。例如，如以下进一步所述，在使用虚拟快门检查获得NUC项1407的触发事件时，红外传感器组件128可以在块1504期间被关闭或者以其他方式不活动。因此，1502的操作可以记录在过程1500中以在不背离本公开范围和精神的适当时候开始捕获图像帧802。
在块1504，可以确定是否启动虚拟快门NUC程序以获得NUC项1407。也就是说，可以检查各个触发事件、标准和/或条件以确定展现出充分均匀性的场景的捕获的图像帧802(例如，由充当虚拟快门的物体提供)是否可以可用于获得NUC项1407。在这点上，根据各个实施方式，块1504的操作可以包括对于触发事件的检查，该触发事件与在其中捕获的图像帧802可能是充分均匀的场景的图像帧的情况相关，和/或可以包括检查各种条件以确定捕获的图像帧802是否可以适于用于获得NUC项。例如，根据各个实施方式，附加地或可选地，结合检查与捕获的图像帧802相关的各个条件(例如，图像帧802是否包括基本上均匀的场景，与捕获图像帧802的红外传感器组件128相关的温度是否是稳定和/或合适的，和/或装置1400是否是足够稳定的)，可以检测各种组合的触发事件，例如，装置1400被放置在机套中(或者停驻在底座上)，光学元件180(例如，透镜)的FOV基本上被阻挡(例如，被透镜盖或罩)，和/或用户发布命令来执行装置上校准。
块1504的各种操作可以参照图16更好地理解，图16示意了根据本公开的实施方式的执行块1504(例如，图15的块1504的子过程)的过程1600。在快1602，可以检测装置1400的机套内模式或停驻模式。例如，在一些实施方式中，可以使用机套内模式检测器1422检测装置1400可能被置于机套内、停驻在底座上或者以其他方式附接到或者放置在机套、底座、承载壳、连接器或者其他装置中，这可以表明装置1400可能未被能动地用于捕获图像帧。如上所述，在一些实现方式中，机套内检测器1422可以可选地代表或包括机电开关，其可以用于检测例如装置1400的翻板、滑板或盖子的关闭(例如，移动电话的翻板的关闭或者具有正面的红外成像模块的膝上型电脑上的盖子的关闭)或者可能表明对于虚拟快门NUC程序的合适情况的其他事件(例如，装置1400是否实际放置在机架内)。
在一些实施方式中，可以附加地或者可选地检查装置不能动的其他表现(例如，在备用模式中)用于作为可能的触发事件。在根据一些实施方式的一个实例中，可以通过轮询、通知或者与装置1400的其他适当的通信来检测装置1400的电池是否正在充电。在一个或多个实施方式中，如果检测到装置1400正在被充电，则可以表明装置1400可能处于适于执行虚拟快门NUC程序的条件下。
在块1604，与块1602平行或者以其他方式不管相对顺序，可以检测光学元件180的FOV基本上被阻挡。例如，根据一些实施方式，接近传感器1424可以用于检测光学元件180(例如，红外成像模块100的透镜)是否基本上被透镜盖、罩、装置壳、机套或者其他物体阻挡。如果光学元件180被基本上阻挡，那么例如红外传感器组件捕获的图像帧802可以可能是均匀的。
在块1604，与块1602-1604平行或者以其他方式不管相对顺序，可以检测启动虚拟快门NUC程序的用户命令。例如，用户可以使用输入部件1426输入或者以其他方式发布命令，其可以在块1606检测。在另一实例中，用户可以按压、拨动或者以其他方式致动装置上的机械电源按钮以关闭透镜罩(例如，作为第一电源休眠状态)和/或启动虚拟快门NUC程序(例如，作为较深的电源休眠状态)。还应该预期，在不背离本公开的范围和精神的情况下，还可以在过程1600期间检测其他触发事件。
在块1608，基于与块1602-1606相关的触发事件的检测，过程1600可以进行至块1610以继续检查其他条件，或者进行至块1624以表明虚拟快门NUC程序可能未被启动。根据各个实施方式，块1602-1606可以包括检测一个或多个触发事件。根据各种实施方式，块1602-1606可包括对一个或多个触发事件的检测。根据具体实施方式，这样的触发事件的各种组合可以用于确定是否启动虚拟快门NUC程序。例如，在一个实施方式中，检测到与块1602-1606相关的触发事件中的任何一个可以足够从块1608继续至块1610。在另一实施方式中，触发事件的组合，例如需要检测机套内模式和被阻挡的透镜视域或者其他组合，可以用于执行块1608的决定。
在块1610，在一些实施方式中，可以检查各种定时器、时间戳和/或计数器以确定是否经过了足够量的时间。例如，在一些实施方式中，可以检查定时器、时间戳和/或计数器，其可以表明自使用虚拟快门获得NUC项1407开始已经经过了多少时间(例如，在操作中花费的时间或者真实世界时间)。经过的时间可以与预定的阈值或者动态阈值(例如，基于公式)进行比较，以确定是否继续检查附加条件或者得出可以不需要启动虚拟快门NUC程序的结论。基于该确定，过程1600可以继续至块1612/1612/1616，或者在块1622终结，可以不需要启动虚拟快门NUC程序。在一些实施方式中，块1610的操作可以省略或者可选地执行。例如，在一个实施方式中，如果在块1606检测到启动虚拟快门NUC程序的用户命令(例如，如果用户手动启动)，那么可以无视时间经过条件。
如所示，在各个实施方式中，块1612-1616可以并行执行或者以相对于彼此非特定顺序地执行。在各个实施方式中，块1612-1616的各种操作可以包括检查各种附加条件。例如，在块1612-1616检查的各种条件可以与均匀性、稳定性或对于图像帧802用于虚拟快门NUC程序适宜性的其他标准相关，该图像帧802将用于。通常，如本文此处和其他地方所述，获得NUC项1407的程序可以包括捕获均匀黑体、快门或其他合适的目标提供的一个或多个均匀的辐射场景的图像帧。如本文中进一步所述，根据本公开的一些实施方式的虚拟快门NUC程序可以利用以下图像帧802：该图像帧不需要属于均匀的黑体、快门或者其他受控目标提供的场景，而可以是红外成像传感器128观察的任何合适的场景(例如，充当虚拟快门的物体提供的场景)的图像帧。因此，在块1612-1616可以检查各种条件，以确定捕获的图像帧802是否可能属于合适的场景。
在块1612，可以检查捕获的图像帧802是否属于展示出充分均匀性的场景。在一些实施方式中，可以产生图像帧802中和/或图像中的各种区域内的辐射直方图以分析图像帧802中捕获的场景的均匀性。在一些实施方式中，如本文以下进一步所述，如果场景的辐射水平随着时间变化，那么可以分析这种变化的速率以例如确定场景是否适于获得增益项。在一些实施方式中，分析场景的均匀性可以包括低通滤波或者以其他方式处理图像帧，以例如降低未减轻的高频空间非均匀性对于分析的影响。在一些与用户的交互可以可用的实施方式中(例如，如果用户发布命令来启动装置上校准)，过程1600可以包括指示用户引导装置1400，以使得装置1400的光学元件180(例如，透镜)可以观察基本上均匀的物体，例如墙，或者指示用户或指示用户引导装置1400来覆盖光学元件180。在一些实施方式中，可以例如响应于触发事件的检测(例如，装置1400置于机套中、停驻在底座上或者其翻板或者盖子闭合)，将透镜罩或者快门105移动(例如，通过致动器或电机)到阻挡外部红外辐射进入光学元件180的位置，以准备装置1400用于可能的虚拟快门NUC程序。
在块1614，可以对于稳定性和/或范围检查与红外传感器组件128相关的温度。例如，在一些实施方式中，可以使用嵌入在红外传感器组件128中的温度传感器获得在一定时间段内的温度变化或者温度变化的速率，以分析对于校准目的与红外传感器组件128相关的温度是否足够稳定。例如，根据一些实施方式，可以使用温度变化速率来确定将应用至NUC项1407的比例因子。这样的比例因子可以例如根据2009年2月23日提交的美国专利申请No.12/391,156中描述的过程的一个或多个实施方式来确定，其通过援引整体并入本文。在一些实施方式中，使用温度传感器1429获得的温度读数可以相对于可接收温度(例如，正常操作温度)的范围进行检查，以获得有意义的(例如，对应于在正常操作温度范围中的使用)校准项。
在块1616，可以检查装置1400对于执行校准程序是否足够稳定或者静止。例如，如果装置1400被携带或者以其他方式处于运动，可能难以执行校准程序(例如，因为红外传感器组件128观察的场景可能变化)。因此，在一些实施方式中，可以轮询或者以其他方式使用运动传感器194来确定装置1400是否足够稳定或者静止。
在块1618，可以基于在块1612-1616检查、测试和/或分析的各种条件，确定正被捕获的图像帧802是否可能属于适于执行虚拟快门NUC程序的场景。基于该确定，过程1600可以进行至块1620，以得出触发事件和/或条件可能表明可以获得足够均匀的场景(例如，虚拟快门提供的)的并因而可以启动虚拟快门NUC程序的结论，或者进行至块1622，以得出不可以启动虚拟快门NUC程序的结论。例如，在一个实施方式中，如果满足了与块1612-1616相关的所有测试、条件和/或标准，则块1618可以继续至块1620。在其他实施方式中，如果满足了与块1612-1616相关的测试、条件和/或标准的其他组合(例如，包括满足的检测、条件或标准中的任何一个)，则块1618可以继续至块1620。
因此，根据各个实施方式，通过执行过程1600的各种操作，可以确定各个触发事件、条件、测试和/或标准满足(例如，到达块1620)以启动虚拟快门NUC程序，还是不满足(例如，到达块1622)。可以理解，在不背离本公开的范围和精神的情况下，与过程1600相关的各种触发事件、条件、测试或者标准可以省略，和/或各种附加的触发事件、条件、测试或标准可以视情况增加。
返回到图15的块1506，基于在块1504的确定(例如，如过程1600确定的那样，是否启动虚拟快门NUC程序)，过程1500可以选择性地从块1506进行到块1508以开始虚拟快门NUC程序，或者进行到块1518以开始SBNUC操作。在块1508，可以执行虚拟快门NUC程序以获得NUC项1407。在一些实施方式中，可以将获得的NUC项1407存储和/或更新在起效NUC存储器1408中，以应用于图像帧802。在一些实施方式中，虚拟快门NUC程序可以包括使用充当虚拟快门的物体或场景的温度读数(例如，温度传感器1428提供)执行辐射测定校准，以使得图像帧802中的像素可以提供准确的温度信息。
在各个实施方式中，虚拟快门NUC程序可以基于本文之前提及的美国专利No.6,028,309和No.6,812,465、美国专利申请No.12/391,156和美国临时专利申请No.61/495,888中描述的各种过程或其他合适的NUC过程，但是经过适当修改以在不将装置1400放置在温控室中和/或不提供温度受控的均匀黑体、快门和/或其他合适目标的情况下执行这样的过程。例如，可以使用一个辐射水平的均匀辐射场景(例如，通过适于用作虚拟快门的物体或场景提供)并且在一个环境温度下获得校正各种偏移的NUC项1407。通常，这种程序可以称为一点校正或者平场校正(FFC)程序。如本文中针对一些实施方式进一步描述的，通过虚拟快门、一点校正程序获得的NUC项1407可以被转换或者以其他方式用来更新与偏移校正有关的工厂芯片上项1406和/或工厂偏移项816(例如，一起或者单独地称为FFC项或者非易失性FFC项)。
对于一些实施方式可选地，虚拟快门NUC程序可以包括获得校准数据的各种操作，所述校准数据可以被转换或者以其他方式被利用以获得其他校准项1406/812/816。例如，在一些实施方式中，与增益调整相关的工厂增益项812和/或工厂芯片上项1406还可以基于通过虚拟快门NUC程序获得的校准数据而获得。在一个示例性实现方式中，可以指示用户(例如，如果当例如用户发布命令启动装置上校准时，用户交互是可能的)来将设备1400朝向另一个场景或者物体引导，该另一个场景或者物体可能展现出与之前观察的场景不同的温度，以使得可以执行两点校正以获得可以被转换成增益项(例如，有时还称为FFC项或者非易失性FFC项)的校正数据。在另一个实例中，虚拟快门NUC程序可以包括使用场景的图像帧802执行两点(或者多点)校正程序，该场景可以是均匀的但是辐射水平变化(例如，在块1612或者其他块处确定的)。
在装置1400的一些应用中，工厂增益项812和工厂偏移项816可以提供依赖温度的校正(例如，基于红外传感器组件128的环境温度)。在这样的应用中，工厂增益项812和工厂偏移项816可以包括本领域技术人员能够理解的、用于在温度上内插和/或推算的项，例如拉格朗日项或对于其他合适方法的项。
因此，对于一些实施方式可选地，虚拟快门NUC程序可以包括获得不同环境温度下的校正数据，以使得获得的校正数据可以被转换或者以其他方式被利用以获得拉格朗日项或者其他适当的内插/推算项。例如，在一个实施方式中，可以指示用户(例如，如果在用户发布命令启动装置上校准时，用户的交互是可能的)在块1508的操作期间使装置1400经历不同的温度。在另一实施方式中，拉格朗日项或者其他适当的内插项可以通过块1508的多个重复获得。也就是说，例如，可以在不同时间(例如，每当检测到触发事件和/或通过1504-1506的确定各种条件满足时或者在其他时间)通过块1508的不同重复累积NUC项、环境温度信息和/或其他数据，以使得拉格朗日项或者其他适当的内插项可以使用这样累积的数据而获得。校正数据的累积可以包括基于温度差距(例如，通过块1614或其他块的操作确定的，是否发生了足够的温度变化)和/或其他标准，确定重复期间获得的校正数据的合适性。
因此，例如通过根据一个或多个实施方式在块1508执行虚拟快门NUC程序的各种操作，可以利用比典型的SBNUC过程少的图像帧和/或少的重复获得有用的NUC项1407。进一步地，通过虚拟快门NUC程序的一个或多个实施方式获得的NUC项1407和/或其他校准数据可以用来可能地替代校准项1406/812/816中的至少一些(例如，包括非易失性FFC项)。有利地，可以在不需要嵌入在红外成像模块100和/或装置1400中的机械快门的情况下，执行根据一个或多个实施方式的虚拟快门NUC程序的各种操作。此外，在适当的时候，例如当装置1400被置于机套内、被停驻在底座上、被覆盖或者以其他方式在触发适当的事件时，和/或在满足如上所述的其他适当的条件时，根据一个或多个实施方式的虚拟快门NUC程序可以自动地启动。
如果确定虚拟快门NUC程序(由于触发事件未发生和/或合适的虚拟快门场景不可用)不可以执行，那么可以使用在块1510的适当的SBNUC技术替代地获得NUC项1407。例如，可以根据在本文中或者在2012年6月26日公告的美国专利No.8,208,755中描述的各种无快门NUC技术，获得SBNUC 817/820/824，上述专利通过援引整体并入本文。因此，在一些实施方式中，块1510的操作可以包括针对图5的块515-573描述的各种操作。在各个实施方式中，如以上针对图14所述，NUC项1407可以在块1510的操作期间在起效NUC存储器1408中被存储、更新、改善或者以其他方式被利用。
因此，根据一个或多个实施方式中，根据触发事件和/或表明将在装置1400的光学元件180的FOV中充当虚拟快门的物体或场景的可用性的条件，NUC项1407可以通过虚拟快门NUC程序或者SBNUC过程而获得。正如当前将要描述的，在各个实施方式中，获得的NUC项1407可以作为NUC项的一个或多个快照1412存储。如本文中进一步所述，当红外成像模块100被导通电源或者以其他方式被重新激活以捕获图像帧时，可以选择和使用存储的快照1412中的一个作为起效NUC项1407，以使得有用的(例如，在降低噪声上有效的)NUC项1407可以在启动红外成像模块100不久之后就可用(例如，在起效NUC存储器1408中)。通过这种方法，例如，装置1400在不需要执行NUC过程的很多重复来获得有效的NUC项1407的情况下，被提供“快速启动(jumpstart)”以利用有用的NUC项1407。还如本文中进一步描述的，根据一个或多个实施方式，可以选择和使用存储的快照1412中的一个或多个来更新校准项1406/812/816。通过这种方式，例如，可以在不需要执行校准程序的情况下，更新校准项1406/812/816。
在块1512，可以确定获得的NUC项1407(例如，存储在起效NUC存储器1408中)是否可以存储为NUC项的快照1412中的一个。在各个实施方式中，可以使用各种标准和/或条件来进行确定。例如，在一些实施方式中，获得的NUC项1407可以周期性地存储为快照1412，并且因而块1512的操作可以包括检查定时器或真实时间时钟以确定自之前的快照获得起，是否已经经过某特定量的时间。在一些实施方式中，可以确定，如果红外传感器组件128已经经历了超过某特定量的温度变化，那么应该获得所获得的NUC项1407的快照。在一些实施方式中，可以确定，如果获得的NUC项1407和之前获得的快照之间的差值大于某些特定量，那么应该获得所获得的NUC项1407的快照。在一些实施方式中，可以确定，如果NUC项1407通过虚拟快门NUC程序获得，那么应该获得NUC项1407的快照。在一些实施方式中，可以使用这样的标准和/或条件的各种组合。在其他实施方式中，可以使用其他标准和/或条件。
如果在块1512确定出获得起效NUC项1407的快照，过程1500可以进行到块1514以将起效NUC项1407存储为快照1412。否则，过程1500可以进行至块1516。根据一个或多个实施方式，在块1514将NUC项1407存储为快照1412的各种操作可以包括替代快照1412中最旧的快照和/或表明当前存储的快照是最近存储的快照。这样的操作可以利用MRU计数器1414和/或以上针对图14描述的适当的数据结构执行。在一些实施方式中，如以上针对图14所述，块1514的操作还可以包括在快照1412中连同NUC项一起存储与红外传感器组件128有关的温度读数1416和/或NUC项的校验和1418。
对于一些实施方式，可以可选地或选择性地执行块1516-1520的操作，并且这些操作可以包括转换和/或以其他方式利用所获得的NUC项1407来更新校准项1406/812/816。例如，在一个实施方式中，可以根据通过例如输入部件1426接收的用户输入，选择性地使能或者禁用通过块1516-1520的操作对校准项1406/812/816的更新。在一些实施方式中，可以利用过程1500的在可以省略块1516-1520的操作的地方之间的一定数量的重复，间隔地执行通过块1516-1520的操作对校准项1406/812/816的更新。
在对于一些实施方式的更具体的实例中，可以检查各个定时器、时间戳和/或计数器以确定是否已经经过了足够量的时间，以使得例如校准项1406/812/816可能失效。在一个实施方式中，可以检查定时器、时间戳和/或计数器以表明自更新或获得校准项1406/812/816(例如，通过工厂校准程序和/或使用NUC项1407的在前更新)起已经经过了多少时间(例如，在操作中或者现实时间中花费的时间)。在一个实施方式中，可以检查定时器、时间戳和/或计数器以表明花费了多少次对NUC项1407更新的重复，以便获得提供有意义校正的可接受的NUC项1407。如上针对图5的块571-573所述，可能花费超过一次的更新来获得满足一个或多个标准或对于有效性的测试的NUC项1407。也如本文中所讨论，因为校准项1406/812/816变无效，因此可能花费更多的重复(例如，在装置1400启动之后更多的时间)来获得可接受的NUC项1407。因此，NUC项1407所消耗的用以收敛或稳定到可接受值的重复次数或者时间可以表明校准项1406/812/816有多可能失效。
在块1516，获得的NUC项1407可以被转换成校准项1406/812/816。注意，根据具体的实现方式，校准项1406/812/816可以包括各种项，其可以代表不同数量、使用不同单位、使用不同比例、使用不同格式和/或要以其他方式不同于NUC项1407。因此，在一些情况中，获得的NUC项1407可能需要被转换成具有适当的数量、单位、比例和/或格式，以用于更新校准项1406/812/816。在其他情况中，块1516实施方式的转换操作可以不包括超出简单地将获得的NUC1407项复制到适当的数据结构中，和/或简单地转换以符合适当的数据结构或格式。
例如，根据一些实施方式，如果工厂偏移项816和/或工厂芯片上项1406包括这样的偏移值，即其可以在调整增益之前应用(例如，通过应用工厂增益项812或通过其他适当的方法)，获得的NUC项1407可以在增益调整之前被缩放(例如，通过增益值的倒数)以对应于偏移值。在一些实施方式中，如果NUC项1407使用与校准项1406/812/816中的一些不同的分辨率(例如，比特数)、比例或格式，则可以相应地转换获得的NUC项1407。作为特定实例，获得的NUC项1407可以用8比特值表达，根据一个或多个实施方式，其可以被转换成用于校准项1406/812/816中的一些的16比特值。
对于一些实施方式可选地，块1516的转换操作可以包括通过转换和/或以其他方式利用以上针对块1506描述的虚拟快门NUC程序的操作累积的校准数据，获得增益项(例如，工厂增益项812)和/或内插项(例如，拉格朗日项)。例如，如上所述，在一些情况中，这种项可以从校准数据获得，该校准数据在虚拟快门NUC程序的一个或多个重复期间针对两个或更多个环境温度水平和/或两个或更多个红外辐射通量水平累积而成。
在块1518，可以通过比较更新的校准项和存储的校准项，决定是否使用更新的(例如，由获得的NUC项1407转换的)校准项或者保持工厂芯片上项1406、工厂增益项812和/或存储在非易失性存储器(例如，校准项存储器1404)中的工厂偏移项816。如所讨论的，可以在工厂校准程序或通过本文所述的操作的之前更新期间，已经获得了工厂芯片上项1406、工厂增益项812和/或存储在非易失性存储器中的工厂偏移项816。因此，在各种实施方式中，所述比较可以包括比较新获得的校准项的有效性和之前获得的校准项1406/812/816的有效性，以便确定是否用新获得的校准项替代之前获得的校准项1406/812/816。
在一些实施方式中，比较相对的有限有效性的各种操作可以包括分析新的校准项和存储的校准项和/或分析具有分别应用的新的校准项和存储的校准项的样本图像帧以进行比较。例如，可以对样本图像帧执行空间相关分析、自相关分析和/或用于定量图像中的噪声的其他统计分析方法(例如，定量高空间频率内容，其可以表明由于噪声而导致的微粒状态)，以确定新的校准项或者存储的校准项在校准不均匀性或者以其他方式在降低噪声方面是否更加有效。在一些实施方式中，如果用户交互是可能的(例如在用户发明命令以起动装置上校准时)，那么可以将样本图像帧呈现给用户(例如，通过显示器197)，以使得用户可以定性地评判新获得的校准项和存储的校准项的有效性上的差异。
在一个实施方式中，在块1518做的决定可以基于如上所述的样本图像帧和/或对新的校准项和存储的校准项的分析。在另一实施方式中，该决定可以基于响应于呈现给用户(例如，在显示器197上)以进行比较的样本图像帧而接收到的用户输入。在其他实施方式中，该决定可以基于分析和用户输入的各种组合。如果新获得的校准项可能更加有效，并且因而被选择使用，那么过程1500可以继续至块1520以将更新的校准项写入到非易失性存储器(例如，校准项存储器1404)，从而替代存储的校准项1406/812/816的对应项。在块1520更新了存储的校准项1406/812/816之后，或者如果在块1518做决定保持存储的校准项，那么过程1500可以继续至块1522以应用获得的NUC项1407，更新的校准项(如果产生)和/或其他可应用的项。
因此，举例来说，通过执行过程1500的一个或多个实施方式，可以获得获得的NUC项1407快照1412，在红外成像装置被导通电源或者以其他方式被重新激活，和/或获得的NUC项1407可以用于更新失效的校准项1406/812/816时，快照1412可以有利地用于利用有用的NUC项快速启动红外图像装置100。
图17-18根据本公开的各种实施方式示出了过程1700和1800，根据本公开的各种实施方式，当红外成像装置100启动、导通电源或以其他方式重新激活时，可以执行所述过程以利用NUC项的存储的快照1412。更具体地，图17示出了根据本公开的实施方式的过程1700，其使用存储的快照1412中的一个作为起效NUC项。过程1700可以在块1702开始，例如，当红外成像装置100启动、导通电源或者以其他方式被重新激活时。正如可以理解的，红外成像模块100(例如，移动装置的红外摄像机或者模块)可以暂停或者以其他方式不被激活(例如，不执行图像捕获操作)，即使在装置1400保持导通电源时。因此，在一些情况中，过程1700可以在红外成像装置100从这种状态重新激活时开始。
在块1704，对于某些实施方式可以检查存储的快照1412的有效性。在一个或多个实施方式中，与存储的快照1412相关的校验和1418(例如，存储为快照1412的一部分或者在分离的数据结构中)可以用于验证对应的快照是否破损。例如，如果电源在快照被获得时掉电，那么快照可能是破损的或者要不然不适于使用。因此，在一些实施方式中，可以检查存储的快照1412的有效性，以避免使用破损的快照。在一些实施方式中，块1704的各种操作可以在块1706之后在通过块1706的操作所选择的快照1412上执行。
在块1706，可以选择存储的快照1412中的一个。在各个实施方式中，可以根据各种标准和/或条件选择快照1412。在一个实施方式中，可以分析与存储的快照1412相关的温度读数1416(例如，存储为快照1412的一部分或者存储在分离的数据结构中)以选择快照1412，例如，在最接近于与红外传感器组件128的当前环境温度的环境温度下获得的快照。在另一实施方式中，可以选择最近获得的快照1412(例如，使用MRU计数器1414或者其他适当的信息确定的)。在一些实施方式中，可以使用这样的标准和/或条件的各种组合，例如，作为加权的组合或者作为结合了这样的标准和/或条件的公式。对于其他实施方式，可以附加地或者可选地使用其他适当的标准和/或条件。
在块1708，可以将选择的快照1412用作起效NUC项1407。例如，在一些实施方式中，可以将选择的快照1412写入到起效NUC项存储器1408中，以使得与NUC过程相关的各种操作可以更新、改善、应用至图像帧802，或者以其他方式将从选择的快照1412复制的NUC项1407用于起效NUC存储器1408。在其他实施方式中，选择的快照1412可以以其他方式被使得可由NUC过程或者其他适当的操作使用。在块1710，与红外成像模块100和/或装置1400相关的其他操作如果可以应用，就可以执行，其中选择的快照1412用作起效NUC项1407。例如，红外成像模块100和/或装置1400提供的各种图像捕获和/或处理操作如果可以应用，就可以执行。
图18示出了根据本公开的实施方式的过程1800，其使用存储的快照1412来更新校准项1406/812/816。过程1800可以在块1802开始，例如，当红外成像装置100启动、导通电源或者以其他方式被重新激活时。在块1804，对于一些实施方式，可以检查存储的快照1412的有效性。可以例如与块1704相似的方式执行块1804的操作。在块1806，可以选择存储的快照1412中的一个或多个。在一些实施方式中，可以根据针对块1706所述的相似的标准和/或条件，选择一个或多个快照1412。在一些实施方式中，如本文进一步描述，可以使用不是针对块1706描述的标准和/或条件之外的标准和/或条件。
在块1808，可以将一个或多个选择的快照1412转换成校准项。在各个实施方式中，块1808的操作可以类似于块1516的操作，除了可以在一个或多个选择的快照1412而不是在获得的NUC项1407上执行转换之外。在一些实施方式中，块1808的操作可以包括使用选择的快照1412获得增益项(例如，工厂增益项812)和/或内插项(例如，拉格朗日项)。例如，如上所述，在一些情况中，这样的项可以从与两个或更多个环境温度水平相关的不均匀数据获得。在这点上，根据一些实施方式，增益项和/或内插项还可使用在不同温度获得的两个或更多个快照获得。进一步在这点上，在一个实施方式中，在块1806，基于对于获得增益和/或内插项的期望的温度范围或温度差距，选择一个或多个快照1412。
块1810-1812可以类似于图15的块1518-1520，以执行各种操作来比较转换的校准项和之前存储的校准项1406/812/816，并更新之前存储的校准项1406/812/816或者不基于该比较。块1810或1812可以进行至1814，其中与红外成像模块100和/或装置1400的其他操作如果可以应用，就可以执行。
因此，根据一个或多个实施方式，通过在过程1500之后执行过程1700和/或过程1800的各种操作，在红外成像模块100启动之后立即和/或在红外成像模块100启动之后的较短时间内(例如，对于等待有效的NUC过程具有较少的重复)，红外成像模块100可以有利地提供更加有效的不均匀性校正。对于一些实施方式，还预期到，过程1700和1800的各种操作可以与选择性执行的更新校准项1406/812/816的操作组合。例如，可以利用一定数量的启动间隔地执行对校准项1406/812/816的更新，其中在一定数量的启动之间快照1412可以替代地用作起效NUC项1407。在另一个实例中，可以根据例如通过输入部件1426接收的用户输入，选择性地使能或者禁用对校准项1406/812/816的更新。
在可应用的情况下，可使用硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施方式。同样的在可应用的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。
根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。
以上所描述的实施方式仅为了举例说明，而不是限制本发明。还应当理解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的范围仅由下面的权利要求书限定。
机译： 红外成像设备中校准漂移的补偿技术
机译： 红外成像设备中校准漂移的补偿技术
机译： 红外成像设备中校准漂移的补偿技术
