超像素微扫描方法及相应的红外超分辨率实时成像装置

摘要

本发明提出一种超像素微扫描方法及相应的红外超分辨率实时成像装置。所述方法通过平行平板转动，使图像在红外焦平面探测器的成像平面上发生超像素位移D，位移量D大于红外焦平面探测器的像元间距。所述装置通过成像镜头组将图像在红外焦平面探测器成像，在成像镜头组和红外焦平面探测器之间设置变转速旋转扫描结构，平行平板置于变转速旋转扫描结构中，红外焦平面探测器连接图像处理及显示电路，平行平板始终与光轴保持一个小于但接近90°的夹角。本发明在不影响超分辨率重建图像的质量前提下，能降低微扫描对扫描光学元件加工精度的苛刻要求，对于不同场频的探测器或者不同的扫描模式的情况，均可实现动态场景超分辨率实时成像的效果。

说明书

技术领域

本发明属于红外热成像技术领域，具体涉及一种超像素微扫描方法，以及基于该超像素 微扫描的低动态场景红外超分辨率实时成像装置。

背景技术

红外成像技术是一种将不可见的红外辐射能量转换成可见图像的技术。它利用对红外波 段敏感的探测器来收集物体的红外辐射能量分布，再通过合适的算法来恢复出物体的图像。 由于这一技术具有被动性、隐蔽性、适应全天候的特点，因此在军事、医疗、公共安全等领 域有着广泛而重要的应用。

然而受目前半导体制作工艺的限制，相比于普通探测器，红外探测器的像元数目少，像 元尺寸大，像元间距大且各像元中开口率也不高，导致了直接通过红外探测器获取到的红外 图像的分辨率偏低，且由于采样频率不满足奈奎斯特采样定律，产生了频率混叠的现象，进 而整个图像的质量比较差。这已经无法满足军事上高精度目标识别与定位、精确制导、精确 打击等需求。

解决这一问题的途径主要有两种，一种是改进半导体制作工艺水平来增大像元数目、减 小像元尺寸、提高像元的开口率，从而达到提高图像分辨率的目的。另一种是采用微扫描方 法，有效地重复利用红外探测器的各像素，通过微扫描作用来提高成像系统的空间采样频率， 再从多幅图像中重建得到一幅高分辨率的图像。前者由于这一途径涉及到半导体材料、半导 体加工等前沿领域，短期内是很难实现的。后者虽然会增大系统的复杂度，但在短期内是可 以实现并带来实际应用价值。

微扫描方法的关键技术是将图像位移控制在亚像素（几到几十微米）量级,现阶段主要通 过1）移动探测器；2）移动光路两类方法来实现。前者采用压电陶瓷实现探测器位移，但其 机械结构复杂，且长期振动会影响探测器性能和寿命；后者采用平行平板抖动/旋转实现，它 无需与探测器接触即可实现无损扫描，但平行平板加工精度是制约此类微扫描技术发展的问 题之一。另一方面，通常采用的分光法来实现动态场景实时成像，但由于分光法不但结构复 杂而且造成了能量衰减，导致对红外辐射较弱的目标场景的超分辨率图像重建效果非常不理 想。

发明内容

为了解决移动光路法中平行平板加工精度过于苛刻的问题，本发明提供了一种超像素微 扫描方法；为了动态场景实时超分辨率成像的图像质量得到更好的保证，本发明还提供了一 种基于超像素微扫描的低动态场景超分辨率实时成像装置。

本发明提供的一种超像素微扫描的方法，通过成像镜头组将一幅场景聚焦在红外焦平面 探测器上，再通过置于成像镜头组与红外焦平面探测器之间的变转速旋转扫描结构带动平行 平板转动，使图像在红外焦平面探测器的成像平面上发生超像素位移D，平行平板始终与光 轴保持一个小于但接近90°的夹角。

设置平行平板的转动频率f和红外焦平面探测器的场频f₀满足如下关系式：

f=f₀/N，N＝2,4,9,16…

当目标物体的运动频率低于平行平板的转动频率时，平行平板每旋转一周，红外焦平面 探测器自动采集到N幅同一目标场景的红外图像。扫描间距为红外焦平面探测器的像元间距 的倍，k＝1,2,3。

本发明所述的一种低动态场景超分辨率红外实时成像装置，包括成像镜头组、平行平板、 变转速旋转扫描结构、红外焦平面探测器和图像处理及显示电路。红外焦平面探测器位于成 像镜头组的焦平面上，变转速旋转扫描结构位于成像镜头组和红外焦平面探测器之间，平行 平板置于变转速旋转扫描结构中，红外焦平面探测器连接图像处理及显示电路。

所述的平行平板始终与光轴保持一个小于但接近90°的夹角，由变转速旋转扫描结构带 动旋转，通过转动平行平板，使图像在红外焦平面探测器的成像平面上发生位移量D。变转 速旋转扫描结构的机械转轴、平行平板的旋转轴与系统光轴完全重合，且转速可根据红外焦 平面探测器的场频和扫描模式来匹配。平行平板的转动频率f和红外焦平面探测器的场频f₀满足关系式：f=f₀/N，N＝2,4,9,16…，N表示当目标物体的运动频率低于平行平板的转动频 率时，平行平板每旋转一周，红外焦平面探测器自动采集到N幅同一目标场景的红外图像； 扫描间距为红外焦平面探测器的像元间距的倍，k＝1,2,3。

所述的图像处理及显示电路包括图像处理电路和图像显示电路两部分，图像处理电路中 采用DSP、FPGA完成图像信号的处理及控制，并把最终的图像信号显示在图像显示电路中 的LCD屏幕上。

本发明的优点和积极效果在于：（1）采用本发明的红外实时成像装置，可以得到超分辨 率的红外图像，极大提高探测器的性能；（2）本发明超像素微扫描方法及其红外实时成像装 置采用超像素的微扫描位移，降低了平行平板加工的难度，减少了由于加工公差产生的扫描 位移相对误差；（3）本发明的超像素微扫描方法，在不影响超分辨率重建图像的质量前提下， 能降低微扫描对扫描光学元件加工精度的苛刻要求；（4）本发明的红外实时成像装置，对于 不同场频的探测器或者不同的扫描模式的情况，均可实现低动态场景超分辨率实时成像；（5） 相比于分光法实时成像，本发明可对辐射源更弱的低动态目标物体实时成像。

附图说明

图1是本发明的超分辨率实时成像装置的整体结构示意图；

图2是旋转的倾斜平行平板产生的光轴运动轨迹示意图；

图3是本发明实施例中超分辨率图像重建的示意图；

图4是采用本发明微扫描方法或本发明成像装置得到的超分辨率图像重建实物图对比；

其中：

1-成像镜头组；2-平行平板；3-变转速旋转扫描结构；4-红外焦平面探测器；

5-图像处理及显示电路。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明一是提供了一种超像素微扫描方法，在不影响超分辨率重建图像的质量前提下， 能降低微扫描对扫描光学元件加工精度的苛刻要求；二是提供了一种低动态场景红外超分辨 率实时成像装置，对于不同场频的探测器或者不同的扫描模式的情况，均可实现动态场景超 分辨率实时成像的效果。

如图1所示，本发明提供的一种低动态场景红外超分辨率实时成像装置包括：成像镜头 组1、平行平板2、变转速旋转扫描结构3、红外焦平面探测器4和图像处理及显示电路5。 红外焦平面探测器4位于成像镜头组1的焦平面上，变转速旋转扫描结构3位于成像镜头组 1和红外焦平面探测器4之间，红外焦平面探测器4连接图像处理及显示电路5。通过成像镜 头组1将一幅场景聚焦在红外焦平面探测器4上，再通过变转速旋转扫描结构3带动与光轴 成一倾角的平行平板2转动，使图像在红外焦平面探测器4的成像平面上发生位移量D。图 像处理及显示电路5包括图像处理电路和图像显示电路两部分，图像处理电路中采用DSP、 FPGA完成对红外焦平面探测器4采集的图像信号的处理，并把最终的图像信号显示在图像 显示电路中的LCD屏幕上。

如图2所示，旋转的倾斜平行平板2产生的光轴轨迹是一个以原光轴为圆心，位移量D 为半径的圆周。倾斜放置的平行平板2产生光轴位移量D，由于位移量D大于红外焦平面探 测器4的像元间距，因此称作超像素位移。

设置平行平板2的转动频率f和红外焦平面探测器4的场频f₀满足如下关系式：

f=f₀/N，N＝2,4,9,16…

当目标物体的运动频率低于平行平板2的转动频率时，平行平板2每旋转一周，红外焦 平面探测器4自动采集到N幅同一目标场景的红外图像，再通过图像处理算法重建超分辨率 红外图像。例如，采用2×2的扫描方式，则平行平板旋转一周，红外焦平面探测器4采集到 4幅图像，其中每两幅相邻图像对应的像点位置都相差90°。

传统的微扫描的扫描间距为探测器像元间距的N＝2,3,4等，分别对应2×2,3×3,4×4扫 描模式，采用传统方法可以提高采样频率，消除频率混叠。扫描间距小于像元间距，一般只 有几个到几十个微米。采用平行平板应用到传统微扫描中，具有简单、无损的优点，但平行 平板的加工难度会很大，破损率会很高。因此，本发明设置微扫描的扫描间距为探测器像元 间距的k＝1,2,3，可以达到消除频率混叠的效果，且降低了平行平板的加工难度和扫 描带来的相对误差，但是探测器边缘的一部分像素由于扫描不完全而无法恢复出超分辨图像， 这部分像素称为病态像元。k越大，病态像元的数目越多。但在总体上存在一个合适的折中 点使平行平板易于加工且对图像边缘质量的影响也在可以接受的范围内。这就是本发明提供 的超像素微扫描方法的主要思想。

具体本发明提供的超像素微扫描方法为：通过成像镜头组1将一幅场景聚焦在红外焦平 面探测器4上，再通过置于成像镜头组1与红外焦平面探测器4之间的变转速旋转扫描结构 3带动平行平板2转动，使图像在红外焦平面探测器4的成像平面上发生超像素位移D，对 应于扫描间距为红外焦平面探测器4的像元间距的倍，k＝1,2,3。位移量D大于红外焦 平面探测器4的像元间距。

平行平板2的转动频率f和红外焦平面探测器4的场频f₀满足数学关系式：

f＝f₀/N，N=2,4,9,16....

那么平行平板2每旋转一周，红外焦平面探测器4自动采集到N幅红外图像，红外焦平 面探测器4将采集的N幅红外图像传送给图像处理及显示电路5，图像处理及显示电路5通 过图像处理算法重建超分辨率红外图像。

如图3所示的实例，采用2×2的扫描方式，则平行平板2旋转一周，红外焦平面探测器 4采集到的4幅图像，如图3中(a)所示，四幅图的每个像元的编号分别为1、2、3、4，依次 对应图2中a,b,c,d四个光轴投影位置，其中每两幅相邻图像对应的光轴位置都相差90°。如 果目标物体的运动频率低于平行平板2的旋转频率，那么此时采集到的四幅图像是同一目标 图像中不同区域的信息，如图3的(a)所示，然后通过超分辨率重建算法得到一幅超分辨率的 图像，如图3的（b）所示。

变转速旋转扫描结构3的机械转轴、平行平板2的旋转轴与系统光轴完全重合，以确保 平行平板2在旋转成像的时候，图像不会发生扭曲。变转速旋转扫描结构3的转速决定平行 平板2的转速，因此变转速旋转扫描结构3的转速可根据红外焦平面探测器4的场频和扫描 模式来匹配。

图像重建和显示输出的内容由图像处理及显示电路5完成。其中图像处理电路采用DSP、 FPGA完成图像信号的处理及控制，整个重建过程分成以下四部：

1、对四幅图像去噪、归一化等图像预处理；

2、用图像匹配算法对四幅图像的位置关系进行校正；

3、用图像重建迭代算法得到一幅超分辨率图像；

4、对重建得到的图像进行后处理，得到最终输出结果。

得到的结果再通过图像显示电路在LCD显示屏上输出。

本发明实施例中图像重建的结果如图4所示，其中图4中的（a）表示探测器观察到的一 幅图像，图4的（b）表示k＝1时超像素微扫描的超分辨率重建图像，图4的（c）表示k＝2 时超像素微扫描的超分辨率重建图像，图4的（d）表示图4的（a）的双线性插值图像。通 过对比图4的（b）、（c）和（d），可以发现，采用本发明的超像素微扫描得到的超分辨率重 建图像都比双线性插值图像清晰。