一种TDI CCD焦平面编码超分辨率成像装置及方法

摘要

本发明公开了一种基于TDI CCD焦平面编码的超分辨率光学成像装置，所述装置包括离轴三反光学系统、TDI CCD耦合编码模板、光学TDI CCD探测器和图像重构模块；本发明还公开了一种基于TDI CCD焦平面编码的超分辨率光学成像方法，包括设置光学TDI CCD探测器焦平面阵列、设置TDI CCD耦合编码模板、获取四幅同一场景的低分辨率编码图像阵列、图像预处理及超分辨率图像重构五个步骤。本发明可捕获到目标场景更多信息，提高超分辨率成像能力，提高采样频率，减少混淆效应。

说明书

技术领域

本发明涉及一种超分辨率图像成像技术领域中的图像采集与重构，具 体是一种基于TDI CCD焦平面编码的超分辨率光学成像装置及方法，属于 图像处理技术领域。

背景技术

超分辨率光学成像在各个领域，如空间遥感、目标识别与跟踪等有重 大需求。尽管光学成像技术已取得了巨大的进步，然而受探测器制作工艺、 工作条件、功耗成本等因素的限制，目前常用的光学探测器阵列规模较小、 像元尺寸较大，不足以应对人们不断增长的成像分辨率需求。

现有的超分辨成像方法主要包括传统的微扫描技术和亚像元拼接技 术。微扫描可被视为一个过采样过程，控制扫描装置使得系统所成的像在 横、纵坐标方向上产生1/N像素的位移，得到N×N帧欠采样图像，然后运 用图像处理将多幅亚像素位移图像依照采样方式融合成一幅图像，实现提 高分辨率的目的。亚像元拼接是用一台相机对同一地物目标成几组像，使 得构成在线阵方向相距1/2像元的图像和垂直线阵方向相距1/2像元的图 像。利用两组图像间相差1/2个像元的性质，进行数据处理和图像融合， 可以将图像空间分辨率提高。微扫描技术和亚像元拼接技术总体来说都是 将CCD阵列上互相错位不足一个像元距离的多帧欠采样图像，利用计算机 图像处理获得高分辨率原始场景。

传统的超分辨率成像技术，无论是微扫描还是亚像元技术，都是间接 地提高系统的采样率，增加最终的采样数，但是这些技术均未使CCD本身 的结构发生变化，采样频率依旧低于Nyquist频率，即获得的图像阵列还 包括大量模糊混淆现象，在通过图像处理算法进行图像重建时，只是在某 种意义上提高了数据量，系统并未真正捕获到场景的某种高频信息，所以 不会因提高采样频率而抑制频率混淆实现图像精确重构。

发明内容

本发明所要解决的技术问题是，提供一种TDI CCD焦平面编码超分辨 率成像装置及方法，该装置和方法可捕获到目标场景更多信息，提高超分 辨率成像能力，提高采样频率，减少混淆效应。

本发明解决上述技术问题的技术方案是：一种基于TDI CCD焦平面编 码的超分辨率光学成像装置，所述装置包括离轴三反光学系统、TDI CCD耦 合编码编码模板、光学TDI CCD探测器和图像重构模块；

所述的离轴三反光学系统，用于控制观测场景的入射光线，并使光线 到达所述的TDI CCD耦合编码模板进行空域调制；

所述的TDI CCD耦合编码模板，用于对进入离轴三反光学系统的光线 进行空域调制，并使光线到达所述的光学TDI CCD探测器阵列进行低分辨 率成像；

所述的光学TDI CCD探测器，用于将TDI CCD耦合编码模板空域调制 后的光信号转化为电信号；

所述的图像重构模块，用于将所述的光学TDI CCD探测器转化获得的 电信号进行预处理，并采用像素重排方法，对滤除噪声的低分辨率光学编 码图像进行图像重构，最终获得超分辨率光学图像。

所述光学系统采用离轴三反设计，所述光学系统观测场景的入射光线 通过可转动的反射镜进入光学系统主镜，经主镜反射后到达次镜，再经次 镜反射到达三镜，再经次镜反射达到三镜，紧贴TDI CCD对准放置一个设 计好的编码模板，使得光线经由TDI CCD耦合编码模板调制后经三镜反射 到达光学TDI CCD探测器阵列，最后通过图像重构获得超分辨率光学图像。

所述离轴三反光学系统不存在色差和二级光谱，适合宽谱段范围的成 像。

所述离轴三反光学系统既可以利用折转反射镜折叠光路缩短体积，容 易实现轻量化设计，又可以使用非球面镜来获得长焦距、大视场、大孔径 的组合，满足空间应用对光学系统设计的要求。

一种基于TDI CCD焦平面编码的超分辨率光学成像方法，包括如下步 骤：

(1)设置光学TDI CCD探测器焦平面阵列：

将4个积分级数为16的线阵TDI CCD顺序拼接为一个焦平面阵列，得 到设置好的光学TDI CCD探测器焦平面阵列；

(2)设置TDI CCD耦合编码模板：

2a)在空间光调制器的工作区域模板上，按水平和垂直方向依次划分 出与光学TDI CCD探测器水平和垂直方向像元数目相等的正方向区域，该 正方形区域与光学TDI CCD探测器单个像元尺寸相同；

2b)在光学探测器线阵方向上将正方形区域自上至下等分为4个等宽 等高的小长方形，第一个16级TDI CCD线阵所有像元对应的编码模板的第 一部分通光，第二个16级TDI CCD线阵所有像元对应的编码模板的第二部 分通光，第三个16级TDI CCD线阵所有像元对应的编码模板第三部分通光， 第四个16级TDI CCD线阵所有像元对应的编码模板的第四部分通光，得到 设置好的TDI CCD耦合编码模板；

(3)获取四幅同一场景的低分辨率编码图像阵列：

3a)将步骤2b)中得到的TDI CCD耦合编码模板放置在光学TDI CCD 探测器前，紧贴光学TDI CCD探测器的焦平面阵列，TDI CCD耦合编码模板 上的所有正方形区域与焦平面阵列上的所有像元一一对准；

3b)利用编码测量方法，依次获得同一场景的四幅低分辨率光学图像；

在该步骤中，所述的编码测量方法的具体步骤如下：

第一步，按下高分辨率成像系统的快门，TDI CCD耦合编码模块对进入 推扫成像系统的光束进行空域调制，仅让经过第一个16级TDI CCD线阵每 个像元编码模块的第一部分透光区域的光通过，阻挡其他部分，在焦平面 阵列上记录第一幅低分辨率光学编码图像；

第二步，第一幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过第二个16级TDI  CCD线阵每个像元编码模块的第二部分透光区域的光通过，阻挡其他部分， 在焦平面阵列上记录第二幅低分辨率光学编码图像；

第三步，第二幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过第三个16级TDI  CCD线阵每个像元编码模块的第三部分透光区域的光通过，阻挡其他部分， 在焦平面阵列上记录第三幅低分辨率光学编码图像；

第四步，第三幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过第四个16级TDI  CCD线阵每个像元编码模块的第四部分透光区域的光通过，阻挡其他部分， 在焦平面阵列上记录第四幅低分辨率光学编码图像。

(4)图像预处理：

通过中值滤波器，对获得的四幅低分辨率光学编码图像进行预处理， 滤除其中的噪声，获得四幅滤除噪声的低分辨率光学编码图像；

(5)超分辨率图像重构：

5a)创建目标图像矩阵，目标图像矩阵的行数等于4倍的低分辨率光 学编码图像的行数，目标图像矩阵的列数等于低分辨率光学编码图像的列 数；

5b)采用像素重排方法，对四幅滤除噪声的光学编码图像进行图像重 构，获得超分辨率光学图像。

在该步骤中的像素重排方法的具体步骤如下：

第一步，将第一幅滤除噪声的低分辨率光学编码图像第4i-3行第j列 的像素值，赋值给目标图像矩阵第4i-3行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第二步，将第一幅滤除噪声的低分辨率光学编码图像第4i-2行第j列 的像素值，赋值给目标图像矩阵第4i-2行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第三步，将第一幅滤除噪声的低分辨率光学编码图像第4i-1行第j列 的像素值，赋值给目标图像矩阵第4i-1行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第四步，将第一幅滤除噪声的低分辨率光学编码图像第4i行第j列的 像素值，赋值给目标图像矩阵第4i行第j列的元素，i的取值为1到低分 辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编码图 像列数的正整数。

采用上述装置和方法后，本发明的优点在于，第一，由于本发明在光 学TDI CCD探测器的焦平面阵列前加了TDI CCD耦合编码模板，利用TDI CCD 耦合编码模板对CCD像元交轨方向分辨率进行细分，捕获到目标场景更多 信息，克服了现有技术中难以通过减小像元尺寸或增大相机焦距的方式提 高成像分辨率的不足，使得本发明具有了超分辨率成像能力。

第二，由于本发明采用像素重排法，利用多幅低分辨率图像信息的相 关互补特性，或低分辨率混叠图像结合优化重建，提高采样频率，减少混 淆效应，克服了传统成像技术针对探测器低频采样对系统分辨率的局限性， 获得超分辨率光学图像。

附图说明

图1所示的是本发明的结构示意图；

图2所示的是本发明的光学系统光路图；

图3所示的是本发明的步骤图；

图4所示的是本发明中光学TDI CCD探测器焦平面阵列示意图；

图5所示的是本发明中探测器单个像元像素重排法示意图；

具体实施方式

下面结合附图对本发明作进一步详细地说明。

参照附图1，本发明的装置包括离轴三反光学系统、TDI CCD耦合编码 模板、光学TDI CCD探测器和图像重构模块。

离轴三反光学系统用于控制观测场景的入射光线，并使光线到达所述 的TDI CCD耦合编码模板进行空域调制。

TDI CCD耦合编码模板用于对进入离轴三反光学系统的光线进行空域调 制，并使光线到达光学TDI CCD探测器阵列进行低分辨率成像。

光学TDI CCD探测器用于将TDI CCD耦合编码模板空域调制后的光信 号转化为电信号。

图像重构模块用于将光学TDI CCD探测器转化获得的电信号进行预处 理，并采用像素重排方法，对滤除噪声的低分辨率光学编码图像进行图像 重构，最终获得超分辨率光学图像。

参考附图2的光路图，光学系统采用离轴三反设计。

在图2中，1为转动反射镜，2为主镜，3为次镜，4为三镜，5为TDI  CCD耦合编码模板，6为光学TDI CCD探测器。光学系统观测场景的入射光 线通过可转动的反射镜1进入光学系统主镜2，经主镜2反射后到达次镜3， 再经次镜3反射到达三镜4，紧贴TDI CCD对准放置一个设计好的TDI CCD 耦合编码模板5，使得光线经由TDI CCD耦合编码模板5调制后经三镜4反 射到达光学TDI CCD探测器阵列6。

参照附图3，本发明的具体步骤如下：

步骤1：设置光学TDI CCD探测器焦平面阵列。

参考附图4，将4个积分级数为16的线阵TDI CCD顺序拼接为一个焦 平面阵列，得到设置好的光学TDI CCD探测器焦平面阵列；

步骤2：设置TDI CCD耦合编码模板。

在空间光调制器的工作区域模板上，按水平和垂直方向依次划分出与 光学TDI CCD探测器水平和垂直方向像元数目相等的正方向区域，该正方 形区域与光学TDI CCD探测器单个像元尺寸相同。

在光学TDI CCD探测器线阵方向上将正方形区域自上至下等分为4个 等宽等高的小长方形，第一个16级TDI CCD线阵所有像元对应的编码模板 的第一部分通光，第二个16级TDI CCD线阵所有像元对应的编码模板的第 二部分通光，第三个16级TDI CCD线阵所有像元对应的编码模板第三部分 通过，第四个16级TDI CCD线阵所有像元对应的编码模板的第四部分通光， 得到设置好的TDI CCD耦合编码模板。

本发明的实施例中，划分的4个等宽等高小长方形区域尺寸均为光学 探测器单个像元尺寸的1/4，通过在像元前放置TDI CCD耦合编码模板，对 像元部分区域进行遮挡，使单个像元探测到的成像区域小于一个像元尺寸， 从而获得亚像素级别的信息。

步骤3：获取四幅同一场景的低分辨率编码图像阵列。

将TDI CCD耦合编码模板放置在光学TDI CCD探测器前，紧贴光学TDI  CCD探测器的焦平面阵列，TDI CCD耦合编码模板上的所有正方形区域与焦 平面阵列上的所有像元一一对准；

利用编码测量方法，依次获得同一场景的四幅低分辨率光学图像；

所述的基于线阵TDI CCD焦平面编码的超分辨率光学成像方法的具体 步骤如下：

第一步，按下高分辨率成像系统的快门，TDI CCD耦合编码模块对进入 推扫成像系统的光束进行空域调制，仅让经过TDI CCD耦合编码模板透光 区域的光通过，阻挡其他部分，在焦平面阵列上记录第一幅低分辨率光学 编码图像；

本发明的实施例中，仅让经过第一个16级TDI CCD线阵每个像元编码 模块的第一部分透光区域的光通过，在焦平面阵列上记录第一幅低分辨率 光学编码图像。

第二步，第一幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过TDI CCD耦合编 码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第二幅低 分辨率光学编码图像；

本发明的实施例中，仅让经过第二个16级TDI CCD线阵每个像元编码 模块的第二部分透光区域的光通过，在焦平面阵列上记录第二幅低分辨率 光学编码图像。

第三步，第二幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过TDI CCD耦合编 码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第三幅低 分辨率光学编码图像；

本发明的实施例中，仅让经过第三个16级TDI CCD线阵每个像元编码 模块的第三部分透光区域的光通过，在焦平面阵列上记录第一幅低分辨率 光学编码图像。

第四步，第三幅低分辨率光学编码图像记录完成后，TDI CCD耦合编码 模块对进入推扫成像系统的光束进行空域调制，仅让经过TDI CCD耦合编 码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第四幅低 分辨率光学编码图像；

本发明的实施例中，仅让经过第四个16级TDI CCD线阵每个像元编码 模块的第四部分透光区域的光通过，在焦平面阵列上记录第一幅低分辨率 光学编码图像。

步骤4：图像预处理：

通过中值滤波器，对获得的四幅低分辨率光学编码图像进行预处理， 滤除其中的噪声，获得四幅滤除噪声的低分辨率光学编码图像；

步骤5：超分辨率图像重构：

创建目标图像矩阵，目标图像矩阵的行数等于4倍的低分辨率光学编 码图像的行数，目标图像矩阵的列数等于低分辨率光学编码图像的列数；

采用像素重排方法，对四幅滤除噪声的光学编码图像进行图像重构， 获得超分辨率光学图像。

所述的像素重排法的具体步骤如下：

第一步，将第一幅滤除噪声的低分辨率光学编码图像第4i-3行第j列 的像素值，赋值给目标图像矩阵第4i-3行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第二步，将第一幅滤除噪声的低分辨率光学编码图像第4i-2行第j列 的像素值，赋值给目标图像矩阵第4i-2行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第三步，将第一幅滤除噪声的低分辨率光学编码图像第4i-1行第j列 的像素值，赋值给目标图像矩阵第4i-1行第j列的元素，i的取值为1到 低分辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编 码图像列数的正整数。

第四步，将第一幅滤除噪声的低分辨率光学编码图像第4i行第j列的 像素值，赋值给目标图像矩阵第4i行第j列的元素，i的取值为1到低分 辨率光学编码图像行数的正整数，j的取值范围为1到低分辨率光学编码图 像列数的正整数。

参照附图3，对本发明的TDI CCD焦平面编码模板，以及相对于传统成 像方法获得的性能提升更加直观地描述如下。将4个积分级数为16的线阵 TDI CCD顺序拼接为一个焦平面阵列，设计的TDI CCD耦合编码模板在交轨 方法上将每个像元自上至下等分为4份，第一个TDI CCD线阵每个像元的 第一部分通光，第二个TDI CCD线阵每个像元的第二部分通光，第三个TDI  CCD每个像元的第三部分通光，第四个16级TDI CCD每个像元的第四部分 通光，积分时间相当于积分级数为64的线阵TDI CCD所需的积分时间。经 过64级TDI CCD所需的探测时间后，光学TDI CCD探测器将依次获得同一 场景的四幅低分辨率图像，利用图像处理融合四幅低分辨率图像最高可使 探测分辨率提高4倍。

参考附图5，对本发明的探测器单个像元像素重排法，更加形象直观地 描述如下。将探测器上单个像元获得的低分辨率光学图像的像素值顺序排 列在目标图像矩阵中，得到单个像元的重构图像矩阵。在图5(a)表示第一 个TDI CCD焦平面阵列单个像元编码获得的图像，记录了焦平面像元最上 面区域的信息，在图5(b)表示第二个TDI CCD焦平面阵列单个像元编码获 得的图像，记录了焦平面像元第二区域的信息，在图5(c)表示第三个TDI  CCD焦平面阵列单个像元编码获得的图像，记录了焦平面像元第三区域的信 息，在图5(d)表示第四个TDI CCD焦平面阵列单个像元编码获得的图像， 表示了焦平面像元最下面区域的信息，在图5(e)为单个像元对应的超分辨 率重构获得的超分辨率图像重构矩阵，焦平面阵列上所有像元的图像重构 方法相同。