实现多光谱伪彩色图像的配准融合方法

摘要

本发明公开了一种实现多光谱伪彩色图像的配准融合方法，属于光谱图像处理技术领域。该方法是由安装在多光谱成像装置内的图像配准融合软件包实现的。多光谱成像装置上电后，首先对四个成像通道中相同波段的光谱图像进行配准得到配准中心坐标，然后将相应成像通道中四幅不同波长光谱图像以配准中心坐标为中心进行平移处理获得配准图像，最后对配准后的图像进行RGB伪彩色融合并送入地面控制站。本发明解决了多光谱图像因灰度差异大配准困难的问题，提高了配准成功率，实现了多光谱图像的快速配准，具有实时性高，不需要人工干预，易于工程应用的优点。

说明书

技术领域

本发明属于光谱图像处理技术领域，主要涉及一种光谱图像的配准融合 处理方法，尤其涉及一种多光谱伪彩色图像的配准融合方法。

背景技术

光谱图像是通过光学分光技术获取的以某一波长点为中心，带宽为± 10nm以下的窄带光谱灰度图像。在0.4～1.0um可见光到近红外波段范围内， 能获取多个波长点的光谱图像。由于不同目标能量的光谱分布是不相同的， 利用这一特性，可以在光谱图像内区分出不同目标。因而在生物医学、农林 地质遥感探测、军事目标侦察等众多领域有着广泛应用。

多光谱图像伪彩色融合是将不同光谱的灰度图，融合成一幅RGB三色的 伪彩色图，伪彩色图含有更丰富的图像信息，人眼能更容易识别伪装目标。

多光谱图像融合的基础是多光谱图像的配准，多光谱图像的配准难点在 于，目标在不同光谱灰度图像之间存在较大的灰度差异，甚至会出现反对比 度的情况，基于灰度的配准方法会因反对比度的存在而失败，而基于特征的 配准方法常常需要人工的参与，实时性差，成功率低，不利于实际使用。

SPIE Vol.6946发表了一篇“Spectral detection and monitoring of  marine mammals”的论文，文章中论述的MANTIS-3多光谱相机，它是由一个 滤光板、四个镜头和四个CMOS探测器组成，能同时采集四幅不同波长点的光 谱图像，该文章对于光谱图像的处理是将不同传感器在相同视场角下获得的 同一场景的多幅光谱图像进行自动配准后，再选其中的三幅图像融合成RGB 伪彩色图，但文章中没有对光谱图像的配准方法进行描述，配准方法不详。

中国专利ZL2008100645595.5公开了一种基于小成分及噪声成分的多光 谱图像配准方法，该方法首先对多光谱图像进行比例变换、区域选择、控制 点选择预处理，然后利用传统的基于灰度和基于特征的方法以某个谱段图像 作为参考图像对其他图像一一初步配准，再采用小成分及噪声成分的分析方 法进行反复多次精确配准，其配准精确度明显优于传统的基于灰度和特征的 方法，但是其计算过程复杂，运算量大，实时性差，难以在工程中实现，不 能满足实际战术的使用要求。

发明内容

本发明要解决的技术问题是，针对现有技术存在的不足，提供一种实时、 准确、快速的多光谱伪彩色图像的配准融合方法。

为解决上述技术问题，本发明提供的多光谱伪彩色图像配准融合方法是 由具有四个成像通道和计算机的多光谱成像装置实现的，每个成像通道包含 成像镜头1-1、滤光组件1-2和CCD探测器1-3，每个滤光组件1-2由镶嵌在 转轮上的w个滤光片组成且w≥2，四个成像通道中均带有一个波段相同的 滤光片，其余均为波长不同的滤光片；计算机2内置有多光谱伪彩色图像配 准融合软件包；当多光谱成像装置上电后，所述多光谱伪彩色图像配准融合 软件包执行以下操作步骤：

第一步：等待接收相同波段图像配准命令，当接收到相同波段图像配准 命令时执行第二步；

第二步：向滤光组件发送λ0A，λ0B，λ0C，λ0D进入各自成像通道指令；

其中：λ0A、λ0B、λ0C和λ0D分别为第一至第四成像通道中的滤光片且 这四个滤光片的波段相同；

第三步：同步采集第一至第四成像通道CCD输出的一帧图像即图像P_λ0A（e，f）、图像P_λ0B（e，f）、图像P_λ0C（e，f）和图像P_λ0D（e，f）并缓存， 其中,e=1,2,3…,E，f=1,2,3…,F；

第四步：令第一成像通道图像P_λ0A（e，f）的中心坐标为该图 像的配准中心坐标，和取值分别根据四舍五入取整，并以图像P_λ0A（e， f）为基准，采用灰度相关配准方法分别对图像P_λ0B（e，f）、图像P_λ0C（e，f） 和图像P_λ0D（e，f）进行配准，得到第二至第四成像通道图像的配准中心坐 标并缓存；

第五步：等待接收不同波长图像配准命令，当接收到不同波长图像配准 命令时执行第六步；

第六步：向滤光组件发送λAi，λBj，λCm，λDn(i=1,2,3,…,w-1； j=1,2,3,…,w-1；m=1,2,3,…,w-1；n=1,2,3,…,w-1)进入各自成像通道指令；

其中：λAi、λBj、λCm和λDn分别为第一至第四成像通道中的滤光片且 这四个滤光片的波长不同；

第七步：同步采集第一至第四成像通道CCD输出的一帧图像即图像P_λAi、 图像P_λBj、图像P_λCm和图像P_λDn并缓存；

第八步：分别判断图像P_λAi、图像P_λBj、图像P_λCm和图像P_λDn的配准中 心坐标所对应的像素点到各自图像上、下边的距离是否等于个像素，如果 等于则保持原图像不变，如果大于则舍去多出的行，如果小于则将行 数补齐到给补充行中的各像素赋灰度值255；判断配准中心坐标所对应的 像素点到各自图像左、右边的距离是否等于个像素，如果等于则保持 原图像不变，如果大于则舍去多出的列，如果小于则将列数补齐到给补充列中的各像素赋灰度值255，如此得到四幅大小为E×F的配准图像 N_λAi、配准图像N_λBj、配准图像N_λCm和配准图像N_λDn并缓存；

第九步：按照四选三的组合方式对配准图像N_λAi，配准图像N_λBj，配准 图像N_λCm和配准图像N_λDn进行RGB伪彩色融合，获得四幅融合图像N_RGB1， N_RGB2，N_RGB3和N_RGB4并传输到地面控制站；

第十步：判断是否有结束指令，当没有结束指令时返回第五步，当有结 束指令时结束多光谱伪彩色图像配准融合程序。

本发明的有益效果体现在以下几个方面：

（一）本发明首先将滤光片切换到相同波段，对四个成像通道中四幅相同 波段光谱图像进行配准，即令第一成像通道图像中心坐标为该图像配准中心 坐标，分别对第二至第四成像通道图像进行配准，得到三幅图像各自配准中 心坐标；然后将滤光片切换到不同波长，以配准中心坐标为图像中心坐标对 四个成像通道中四幅不同波长光谱图像进行平移处理，获得四幅配准图像； 最后对四幅配准图像中的任意三幅进行伪彩色融合，最终得到四幅多光谱伪 彩色配准融合图并送入地面控制站。由于采用相同波段光谱图像进行配准， 避免了不同波长光谱图像具有反对比度特征，解决了多光谱图像因灰度差异 大配准困难的问题，提高了自动配准的成功率。

（二）在本发明中，由于每个成像通道在滤光片切换时，只改变的是图像 的光谱信息，而没有改变图像中各像素的位置关系，因此用相同波段光谱图 像获得的配准中心坐标是不变的，这样就可将相同波段光谱图像获取的配准 参数直接用于对不同波长光谱图像进行配准。

（三）本发明采用了灰度相关配准方法进行配准，具有计算过程简单、配 准速度快、不需要人工干预、实时性好、易于工程实现的优点。

（四）本发明对四个成像通道配准后的任意三幅图像进行伪彩色融合，每 次可以获得四幅不同效果的伪彩色融合图，以供地面指挥人员进行目标识别 和跟踪指挥，为实际战术侦察应用提供有力的侦察方法。

附图说明

图1是多光谱成像装置的组成示意图。

图2是图1中四个成像通道及滤光片编号布局示意图。

图3是本发明多光谱图像配准融合方法的工作流程图。

图4是本发明中基准窗口和搜索窗口关系示意图。

具体实施方式

下面结合附图及优选实施例对本发明作进一步的详述。

本发明提供的多光谱伪彩色图像配准融合方法的选优实施例是针对图1 所示的多光谱成像装置。该多光谱成像装置由多光谱摄像机1和计算机2组 成。多光谱摄像机1包含四个成像通道，这四个成像通道以两行两列的方式 排列，每个成像通道包含成像镜头1-1、滤光组件1-2和CCD探测器1-3。每 个滤光组件1-2由镶嵌在转轮上的w个滤光片组成且w≥2，通过计算机控制， 各滤光片可以相继进入成像通道。四个成像通道中均带有一个波段相同的滤 光片，其余的均为波长不同的滤光片。来自于目标的光线经过成像镜头1-1 会聚后，再通过滤光组件1-2滤光后聚焦在CCD探测器1-3的靶面上，CCD 探测器1-3将光信号转换成电信号后送入到计算机2中。计算机2内置有多 光谱伪彩色图像配准融合软件包。计算机具有图像同步采集、存储和无线传 输功能，多光谱伪彩色图像配准融合软件包实现图像的配准融合。

根据图2所示，本发明优选实施例中每个滤光组件的滤光片为四个，即 w=4。四个成像通道的十六个滤光片的厚度均相同。第一成像通道编号为A， 滤光片编号分别为λ0A、λA1、λA2、λA3，第二成像通道编号为B，滤光片编 号分别为λ0B、λB1、λB2、λB3，第三成像通道编号为C，滤光片编号分别为 λ0C、λC1、λC2、λC3，第四成像通道编号为D，滤光片编号分别为λ0D、λD1、 λD2、λD3。其中，λ0A、λ0B、λ0C、λ0D为相同波段滤光片，其中心波长取 值范围是0.6至0.7um，λA1、λA2、λA3、λB1、λB2、λB3、λC1、λC2、λC3、 λD1、λD2、λD3为不同波长滤光片，这十二个滤光片的中心波长均在0.4至 1.0um的范围内取值。

当多光谱成像装置上电后，计算机中的多光谱伪彩色图像配准融合软件 包将按照图3所示的工作流程执行以下步骤：

第一步：等待接收相同波段图像配准命令。如果接收到相同波段图像配 准命令，执行第二步。

第二步：向滤光组件发送λ0A，λ0B，λ0C，λ0D进入各自成像通道指令。

第三步：同步采集各成像通道CCD输出的一帧图像即图像P_λ0A（e，f）、 图像P_λ0B（e，f）、图像P_λ0C（e，f）和图像P_λ0D（e，f）并缓存，其中e和f 为变量,e=1,2,3,…,E，f=1,2,3,…,F。

第四步：以第一成像通道图像P_λ0A（e，f）为基准，分别将其它各成像 通道图像P_λ0B（e，f），图像P_λ0C（e，f）和图像P_λ0D（e，f）进行配准，得到 配准中心坐标${[\frac{E}{2}-(\frac{R}{2}-r),\frac{F}{2}-(\frac{S}{2}-s)]}_{\lambda 0\mathrm{AB}},{[\frac{E}{2}-(\frac{R}{2}-r),\frac{F}{2}-(\frac{S}{2}-s)]}_{\lambda 0\mathrm{AC}}$和${[\frac{E}{2}-(\frac{R}{2}-r),\frac{F}{2}-(\frac{S}{2}-s)]}_{\lambda 0\mathrm{AD}}$并缓存。

上述配准的方法如下：以图像P_λ0A（e，f）和图像P_λ0B（e，f）为例说明 配准方法。图像P_λ0A（_e，f）为基准图,图像P_λ0B（e，f）为待配准图，两幅 图像的中心坐标均为和取值分别根据四舍五入取整。在图像 P_λ0A（e，f）中以为中心坐标选择大小为g×h像素的基准窗口（参 见图4），其中g和h为变量，g=1,3,5,…,G，h=1,3,5,…,H。在图像P_λ0B（e， f）中以为中心坐标，选择大小为r×s像素的搜索窗口（参见图4）， 其中r和s为变量，r=1,3,5,…,R，s=1,3,5,…,S，r×s的值大于g×h的值， 且两个值至少为2倍关系。在图像P_λ0B（e，f）中将基准窗口的中心移动到 搜索窗口第一行第一个像素，将图像P_λ0B（e，f）中与基准窗口重叠区域的 像素与基准窗口中对应的像素进行灰度差的绝对值运算，获得g×h个灰度差 的绝对值，对g×h个灰度差的绝对值求和获得灰度值I₁₁。再将图像P_λ0B（e， f）中基准窗口的中心移动到搜索窗口第一行第二个像素，采用同样方法获得 灰度值I₁₂。以此类推，将图像P_λ0B（e，f）中基准窗口的中心移动到搜索窗 口第1行第S个像素获得灰度值I_1S。将图像P_λ0B（e，f）中基准窗口的中心 逐行遍历搜索窗口中的每一个像素，最终得到矩阵I（R×S）。找出矩阵I（R ×S）中的最小值I_rs，获取最小值I_rs在搜索窗口中的坐标（r,s），该位置即 为待配准图像的配准中心。由于搜索窗口的中心坐标与待配准图像P_λ0B（e，f）的中心坐标重合，所以待配准图像P_λ0B（e，f）的配准中心 坐标为将待配准图像P_λ0B（e，f）的配准中心坐标记为 同理获得待配准图像P_λ0C（e，f）的配准中心坐标 待配准图像P_λ0D（e，f）的配准中心坐标 ${[\frac{E}{2}-(\frac{R}{2}-r),\frac{F}{2}-(\frac{S}{2}-s)]}_{\lambda 0\mathrm{AD}}.$

第五步：等待接收不同波长图像配准命令，如果接收到不同波长图像配 准命令，执行第六步。

第六步：向滤光组件发送λAi，λBj，λCm，λDn(i=1,2,3；j=1,2,3；m=1,2,3； n=1,2,3)进入各自成像通道指令。

第七步：同步采集各通道CCD输出的一帧图像即图像P_λAi、图像P_λBj、图 像P_λCm和图像P_λDn并缓存。

第八步：获得四幅配准图像即配准图像N_λAi、配准图像N_λBj、配准图像N_λCm和配准图像N_λDn。

由于以第一成像通道采集的图像作为配准图像，所以图像P_λAi的配准中 心坐标为保持原图像不变，直接将图像P_λAi的值赋给图像N_λAi， 并缓存。

将图像中坐标值为的像素点作为该图像的 中心点，判断中心点到图像上、下边的距离是否等于个像素，如果大 于则舍去多出的行，如果小于则将行数补齐到给补充行中的各像素 赋灰度值255；判断中心点到图像左、右边的距离是否等于个像素， 如果大于则舍去多出的列，如果小于则将列数补齐到给补充列中的 各像素赋灰度值255，最后获得大小为E×F的配准图像N_λBj并缓存。按照上 述方法对图像P_λCm、P_λDn进行相同操作获得配准图像N_λCm和配准图像N_λDn并缓存。

第九步：从配准图像N_λAi，配准图像N_λBj，配准图像N_λCm和配准图像N_λDn中任意选择三幅分别赋值给三基色R分量，三基色G分量和三基色B分量， 获得一幅伪彩色融合图。如此按照四选三的组合方式进行三基色赋值后，最 终可以得到四幅RGB伪彩色融合图像N_RGB1，N_RGB2，N_RGB3和N_RGB4并将这四 幅伪彩色融合图像传输到地面控制站，地面控制站的操作人员从这四幅图像 中选择一幅目标最明显的图像，通过无线传送给飞机的侦察设备用于目标的 识别和跟踪。

第十步：判断是否有结束指令，如果没有结束指令，返回第五步，如果 有结束指令，结束多光谱伪彩色图像配准融合程序。