基于光学非下采样轮廓波变换的图像融合方法和装置

摘要

本发明公开了一种基于光学非下采样轮廓波变换的图像融合方法，包括以下步骤：将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。对应地，本发明还公开了一种图像融合装置，包括光学非下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块。本发明极大地减小了计算量，从而提高了图像融合的速度，能够满足实时性要求。

说明书

技术领域

本发明涉及图像处理领域，具体地讲，是一种基于光学非下采样轮廓波(contourlet)变换的图像融合方法和装置。

背景技术

随着传感器技术的发展，单一的可见光模式逐渐发展为多种传感器模式。各种传感器具有不同的成像机理、不同的工作波长范围、不同的工作环境与要求，完成不同的功能。由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以致于很难甚至无法独立获得对一幅场景的全面描述。为了满足实际中的需要，充分利用多传感器的数据信息，各种数据融合技术快速发展起来。图像融合是数据融合的一个非常重要的分支，是20世纪70年代后期提出的概念，是综合传感器、图像处理、信号处理、计算机及人工智能的现代高新技术。目前，图像融合技术在许多领域都得到了广泛的应用，包括视频监控、小区安防、自动识别、计算机视觉、医学图像处理。

通常情况下，红外图像可提供较完整的目标信息，但是其背景信息却模糊不清；相反地可见光图像能够提供全面的背景信息，但目标信息不明显。通过图像融合技术，可获取目标和背景信息均较为清晰的融合后图像。

小波变换是图像处理的有效工具，它能针对图像的特定频率成分进行处理，并很好地反映信号的零维奇异特征，已被成功地应用于图像融合中。但是，常用的二维小波是由两个一维小波的张量积形成，其方向选择性有限，且各向同性，难以很好地表示图像的边缘、轮廓和纹理等具有高维奇异性的几何特征。

非下采样轮廓波变换是一种真正意义上的图像的二维表示方法，具有良好的多分辨率、局部化和方向性等优良特性，并且具有平移不变性。它将小波的优点延伸到高维空间，能够更好地刻画高维信息的特征，更适合应用于图像融合中，提高融合图像的精确性和可靠性。

但是，非下采样轮廓波变换在计算机中进行计算时的庞大的计算量制约了其应用的进一步推广，基于非下采样轮廓波变换的图像融合技术具有融合速度慢的显著缺点，难以满足图像融合的实时性的要求。

发明内容

针对现有技术的不足，本发明的目的是要提供一种图像融合速度快的基于光学非下采样轮廓波变换的图像融合方法和装置。

为此，本发明提供了一种基于光学非下采样轮廓波变换的图像融合方法，按照以下步骤进行：将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像；融合决策处理为对于第一数值结果和第二数值结果进行加权求和。

根据本发明的一个方面，融合决策处理为对于第一数值结果和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0.7，绝对值小的系数的加权系数置为0.3，然后将第一数值结果和第二数值结果进行加权求和得到第三数值结果。

本发明还提供了一种基于光学非下采样轮廓波变换的图像融合装置，包括光学非下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块，光学非下采样轮廓波变换模块用于将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；融合决策模块用于将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；非下采样轮廓波逆变换模块用于将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像；融合决策模块进行融合决策处理为对于第一数值结果和第二数值结果进行加权求和。

根据本发明的另一个方面，光学非下采样轮廓波变换模块包括激光光源、准直透镜、第一电寻址空间光调制器、第一傅立叶透镜、第二电寻址空间光调制器、第二傅立叶透镜和CCD(CCD：Charge Coupled Device，电荷耦合装置)光电耦合器件，激光光源位于准直透镜的前焦面处，准直透镜后方25～30cm处安装第一电寻址空间光调制器，第一电寻址空间光调制器位于第一傅立叶透镜的前焦面处，第一傅立叶透镜的后焦面与第二傅立叶透镜的前焦面汇合在一处，且在此处安装第二电寻址空间光调制器，第二傅立叶透镜的后焦面处安装CCD光电耦合器件；激光光源、准直透镜、第一电寻址空间光调制器、第一傅立叶透镜、第二电寻址空间光调制器、第二傅立叶透镜、CCD光电耦合器件在同一轴线上；第一电寻址空间光调制器还连接有第一计算机，第二电寻址空间光调制器还连接有第二计算机，CCD光电耦合器件还连接有第三计算机。

根据本发明的又一个方面，激光光源输出功率为90～110mw，偏振比为1000∶1，发散角≤0.5mrad；准直透镜的焦距为300mm，孔径直径为75mm；第一电寻址空间光调制器和第二电寻址空间光调制器的分辨率为1024×768，液晶尺寸为18.4mm×13.8mm，像元尺寸为18μm×18μm，刷新频率为30Hz，对比度为400∶1，最高透射率为16％；第一傅立叶透镜和第二傅立叶透镜的焦距为300mm，孔径直径为75mm；CCD光电耦合器件的输出图像最大分辨率为3072×2048，感光元件尺寸为22.7mm×15.1mm。

根据本发明的又一个方面，融合决策模块利用第三计算机将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果。

根据本发明的又一个方面，融合决策模块进行融合决策处理为对于第一数值结果和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0.7，绝对值小的系数的加权系数置为0.3，然后将第一数值结果和第二数值结果进行加权求和得到第三数值结果。

根据本发明的又一个方面，非下采样轮廓波逆变换模块利用第三计算机将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。

根据本发明的又一个方面，该基于光学非下采样轮廓波变换的图像融合方法用于红外图像和可见光图像融合的用途。

与现有技术相比，本发明的有益效果是：该图像融合方法和装置中采用光学方法来完成非下采样轮廓波变换，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足图像处理实时性的要求。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的基于光学非下采样轮廓波变换的图像融合方法的原理图；

图2为本发明的基于光学非下采样轮廓波变换的图像融合装置的结构示意图；

图3为本发明的基于光学非下采样轮廓波变换的图像融合方法中的示例性红外图像；

图4为本发明的基于光学非下采样轮廓波变换的图像融合方法中的示例性可见光图像；以及

图5为采用本发明的图像融合方法将图3和图4融合后的示例性图像。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提供了一种基于光学非下采样轮廓波变换的图像融合方法，其原理如图1所示，该方法包括以下步骤：将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；将第一数值结果和第二数值结果经过融合决策算法处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。

在该方法中，融合决策处理为对第一数值结果和第二数值结果进行加权求和得到第三数值结果。具体而言，融合决策处理为：对于第一数值结果和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0.7，绝对值小的系数的加权系数置为0.3，然后将第一数值结果和第二数值结果进行加权求和得到第三数值结果。

本发明还提供了一种基于光学非下采样轮廓波变换的图像融合装置，包括光学非下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块，光学非下采样轮廓波变换模块用于将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；融合决策模块用于将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；非下采样轮廓波逆变换模块用于将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。

图2示出的是本发明的图像融合装置的结构，该图像融合装置中光学非下采样轮廓波变换模块包括激光光源1、准直透镜2、第一电寻址空间光调制器3、第一傅立叶透镜4、第二电寻址空间光调制器5、第二傅立叶透镜6和CCD光电耦合器件7，激光光源1位于准直透镜2的前焦面处，准直透镜2后方25～30cm处安装第一电寻址空间光调制器3，一般选择安装在26cm，第一电寻址空间光调制器3位于第一傅立叶透镜4的前焦面处，第一傅立叶透镜4的后焦面与第二傅立叶透镜6的前焦面汇合在一处，且在此处安装第二电寻址空间光调制器5，第二傅立叶透镜6的后焦面处安装CCD光电耦合器件7；激光光源1、准直透镜2、第一电寻址空间光调制器3、第一傅立叶透镜4、第二电寻址空间光调制器5、第二傅立叶透镜6、CCD光电耦合器件7在同一轴线上；第一电寻址空间光调制器3还连接有第一计算机8，第二电寻址空间光调制器5还连接有第二计算机9，CCD光电耦合器件还连接有第三计算机10。

其中，激光光源1的型号为虹扬2000，输出功率为90～110mw，在实验中可以将输出功率设定为100mw，偏振比(方向)为1000∶1，发散角≤0.5mrad。

准直透镜2的型号为GCO-0202M，焦距为300mm，孔径直径为75mm。

第一电寻址空间光调制器3和第二电寻址空间光调制器5的液晶板采用的是SONY lcx029，其分辨率为1024×768，液晶尺寸为18.4mm×13.8mm，像元尺寸为18μm×18μm，刷新频率为30Hz，对比度为400∶1，最高透射率为16％。

第一傅立叶透镜4和第二傅立叶透镜6的型号为GCO-0202M，焦距为300mm，孔径直径为75mm。

CCD光电耦合器件7的型号为cannon EOS 300D，其输出图像最大分辨率为3072×2048，感光元件尺寸为22.7mm×15.1mm。

光学非下采样轮廓波变换模块在对红外图像与可见光图像进行非下采样轮廓波变换时，激光光源1通过准直透镜2形成平行光照射在第一电寻址空间光调制器3上，首先由第一计算机8控制将红外图像加载到第一电寻址空间光调制器3上，通过第一傅立叶透镜4实现对红外图像的傅立叶变换，由第二计算机9控制将频域形式的非下采样轮廓波滤波器加载到第二电寻址空间光调制器5上，在这里完成红外图像的频谱与频域形式的非下采样轮廓波滤波器相乘，然后通过第二傅立叶透镜6实现对频域相乘结果的傅立叶变换，CCD光电耦合器件7位于第二傅立叶透镜6的后焦面处，采集红外图像的光学非下采样轮廓波变换后的第一数值结果，并读入第三计算机10；再由第一计算机8控制将可见光图像加载到第一电寻址空间光调制器3上，通过第一傅立叶透镜4实现对可见光图像的傅立叶变换，由第二计算机9控制将频域形式的非下采样轮廓波滤波器加载到第二电寻址空间光调制器5上，在这里完成可见光图像的频谱与频域形式的非下采样轮廓波滤波相乘，然后通过第二傅立叶透镜6实现对频域相乘结果的傅立叶变换，CCD光电耦合器件7位于第二傅立叶透镜6的后焦面处，采集可见光图像的光学非下采样轮廓波变换后的第二数值结果，并读入第三计算机10，在第三计算机10中对第一数值结果和第二数值结果进行进一步处理。

融合决策模块可以利用第三计算机10对第一数值结果和第二数值结果进行加权求和以融合得到第三数值结果。具体而言，融合决策处理进行如下操作：对于第一数值结果和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0.7，绝对值小的系数的加权系数置为0.3，然后将第一数值结果和第二数值结果进行加权求和得到第三数值结果。

非下采样轮廓波逆变换模块也可以利用第三计算机10对第三数值结果的非下采样轮廓波逆变换以得到融合后图像。图3示出的是实验中采用的一张示例性红外图像，图4示出的是一张示例性可见光图像，经过本发明的图像融合技术处理之后能够得到如图5所示的融合后图像，清楚地展示了图3和图4上的内容，能够满足使用需要。

本发明的用途为实现红外图像和可见光图像的融合，应用领域涉及视频监控、小区安防、自动识别、计算机视觉、医学图像处理等众多领域，与传统的基于非下采样轮廓波变换的红外与可见光图像融合方法相比，可以极大地提高图像融合的速度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。