一种机载光电吊舱用图像融合方法

摘要

一种机载光电吊舱用图像融合方法，包括：(1)将可见光成像系统的光轴与红外成像系统的光轴调整为平行状态；(2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像系统的相应焦距值，(3)通过可见光成像系统的焦距值与红外成像系统的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；(4)将图像配准之后的可见光成像系统的图像与红外成像系统的图像进行图像融合。本发明将吊舱内可见光成像系统与红外成像系统关联起来，将目标的红外图像特征与可见光图像特征融合于一路图像视频中输出。最大程度满足了光电吊舱对全天候昼夜侦察的需求。

说明书

技术领域

本发明涉及一种机载光电吊舱用图像融合方法，可以实现连续变焦红 外、可见光图像的实时图像融合输出，从而在一路视频中同时获取目标的红 外、可见光两种特征信息。

背景技术

光电吊舱在工作过程中通过一路视频测控链路将视频信息传送给地面 操作人员，操作人员根据视频信息进行不同操作，实现目标搜索、跟踪、定 位等操作。多载荷光电吊舱通常装备了红外、可见光成像系统，但是测控链 路在同一时间只能传输单路视频给操作人员，如果需要观测另外一路视频， 则需要执行视频切换指令，这给具体应用带来很大不便。首先，单路视频信 息有限，导致目标识别准确率下降，同时，切换过程中容易造成目标丢失， 需要重新人工搜索目标，影响工作效率。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种机载光电 吊舱用图像融合方法，将吊舱内可见光成像系统与红外成像系统关联起来， 将目标的红外图像特征与可见光图像特征融合于一路图像视频中输出。最大 程度满足了光电吊舱对全天候昼夜侦察的需求。

本发明的技术解决方案为：

一种机载光电吊舱用图像融合方法，所述机载光电吊舱中安装有可见光 成像系统与红外成像系统，所述图像融合方法步骤如下：

(1)光轴标校：将可见光成像系统的光轴与红外成像系统的光轴调整为 平行状态；

(2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像 系统的相应焦距值，令可见光成像系统与红外成像系统联动，得到可见光成 像系统与红外成像系统各自的图像；

(3)图像配准：通过可见光成像系统的焦距值与红外成像系统的焦距值 计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏 移角度值并进行图像平移补偿；

(4)将图像配准之后的可见光成像系统的图像与红外成像系统的图像进 行图像融合。

所述步骤(1)将可见光成像系统的光轴与红外成像系统的光轴调整为平 行状态，具体通过如下步骤进行：

(2.1)寻取500m～3000m范围内的矩形边界的目标作为标定目标，所 述标定目标的边界均匀；

(2.2)将可见光成像系统中的可见光十字靶标对准所述标定目标的直角 边界，作为标定基准；

(2.3)切换至红外成像系统，读取红外成像系统中的红外十字靶标的偏 移量，所述红外十字靶标的坐标偏移量是指：红外十字靶标靶心与目标纵向 边界之间的偏移像素值X和红外十字靶标靶心与目标横向边界之间偏移像 素值Y；

(2.4)根据步骤(2.3)得到的偏移像素值计算红外成像系统与可见光成 像系统之间的偏移角度值C；

(2.5)通过公式V＝tanC·H计算调整所述偏移角度值C所需添加的调 整垫片的厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离；

(2.6)根据步骤(2.5)中计算得到的调整垫片的厚度V为红外成像系 统添加调整垫片，调整红外成像系统的光轴角度，使得可见光成像系统的光 轴与红外成像系统的光轴平行。

所述步骤(2)以可见光成像系统的焦距为基准进行联动变焦计算，得到 红外成像系统的相应焦距值，通过如下方式实现：

$\mathrm{VF}=\frac{({\mathrm{VF}}_{\max }-{\mathrm{VF}}_{\min })(\mathrm{IF}-{\mathrm{IF}}_{\min })}{{\mathrm{IF}}_{\max }-{\mathrm{IF}}_{\min }}+{\mathrm{VF}}_{\min };$

其中VF为红外成像系统的相应焦距值，IF为可见光成像系统的焦距值， VF_max为红外成像系统的最大焦距值，VF_min为红外成像系统的最小焦距值， IF_max为可见光成像系统的最大焦距值，VF_min为可见光成像系统的最小焦距 值。

所述步骤(3)进行图像配准具体通过如下步骤进行：

(4.1)读取可见光成像系统焦距值f′_可；

(4.2)读取红外成像系统焦距值f′_红；

(4.3)根据(4.1)中得到的可见光成像系统焦距值f′_可与(4.2)中得到 的红外成像系统焦距值f′_红，并通过公式和分别计算可见光 成像系统在可见光图像传感器上的投影像高y′_可与红外成像系统在红外图像 传感器上的投影像高y′_红；

则红外成像系统与可见光成像系统成像尺寸比例G为：

r_可为可知可见光图像传感器像元尺寸，r_红为红外图像传感器像元尺寸；

(4.4)以可见光图像为基准对红外图像进行G倍的图像缩放；

(4.5)通过可见光成像系统的焦距所处焦距段位置计算偏移像素个数；

(4.6)根据(4.5)计算得到的图像所需偏移像素个数对红外成像系统的 图像进行平移补偿。

所述步骤(4.5)通过可见光成像系统的焦距所处焦距段位置计算偏移像 素个数具体为：

(5.1)将可见光成像系统的焦距范围均分为10个焦距段；

(5.2)在10个焦距段分隔点处采集可见光成像系统与红外成像系统间 相对光轴偏移量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为 焦距值，横坐标为偏移量的坐标系内，在两个相隔采集点间用线性方式做近 似拟合，得到焦距-偏移量二维坐标系；

(5.3)根据(5.2)焦距-偏移量二维坐标系计算偏移像素个数。

本发明与现有技术相比的优点在于：

相比于目前现有各种类多装载光电吊舱只能输出单一某一路选定视频 图像信息，存在目标特征显示不完全，目标伪装识别能力差的不足。本发明 图像融合方法在光电吊舱内的应用，可以将可见光红外双路成像系统联动， 将双路视频图像特征实时融合为一路视频输出。大大增强了对目标特征识别 及目标伪装识别的能力。为实现光电吊舱全天候昼夜侦查提供了必不可少的 坚实基础。

附图说明

图1为本发明的方法流程图；

图2为本发明光轴标校流程图；

图3为本发明图像配准流程图；

图4为光轴标校选取目标示意图；

图5为光轴标校偏移量读取示意图。

具体实施方式

本发明提供了一种机载光电吊舱用图像融合方法，机载光电吊舱中安装 有可见光成像系统与红外成像系统。本发明的原理是：对可见光成像系统、 红外成像系统分别在变焦过程中的光轴一致性进行标校，使其满足变焦光轴 一致性要求。利用光轴平行度标校系统对可见光成像系统和红外成像系统进 行光轴高精度光轴平行度标校，使其满足平行度要求。通过计算，将红外成 像系统与可见光成像系统相关联，由计算机控制芯片控制两个成像系统的变 焦系统同步联动。两光学系统焦距范围不同产生不同变倍区间，采用数字图 像变倍方式补偿。光轴平行度误差、变焦过程光轴一致性误差，采用图像平 移方式进行补偿。从而实现可见光与红外两路光学成像系统的融合。

如图1所示，本发明图相融合方法的步骤如下：

(1)光轴标校：将可见光成像系统的光轴与红外成像系统的光轴调整为 平行状态；

如图2所示，具体通过如下步骤进行：

(1.1)如图4所示，寻取500m～3000m范围内的矩形边界的目标作为 标定目标，所述标定目标的边界均匀；

(1.2)如图5所示，将可见光成像系统中的可见光十字靶标对准所述标 定目标的直角边界，作为标定基准；

(1.3)切换至红外成像系统，读取红外成像系统中的红外十字靶标的偏 移量，所述红外十字靶标的偏移量是指：红外十字靶标靶心与目标横纵两个 边界之间的偏移像素值，其中横向偏移量为X，纵向偏移量为Y；

(1.4)根据步骤(1.3)得到的偏移像素值计算红外成像系统与可见光成 像系统之间的偏移角度值C；

(1.5)通过公式V＝tanC·H分别计算横纵两个方向调整所述偏移角度值 C所需添加的调整垫片的厚度V，其中，H是相机结构在安装板上的两个安 装孔之间的距离；本发明中相机结构需要固定在吊舱中的安装板上，且安装 孔有两个，均在安装板上。

(1.6)根据步骤(1.5)中计算得到的调整垫片的厚度V为红外成像系 统添加调整垫片的厚度，分别调整红外成像系统横纵两个方向的光轴角度， 使得可见光成像系统的光轴与红外成像系统的光轴平行。

(2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像 系统的相应焦距值，令可见光成像系统与红外成像系统联动，得到可见光成 像系统与红外成像系统各自的图像；

通过如下方式实现：

$\mathrm{VF}=\frac{({\mathrm{VF}}_{\max }-{\mathrm{VF}}_{\min })(\mathrm{IF}-{\mathrm{IF}}_{\min })}{{\mathrm{IF}}_{\max }-{\mathrm{IF}}_{\min }}+{\mathrm{VF}}_{\min }$

其中VF为红外成像系统的相应焦距值，IF为可见光成像系统的焦距值， VF_max为红外成像系统的最大焦距值，VF_min为红外成像系统的最小焦距值， IF_max为可见光成像系统的最大焦距值，VF_min为可见光成像系统的最小焦距 值。

(3)图像配准：通过可见光成像系统的焦距值与红外成像系统的焦距值 计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏 移角度值并进行图像平移补偿；

如图3所示，具体通过如下步骤进行：

(3.1)读取可见光成像系统焦距值f′_可；

(3.2)读取红外成像系统焦距值f′_红；

(3.3)根据(3.1)中得到的可见光成像系统焦距值f′_可与(3.2)中得到 的红外成像系统焦距值f′_红，并通过公式和分别计算可见光 成像系统在可见光图像传感器上的投影像高y′_可与红外成像系统在红外图像 传感器上的投影像高y′_红；

则红外成像系统与可见光成像系统成像尺寸比例G为：

可见光图像传感器像元尺寸为r_可，红外图像传感器像元尺寸为r_红；

(3.4)以可见光图像为基准对红外图像进行G倍的图像缩放；

(3.5)通过可见光成像系统的焦距所处焦距段位置计算偏移像素个数；

具体为：

(a)将可见光成像系统的焦距范围均分为10个焦距段；

(b)在10个焦距段分隔点处采集可见光成像系统与红外成像系统间相 对光轴偏移量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为焦 距值，横坐标为偏移量的坐标系内，在两个相隔采集点间用线性方式做近似 拟合，得到焦距-偏移量二维坐标系；

(c)根据(b)焦距-偏移量二维坐标系计算偏移像素个数；

(3.6)根据(3.5)计算得到的图像所需偏移像素个数对红外成像系统 的图像进行平移补偿。

(4)将图像配准之后的可见光成像系统的图像与红外成像系统的图像进 行图像融合。