一种双光谱夜视仪车载系统及双光谱融合设计方法

摘要

本发明公开了一种双光谱夜视仪车载系统及双光谱融合设计方法，包括用于对可见光谱和红外光谱的成像以及对图像数据的采集、处理、融合和传输的红外双光谱成像模组；用于完成图像数据接收的图像接收系统；用于完成图像向观察者显示的显示终端；用于完成对成像模式功能及开关的控制的控制终端。本发明采用电子融合方式可解决双光谱图像同轴成像偏差问题，可降低成像系统加工精度要求，为列车前视观测提供了更加清晰的图像；基于场景运动目标的融合方法为双光谱成像系统提供了基准源，降低了运算量提升了配准可靠性，便于硬件实现，具备实时性；基于多尺度理论配合双边滤波的加权融合方法，简单易行，提升成像细节信息，降低运算能力。

说明书

技术领域

本发明属于列车前视技术领域，尤其涉及一种双光谱夜视仪车载系统及双光谱融合设计方法。

背景技术

夜视仪是从坦克夜视仪转移过来的技术，是一个典型的军事技术转为民用的产品。随着列车、高速轨道交通的快速发展和安防意识日益强化,人们对列车安全保障技术的要求越来越高,而现有列车照明系统在雨夜、雪天或大雾等能见度较低情况下视距不远、效果不佳的弊病成为列车行驶的安全隐患之一。

现有的列车前视观测系统采用CCD或CMOS成像系统辅助观测，但是这种单一的光谱图像在恶劣天气根本无法反映路况，尤其是在雾雪、雨天更加明显。

红外成像系统分辨率低，细节、对比度不佳，也不易单独使用。

微光夜视技术，通过带像增强管的夜视镜，对夜晚光照亮的微弱目标像进行增强，以供观察的光电成像技术。微光夜视技术在白天存在过度增强的现象，易受天气条件影响工作，抗干扰特性差的问题。

在图像融合技术领域，现有的配准技术不成熟，尤其是在红外和可见光配准，由于红外光和可见光在图像特性方面的差别大，相关性小，加上场景信息中不存在缺乏已知的特征点，因此配准不可靠，另外配准计算量大，目前还没有发现有较好的完全基于算法的、稳定的配准算法。

发明内容

本发明实施例的目的在于提供一种双光谱夜视仪车载系统及设计方法，旨在解决现有恶劣天气可见光成像系统观测距离近的问题，红外成像系统分辨率低、对比度模糊、特征信息不明确、目标细节不容易辨认等方面的不易观测问题，解决单模传感器系统效果差问题，解决双光谱图像融合配准的可靠性问题。

本发明实施例是这样实现的，一种双光谱夜视仪车载系统，该双光谱前视系统包括：红外双光谱成像模组，图像接收系统，显示终端，控制终端；

用于对可见光谱和红外光谱的成像以及对图像数据的采集、处理、融合和传输的红外双光谱成像模组；

用于完成图像数据接收的图像接收系统，连接红外双光谱成像模组，接收红外双光谱成像模组的成像信号；

用于完成图像向观察者显示的显示终端，连接图像接收系统，接收图像接收系统的图像信号；

用于完成对成像模式功能及开关控制的控制终端，连接红外双光谱成像模组。

进一步，红外双光谱成像模组还包括：红外光学物镜，红外相机，可见光光学物镜，可见光相机，图像融合处理电路，图像编码器，图像传输系统;

用于完成可见光的过滤、红外光增透、焦距调节功能的红外光学物镜；

用于完成红外光信号的采集，将红外光谱信号向电信号的转换的红外相机；

用于完成可见光增透、焦距调节和光圈调节的可见光光学物镜；

用于完成可见光的采集，将可见光光谱信号向电信号转换的可见光相机；

用于完成双光谱图像亮度调节、几何校正、中心配准、融合、增强的图像融合处理电路；

与图像融合处理电路连接，用于完成数字图像向标准图像格式的转换的图像编码器，连接图像处理电路，接收图像融合电路的图像；

与图像融合电路连接，用于完成图像向外的传输功能的图像传输系统，连接图像编码器，完成图像的传输。

进一步，图像融合处理电路还包括：FPGA，DSP，尺度校正存储器RAM，FLASH。

FPGA，连接可见光相机和红外相机，结合尺度校正存储器共同完成红外图像的细节提取、轮廓提取，完成可见光图像的细节提取、轮廓提取，完成图像轮廓匹配，完成配准几何尺度变换，完成图像细节和轮廓融合，完成图像增强一系列处理，同时对整个融合处理电路系统各电路单元之间的协调控制；

DSP，连接图像编码器，结合连接的RAM，FLASH，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示。DSP，连接图像编码器，结合连接的SRAM，FLASH，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示。

进一步，显示终端采用LCD屏进行显示。

进一步，控制终端采用按钮的方式进行控制。

本发明实施例的目的在于提供一种双光谱夜视仪车载系统的设计方法，该双光谱夜视仪车载系统的关键设计方法包括双光谱图像融合方法设计。

红外系统成像效果与可见光成像效果的差距主要表现在分辨率低、对比度模糊、特征信息不明确、目标细节不容易辨认等方面，需要进行专门的增强算法处理；可见光系统成像系统在夜间、雨雾天气成像距离近，不具备穿透力，受光线条件影响大。作为列车前视系统需要在各种天气环境下使用，单独采用一种类型的前视系统效果不佳。由于可见光和红外图像在图像特征方面差别较大，相关性差，传统的融合技术完全是基于图像特征或互信息的融合，计算量非常大，且由于场景光线等条件变化对基于特征或互信息的提取产生较大影响，导致配准的稳定性较低。在这种情况下，本发明提出了采用基于场景运动轨迹的配准方法解决双光谱配准基准源问题，采用多尺度细节加权融合的方法提升成像细节信息并降低融合计算量。同时，本发明研究了一种红外光谱成像和可见光光谱成像的实时融合系统。其方法是在双光谱相机固定，且视场交叠的情况下，首先采用同一模板对双光谱成像系统进行标校，产生预先设计的尺度变换矩阵用于真实应用时的系统预定标，该标校方法本发明中不予以保护。在真实应用过程中由于安装问题、震动问题或传感器老化、镜头焦距变换等问题导致成像系统成像效果与预设值发生偏移，这时需要进行精配准，这里采用的方法是基于场景运动目标轨迹方法实现精配准，经过粗配准和精配准后采用多尺度加权融合的方法实现双光谱图像融合。具体步骤如下：

步骤A、对可见光谱图像和红外光谱图像进行增强处理，采用预先标定的尺度变换矩阵完成粗配准标定。

步骤B、通过对红外视场内的单一物体和可见光视场内的单一物体进行运动检测，确定其运动轨迹。完成两个运动轨迹的拟合，确定精匹配用的尺度变换矩阵，使用该矩阵生成待融合的红外光谱图像和可见光光谱图像。

步骤B包含以下具体步骤：

B1：可见光图像在多帧之间进行帧间差分运动检测，利用mean-shift算法进行运动跟踪；红外图像在多帧之间进行帧间差分检测，利用mean-shift算法进行运动跟踪。并在图像中的记录运动轨迹。

B2：对两种运动轨迹进行曲线配准。

B3：根据配准结果生成配准变换矩阵，并对其中一个图像进行几何尺度变换。

步骤C、对红外光谱图像和可见光光谱图像各自分成不重叠的块，分别计算其中的信息量。将红外光谱图像和可见光光谱图像使用高斯金字塔分成不同尺度的图像，在不同尺度提取细节特征，并根据信息量特征进行加权评估，最后采用拉普拉斯金字塔进行合成，形成新的融合图像。

步骤C包含以下具体步骤：

C1：将红外光谱图像和可见光光谱图像使用高斯金字塔分成不同尺度的图像；

C2:在不同尺度使用双边滤波提取细节特征；

C3:在不同尺度对细节特征进行加权叠加。

C4:采用拉普拉斯金字塔进行合成，形成新的融合图像。

步骤D、对融合后的图像进行增强处理。

本发明采用上述技术方案与现有的技术方案相比，具有以下技术效果：

（1）本发明采用红外相机和可见光相机进行配准融合的方法，相对于单独采用红外相机或可见光相机的前视系统，在全天候、清晰度方面更具备成像优势。

（2）本技术方案简单易行，实现图像融合电路通过系统集成的方法可快速构建起整套系统，可实现原型，有利于提高生产效率。

（3）采用基于场景运动目标轨迹检测并配准的方案，为不同传感器系统在实际场景应用时提供了同一基准源，有利于提升配准精度和配准可靠性。基于目标轨迹的配准方案，相对于现有基于图像轮廓的配准方法、基于互信息的配准方法更加简单可靠，且运算量小，便于实时实现。

（4）采用多尺度理论配合双边滤波细节特征进行加权融合的方案，更能够将红外光谱图像、可见光光谱图像中的弱小目标特征体现出来。使融合图像更具备可观性。该配准方案简单易行，便于硬件实现。

本发明提供的双光谱夜视仪车载系统，通过增设用户控制电路模块，构成没有限定，用户根据设备的控制要求自行设计，实现了设备的可变性和控制功能的多样化。本发明通过计算机模块与用户控制电路模块构成闭环控制，满足了验证用户控制电路和控制软件的正确性、准确性的需要。

此外，本发明效果如下：1）采用电子融合方式可解决双光谱图像同轴成像偏差问题，可降低成像系统加工精度要求，2）可解决了单一光谱成像效果不佳的问题，为列车前视观测提供了更加清晰的图像。3)基于场景运动目标的融合方法为双光谱成像系统提供了基准源，降低了运算量提升了配准可靠性，便于硬件实现，具备实时性。4）基于多尺度理论配合双边滤波的加权融合方法，简单易行，提升成像细节信息，降低运算能力。

附图说明

图1是本发明实施例提供的双光谱夜视仪车载系统的结构框图；

图2是本发明实施例提供的红外双光谱成像模组的结构框图。

图中：1、红外双光谱成像模组；2、图像接收系统；3、显示终端；4、控制终端；1-1、红外光学物镜；1-2、红外相机；1-3、图像融合处理电路；1-4、图像编码器；1-5、图像传输系统；1-6、可见光光学物镜；1-7可见光相机。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的双光谱夜视仪车载系统结构。为了便于说明，仅仅示出了与本发明相关的部分。

本发明的双光谱夜视仪车载系统，该双光谱夜视仪车载系统包括：红外双光谱成像模组，图像接收系统，显示终端，控制终端；

用于对可见光谱和红外光谱的成像以及对图像数据的采集、处理、融合和传输的红外双光谱成像模组；

用于完成图像数据接收的图像接收系统，连接红外双光谱成像模组，接收红外双光谱成像模组的成像信号；

用于完成图像向观察者显示的显示终端，连接图像接收系统，接收图像接收系统的图像信号；

用于完成对成像模式功能及开关控制的控制终端，连接红外双光谱成像模组。

作为本发明实施例的一优化方案，红外双光谱成像模组还包括：红外光学物镜，红外相机，可见光光学物镜，可见光相机，图像融合处理电路，图像编码器，图像传输系统;

用于完成可见光的过滤、红外光增透、焦距调节功能的红外光学物镜；

用于完成红外光信号的采集，将红外光谱信号向电信号的转换的红外相机；

用于完成可见光增透、焦距调节和光圈调节的可见光光学物镜；

用于完成可见光的采集，将可见光光谱信号向电信号转换的可见光相机；

用于完成双光谱图像亮度调节、几何校正、中心配准、融合、增强的图像融合处理电路；

与图像融合处理电路连接，用于完成数字图像向标准图像格式的转换的图像编码器，连接图像处理电路，接收图像融合电路的图像；

与图像融合电路连接，用于完成图像向外的传输功能的图像传输系统，连接图像编码器，完成图像的传输。

作为本发明实施例的一优化方案，图像融合处理电路还包括：FPGA，DSP，尺度校正存储器RAM，FLASH。

FPGA，连接可见光相机和红外相机，结合尺度校正存储器共同完成红外图像的细节提取、轮廓提取，完成可见光图像的细节提取、轮廓提取，完成图像轮廓匹配，完成配准几何尺度变换，完成图像细节和轮廓融合，完成图像增强一系列处理，同时对整个融合处理电路系统各电路单元之间的协调控制；

DSP，连接图像编码器，结合连接的RAM，FLASH，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示。DSP，连接图像编码器，结合连接的RAM，FLASH，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示。

作为本发明实施例的一优化方案，显示终端采用LCD屏进行显示。

作为本发明实施例的一优化方案，控制终端采用按钮的方式进行控制。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

1.1应用原理

如图1所示，本发明实施例的双光谱夜视仪车载系统主要由红外双光谱成像模组1，图像接收系统2，显示终端3，控制终端4组成；

红外双光谱成像模组1，连接图像接收系统2和控制终端4，用于对可见光的成像以及对图像数据的采集、处理和传输；

图像接收系统2，连接显示终端3，用于完成图像数据的接收；

显示终端3，用于完成图像向观察者显示；

控制终端4，用于完成对成像模式等功能及开关的控制，

红外双光谱成像模组1由红外光学物镜1-1，红外相机1-2，图像融合处理电路1-3，图像编码器1-4，图像传输系统1-5，可见光光学物镜1-6，可见光相机1-7图1所示：

红外光学物镜1-1，连接红外相机1-2，用于完成红外光的过滤、红外光增透、焦距调节等功能；

红外相机1-2，连接图像处理电路1-3，用于完成红外光信号的采集，光信号向电信号的转换；

图像融合处理电路1-3，连接图像编码器1-4，用于完成双光谱图像亮度调节、几何校正、中心配准、融合、增强处理；

图像编码器1-4，连接图像传输系统1-5，用于完成数字图像向标准图像格式的转换；

图像传输系统1-5，用于发送图像数据。

可见光物镜1-6，与可见光相机1-7连接，用于完成可见光增透、焦距调节和光圈调节。

可见光相机1-7，与图像融合处理电路1-3连接，用于实现可见光谱信号向电信号的转换。

图像融合处理电路1-3的详细组成结构如图2所示：

图像处理电路1-3由FPGA，DSP，尺度校正存储器RAM，FLASH组成：

FPGA，连接可见光相机和红外相机，结合尺度校正存储器共同完成红外图像的细节提取、轮廓提取，完成可见光图像的细节提取、轮廓提取，完成图像轮廓匹配，完成配准几何尺度变换，完成图像细节和轮廓融合，完成图像增强一系列处理，同时对整个融合处理电路系统各电路单元之间的协调控制；

DSP，连接图像编码器，结合连接的RAM，FLASH，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示。显示终端3采用LCD屏进行显示，控制终端4采用按钮的方式进行控制。

红外系统成像效果与可见光成像效果的差距主要表现在分辨率低、对比度模糊、特征信息不明确、目标细节不容易辨认等方面，需要进行专门的增强算法处理；可见光系统成像系统在夜间、雨雾天气成像距离近，不具备穿透力，受光线条件影响大。作为列车前视系统需要在各种天气环境下使用，单独采用一种类型的前视系统效果不佳，因此本发明研究了一种红外光谱成像和可见光光谱成像的实时融合系统。其方法是在双光谱相机固定，且视场交叠的情况下，首先采用同一模板对双光谱成像系统进行标校，产生预先设计的尺度变换矩阵用于真实应用时的粗校正矩阵。在真实应用过程中由于安装问题、震动问题或传感器老化、镜头焦距变换等问题导致成像系统成像效果与预设值发生偏移，这时需要进行精配准，这里采用的方法是基于场景运动目标检测的方法实现精配准，经过粗配准和精配准后采用多尺度加权融合的方法实现双光谱图像融合。具体步骤如下：

步骤A、对可见光谱图像和红外光谱图像进行增强处理，采用预先标定的尺度变换矩阵完成粗配准标定。

步骤B、通过对红外视场内的单一物体和可见光视场内的单一物体进行运动检测，确定其运动轨迹。完成两个运动轨迹的拟合，确定精匹配用的尺度变换矩阵，使用该矩阵生成待融合的红外光谱图像和可见光光谱图像。

步骤B包含以下具体步骤：

B1：可见光图像在多帧之间进行帧间差分运动检测，利用mean-shift算法进行运动跟踪；红外图像在多帧之间进行帧间差分检测，利用mean-shift算法进行运动跟踪。并在图像中的记录运动轨迹。

B2：对两种运动轨迹进行曲线配准。

B3：根据配准结果生成配准变换矩阵，并对其中一个图像进行几何尺度变换。

步骤C、对红外光谱图像和可见光光谱图像各自分成不重叠的块，分别计算其中的信息量。将红外光谱图像和可见光光谱图像使用高斯金字塔分成不同尺度的图像，在不同尺度提取细节特征，并根据信息量特征进行加权评估，最后采用拉普拉斯金字塔进行合成，形成新的融合图像。

步骤C包含以下具体步骤：

C1：将红外光谱图像和可见光光谱图像使用高斯金字塔分成不同尺度的图像；

C2:在不同尺度使用双边滤波提取细节特征；

C3:在不同尺度对细节特征进行加权叠加。

C4:采用拉普拉斯金字塔进行合成，形成新的融合图像。

步骤D、对融合后的图像进行增强处理。

1.2本发明的工作原理

红外双光谱成像模组1中的红外光学物镜1-1接收可见光并进行过滤、红外光增透、焦距调节等工作，红外焦平面读出电路1-2中的红外焦平面传感器完成光信号向电信号的转换，驱动电路驱动红外焦平面传感器，提供红外焦平面传感器正常工作所需偏置电压、时钟及控制信号、温控信号等，数据采集电路完成传感器输出的模拟视频信号的A/D转换并传输给数据处理电路1-3，图像处理电路1-3中的FPGA结合连接其上的校正存储器SRAM，盲点存储器SRAM和EEPROM，共同完成对图像数据进行非均匀性校正、图像增强、盲元补偿等一系列处理，同时完成对整个红外成像电路系统各电路单元之间的协调控制，DSP结合连接其上的的SRAM，FLASH将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示，完成图像的校正、增强、对比度调节、过热条件计算、最终生成高清晰的图像，图像编码器1-4完成数字图像向标准图像格式的转换，图像传输系统1-5将图像向图像接收系统2和控制终端4传输，图像接收系统2将图像数据接收并传输至显示终端3，完成图像向观察者显示，用户通过控制终端4完成对成像模式等功能及开关的控制。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。