一种短波红外驾驶员视觉增强系统

摘要

本发明提供一种短波红外驾驶员视觉增强系统，包括短波红外透过镜头、短波红外成像装置、综合数据处理装置、控制模块、电源模块、显示装置，短波红外透过镜头和短波红外成像装置连接，综合数据处理装置通过数据传输线与短波红外成像装置连接，通过视频信号线与显示装置连接，控制模块通过控制线连接短波红外成像装置和综合数据处理装置，电源模块提供该系统所需的电源，上述所有装置均安装在驾驶室内。本发明优点在于：利用短波红外穿透玻璃的特性，将短波红外驾驶员视觉增强系统安装于驾驶室内，弥补了长波红外视觉增强系统因无法穿透玻璃需安装车外的不足，同时降低了结构上防风防雨防盗等要求。

说明书

技术领域

本发明涉及成像系统，具体是一种车载短波红外成像装置。

背景技术

目前，车辆在夜间、雾、霾、雨、雪等低能见度天气行驶时，驾 驶员视野受限，对远方道路环境观察能力下降，容易发生交通事故。 现有的近红外主动成像技术，主动照射距离不远，穿透雾、霾、雨、 雪等的能力有限，成像不清晰，且易受外界强光干扰。采用长波红外 探测器的视觉增强系统，探测距离远，穿透能力强，但是长波红外成 的是热量分布图像与可见光图像差别很大，不符合人眼的观察习惯， 且目标细节分辨能力不够。

2006年12月出版的《红外与激光工程》第35卷第6期第643 至第647页的文章“短波红外成像技术及其军事应用”讲述了短波红外 的基本概念，所有利用红外辐射成像的技术都是红外成像技术，包括 被动红外成像技术和主动红外成像技术。而短波红外成像属于被动成 像，因为其不依靠人工红外光源照明，而是靠接收景物自身反射的短 波红外成像。短波红外光谱范围为0.9～2.5um，所有物体都反射环境 中普遍存在的短波红外辐射。由于短波红外技术的发展，使红外成像 的波段覆盖了位于长波、中波和短波红外的三个大气红外窗口。短波 红外工作在刚出可见光范围之外，因为与可见光类似短波红外采用反 射成像（高温物体，温度高于300℃物体也可以发出短波红外光）， 因而所成的像非常类似于可见光图像，细节丰富。同时短波红外又具 有中、长波红外的穿透能力，可以在阴霾、雾、雨、雪环境下依然保 持良好的图像对比度，并且可以穿透普通玻璃和有机玻璃。此外短波 红外可以在最低到有星光的夜晚成像，使用自然物体比如大气层夜晚 的辉光成像。大气层夜晚的辉光是由羟基离子发射的光谱中的短波红 外部分，因而短波红外成像可以作为夜视手段之一。

发明内容

本发明的所要解决的技术问题在于提供一种适于驾驶员使用的 短波红外驾驶员视觉增强系统，可工作在主动模式与被动模式下，系 统不仅结构简单，成像清晰，不闪烁，并且能够在夜间、阴霾等恶劣 条件下正常工作，弥补现有可见光、长波红外在驾驶辅助系统方面的 不足。

本发明采用以下技术方案解决上述技术问题的：一种短波红外驾 驶员视觉增强系统，包括短波红外透过镜头（1）、短波红外成像装置 （2）、综合数据处理装置（3）、控制模块（4）、电源模块（5）、显示 装置（6），所述短波红外透过镜头（1）和短波红外成像装置（2）连 接，所述综合数据处理装置（3）通过数据传输线与短波红外成像装 置（2）连接，通过视频信号线与显示装置（6）连接，控制模块（4） 通过控制线连接短波红外成像装置（2）和综合数据处理装置（3）， 电源模块（5）提供该系统所需的电源，短波红外透过镜头（1）、短 波红外成像装置（2）、综合数据处理装置（3）、控制模块（4）、电源 模块（5）、显示装置（6）均安装在驾驶室内。

优化的，所述短波红外透过镜头（1）和短波红外成像装置（2） 安装在驾驶室内的后视镜背后正中央，朝向前挡风玻璃。

更优化的，所述短波红外成像装置（2）、综合数据处理装置（3）、 控制模块（4）、电源模块（5）都集成在一个外壳结构内。

具体的，所述短波红外透过镜头（1）透过波长在0.4um～2.5um 范围内的可见光和红外光，所述短波红外成像装置（2）工作在 0.9～2.5um的短波红外光谱段。

更具体的，所述综合数据处理装置（3）包括图像采集及校正模 块（32）、智能恶劣环境图像增强单元（34）、图像显示模块（36）， 所述图像采集及校正模块（32）首先将短波红外成像装置（2）中的 图像信息转换为数字图像数据，再校正消除数字信号畸变；之后智能 恶劣环境图像增强单元（34）对经过图像采集及校正模块（32）的数 字图像数据进行分析，解析环境参数，与智能恶劣环境图像增强单元 （34）中预先存储的环境参数比对，然后选择对应的环境图像增强单 元进行环境图像增强；最后通过图像显示模块（36）送至显示装置（6） 进行图像显示，控制模块（4）通过串口或者USB2.0来调整图像采 集及校正模块（32）、智能恶劣环境图像增强单元（34）、图像显示模 块（36）的参数。

更具体的，所述智能恶劣环境图像增强单元（34）包括图像质量 评估单元（341）、区域分离单元（342）、环境分级单元（343）、增强 权值单元（344）、图像增强单元（345）；

图像质量评估单元（341）用于评估图像采集及校正模块（32） 送来的数字图像数据的细节程度，当超过预定阈值时认为光线充足、 图像足够清晰，数据直接输出到图像显示模块（36）然后在显示装置 （6）上显示，否则需要将数字图像数据送至区域分离单元（342）作 进一步处理；

区域分离单元（342）将数字图像数据划分为三个区域：路面区 域，天空区域，其它区域，然后送至环境分级单元（343），区域分离 单元（342）通过路沿检测分离出路面区域，再通过灰度直方图信息 分离出天空区域所在位置，不处在路面区域，天空区域的划分为其他 区域；

环境分级单元（343）预存各个区域的光照情况以及气候情况的 模型特征参数，数字图像数据通过匹配模型特征参数进行环境分级， 得到当前环境等级，环境等级包括光照等级G_L和气候等级G_C；

增强权值单元（344）通过当前光照等级G_L和气候等级G_C获得针 对当前环境等级的图像增强算法的光照复原权值参数W_L和天气复原 权值参数W_C；

图像增强单元（345）针对光照等级与气候等级采用不同的图像 处理方法，通过光照复原算法和天气复原算法得到2幅复原图像，通 过加权平均方法得到最终的复原图像，输出到图像显示模块（36）， 其中加权平均的权值参数W_L和W_C通过增强权值单元（344）得到。

更具体的，所述图像质量评估单元（341）选择基于梯度的图像 质量评定算法，针对人眼系统对亮度的灵敏度以及图像方差提出图像 质量评估公式，

Q=αlogL+βσ+χ

Q是图像质量，α,β,χ是常量，L是图像亮度，σ是基于对梯度的 图像方差估计。α,β的取值范围分别为：10<α<1000,0<β<10，χ为 正值用来保证Q>0。

更具体的，所述环境分级单元（343）还预存光照图像增强参数P_L、 气候图像增强参数P_C提供给图像增强单元（345），根据环境等级查询 得到，环境分级单元（343）预存的图像增强参数和模型特征参数通 过控制模块（4）写入。

更具体的，所述增强权值单元（344）的权值参数计算公式有： [W_Li W_Ci]=F(G_Li,R_Li,G_Ci,R_Ci)，其中光照等级G_Li、气候等级G_Ci是指某一 特定光照等级和气候等级，R_Li=f₁(P_Li)，R_Ci=f₂(P_Ci)，R_Li评估的是当 前光照图像增强参数P_Li在光照图像增强参数集合P_L中的增强程度， R_Li评估的是当前光照图像增强参数P_Li在光照图像增强参数集合P_L中 的增强程度，类似的，R_Ci评估的是当前气候图像增强参数在气候图 像增强参数集合P_C中的增强程度，另外存在约束条件W_Li=1-W_Ci，如 果不考虑增强程度，也可以简单取W_Li=1/2,W_Ci=1/2。

作为更优化的方案，所述短波红外驾驶员视觉增强系统还需要包 括额外的辅助照明设备（7），辅助照明设备（7）包括溴钨灯、 900nm～2500nm波长的激光和LED中的任一种，辅助照明设备（7） 与短波红外成像装置（1）一同安装于驾驶室内，或者独立安装于车 顶。

本发明通过上述技术解决方案达到以下效果：

1、本发明利用短波红外穿透玻璃的特性，将短波红外驾驶员视 觉增强系统安装于驾驶室内，弥补了长波红外视觉增强系统因无法穿 透玻璃需安装车外的不足，同时降低了结构上防风防雨防盗等要求。

2、本发明短波红外驾驶员视觉增强系统既有长波红外的穿透能 力强、探测距离远的优点，同时具备可见光提供较高的目标细节分辨 率。

3、充分利用短波红外在恶劣条件下的穿透等特性，另外增加智 能恶劣环境图像增强单元，使系统能够自适应判断环境情况，针对夜 晚、阴霾等低可见恶劣场景进行选择性图像增强，辅助驾驶员在特殊 环境下驾驶，提高了驾驶员对危险路况的感知能力，提高了行车安全 性。

4、本系统体积小、安装简易，具备模块化，可控性。

5、可选主动模式和被动模式。主动模式下可以做到隐蔽照明， 在不干扰他人的情况下扩大了视野范围，提高装置的成像清晰度。

附图说明

图1为本发明短波红外驾驶员视觉增强系统的结构原理框图。

图2为本发明中综合数据处理装置的组成模块原理框图。

具体实施方式

以下结合附图对本发明进行详细的描述。

请参阅图1，本发明一种短波红外驾驶员视觉增强系统，包括短 波红外透过镜头1、短波红外成像装置2、综合数据处理装置3、控 制模块4、电源模块5、显示装置6。

所述短波红外透过镜头1和短波红外成像装置2连接；所述综合 数据处理装置3通过数据传输线与短波红外成像装置2连接，通过视 频信号线与显示装置6连接；控制模块4通过控制线连接短波红外成 像装置2和综合数据处理装置3。控制模块4控制短波红外成像装置 2和综合数据处理装置3的状态，完成人机交互功能。电源模块5提 供该系统所需的电源。上述所有装置均安装在驾驶室内。

该短波红外驾驶员视觉增强系统的工作流程如下：通过短波红外 透过镜头1会聚目标物体的短波红外光，再通过短波红外成像装置2 将短波红外光转换成图像信息，再经过综合数据处理装置3的数据处 理，传递到显示装置6上显示出目标物体。

优化的，利用短波红外穿透普通玻璃和有机玻璃的特性，所述短 波红外透过镜头1和短波红外成像装置2安装在驾驶室内的后视镜背 后正中央，朝向前挡风玻璃。

优化的，为节省车内空间，所述短波红外成像装置2、综合数据 处理装置3、控制模块4、电源模块5都集成在一个外壳结构内，或 者所述综合数据处理装置3可以安装在外壳外，做为一个模块外置独 立安装在车内。

优化的，所述短波红外透过镜头1为C口或CS口镜头；

优化的，所述短波红外透过镜头1可透过波长在0.4um～2.5um范 围内的可见光和红外光，所述短波红外成像装置2工作在0.9～2.5um 的短波红外光谱段。

优化的，所述短波红外成像装置2至少拥有一个短波红外探测 器，所述短波红外探测器是面阵探测器或者点元探测器或线阵探测 器。

进一步优化的，所述短波红外成像装置2采用制冷或非制冷短 波红外探测器，包括但不限于：铟镓砷(InGaAs)、碲镉汞(HgCdTe)、 锑化铟(InSb)、近红外敏感的CCD、CMOS等探测器。

作为一个优选的实施例，所述综合数据处理装置3采用嵌入式 FPGA处理器。如图2所示，所述综合数据处理装置3包括图像采集 及校正模块32、智能恶劣环境图像增强单元34、图像显示模块36。

所述图像采集及校正模块32首先将短波红外成像装置2中的图 像信息转换为数字图像数据，再校正消除因镜头以及电路等引起的数 字信号畸变；之后智能恶劣环境图像增强单元34对经过图像采集及 校正模块32的数字图像数据进行分析，解析环境参数，与智能恶劣 环境图像增强单元34中预先存储的环境参数比对，然后选择对应的 环境图像增强单元进行环境图像增强；最后通过图像显示模块36送 至显示装置6进行图像显示。控制模块4主要通过串口或者USB2.0 来调整图像采集及校正模块32、智能恶劣环境图像增强单元34、图 像显示模块36的参数。

本系统的智能恶劣环境图像增强单元34是完全自适应的，也可 以额外通过控制模块4手动选择环境参数以达到更好的视觉显示效 果。

进一步具体的，所述智能恶劣环境图像增强单元34包括图像质 量评估单元341、区域分离单元342、环境分级单元343、增强权值 单元344、图像增强单元345。

图像质量评估单元341用于评估图像采集及校正模块32送来的 数字图像数据的细节程度，当超过预定阈值时认为光线充足、图像足 够清晰，数据不经区域分离单元342、环境分级单元343、增强权值 单元344、图像增强单元345直接输出到图像显示模块36然后在显 示装置6上显示，否则需要将数字图像数据送至区域分离单元342作 进一步处理。本发明中选择基于梯度的图像质量评定算法，设定图像 质量阈值判读是否需要做进一步图像增强。针对人眼系统对亮度的灵 敏度以及图像方差提出图像质量评估公式，

Q=αlogL+βσ+χ

Q是图像质量，α,β,χ是常量，L是图像亮度，σ是基于对梯度的 图像方差估计。α,β的取值范围分别为：10<α<1000,0<β<10，χ为 正值用来保证Q>0。

区域分离单元342将数字图像数据划分为三个区域：路面区域， 天空区域，其它区域，然后送至环境分级单元343，区域分离单元342 通过路沿检测分离出路面区域，再通过灰度直方图信息分离出天空区 域所在位置，不处在路面区域，天空区域的划分为其他区域。

环境分级单元343预存各个区域的光照情况以及气候情况的模 型特征参数，数字图像数据通过匹配模型特征参数进行环境分级，得 到当前环境等级。环境等级包括光照等级G_L和气候等级G_C。环境分 级单元343将光照情况分为极暗至极亮等多个等级，通过统计各个区 域的光辐照信息、局部光辐照信息、灰度直方图分布特性，分析得到 光照等级，同样，对气候情况划分等级，根据路面区域与天空区域的 划分差异分析得出气候等级。环境分级单元343除了计算环境等级， 环境分级单元343预存的光照图像增强参数P_L、气候图像增强参数P_C提供给图像增强单元345，根据环境等级可以查询得到。预存的图像 增强参数和模型特征参数通过控制模块4写入。图像增强参数需要对 行车各种光照和气象条件建模，完成训练学习的方式得到，其目标函 数为[P_L P_C]=maxQ(G_L,G_C,L,Lo,H)。Q是图像质量，P_L为光照图像增强 参数，包括光照图像增强算法里用到的领域窗口大小和算子等参数， P_C为气候图像增强参数，与P_L类同。G_L和G_C分别为光照等级、气候 等级。L为全局光辐照度，Lo是局部光辐射度。H为同一光照等级G_L、 气候等级G_C下的图片数据库，图片数据库是通过大量实验获得的图 像数据。目标函数的意义在于在同一光照等级、气候等级对应的图像 数据库H中找出一组图像增强参数使得图像质量Q最大化。图像增强 参数获取部分是离线完成，即独立于相机完成的。而图像增强参数以 及与光照等级、气候等级的对映关系将存储于环境分级单元343中， 通过光照等级G_L、气候等级G_C就能查询得到光照图像增强参数P_L、 气候图像增强参数P_C。

增强权值单元344通过当前环境等级获得针对当前环境等级的 图像增强算法的光照复原权值参数W_L和天气复原权值参数W_C。权值 参数计算公式有：[W_Li W_Ci]=F(G_Li,R_Li,G_Ci,R_Ci)，其中光照等级G_Li、气 候等级G_Ci是指某一特定光照等级和气候等级。R_Li=f₁(P_Li)， R_Ci=f₂(P_Ci)，R_Li评估的是当前光照图像增强参数P_Li在光照图像增强 参数集合P_L中的增强程度，类似的，R_Ci评估的是天气处理方法的增 强程度。另外存在约束条件W_Li=1-W_Ci，如果不考虑增强程度，也可 以简单取W_Li=1/2,W_Ci=1/2。

图像增强单元345针对光照等级与气候等级采用不同的图像处 理方法，通过光照复原算法和天气复原算法得到2幅复原图像，通过 加权平均等方法得到最终的复原图像，输出到图像显示模块36。其 中加权平均的权值参数W_L和W_C通过增强权值单元344得到。光照复 原算法采用的是log域动态增强算法，其具体计算公式为： 其中L_d是最终显示光辐照度,L为原始光辐照度,L_a是局部光辐照度，领域大小与算子由P_L给定，M(*)为映射函数，可 以选择线性映射或者非线性映射，如β校正映射。天气复原算法可以 考虑部分重叠直方图均衡化方法，涉及的参数P_C包括窗口大小、重叠 间距、滤波模板算子等，直方图均衡化方法是目前比较通用的天气复 原算法。

所述显示装置6可以是现有车载多媒体终端上的显示设备，也可 以是外接的显示设备，或通过投影投射到前挡风玻璃上。

上述的所述短波红外驾驶员视觉增强系统是工作在被动模式，也 就是说，所述短波红外成像装置1被动接收车外环境的短波红外反 射、大气辉光、城市夜光、车前灯等光线成像。

作为进一步的优化，该所述短波红外驾驶员视觉增强系统也可以 工作在主动模式，这时，所述短波红外驾驶员视觉增强系统还需要包 括额外的辅助照明设备7，辅助照明设备7包括但不限于：溴钨灯、 900nm～2500nm波长的激光和LED等。主动模式下，辅助照明设备7 不仅使得成像更清晰，同时可以做到隐蔽照明。这是由于 900nm～2500nm波段的辅助照明设备7对人眼是不可见的，因此不会 干扰到对面来的司机。辅助照明设备7可以与短波红外成像装置1一 同安装于驾驶室内，或者独立安装于车顶等位置。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发 明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替 换和改进等，均应包含在本发明创造的保护范围之内。