目标物体的融合图像生成方法、装置及系统

摘要

本发明提供的目标物体的融合图像生成方法、装置及系统，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本方案能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的融合图像。

说明书

技术领域

本发明涉及光电探测领域，尤其涉及目标物体的融合图像生成方法、装置及系统。

背景技术

自然界中的物体在反射、散射以及发射光波的过程中，都会表现出与自身化学特性、物理特性等密切相关的偏振特性。目标物体的偏振特性会受到环境条件、自身材质、结构、表面轮廓、表面粗糙度、温度、湿度等多种因素的影响，由于偏振特性的可变性和复杂性，因此具有相同或相近反射光谱的目标可能会存在较大的偏振特性差异。通常的光电检测系统是根据光强的差别来区分目标物体，然而，当目标物体强度差别不明显或者目标背景杂乱时，很难对雾中目标、远距离目标、低照度目标等光强低对比度目标进行区分，但是目标物体与目标背景之间的偏振特性差异能够改善探测此类目标物体的能力。

光是一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性。传统的光学成像只能捕获到光辐射在二维平面上的投影强度，而丢失了其它维度的光学信息。而光场成像是一种新型的光电成像技术，其通过在传统成像的焦平面处放置一块微透镜阵列可获取光线的四维信息。从数理模型上看，光场成像过程对应于四维变量与二维变量之间的相互转换；从信号处理来看，光场的获取方式和处理算法分别等价于离散数据的采样与重采样，可进行图像超分辨率重建，经改装后也可进行运动目标的光谱成像。

目前的偏振成像装置无法解决快速运动中的远距离目标、雾中目标、低照度目标等低对比度目标的探测需求，因此无法提供具有以上特征的低对比度目标的实时目标物体的融合图像。

发明内容

本发明提供了目标物体的融合图像生成方法、装置及系统，能够将光场成像技术与偏振成像技术相结合，获得低对比度目标物体的实时目标物体的融合图像。

第一方面，本发明实施例提供了一种目标物体的融合图像生成方法，包括：

获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；

对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；

对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；

对所述至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；

将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。

可选地，所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；

所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；

所述目标物体的所述原始光谱经过所述玻片阵列中的近红外滤光片，得到所述至少一个近红外光谱图像数据；

所述根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，包括：

根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；

根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；

根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。

可选地，所述对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像，包括：

所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像；

确定所述第一偏振图像的偏振强度I(0°)；

确定所述第二偏振图像的偏振强度I(60°)；

确定所述第三偏振图像的偏振强度I(120°)；

利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：

其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；

根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：

其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；

根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量E

其中，所述第五参量E

根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量E

可选地，所述对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像，包括:

针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；

利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：

其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；

利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：

其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；

利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：

其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述p

根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；

统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。

可选地，所述将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像，包括：

利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；

利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。

第二方面，本发明实施例还提供了一种目标物体的融合图像生成装置，包括：

生成模块，用于获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；

解析模块，用于对所述生成模块生成的所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；

第一计算模块，用于对所述解析模块解析出的所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；

第二计算模块，用于对所述生成模块生成的所述至少一个可见光谱图像和所述至少一个近红外光谱图像进行计算，获得目标光谱图像；

融合模块，用于将所述第一计算模块获得的所述目标偏振参量图像和所述第二计算模块获得的所述目标光谱图像进行融合处理，生成目标融合图像。

可选地，当所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像时，

所述解析模块，用于执行以下步骤：

确定所述第一偏振图像的偏振强度I(0°)；

确定所述第二偏振图像的偏振强度I(60°)；

确定所述第三偏振图像的偏振强度I(120°)；

利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：

其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；

根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：

其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；

根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量E

其中，所述第五参量E

根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量E

第三方面，本发明实施例还提供了一种目标物体的融合图像生成系统，包括：第二方面或第二方面任一可能实现方式的目标物体的融合图像生成装置和光场成像装置，其中，所述光场成像装置包括光学透镜组、玻片阵列、微透镜阵列和图像传感器；

所述光学透镜组用于采集目标物体发出的原始光谱；

所述玻片阵列用于将所述原始光谱处理为原始偏振图像、原始可见光谱图像和原始近红外光谱图像；

所述微透镜阵列用于将所述原始偏振图像、所述原始可见光谱图像和所述原始近红外光谱图像成像在与微透镜一一对应的所述图像传感器的宏像素上，生成目标物体图像；

所述图像传感器，用于将所述目标物体图像的光信号转变为电信号，以生成所述目标物体的图像数据，将所述图像数据发送给所述目标物体的融合图像生成装置；

所述玻片阵列放置于所述光学透镜组的孔径光阑所在的位置处，所述微透镜阵列位于所述光学透镜组的焦点所在的位置，所述图像传感器位于所述目标物体通过所述玻片阵列、所述光学透镜组和所述微透镜阵列所成像的位置处。

可选地，所述玻片阵列包括红滤光片、绿滤光片、蓝滤光片、0°线偏振片、60°线偏振片、120°线偏振片、第一近红外滤光片、第二近红外滤光片和第三近红外滤光片；

所述红滤光片、所述绿滤光片和所述蓝滤光片，用于将所述原始光谱处理为所述原始可见光谱图像；

所述0°线偏振片、所述60°线偏振片和所述120°线偏振片，用于将所述原始光谱处理为所述原始偏振图像；

所述第一近红外滤光片、所述第二近红外滤光片和第三近红外滤光片，用于将所述原始光谱处理为所述原始近红外光谱图像；

所述玻片阵列为3×3的阵列单元，每一个所述阵列单元上安装有相应的玻片。

可选地，所述目标物体的融合图像生成装置包括数字信号处理DSP芯片。

本发明实施例提供的目标物体的融合图像生成方法、装置及系统，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种目标物体的融合图像生成方法的流程图；

图2是本发明一个实施例提供的另一种目标物体的融合图像生成方法的流程图；

图3是本发明一个实施例提供的一种目标物体的融合图像生成装置所在设备的硬件结构图；

图4是本发明一个实施例提供的一种目标物体的融合图像生成装置的示意图；

图5是本发明一个实施例提供的一种目标物体的融合图像生成系统的示意图；

图6是本发明一个实施例提供的另一种目标物体的融合图像生成系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例提供的一种目标物体的融合图像生成方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤101、获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；

步骤102、对至少一个偏振图像进行解析，获得至少一个偏振参量图像；

步骤103、对至少一个偏振参量图像进行计算，获得目标偏振参量图像；

步骤104、对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；

步骤105、将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。

本发明实施例提供的目标物体的融合图像生成方法，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；

所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；

所述目标物体的所述原始光谱经过所述玻片阵列中的红外滤光片，得到所述至少一个近红外光谱图像数据；

所述根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，包括：

根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；

根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；

根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。

在本发明实施例中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据，根据三个偏振图像数据，生成对应的三个偏振图像；目标物体的原始光谱经过玻片阵列中的近红外滤光片，得到三个近红外光谱图像数据，根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。通过对三种不同类型的图像数据进行分类后处理，能够得到相对应的偏振图像、可见光谱图像和近红外光谱图像，提高了偏振图像、可见光谱图像和近红外光谱图像处理的准确度和效率。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像，包括：

所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像；

确定所述第一偏振图像的偏振强度I(0°)；

确定所述第二偏振图像的偏振强度I(60°)；

确定所述第三偏振图像的偏振强度I(120°)；

利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：

其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；

根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：

其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；

根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量E

其中，所述第五参量E

根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量E

在本发明实施例中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量E

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像，包括:

针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；

利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：

其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；

利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：

其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；

利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：

其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述p

根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；

统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。

在本发明实施例中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。

需要说明的是，由于从三个可见光谱图像和三个近红外光谱图像中获得目标光谱图像的方法与上述获得目标偏振参量图像的方法相同，此处不再赘述，具体的方法可参考目标偏振参量图像的选取方法。因此，从若干个偏振参量图像获得了目标偏振参量图像和从三个可见光谱图像和三个近红外光谱图像中获得了目标光谱图像，以便于对目标偏振参量图像和目标光谱图像进行融合处理，以获得目标融合图像。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像，包括：

利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；

利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。

在本发明实施例中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。针对小波变换的图像融合方法，选取了适用于本发明的偏振参量图像和光谱图像的基于区域最大值融合规则，能够获得图像融合效果极佳的目标融合图像。

如图2所示，为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供的目标物体的融合图像生成方法进行详细说明，具体包括以下步骤：

步骤201、获取目标物体的图像数据，并将图像数据分类为至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据。

在本步骤中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据；目标物体的原始光谱经过玻片阵列中的三个近红外滤光片，得到三个近红外光谱图像数据。

步骤202、根据至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据，对应生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像。

在本步骤中，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；根据三个偏振图像数据，生成对应的三个偏振图像；根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。

步骤203、对至少一个偏振图像进行解析，获得至少一个偏振参量图像。

在本步骤中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量E

步骤204、对至少一个偏振参量图像进行计算，获得目标偏振参量图像。

在本步骤中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。

步骤205、对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像。

在本步骤中，对三个可见光谱图像和三个近红外光谱图像分别计算每一个可见光谱图像和每一个近红外光谱图像的清晰度、方差和信息熵，根据计算出的清晰度、方差和信息熵，利用预设的信任函数和模糊测度算法，计算出每一个可见光谱图像和每一个近红外光谱图像的模糊积分值，根据模糊积分值的大小，确定模糊积分值最大的一个可见光谱图像或近红外光谱图像为目标光谱图像。

步骤206、利用预设的离散小波变换规则，对目标偏振参量图像和目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；

在本步骤中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。利用预设的离散小波变换规则，对前一步骤获得的目标偏振参量图像和目标光谱图像进行分别进行离散小波平稳变换，以获得离散小波平稳变换后的目标偏振参量图像和目标光谱图像。

步骤207、利用预设的最大值融合规则，对小波变换后的目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。

在本步骤中，根据用户对目标物体成像特征的需求选择适用于目标偏振参量图像和目标光谱图像的最大值融合规则，再将融合后的结果进行离散平稳小波逆变换，得到最终的目标融合图像。

如图3和图4所示，本发明实施例提供了目标物体的融合图像生成装置所在的设备和目标物体的融合图像生成装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的目标物体的融合图像生成装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

如图4所示，本实施例提供的目标物体的融合图像生成装置，包括：

生成模块401，用于获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；

解析模块402，用于对所述生成模块401生成的所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；

第一计算模块403，用于对所述解析模块402解析出的所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；

第二计算模块404，用于对所述生成模块401生成的所述至少一个可见光谱图像和所述至少一个近红外光谱图像进行计算，获得目标光谱图像；

融合模块405，用于将所述第一计算模块403获得的所述目标偏振参量图像和所述第二计算模块404获得的所述目标光谱图像进行融合处理，生成目标融合图像。

本发明实施例提供的目标物体的融合图像生成装置，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

当所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；所述目标物体的所述原始光谱经过所述玻片阵列中的近红外滤光片，得到所述至少一个近红外光谱图像数据时，

所述生成模块，用于执行以下步骤：

根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；

根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；

根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

当所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像时，

所述解析模块，用于执行以下步骤：

确定所述第一偏振图像的偏振强度I(0°)；

确定所述第二偏振图像的偏振强度I(60°)；

确定所述第三偏振图像的偏振强度I(120°)；

利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：

其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；

根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：

其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；

根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量E

其中，所述第五参量E

根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量E

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述第一计算模块，用于执行以下步骤：

针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；

利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：

其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；

利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：

其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；

利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：

其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述p

根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；

统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。

可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，

所述融合模块，用于执行以下步骤：

利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；

利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

如图5所示，本发明实施例还提供了目标物体的融合图像生成系统，包括：上述任一实施例所提供的目标物体的融合图像生成装置501和光场成像装置502，其中，所述光场成像装置502包括光学透镜组5021、玻片阵列5022、微透镜阵列5023和图像传感器5024；

所述光学透镜组5021用于采集目标物体发出的原始光谱；

所述玻片阵列5022用于将所述原始光谱处理为原始偏振图像、原始可见光谱图像和原始近红外光谱图像；

所述微透镜阵列5023用于将所述原始偏振图像、所述原始可见光谱图像和所述原始近红外光谱图像成像在与微透镜一一对应的所述图像传感器5024的宏像素上，生成目标物体图像；

所述图像传感器5024，用于将所述目标物体图像的光信号转变为电信号，以生成所述目标物体的图像数据，将所述图像数据发送给所述目标物体的融合图像生成装置501；

所述玻片阵列5022放置于所述光学透镜组5021的孔径光阑所在的位置处，所述微透镜阵列5023位于所述光学透镜组5021的焦点所在的位置，所述图像传感器5024位于所述目标物体通过所述玻片阵列5022、所述光学透镜组5021和所述微透镜阵列5023所成像的位置处。

在本发明实施例中，光学透镜组的焦距为f，目标物体与微透镜阵列之间的距离即物距为P，目标物体成像与与微透镜阵列之间的距离即物距即像距为Q，则可以根据公式：

可选地，基于图5所示的目标物体的融合图像生成系统，在本发明一个实施例中，

如图6所示5022，所述玻片阵列包括红滤光片601、绿滤光片602、蓝滤光片603、0°线偏振片604、60°线偏振片605、120°线偏振片606、第一近红外滤光片607、第二近红外滤光片608和第三近红外滤光片609；

所述红滤光片、所述绿滤光片和所述蓝滤光片，用于将所述原始光谱处理为所述原始可见光谱图像；

所述0°线偏振片、所述60°线偏振片和所述120°线偏振片，用于将所述原始光谱处理为所述原始偏振图像；

所述第一近红外滤光片、所述第二近红外滤光片和第三近红外滤光片，用于将所述原始光谱处理为所述原始近红外光谱图像；

所述玻片阵列为3×3的阵列单元，每一个所述阵列单元上安装有相应的玻片。

在本发明实施例中，确定每一个玻片在玻片阵列中的位置，以便于根据图像数据确定三个偏振光谱图像数据、三个可见光谱图像数据和三个近红外光谱图像数据。例如，玻片阵列中第一行三个玻片分别为中心波长443nm和带宽30nm的蓝滤光片，中心波长550nm和带宽20nm的绿滤光片，0°线偏振片；玻片阵列中第二行三个玻片分别为中心波长665nm和带宽20nm的红色滤光片，60°线偏振片，120°线偏振片；玻片阵列中第三行三个玻片分别为中心波长780nm和带宽30nm的近红外滤光片A，中心波长850nm和带宽50nm的近红外滤光片B，中心波长920nm和带宽50nm的近红外滤光片C。

可选地，基于图5所示的目标物体的融合图像生成系统，在本发明一个实施例中，

所述目标物体的融合图像生成装置包括数字信号处理DSP芯片。

在本发明实施例中，目标物体的融合图像生成装置中包括四个DSP芯片，利用四个DSP芯片并行处理方法，实现对三个偏振光谱图像数据、三个可见光谱图像数据和三个近红外可见光谱图像数据的处理，最终形成偏振与光谱融合的目标融合图像。

综上所述，本发明各个实施例所提供的目标物体的融合图像生成方法、装置及系统，至少具有如下有益效果：

1、在本发明实施例中，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。

2、在本发明实施例中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据，根据三个偏振图像数据，生成对应的三个偏振图像；目标物体的原始光谱经过玻片阵列中的近红外滤光片，得到三个近红外光谱图像数据，根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。通过对三种不同类型的图像数据进行分类后处理，能够得到相对应的偏振图像、可见光谱图像和近红外光谱图像，提高了偏振图像、可见光谱图像和近红外光谱图像处理的准确度和效率。

3、在本发明实施例中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量E

4、在本发明实施例中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。

5、在本发明实施例中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。针对小波变换的图像融合方法，选取了适用于本发明的偏振参量图像和光谱图像的基于区域最大值融合规则，能够获得图像融合效果极佳的目标融合图像。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制情况下，由语句“包括一〃....〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。