一种基于无监督网络解色散模糊的高光谱成像方法

摘要

本发明公开了一种基于无监督网络解色散模糊的高光谱成像方法。该方法的步骤是：S1，采集色散模糊的RGB图像；S2，构建无监督学习的卷积神经网络，该网络的输入为色散RGB图像，其输出为重建高光谱图像；S3，将步骤S1采集的单张色散RGB图像输入步骤S2的卷积神经网络,使用在线训练的方法重建图像的光谱信息；S4，根据成像系统生成的色散图像的物理关系驱动所述卷积神经网络的参数优化，利用反向传播算法训练所述卷积神经网络从色散RGB图像中重建出高光谱数据的能力；S5，重复迭代多次，得到逐渐逼近真实高光谱图像的重建结果。本发明的高光谱成像方法利用无监督网络解色散模糊，使用模型驱动替代数据驱动，保证重建精度同时使得系统更简单且成本降低。

说明书

技术领域

本发明属于光谱成像领域，特别涉及一种基于无监督网络解色散模糊的高光谱成像方法。

背景技术

高光谱成像技术在各个领域都有重要应用，相比RGB图像，高光谱图像保留了更多色彩信息。而传统光谱仪和成像装置存在成本高、体积大、系统复杂等缺点。随计算机科学发展，软件算法被引入光谱成像技术，使得光谱成像仪器更加廉价且紧凑，主要有压缩感知和计算重建算法。在压缩感知重建中，高维光谱数据可通过含有稀疏先验的优化问题求解，但是人工设计先验存在找不到有效且鲁棒性强的先验的问题，从而导致重建的光谱数据精度低。

随着人工智能的发展，越来越多的图像处理问题中应用了深度学习神经网络的方法。在高光谱成像技术中，卷积神经网络也被用于高光谱重建工作。但是传统的基于深度学习的计算成像方法多采用监督学习，需要预先获取大量带标签的数据或者真实的数据来训练网络，数据集的质量和数量可直接影响网络训练的效果，且数据驱动获得的模型的泛化能力是有限的，无法对所有数据都实现很好的重建精度。虽然有一些无监督学习的方法，但其仍是使用数据驱动获取模型，在模型训练上需要花费较长时间，且获得的模型预测精度达不到监督学习的效果。

发明内容

针对上述现有方法中存在的缺陷，本发明的目的在于提供一种基于无监督网络解色散模糊的高光谱成像方法，该方法使用无监督学习可直接从单张色散RGB图像中重建得到高光谱图像，在保证重建精度的同时使得系统算法更简单且采集数据成本降低。

本发明采用的技术方案为：

一种基于无监督网络解色散模糊的高光谱成像方法，包括如下步骤：

S1，采集色散模糊的RGB图像；

S2，构建无监督学习的卷积神经网络，该网络的输入为色散RGB图像，网络的输出为重建的高光谱图像；

S3，将步骤S1采集的单张色散RGB图像输入步骤S2的卷积神经网络中，使用在线训练的方法重建图像的光谱信息；

S4，根据成像系统生成的色散图像的物理关系驱动所述卷积神经网络的参数优化，利用反向传播算法训练所述卷积神经网络从色散RGB图像中重建出高光谱数据的能力；

S5，重复迭代多次，得到逐渐逼近真实高光谱图像的重建结果。

进一步地，步骤S1中，利用一个色散元器件和一个图像传感器采集色散模糊的RGB图像；高光谱信号通过所述色散元器件后在其对应色散方向形成色散，即每个通道的二维数据在二维空间上发生位移，再由所述图像传感器采集色散模糊的RGB图像。

进一步地，步骤S2中，所述卷积神经网络为一个对称的U型卷积神经网络UNet，前半部分下采样四次，后半部分上采样4次，在相同尺度阶段使用跳层连接将前后特征在光谱通道维度上进行叠加融合；所述卷积神经网络不限制输入图像的尺寸，且输入和输出的图像尺寸在二维空间维度上一致，实现将色散模糊的RGB图像映射到高光谱图像。

进一步地，步骤S4中，将所述卷积神经网络输出的重建高光谱图像由采集系统形成色散的物理关系重新计算得到色散RGB图像，并通过反向传播使其接近输入的色散RGB图像，网络优化目标为：

Loss＝min‖MS′-D‖

＝min‖D′-D‖

其中S′代表网络输出的重建高光谱图像，大小为h×w×c，w、h分别表示图像的横向尺寸和纵向尺寸，c为光谱通道数；D代表网络输入的色散RGB图像，大小为h×w×3；M代表高光谱图像和色散RGB图像之间的物理关系；D′代表重新计算得到的色散RGB图像，其大小和输入的色散RGB图像D相同。

进一步地，步骤S5中，经过多次反向传播算法迭代，最小化损失函数，将重建高光谱图像目标转化为使网络输出高光谱图像重新计算得到的色散RGB图像逐渐逼近输入的色散RGB图像。

本发明的显著优点在于：

(1)使用无监督网络解色散模糊的方法重建高光谱图像，相比传统深度学习中的监督学习方法，网络无需输入大量真实高精度光谱数据作为网络训练标签和大量数据集，可降低数据采集成本。

(2)模型利用物理关系驱动网络优化，使用在线训练的方法对单张色散模糊的RGB图像重建高光谱信息，则无需该训练模型对所有数据都具有很好的泛化能力。

(3)图像的采集只需要一个色散元器件和一个图像传感器，因此本发明方法在实现高精度重建效果同时可降低成像系统的成本和复杂度。

附图说明

图1是本发明方法的流程图。

图2是本发明方法成像模型中计算色散RGB数据的示意图。

图3是本发明方法所使用的无监督网络学习原理图。

图4是本发明方法所使用的U型卷积神经网络结构示意图。

图5是本发明方法解色散模糊的结果，(a)为网络输入色散模糊的RGB三通道图像；(b)为由网络输出高光谱图像重新计算获得的色散RGB图像；(c)～(f)四幅图像分别为在输出图像(output)和对应真实高光谱图像(target)中随机取四点的光谱曲线对照。

具体实施方式

为使本发明的目的，方法和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。

本实施例提供了一种基于无监督网络解色散模糊的高光谱成像方法，参见图1，具体包括：

S1：采集色散模糊的RGB数据。

可通过一个色散元器件和一个图像传感器实现色散RGB数据的采集工作。图5的(a)图为仿真的色散RGB图像D。高光谱数据S为一个三维的立方体数据，大小为y×x×c，x、y分别表示图像在二维空间上的横向尺寸和纵向尺寸，c为光谱通道数，每一光谱通道的二维数据表示在该波段的光谱信号。则色散RGB图像D可以表示为：

D＝ΩΦS

其中Φ表示各个空间体像素的色散方向和幅度的运算矩阵，Ω表示将高光谱数据压缩到RGB数据的运算矩阵。假设色散元器件使高光谱图像在水平方向发生色散，相邻通道之间位移为一个像素，则大小为y×x×c的高光谱数据色散后大小为y×(x+c-1)×c。Ω为各空间体像素在相机三通道处的传输系数，即将色散后的数据ΦS在对应波段上与相机通道的传输系数进行乘积再求和(积分作用)得到色散模糊的RGB观测数据D。

为使网络的输入色散数据D和高光谱数据S在二维空间维度上大小一致，将高光谱数据S在水平方向上补充空白像素(c-1)列。以上步骤具体可见图2示意图。这里将高光谱数据和色散RGB数据在二维空间维度上大小统一表示为h×w，则S大小为h×w×c，D大小为h×w×3。

S2：构建无监督学习的卷积神经网络，网络输入色散模糊的RGB图像，输出重建高光谱图像。

所构建的解色散神经网络为一个对称的U型卷积神经网络UNet，可利用跳跃连接充分结合低层和高层的特征信息，网络结构参见图4示意图。

网络前半部分(编码网络)下采样四次，每次下采样后图像尺寸在横向和纵向方向上减小一半，光谱通道维度尺寸保持不变；后半部分(解码网络)上采样4次，每次上采样后图像尺寸在横向和纵向方向上扩大一倍，光谱通道维度尺寸保持不变；在相同尺度阶段使用跳层连接将前后特征在通道上进行叠加融合，使得浅层特征和深层特征结合，形成更厚的特征图。

网络中使用的激活函数为LeakyReLU，该函数输出对负值输入有很小的坡度，对小于0的数据信息有一定保留。前向过程表示为：

下采样池化层为MaxPool(滤波器尺寸为2×2，步长为2)，上采样使用PixelShuffle算法(上采样因子为2)。

每一次下采样和上采样操作后连接两个“Conv2d-BatchNorm2d-LeakyReLU”，卷积核大小均为3×3，其中第一个卷积改变图像除二维空间维度外的光谱维度的通道数，在下采样层中使通道数扩大一倍，在上采样层中使通道数减小一半；第二个卷积保持该光谱维度的通道数。在卷积层Conv2d之后添加BatchNorm2d层的作用是进行数据的归一化处理，这使得数据在进行激活函数LeakyReLU之前不会因为数据过大而导致网络性能的不稳定，加快网络训练的收敛。

网络输入层使用两个“Conv2d-BatchNorm2d-LeakyReLU”，其中第一个卷积核大小为3×3，数量为64，将输入三通道数据的光谱维度的通道数提升为64；经过第二个卷积保持特征图光谱维度的通道数。

网络输出层使用一个大小为1×1，数量为重建通道数c的卷积层，使网络的输出结果在光谱维度上的大小为需要重建的通道数。

网络不限制输入图像的尺寸，且输入输出图像尺寸在二维空间维度上一致，实现将色散模糊的RGB图像映射到高光谱图像。

S3：将S1采集的单张色散RGB数据输入S2的卷积神经网络。

传统深度学习方法中训练网络需要输入大量数据，数据的数量和质量影响网络训练效果。本实例在网络训练时只需输入单张数据，没有其他标签对照，使用在线训练的方法对每张色散RGB图像进行单独训练，而不需要先在大量数据上训练后再用训练模型对目标色散RGB图像做预测。

S4：训练卷积神经网络，根据成像系统生成色散图像的物理关系驱动网络参数优化。

不同于传统深度学习中的监督学习，该网络不需使用真实高光谱图像作为训练的标签，而是利用实际中成像系统采集色散RGB图像的物理关系，以模型驱动替代数据驱动来优化网络参数。将网络输出的重建高光谱图像根据步骤S1中提到的物理关系DΩΦS重新计算得到色散RGB图像(称为重散RGB图像)，并通过反向传播使重散RGB图像逼近网络输入的色散RGB图像。即网络训练将最小化重建高光谱图像和真实高光谱图像之间的损失转化为最小化重散RGB图像和网络输入的色散RGB图像之间的损失，网络优化目标为：

Loss＝min‖MS′-D‖

＝min‖D′-D‖

其中S’代表网络输出的重建高光谱图像，大小为h×w×c；M代表高光谱图像和色散RGB图像之间的物理关系，即此处M＝ΩΦ，D’代表将重建的高光谱图像S’重新压缩映射回色散模糊的RGB图像(D’大小和D相同)；D代表网络输入的单张色散RGB图像。以上过程参见图3示意图。

网络输入色散RGB图像后，经过前向传播得到网络的输出即重建高光谱图像；利用神经网络反向传播算法，由链式求导法则对损失函数求偏导，在梯度下降方向更新网络的权值参数，经过多次前向、反向传播迭代后使得损失函数值不断下降。

使用Pytorch深度学习框架搭建网络模型，采用GPU(NVIDIA 1070ti)进行网络训练。

损失函数选择smooth L1 loss，为一个分段函数，在[-1,1]之间是L2 loss，解决了L1 loss的不光滑问题，在[-1,1]区间外是L1 loss，解决了离群点梯度爆炸的问题，表示为：

网络训练的优化器为Adam自适应优化器。

每隔500个周期保存一次图像重建结果和相应网络模型参数(保存为.pth类型文件)，同时根据历史中下降的损失函数值的大小保存或更新最佳的网络模型best_model.pth和最佳图像重建结果。

S5：随着迭代次数增多，输出的高光谱图像重新计算得的色散RGB图像逐渐逼近输入的色散RGB图像，实现输出的重建高光谱图像逐渐逼近真实高光谱图像的目的。

由于训练方式为单张输入图像在线训练，训练的模型无需具有泛化能力。

经在多张色散RGB图像上的实验后，得在学习率为0.01，迭代周期为3000，训练时长为10-15分钟的设置下可获得较高精度重建结果。

重建结果见图5所示，(a)图是大小为512×512×3的输入色散RGB图像，(b)图为大小512×512×3的重散RGB图像，即从网络输出高光谱图像(大小为512×512×31)重新计算得的色散RGB图像，可见重散RGB图已经无明显色散现象。网络的输出图像和对应真实高光谱图像中随机取点比较两者的31通道光谱曲线。由(c)-(f)图结果显示得网络的输出结果已很好的重建了图像光谱信息，其光谱曲线很好的逼近真实高光谱图像的光谱曲线。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。