法律状态公告日
法律状态信息
法律状态
2022-06-28
公开
发明专利申请公布
技术领域
本发明属于图像分辨率处理领域，具体涉及一种基于生成对抗网络的FIB-SEM超分辨率算法。
背景技术
近年来，中国正大力开发以页岩油气为主的更为清洁的非常规油气，其污染小，碳排放低，在保障国家能源安全的同时也有助于双碳目标的实现。与常规油气藏相比，页岩油气等非常规油气藏储集岩层非常致密，在勘探开发过程中对其微观孔隙结构特征的准确分析要求极高。页岩等致密储层孔隙多为纳米级，目前多采用聚焦离子束扫描(Focused ionbeam，简称FIB-SEM)进行三维成像，提取孔隙。通过扫描仪一次成像，能大大减少岩心图像的采集时间，但为了使同样大小的岩心进入视野，采集的图像分辨率会有所下降，对于研究人员分析储层质量具有严重影响。因此，如何提升岩心图像分辨率，达到研究分析要求，具有重要的研究意义。
随着数据集的扩充、训练模型深度的不断加深，单幅图像的超分辨率技术已经得到了快速发展，但是目前很多超分辨率算法应用于FIB-SEM技术扫描成图上表现不佳。很多训练集只通过单一、固定的低分辨率与对应的高分辨率图像进行训练，这种级别的退化并不能满足FIB-SEM技术扫描成图的真实图像场景演化。另一方面，退化模型更多的是基于线性插值的图像模型，但只有经过色调校正、有损压缩等非线性处理后，才会使模型重建出的图像出现虚线、伪影。高分辨率图卷积神经网络、自注意力模块在图像超分辨率任务上的应用取得成功，但是大多研究都只是基于成像后图像像素与像素之间的欧氏距离作为衡量图像成像效果好坏的代价函数，这种代价函数并不能直观的反映出人类的视觉感知。
因此本发明通过深度学习算法中的生成对抗网络算法，结合图像像素损失、人体视觉感知损失以及正则化损失等多尺度代价函数，对图像进行超分辨率处理，以获取更多适用于FIB-SEM的超分辨率图像，方便实验人员进一步分析。
发明内容
为解决现在技术中存在的上述问题，本发明提供了一种基于生成对抗网络的FIB-SEM超分辨率算法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于生成对抗网络的FIB-SEM超分辨率算法，包括判别器模块：用于将低分辨率图像经过训练得到相应倍率的高分辨率图像并进行判别；生成器模块：用于将低分辨率图像转化为预定高分辨率图像；所述算法按如下步骤进行：
(1)输入图像准备；将训练数据集中的原始高分辨率图像按N，N/2，N/4…，N/N倍下采样，此处选取N
(2)特征向量生成：将数据准备阶段所得数据通过判别模型前向推理得到特征向量，采用sigmoid激活函数对特征向量进行激活，进而为输出判别做准备。
(3)训练损失计算：将真实图像数据与生成图像进行训练损失计算，所述训练损失计算如下：
a)将真实分辨率图像的标签置为1，生成器生成的图像数据标签设置为0。
b)计算真实的高分辨率图像Image
(4)判别器完整流程：利用opencv函数读取图片数据，生成3*3的卷积神经网络+BN+Relu+conv模块和8个残差模块，每个残差模块由3*3的卷积核+BN+RelU模块组成，并对每个残缺模块赋予不同的通道数，最后得到1*512*1*1的数据，再通过reshape函数控制每个残缺模块几何形状，然后将所得模块通过全连接方式组合生成长度为1024的向量，并用sigmoid激活函数对向量进行激活，得到索引值为0和1的两种不同特征向量，其中0代表真实图像，1代表假图像。
(5)多次重复步骤(3)和(4)经过多次迭代和图像分辨率判断，并对图像数据按占比权重进行图像优化，得到训练值epoch达到200左右的最优化图像数据。
(6)图像数据传输；将训练后经过判别的低分辨率图像Image
所述生成器模块按如下步骤进行：
①生成高分辨率图片：读入判别器输入的低分辨率图像数据，对图像数据进行处理生成3*3的卷积神经网络+BN+PRelu模块和8个残差模块，每个残差模块由3*3的卷积核conv+BN+Relu+conv模块组成，并对其赋予不同的通道数，再利用3*3的卷积神经网络+BN+Relu模块，将输出通道控制为64，步长为1。此后，将第一次卷积获得的浅层特征与此处对应的卷积语义特征进行cat合并，再经过卷积+PixelShuffle+PreLU进行超分辨率倍数放大，放大尺寸为N*W，N*H。生成网络包含特征提取模块，残差模块，与上采样模块pixelShuffle；其中上采样模块pixelShuffle实现上采样步骤如下：
作用是将一个H×W图像变为rH×rW的高分辨率图像，首先通过卷积先得到r
②生成器训练损失计算：对生成器图像数据进行训练损失计算作为最优化目标，这样转化的高分辨率图像更加真实，所述训练损失计算如下：
可以计算真实原始图片与模型计算所得高分图片之间的损失代价衡量，其中loss计算如下：
a)MSE loss计算：
b)Perceptual loss计算：
原代价函数MSE使重建结果有较高的信噪比PSNR，但是缺少了高频信息和过度平滑纹理的出现。重建后的高分辨率图像与真实的高分辨率图像相比无论是低层次的像素值上，还是高层次的抽象特征上，还是在整体概念和风格上都相当接近。
φ
φ
c)L1loss计算：
原代价函数MSE使重建结果有较高的信噪比PSNR，但是缺少了高频信息和过度平滑纹理的出现。利用内容损失后，弥补了高频和过度平滑纹理的信息缺失，为了生成器参数更好的训练，采用L1正则化损失，对于参数大小进行约束。
l
w代表生成器的模型参数。
(7)重复步骤(4)和(5)经过多次迭代和图像分辨率类别判断，并对图像数据按占比权重进行最优化。在每一个判别器训练批次进行优化的同时，生成器训练批次也进行了一次损失优化，从而同时训练判别器与生成器。最终利用训练好的生成器模型输出结果。(1)本发明只采用两个模块，算法更为简单直观，利用判别器模块能够实现对低分辨率图像经过相应倍率训练得到所需分辨率的原始图像数据，并能够对所实现分辨率真假进行判断和图像信息损失优化。在生成器模块，利用边缘模块信息建立生成网络和判别网络，并对生成网络进行pixelShuffle采样处理从而得到超高分辨率图像。
(2)本发明避免了原始方法中出现的重建结果有较高的信噪比PSNR，高频信息缺少，过度平滑纹理的出现等问题。本发明重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，或是整体概念和风格上都与真实图像数据相当接近。在风格重建时具有以下优点高层特征、全局结构、纹理明显。内容重建时图像底层特征、边缘、颜色等细节信息较多，效果更好。
附图说明
图1是本发明实施例提供的一种基于生成对抗网络的FIB-SEM超分辨率算法总体框架；
图2本发明实施例提供的一种基于生成对抗网络的FIB-SEM超分辨率算法生成对抗网络示意图；
图3本发明实施例提供的判别器模块示意图；
图4本发明实施例提供的分辨率判别结构示意图
图5本发明实施例提供的卷积+PixelShuffle+PreLU放大模式；
图6本发明实施例提供的生成器模型结构图；
图7本发明实施例提供的pixelShuffle采样步骤；
图8本发明实施例的部分实验结果前后对比；
具体实施方式
为了进一步阐述本发明所想达到目的所采取的技术手段及功能，以下将对本发明做进一步说明。
有关本发明的功能和其他技术手段、功能及特点，将结合配图对具体实施方案进行详细说明。通过以下详细说明能对本发明想要实现的功能和所要达到的目的，并且对所采用的技术手段有一个更加深入具体的了解，详细说明如下。
请参见图1，图1完整表达了一种基于生成对抗网络的FIB-SEM超分辨率算法总体框架
实施例1
本发明所述判别器模块主要用于将低分辨率图像经过采样插值算法转化为具有两个不同特征向量的高分辨率图像并以向量特征作为判别标准对图像分辨率真假性进行判断。本模块主要分为6个步骤进行，以低分辨率和高分辨率特征作为划分标准，将低分辨率与对应的真实高分辨率图像作为一组训练集合，按训练集：测试集：验证集＝7：2：1进行，并将图像划分为高分辨率和低分辨率两组图像数据，将所得图像进行训练损失计算和优化，并用sigmoid激活函数对特征向量进行激活送入判别模块，采用不同索引值判别图像分辨率真假性。
实施例2
本发明所述生成器模块主要用于将低分辨率图像转化为预定高分辨率图像。本模块采用3步完成。
具体步骤如下：
Step1:生成高分辨率图片：读入判别器输入的低分辨率图像数据，对图像数据进行处理生成3*3的卷积神经网络+BN+PRelu模块和8个残差模块，每个残差模块由3*3的卷积核conv+BN+Relu+conv模块组成，并对其赋予不同的通道数，再利用3*3的卷积神经网络+BN+Relu模块，将输出通道控制为64，步长为1。此后，将第一次卷积获得的浅层特征与此处对应的卷积语义特征进行cat合并，再经过卷积+PixelShuffle+PreLU进行超分辨率倍数放大，放大尺寸为N*W，N*H。然后利用卷积先得到r
Step2:训练损失计算：计算真实原始图片与模型计算所得高分图片之间的损失代价衡量：MSE loss计算、perceptual loss计算、L1loss计算。
Step3:重复步骤Step1和Step2经过多次迭代和图像分辨率类别判断，并对图像数据按占比权重进行最优化。在每一个判别器训练批次进行优化的同时，生成器训练批次也进行了一次损失优化，从而同时训练判别器与生成器。最终利用训练好的生成器模型输出结果。
