基于生成对抗网络和超分辨率网络的多模态图像融合方法

摘要

本发明涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率的多模态图像融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的深度残差神经网络，通过生成器和判别器的动态平衡训练得到一个生成模型；构建基于卷积层的超分辨率网络；将多波段/多模态源图像输入生成模型，得到初步融合图像；再将图像输入到训练好的超分辨率网络，得到高质量的最终融合图像。本方法实现了多波段/多模态图像端到端的神经网络融合，避免了依据先验知识进行图像多尺度多方向分解和融合规则设计的困难，实现了网络自适应融合。