基于两阶段模型的无人机图像厚云区域内容生成

摘要

无人机飞行时常因云层遮挡而造成拍摄图像下垫面的信息损失,而现有多光谱和多时相的云区内容估计方法主要针对卫星遥感图像,无法直接应用于无人机图像.如何利用已有信息合理地推断厚云遮挡区域内容,以提高影像的可用性是亟待解决的问题.针对无人机成像光谱单一、航时短且航迹随机的特点,利用图像修复理论,提出了一种基于深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)的两阶段厚云区域内容生成方法.采用词袋(Bag of Words,BoW)检索算法搜索一阶段修复图像的相似样本,设计了仿射网络对它们进行注意力对齐,使生成的图像能利用同分布已知图像的信息,解决了无人机图像含有多种分布而难以有效提取特征,以及现有修复方法强依赖于单幅图像的局限.改进了经典DCGAN的结构,综合局部和全局对抗损失,以及感知损失和总变差损失,设计了新的联合损失函数.在仿真实验的中心1/4掩膜上,峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)、平均像素L1损失、自然图像质量评价NIQE(Natural Image Quality Evaluator)和BLIINDS(Blind Image Integrity Notator using DCT Statistics)指标比对比方法分别改善0.3214～3.6793、0.0005～0.0543、0.0171～4.1120、0.0565～4.7440和0.8841～4.2586.在真实含云图像实验中,NIQE和BLIINDS指标比对比方法分别改善0.1062～1.8992和1.0903～5.6495.实验结果的主观和客观分析表明,相比经典方法,本文方法在语义合理性、信息准确性和视觉自然性上都具有一定的优势,为厚云遮挡下的单光谱图像像素值预测提供了一种较好的解决方案.