基于多尺度扩张残差循环网络的图像去雨算法

摘要

针对以往方法难以同时去除不同雨纹并恢复图像背景细节的问题,提出一种基于多尺度扩张残差循环网络(multi-scale dilated residual recurrent network,MDRRN)的图像去雨算法。该算法首先在利用卷积激活层提取浅层特征的基础上,采用长短时记忆(long short-term memory,LSTM)网络与门控循环单元(gated recurrent unit,GRU),有效传递不同阶段雨纹和背景的特征;再采用3种不同扩张因子(dilated factor,DF)的扩张卷积构成的扩张残差块,扩大感受野,提取多尺度的深层雨纹、背景特征信息;通过通道注意力进一步融合雨纹信息;最后利用卷积层融合图像特征,得到无雨图像。实验结果表明:对于数据集Rain100L,所提方法与其他几种方法相比,峰值信噪比(peak signal-to-noise ratio,PSNR)提高0.51~10.01 dB,结构相似度(structural similarity,SSIM)提高0.1%~11.8%;对于数据集Rain12,所提方法的PSNR提高0.02~7.36 dB,SSIM提高1.1%~11.7%。