雾气和降雨复杂图像联合恢复卷积网络

摘要

在降雨场景中拍摄的图像会被严重污染,影响视觉效果以及后续图像检测算法的性能,因此,在受降雨污染的图像中恢复清晰图像是非常具有实际意义的.其他去雨网络更多的是关注雨滴条纹的去除,但由于真实雨滴图像中的污染不仅仅包含雨滴条纹,还有水汽在深度方向上堆叠形成的雾化效果,因此,在恢复图像过程中同时去除雾气和雨滴条纹是非常必要的.文章提出一种同时考虑图像上产生的雾气与降雨条纹并将其去除的方法,用于解决降雨场景中的图像恢复问题.该方法提出的卷积神经网络是先在输入的雨雾图上去除雾气,不改变雨滴在图像中的分布,而由于雾气被去除,雨滴在图像中将更加突出和更加容易被检测.接着再在已经去雾的图像上去除雨滴.降雨条纹在图像上纹理特征较为明显,感受野的选择对效果有着较大的影响.文章加入了大小感受野融合的残差结构,在扩大感受野的同时,减少因为大感受野而出现的光晕效应.最后该方法在合成数据集以及真实降雨场景的数据集上进行了测试,测试结果表明该方法在解决此类问题上相较于其他方法有着更好的性能.