基于深度学习的视频插帧算法

摘要

视频帧率转换技术是利用视频中相邻两帧之间的相关信息并应用插值的方法将中间帧重建出来的一种技术.由于该技术能在编码中去除冗余信息并降低视频传输过程中的帧率,减少视频网络传输的数据量,因此可应用于视频压缩或增强视频连续性.本文将传统方法中的光流估计与深度学习相结合,提出了一种将运动估计和遮挡处理联合建模的视频帧插值的端到端卷积神经网络模型.首先使用改进的GridNet网络模型计算输入图像之间的双向光流,根据估计到的双向光流信息与输入图像进行warp操作得到2个翘曲图像,为解决遮挡问题,使用另一个GridNet网络模型重新估计图像的双向光流信息并预测插值帧的像素的可见性,最后将估计到的信息与原图像通过线性融合以形成中间帧.本文还尝试了多种损失函数,最终确定了将L1损失、感知损失、warp损失、平滑度损失等多种损失函数加权而成的损失函数.实验结果证明,本文提出的视频插帧网络结构可以有效提高光流估计的质量并改善遮挡问题,可以生成逼真、自然、质量更好的中间帧.