用于视频帧内插的基于CNN的系统和方法

摘要

一种根据输入帧对合成中间非现有帧的卷积神经网络(CNN)的系统，包括：接收在连续时间点获取的一对图像的粗糙CNN、配准模块、细化CNN、加法器以及运动‑补偿帧内插(MC‑FI)模块。粗糙CNN根据一对图像输出前一特征图、下一特征图、粗糙内插运动矢量场(IMVF)和遮挡图，配准模块使用粗糙IMVF将前一特征图和下一特征图扭曲为与粗糙IMVF的像素位置对准，并且输出配准的前一特征图和下一特征图，细化CNN使用配准的前一特征图和下一特征图来校正粗糙IMVF，并且加法器将粗糙IMVF与校正相加并输出最终IMVF。