一种基于知识蒸馏的深度学习视频插帧方法

摘要

本发明属于数字视频智能处理技术领域，具体为一种基于知识蒸馏的深度学习视频插帧方法。本发明使用参考答案网络和插帧网络，具体步骤包括：将相邻帧和目标帧一起作为输入，训练参考答案网络，首先出估计帧之间的光流，最后通过光流重构目标帧；训练插帧网络，用参考答案网络的光流作为辅助的监督数据，完成蒸馏学习；其中，参考答案模型和插帧模型都包含两个子模块：光流模块和目标帧合成模块；本发明的优势在于训练时不需要昂贵的带有光流标注的数据集，只需要用常见的连续视频数据。实验结果表明，采用本发明的训练方式，插帧模型的性能能够得到明显提升。