基于神经网络的HEVC帧间预测

摘要

高效视频编码标准HEVC是最新的数字视频编码标准,其中,帧间预测在去除时域相关性方面扮演重要角色。在传统的帧间预测方法中,因为仅仅利用了时域信息,所以帧间预测的准确性是有限的。在本文中,提出了利用时域-空域信息的基于神经网络的HEVC帧间预测算法。具体来讲,在本文提出的算法中,首先设计了一个包含全连接网络(fully connected netw ork,FCN)和卷积神经网络(convolutional neural network,CNN)的神经网络结构。其次,时域相邻像素和空域相邻像素输入到FCN网络,FCN网络输出的结果和当前预测块输入到CNN网络中,CNN网络生成最终的当前块的更准确的预测块。实验结果表明,与HEVC参考软件HM 16.9在通用测试条件Low Delay P(LDP)下编码,本文提出的算法能够带来平均1.7%(高达8.6%)的BD-rate节省。