基于卷积神经网络的压缩视频后处理

摘要

随着科学技术的发展，视频趋向于高清化、超高清化、高帧率化。同时，与视频相关的商业应用不断涌现。视频技术的进步和新商业应用的出现给我们的生活带来便利，但视频数据量的激增给数据的存储和网络传输带来极大挑战。视频压缩/编码一直是缓解这一挑战的有效工具。但是视频编码会导致视频质量下降，所以在不增加数据量的情况下，提高视频质量成了现实需求。实现这一需求的途径之一就是对压缩后的视频进行后处理。视频后处理算法主要包括去隔行、帧率转换和帧图像增强等。本文将目前广泛应用的卷积神经网络应用到视频的后处理中，提高了压缩后视频的质量，完成的工作主要包括:
　　(1)基于卷积神经网络的帧图像增强算法:为了应对压缩导致的失真，本文提出一种基于卷积神经网络的自学习视频增强方案。方案利用卷积神经网络，在编码端以压缩前与压缩后的帧图像为样本，训练端到端的映射，在解码端以低质量的视频序列与神经网络参数即可重建高质量视频序列。
　　(2)基于卷积神经网络的帧率提升算法:帧率提升算法主要用来增加视频帧频以消除低帧率视频序列可能存在的运动模糊及影像抖动问题。为了达到这一目的，本文提出一种基于卷积神经网络的自学习帧率提升方案。方案中利用卷积神经网络，以两相邻帧预测待插值帧。与传统的基于块运动补偿的帧率提升算法相比，本文方法基于全局预测，可有效避免孔洞效应和遮挡效应。
　　(3)基于卷积神经网络的非对称立体视频压缩后处理算法:在多视点视频编码中，非对称立体视频压缩是一种广泛使用的视频压缩方法。虽然非对称的编码方法的压缩效率相对于对称的编码方法有一定程度提升，但也使得两视角间视频的质量存在一定差距。针对这种情况，本文提出利用高质量视频信息，辅助低质量视角视频进行后处理的方案。对低质量视角视频帧中的宏块，在对应的高质量视角视频帧中寻找匹配的宏块，组成宏块组，最后利用宏块组重建低质量视角视频的高频信息。

目录

声明

致谢

摘要

序言

1 绪论

1．1 课题的研究背景与意义

1．2 视频后处理技术概述

1．2．1 帧内处理技术及其研究进展

1．2．2 帧率转换技术及其研究进展

1．3 论文的研究内容

1．4 论文的组织结构

1．5 本章小结

2 卷积神经网络综述

2．1 基本神经元

2．2 多层神经网络

2．2．1 信号的前向传播

2．2．2 误差的反向传播

2．3 卷积神经网络

2．3．1 卷积神经网络的拓扑结构

2．3．2 卷积层

2．3．3 池化层

2．3．4 全连接层

2．4 卷积神经网络的训练

2．5 本章小结

3．1 引言

3．2 视频后处理的网络结构

3．3 数据预处理与网络训练

3．3．1 数据预处理

3．3．2 网络训练

3．4 实验结果及分析

3．5 本章小结

4．1 引言

4．2 帧率提升的网络结构

4．3 数据预处理与网络训练

4．3．1 数据预处理

4．3．2 网络训练

4．4 多任务模型

4．5 实验结果及分析

4．5．1 帧率提升结果及比较

4．5．2 多任务模型的处理效果

4．6 本章小结

5 基于卷积神经网络的非对称立体视频压缩后处理算法

5．1 前言

5．2 总体方案

5．2．1 样本构造

5．2．2 网络的训练与视频处理

5．3 实验结果及分析

5．4 本章小结

6．1 工作总结

6．2 工作展望

参考文献

作者简历

学位论文数据集