基于运动补偿的帧率提升方法

摘要

随着超高清电视(Ultrahigh Definition Television，UHDTV)的发展，人们获得了更细腻、更逼真、更流畅的视频观影效果。超高清不仅仅是指空间分辨率上达到4K×2K，更重要的是为了实现更高的帧频、更大的动态范围和更丰富的深度色彩。在实际应用中，拍摄制作高帧率的视频通常需要昂贵的成本，还面临着巨大的传输、存储压力，所以如何从现有的低分辨率视频得到满足用户需求的高帧率、高质量的视频是亟待解决的重大课题。帧率提升技术(Frame Rate UpConversion，FRUC)作为视频格式转换的有效手段，已经在多媒体信息处理领域中成为了研究热点。
　　运动补偿帧插法(Motion Compensation Frame Interpolation，MCFI)利用运动信息来获取插入帧，是目前最有效的帧率提升方法。但是，MCFI也带来了诸多不可避免的问题，如块效应、空洞、遮挡等，这些都严重影响了视频质量的提升和用户的视觉体验。基于此，本文提出的MCFI皆在解决上述问题，本文的主要研究内容可以总结为以下三点:
　　1.提出了一种基于运动修复的解决空洞问题的帧率提升方法，该方法从两个方面解决空洞问题:一是得到正确的运动向量，二是空洞区域的运动修复。首先，通过基于纹理的自适应性运动估计的方法获取准确的运动向量，并利用多方向增强的运动向量后处理方法来修正不可靠运动向量，这样精确的运动估计的结果可以有效地减少空洞区域的范围;然后，通过空洞区域的周围信息获取空洞区域的运动向量，并利用运动补偿的原理填补空洞。这种低复杂度的方法有效地解决了空洞问题带来的视觉困扰，得到了高质量的插入帧。
　　2.提出了一种基于运动向量角的解决遮挡问题的帧率提升方法，该方法通过分析遮挡问题出现的原因，对不同类型的遮挡问题提出了自适应的处理方法:因为场景切换出现的暴露区域，采取帧重复法得到插入帧;由于物体相对运动出现的遮挡、暴露区域，采用前向、后向运动估计相结合的方法获取正确的补偿结果。同时，该方法引进了运动向量角和前向、后向运动补偿信息对遮挡区域进行了判定，有效减少了运算的复杂度。另外，本文提出了一种基于亮度信息的，增强算法的RGB彩色空间的矢量距离色差公式的非对称十字型多层次六边形格点搜索算法(Unsymmetrical Cross Muti Hexagon grid Search，UMHexagonS)，该运动估计得到了高准确度的运动向量，大大降低了处理遮挡问题的运算复杂度。
　　3.在以上两种帧率提升方法研究的基础上，设计完成了两个应用软件系统，将理论研究转化为实际的生产力。最后，本文设计了一个帧率提升方法的比较系统，整合了几种经典的方法，可以供用户对不同的视频序列选取不同需求的帧率提升方法。
　　论文提出的帧率提升方法经过大量的实验测试，无论是在主观视觉效果上，还是在客观数值:峰值信号比(Peak Signal to Noise Ratio，PSNR)和结构相似度(Structural Similarity Index Measurement，SSIM)上都优于经典的帧率提升方法，并最终得到了系统实现。

目录

声明

摘要

第一章 绪论

1．1 引言

1．2 课题的研究背景

1．3 国内外研究现状

1．4 本文的主要贡献

1．5 论文组织结构

第二章 帧率提升技术基础

2．1 引言

2．2 运动估计的主要方法

2．2．1 运动估计的匹配准则

2．2．2 运动估计搜索范圈

2．2．3 运动估计搜索策略

2．3 运动向量后处理的主要方法

2．4 运动补偿的主要方法

2．5 本章小结

第三章 基于运动修复的解决空洞问题的FRUC方法

3．1 系统框架

3．2 基于纹理的自适应运动估计

3．3 基于多方向扩展的运动向量修复

3．4 基于运动修复的重叠和空洞区域处理

3．5 实验结果与分析

3．6 本章小结

第四章 基于运动向量角的解决遮挡问题的FRUC方法

4．1 系统框架

4．2 基于亮度信息改进的UMHexagonS运动估计

4．2．1 HSV颜色空间与RGB颜色空间及其转换

4．2．2 基于HSV亮度分量的RGB影色空间角度距离色差公式

4．3 基于运动向量角的改进的单向运动估计

4．3．1 场景切换检测

4．3．2 利用运动向量角判定非遮挡区域

4．3．3 修正不准确遮挡区域的运动向量

4．4 实验结果与分析

4．4．1 主观评价与分析

4．4．2 客观评价与分析

4．5 本章小结

第五章 帧率提升系统实现

5．1 基于运动修复的解决空洞问题的帧率提升系统

5．2 基于运动向量角的解决遮挡问题的帧率提升系统

5．3 帧率提升方法比较系统

5．4 本章小结

第六章 总结与展望

6．1 全文总结

6．2 下一步的工作

参考文献

致谢

攻读硕士研究生期间研究成果