注意力引导的高效视频解码及显示研究

摘要

对于视频通信而言，其信宿，也就是最终接受者，是一个人类观测者。对于这一点，很多传统的视频编解码方式均没有考虑到。本文围绕这个问题，考虑了人类视觉系统在视线与视野、强度与对比上面的特点，结合人类视觉系统的视觉选择性特性，设计了一个注意力引导的高效视频解码及显示系统，主要工作如下：
　　（1）首先对人类视觉系统的特性进行系统的研究，从人眼的生理构造入手，研究了人类视觉系统的功能，然后研究了人类视觉系统在视线与视野、强度与对比上面的特点。基于以上的基础研究，设计了一个基于注意力引导的高效视频解码及显示系统的结构。
　　（2）在实现所设计的高效视频解码及显示系统中，对其中两个关键技术要点做了重点的研究，第一个是多个数据流的帧融合，通过二值化、腐蚀、高斯模糊等操作后结合一个加权公式得到融合后图像，这种方法可以消除对多数据流的图像进行简单拼接留下的边缘效应。第二个是基于视频序列在时间维度上的冗余进行背景区域高分辨率重建。利用上一帧中部分信息对当前帧中的部分背景区域进行重建，从而提高该区域的清晰度。通常方法仅考虑背景区域与高分辨区域之间的相似性，重建效果较差。本文利用最优化理论中的惩罚函数法对遗传算法中的目标函数进行了优化，结合了两帧高分辨区域之间的联系，使得重建的结果与周围图像有更好的匹配效果。
　　（3）为量化对比本文方法与传统方法在相同码率条件下得到的视频质量之间的差异，研究了两种视频客观质量评价算法：峰值信噪比 PSNR和结构相似性SSIM，其中重点研究了现在被广泛使用的 SSIM算法。研究过程中发现 SSIM算法在模糊失真下表现不佳，给出的评价值与人眼观感相悖。本文结合图像的边缘信息和感兴趣区域信息，提出了一个结合了人眼注意力特性的改进SSIM算法。实验结果显示经非线性拟合后对测试序列的主观评价值进行估计，相比传统SSIM算法相对误差下降了约50％。这表明本文改进后的 SSIM算法更接近人眼的主观感受。
　　（4）使用C++语言和ffmpeg等开源库，编写了一个注意力引导的高效视频解码及显示程序，实现了所设计的视频解码及显示系统，实验表明本系统实现了设计目标。使用本文改进的SSIM算法，进行了本文方法与传统H.264方法的对比评估，结果表明在码率有限时本文方法得到的视频客观质量相比 H.264提升了约15%，主观质量提升了约30%。

目录

声明

第一章 绪 论

1.1 研究工作的背景与意义

1.2 国内外研究历史与现状

1.3 本文研究内容

1.4 本文章节安排

第二章 系统结构及相关背景知识

2.1 人类视觉系统

2.2 注意力引导的视频高效解码系统结构

2.3 本章小结

第三章 注意力引导的视频高效解码及显示

3.1 H.264标准

3.2 流媒体传输

3.3 多个数据流的帧融合

3.4 基于时间冗余的背景区域高分辨重建

3.5 本章小结

第四章 视频质量评价方法

4.1 视频主观质量评价方法

4.2 视频客观质量评价方法

4.3 基于注意力特性的视频客观质量评价方法

4.4 基于注意力特性的视频客观质量评价方法实验

4.5 本章总结

第五章 系统测试与对比实验

5.1 系统搭建

5.2 系统展示

5.3 系统实验

5.2 码率有限条件下本方法与传统方法的效果对比

5.3 本章总结

第六章 总结与展望

6.1 本文主要工作总结

6.2 未来工作展望

致谢

参考文献

攻读硕士研究生期间参加的科研项目和成果