基于视觉显著性的视频关键帧提取与帧速率上转换

摘要

视频的显著性描述已成为当前计算机视觉领域的研究热点，本文在视觉显著性的基础上，总结和拓展了两个基于视频显著性描述的视频处理技术——适合于监控视频的关键帧提取以及视频帧速率上转换。
　　视频关键帧提取技术能够为快速掌握视频内容提供一种有效的手段。特别是随着人们对社会治安要求的不断提高，监控视频得到广泛的应用随之产生大量的视频冗余数据，能够在大量的冗余数据中快速检索出监控视频中人们感兴趣的内容变的很有必要；视频帧速率提升能够提高现有的视频节目源的帧率以获得更好的视觉效果，满足人们不断提高的生活质量的需求。本文在对视频关键帧提取以及视频帧速率上转换两部分内容的基本概念、原理进行阐述后，提出了一种通过构建监控视频中运动目标显著性的方法来提取视频的关键帧以及一种融合视频显著性的视频帧速率上转换算法，主要工作如下：
　　（1）提出了一种新的适合于监控视频的关键帧提取方法。具体的工作内容如下：第一，为监控视频中的运动目标构建一种新的视觉注意力模型，该视觉注意力模型综合了图像的底层特征以及运动目标的肤色置信图，多种特征的综合克服了单一特征不能完整表达运动目标信息的问题；第二，由于本文处理对象针对监控视频中的运动目标，因此提取出的运动目标可以为视频后处理操作如人脸超分辨重建等提供目标样本，实验结果表明，提出的关键帧提取算法能够快速掌握监控视频中的行人信息，且能够为视频后处理提供有效的样本服务。
　　（2）提出了一种融合视频显著性的帧速率提升算法。这种处理方法能够对人眼更加关注的区域的候选运动矢量进行更加精细化的处理。相较于原始的双重运动估计（dual motion estimation，DME）算法，具体改进为引入动态纹理表示的视频动态显著性来判断每个处理块的显著性程度，并根据预先设定的阈值将处理块按照阈值分为高于阈值的部分和低于阈值的部分，并对高于显著性阈值的块进行运动矢量细化（motion vector refinement，MVR）处理，低于阈值的块进行运动矢量连续性处理（motion vector consistency，MVC）。实验结果表明，经过处理后的运动矢量能够反映更加准确的运动矢量。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1基于显著性描述视频处理与分析

1.2研究现状

1.3本文的主要工作及内容安排

第二章 基于显著性描述的视频关键帧提取与帧速率上转换技术综述

2.1视觉显著性

2.2监控视频关键帧提取技术介绍

2.3帧速率上转换算法介绍

2.4本章小结

第三章 一种适合于监控视频的关键帧提取算法

3.1研究动机

3.2框架介绍

3.3运动目标的检测和跟踪

3.4特征图像的提取

3.5仿真结果与分析

3.6本章小结

第四章 结合视频显著性的帧速率上转换算法

4.1研究动机

4.2算法原理

4.3仿真实验结果与分析

4.4本章小结

第五章 总结与展望

参考文献

附录1: 攻读硕士学位期间撰写的论文

致谢